الانحدار اللوجستي

يُستخدم الانحدار اللوجستي في مجالات متنوعة، تشمل التعلم الآلي، ومعظم المجالات الطبية، والعلوم الاجتماعية. فعلى سبيل المثال، طُوِّر مقياس شدة الصدمة والإصابة ( TRISS )، الذي يُستخدم على نطاق واسع للتنبؤ بمعدل الوفيات لدى المرضى المصابين، في الأصل بواسطة بويد وآخرون باستخدام الانحدار اللوجستي. ^{[ 6 ]} كما طُوِّرت العديد من المقاييس الطبية الأخرى المستخدمة لتقييم شدة حالة المريض باستخدام الانحدار اللوجستي. ^{[ 7 ] [ 8 ] [ 9 ] [ 10 ]} ويمكن استخدام الانحدار اللوجستي للتنبؤ بخطر الإصابة بمرض معين (مثل داء السكري ، أو مرض الشريان التاجي )، بناءً على الخصائص الملحوظة للمريض (العمر، والجنس، ومؤشر كتلة الجسم ، ونتائج فحوصات الدم المختلفة ، وما إلى ذلك). ^{[ 11 ] [ 12 ]} مثال آخر هو التنبؤ بما إذا كان الناخب النيبالي سيصوت لحزب المؤتمر النيبالي أو الحزب الشيوعي النيبالي أو لأي حزب آخر، بناءً على العمر، والدخل، والجنس، والعرق، ومكان الإقامة، والتصويت في الانتخابات السابقة، وما إلى ذلك. ^{[ 13 ]} يمكن استخدام هذه التقنية أيضًا في الهندسة ، وخاصة للتنبؤ باحتمالية فشل عملية أو نظام أو منتج معين. ^{[ 14 ] [ 15 ]} كما تُستخدم في تطبيقات التسويق ، مثل التنبؤ بميل العميل لشراء منتج أو إلغاء اشتراك، وما إلى ذلك. ^{[ 16 ]} في الاقتصاد ، يمكن استخدامها للتنبؤ باحتمالية انضمام شخص ما إلى سوق العمل، ومن تطبيقاتها التجارية التنبؤ باحتمالية تخلف مالك منزل عن سداد قرض عقاري . تُستخدم الحقول العشوائية الشرطية ، وهي امتداد للانحدار اللوجستي للبيانات المتسلسلة، في معالجة اللغة الطبيعية . يعتمد مخططو الكوارث والمهندسون على هذه النماذج للتنبؤ بالقرارات التي يتخذها أصحاب المنازل أو شاغلو المباني في عمليات الإخلاء الصغيرة والكبيرة، مثل حرائق المباني وحرائق الغابات والأعاصير وغيرها. ^{[ 17 ] [ 18 ] [ 19 ]} تساعد هذه النماذج في تطوير خطط موثوقة لإدارة الكوارث وتصميم بيئة مبنية أكثر أمانًا .

الانحدار اللوجستي هو خوارزمية تعلم آلي خاضعة للإشراف، تُستخدم على نطاق واسع في مهام التصنيف الثنائي ، مثل تحديد ما إذا كانت رسالة البريد الإلكتروني بريدًا عشوائيًا أم لا، وتشخيص الأمراض من خلال تقييم وجود أو غياب حالات مرضية محددة بناءً على نتائج فحوصات المرضى. يعتمد هذا النهج على الدالة اللوجستية (أو الدالة السينية) لتحويل توليفة خطية من خصائص الإدخال إلى قيمة احتمالية تتراوح بين 0 و1. تشير هذه الاحتمالية إلى مدى ترجيح أن يتوافق مُدخل مُعين مع إحدى فئتين مُحددتين مسبقًا. تستند الآلية الأساسية للانحدار اللوجستي إلى قدرة الدالة اللوجستية على نمذجة احتمالية النتائج الثنائية بدقة. بفضل منحنى الدالة اللوجستية المميز على شكل حرف S، فإنها تُحول أي عدد حقيقي إلى قيمة ضمن النطاق من 0 إلى 1. هذه الميزة تجعلها مناسبة بشكل خاص لمهام التصنيف الثنائي، مثل فرز رسائل البريد الإلكتروني إلى "بريد عشوائي" أو "غير عشوائي". من خلال حساب احتمالية تصنيف المتغير التابع ضمن مجموعة محددة، يوفر الانحدار اللوجستي إطارًا احتماليًا يدعم اتخاذ القرارات المستنيرة. ^{[ 20 ]}

كمثال بسيط، يمكننا استخدام الانحدار اللوجستي مع متغير تفسيري واحد وفئتين للإجابة على السؤال التالي:

تقضي مجموعة من 20 طالباً ما بين صفر وست ساعات في الدراسة لامتحان. كيف يؤثر عدد ساعات الدراسة على احتمالية نجاح الطالب في الامتحان؟

يكمن سبب استخدام الانحدار اللوجستي في هذه المسألة في أن قيم المتغير التابع، النجاح والرسوب، على الرغم من تمثيلها بالرقمين "1" و"0"، ليست أعدادًا أصلية . لو تم تغيير المسألة بحيث استُبدل النجاح/الرسوب بالدرجات من 0 إلى 100 (أعداد أصلية)، لأمكن استخدام تحليل الانحدار البسيط.

يوضح الجدول عدد الساعات التي قضاها كل طالب في الدراسة، وما إذا كان قد نجح (1) أو رسب (0).

نرغب في تطبيق دالة لوجستية على البيانات التي تتكون من ساعات الدراسة ( xk ₎ ونتيجة الاختبار ( yk = ₁  للنجاح، 0 للرسوب). يتم فهرسة نقاط البيانات بواسطة الرمز السفلي k الذي يبدأ من${\displaystyle k=1}$ل${\displaystyle k=K=20}$. يُطلق على المتغير x اسم " المتغير التفسيري "، ويُطلق على المتغير y اسم " المتغير الفئوي " الذي يتكون من فئتين: "ناجح" أو "راسب" بما يتوافق مع القيم الفئوية 1 و 0 على التوالي.

تأخذ الدالة اللوجستية الشكل التالي:

${\displaystyle p(x)={\frac {1}{1+e^{-(x-\mu )/s}}}}$

حيث μ هو معامل الموقع (نقطة منتصف المنحنى، حيث${\displaystyle p(\mu )=1/2}$) و s هو معامل قياس . يمكن إعادة كتابة هذا التعبير على النحو التالي:

${\displaystyle p(x)={\frac {1}{1+e^{-(\beta _{0}+\beta _{1}x)}}}}$

أين${\displaystyle \beta _{0}=-\mu /s}$ويُعرف باسم نقطة التقاطع (وهي نقطة التقاطع الرأسية أو نقطة التقاطع مع المحور الصادي للخط).${\displaystyle y=\beta _{0}+\beta _{1}x}$)، و${\displaystyle \beta _{1}=1/s}$(معامل المقياس العكسي أو معامل المعدل ): وهما نقطة تقاطع المحور الصادي وميل منحنى اللوغاريتم النسبي كدالة لـ x . وبالعكس،${\displaystyle \mu =-\beta _{0}/\beta _{1}}$و${\displaystyle s=1/\beta _{1}}$.

لاحظ أن هذا النموذج هو في الواقع تبسيط مفرط، لأنه يفترض أن كل طالب سينجح إذا درس إلى أجل غير مسمى (الحد = 1).

يُستخدم عادةً مقياس جودة المطابقة للانحدار اللوجستي باستخدام دالة الخسارة اللوجستية (أو دالة الخسارة اللوغاريتمية )، وهي دالة الاحتمال اللوغاريتمي السالبة . بالنسبة لقيم معينة لـ x_{_k} و y_{_k}، اكتب${\displaystyle p_{k}=p(x_{k})}$الـ​${\displaystyle p_{k}}$⁠ هي احتمالات أن ⁠${\displaystyle y_{k}}$⁠ ستساوي واحدًا، و ⁠${\displaystyle 1-p_{k}}$تمثل احتمالات أن تكون هذه القيم صفرًا (انظر توزيع برنولي ). نريد إيجاد قيم هذه الاحتمالات .${\displaystyle \beta _{0}}$و​​${\displaystyle \beta _{1}}$والتي تُعطي "أفضل تطابق" مع البيانات. وللمقارنة بين "أفضل تطابق" مع البيانات، انظر حالة الانحدار الخطي . هناك، يُعتبر مجموع مربعات انحرافات التطابق عن نقاط البيانات ( yk ₎ ، أي خسارة الخطأ التربيعي ، مقياسًا لجودة التطابق، ويتم الحصول على أفضل تطابق عندما تكون هذه الخسارة في أدنى حد .

الخسارة اللوغاريتمية للنقطة k${\displaystyle \ell _{k}}$هو :

${\displaystyle \ell _{k}={\begin{cases}-\ln p_{k}&{\text{ if }}y_{k}=1,\\-\ln(1-p_{k})&{\text{ if }}y_{k}=0.\end{cases}}}$

يمكن تفسير خسارة اللوغاريتم على أنها " مفاجأة " النتيجة الفعلية .${\displaystyle y_{k}}$مقارنة بالتوقع​${\displaystyle p_{k}}$وهو مقياس لمحتوى المعلومات . يكون فقدان اللوغاريتم دائمًا أكبر من أو يساوي صفرًا، ويساوي صفرًا فقط في حالة التنبؤ المثالي (أي عندما${\displaystyle p_{k}=1}$و${\displaystyle y_{k}=1}$، أو${\displaystyle p_{k}=0}$و${\displaystyle y_{k}=0}$وتقترب من اللانهاية كلما ساءت التوقعات (أي عندما${\displaystyle y_{k}=1}$و${\displaystyle p_{k}\to 0}$أو${\displaystyle y_{k}=0}$و${\displaystyle p_{k}\to 1}$مما يعني أن النتيجة الفعلية "أكثر إثارة للدهشة". وبما أن قيمة الدالة اللوجستية تقع دائمًا بين الصفر والواحد، فإن الخسارة اللوغاريتمية تكون دائمًا أكبر من الصفر وأقل من اللانهاية. على عكس الانحدار الخطي، حيث يمكن أن تكون خسارة النموذج صفرًا عند نقطة ما بالمرور عبر نقطة بيانات (وخسارة صفرية إجمالًا إذا كانت جميع النقاط على خط مستقيم)، فإنه في الانحدار اللوجستي لا يمكن أن تكون الخسارة صفرًا عند أي نقطة، لأن${\displaystyle y_{k}}$إما أن تكون القيمة 0 أو 1، ولكن${\displaystyle 0<p_{k}<1}$⁠ .

يمكن دمج هذه العناصر في تعبير واحد:

${\displaystyle \ell _{k}=-y_{k}\ln p_{k}-(1-y_{k})\ln(1-p_{k}).}$

يُعرف هذا التعبير بشكل أكثر رسمية باسم الإنتروبيا المتقاطعة للتوزيع المتوقع${\displaystyle {\big (}p_{k},(1-p_{k}){\big )}}$من التوزيع الفعلي${\displaystyle {\big (}y_{k},(1-y_{k}){\big )}}$، كتوزيعات احتمالية على فضاء العنصرين (ناجح، فاشل).

مجموع هذه الخسائر، أي الخسارة الكلية، هو الاحتمالية اللوغاريتمية السالبة الإجمالية${\displaystyle -\ell }$ويتم الحصول على أفضل تطابق لتلك الخيارات من${\displaystyle \beta _{0}}$و​​${\displaystyle \beta _{1}}$⁠ الذي ⁠${\displaystyle -\ell }$يتم تقليلها إلى الحد الأدنى .

بدلاً من ذلك، بدلاً من تقليل الخسارة، يمكن للمرء أن يزيد من معكوسها، وهو دالة الاحتمال اللوغاريتمي (الموجبة):

${\displaystyle \ell =\sum _{k:y_{k}=1}\ln(p_{k})+\sum _{k:y_{k}=0}\ln(1-p_{k})=\sum _{k=1}^{K}\left(\,y_{k}\ln(p_{k})+(1-y_{k})\ln(1-p_{k})\right)}$

أو بمعنى آخر، تعظيم دالة الاحتمال نفسها، وهي احتمال أن تكون مجموعة البيانات المعطاة ناتجة عن دالة لوجستية معينة:

${\displaystyle L=\prod _{k:y_{k}=1}p_{k}\,\prod _{k:y_{k}=0}(1-p_{k})}$

تُعرف هذه الطريقة باسم تقدير الاحتمال الأقصى .

بما أن ℓ غير خطية في ⁠${\displaystyle \beta _{0}}$و​​${\displaystyle \beta _{1}}$يتطلب تحديد قيمها المثلى استخدام طرق عددية. إحدى طرق تعظيم ℓ هي حساب مشتقات ℓ بالنسبة إلى${\displaystyle \beta _{0}}$و​​${\displaystyle \beta _{1}}$أن يكون صفرًا:

${\displaystyle 0={\frac {\partial \ell }{\partial \beta _{0}}}=\sum _{k=1}^{K}(y_{k}-p_{k})}$

${\displaystyle 0={\frac {\partial \ell }{\partial \beta _{1}}}=\sum _{k=1}^{K}(y_{k}-p_{k})x_{k}}$

ويمكن إنجاز عملية التعظيم عن طريق حل المعادلتين أعلاه لإيجاد قيمة ⁠${\displaystyle \beta _{0}}$و​​${\displaystyle \beta _{1}}$وهذا ، مرة أخرى، سيتطلب عمومًا استخدام الأساليب العددية.

قيم ⁠${\displaystyle \beta _{0}}$و​​${\displaystyle \beta _{1}}$تم التوصل إلى القيم التي تزيد من قيمتي ℓ و L باستخدام البيانات المذكورة أعلاه على النحو التالي:

${\displaystyle \beta _{0}\approx -4.1}$

${\displaystyle \beta _{1}\approx 1.5}$

مما ينتج عنه قيمة لـ μ و s كالتالي:

${\displaystyle \mu =-\beta _{0}/\beta _{1}\approx 2.7}$

${\displaystyle s=1/\beta _{1}\approx 0.67}$

الـ​${\displaystyle \beta _{0}}$و​​${\displaystyle \beta _{1}}$يمكن إدخال المعاملات في معادلة الانحدار اللوجستي لتقدير احتمالية اجتياز الامتحان.

على سبيل المثال، بالنسبة للطالب الذي يدرس ساعتين، أدخل القيمة${\displaystyle x=2}$بإدخال هذه القيمة في المعادلة، نحصل على الاحتمالية التقديرية لاجتياز الامتحان وهي 0.25:

${\displaystyle t=\beta _{0}+2\beta _{1}\approx -4.1+2\cdot 1.5=-1.1}$

${\displaystyle p={\frac {1}{1+e^{-t}}}\approx 0.25={\text{Probability of passing exam}}}$

وبالمثل، بالنسبة للطالب الذي يدرس 4 ساعات، فإن الاحتمالية المقدرة لاجتياز الامتحان هي 0.87:

${\displaystyle t=\beta _{0}+4\beta _{1}\approx -4.1+4\cdot 1.5=1.9}$

${\displaystyle p={\frac {1}{1+e^{-t}}}\approx 0.87={\text{Probability of passing exam}}}$

يوضح هذا الجدول الاحتمالية المقدرة لاجتياز الامتحان لعدة قيم من ساعات الدراسة.

ساعات الدراسة ( س )	اجتياز الامتحان
	احتمالات اللوغاريتم ( t )	الاحتمالات ( هـ ت )	الاحتمال ( p )
1	-2.57	0.076 ≈ 1:13.1	0.07
2	-1.07	0.34 ≈ 1:2.91	0.26
⁠${\displaystyle \mu \approx 2.7}$⁠	0	1	١ / ٢ = ٠ ٫ ٥٠
3	0.44	1.55	0.61
4	1.94	6.96	0.87
5	3.45	31.4	0.97

يُعطي تحليل الانحدار اللوجستي النتائج التالية.

بحسب اختبار والد ، تشير النتائج إلى أن عدد ساعات الدراسة يرتبط ارتباطًا وثيقًا باحتمالية اجتياز الامتحان (${\displaystyle p=0.017}$بدلاً من طريقة والد، فإن الطريقة الموصى بها ^{[ 21 ]} لحساب قيمة p للانحدار اللوجستي هي اختبار نسبة الاحتمال (LRT)، والذي يعطي لهذه البيانات${\displaystyle p\approx 0.00064}$(انظر §  اختبارات الانحراف ونسبة الاحتمال أدناه).

يُعدّ هذا النموذج البسيط مثالاً على الانحدار اللوجستي الثنائي، ويحتوي على متغير تفسيري واحد ومتغير فئوي ثنائي يمكن أن يأخذ إحدى قيمتين فئويتين. أما الانحدار اللوجستي متعدد الحدود فهو تعميم للانحدار اللوجستي الثنائي ليشمل أي عدد من المتغيرات التفسيرية وأي عدد من الفئات.

يمكن البدء بشرح الانحدار اللوجستي من خلال شرح الدالة اللوجستية القياسية . الدالة اللوجستية هي دالة سيجمويد ، تأخذ أي مدخل حقيقي .${\displaystyle t}$وتُخرج قيمة بين الصفر والواحد. ^{[ 2 ]} بالنسبة للوغيت، يُفسَّر هذا على أنه يأخذ مُدخلات لوغاريتمية للنسبة الاحتمالية ويُخرج احتمالًا . دالة اللوجستي القياسية${\displaystyle \sigma$ :\mathbb {R} \rightarrow (0,1)} تُعرَّف على النحو التالي:

${\displaystyle \sigma (t)={\frac {e^{t}}{e^{t}+1}}={\frac {1}{1+e^{-t}}}}$

يظهر في الشكل 1 رسم بياني للدالة اللوجستية على الفترة الزمنية t (−6,6).

لنفترض أن${\displaystyle t}$هي دالة خطية لمتغير تفسيري واحد${\displaystyle x}$(الحالة التي${\displaystyle t}$(يُعامل التركيب الخطي لمتغيرات تفسيرية متعددة بشكل مماثل). يمكننا بعد ذلك التعبير عن${\displaystyle t}$على النحو التالي:

${\displaystyle t=\beta _{0}+\beta _{1}x}$

والدالة اللوجستية العامة${\displaystyle p:\mathbb {R} \rightarrow (0,1)}$يمكن الآن كتابتها على النحو التالي:

${\displaystyle p(x)=\sigma (t)={\frac {1}{1+e^{-(\beta _{0}+\beta _{1}x)}}}}$

في النموذج اللوجستي،${\displaystyle p(x)}$يُفسر على أنه احتمال المتغير التابع${\displaystyle Y}$يُعادل ذلك نجاحاً/حالةً بدلاً من فشل/عدم وجود حالة. من الواضح أن متغيرات الاستجابة${\displaystyle Y_{i}}$لا تتوزع بشكل متطابق:${\displaystyle P(Y_{i}=1\mid X)}$يختلف عن نقطة بيانات واحدة${\displaystyle X_{i}}$بالنسبة لبعضها البعض، على الرغم من استقلالها بالنظر إلى مصفوفة التصميم.${\displaystyle X}$والمعايير المشتركة${\displaystyle \beta }$[ ^{11 ]​}

يمكننا الآن تعريف دالة اللوجيت (اللوغاريتم الاحتمالي) على أنها الدالة العكسية${\displaystyle g=\sigma ^{-1}}$من الدالة اللوجستية القياسية. من السهل ملاحظة أنها تحقق ما يلي:

${\displaystyle g(p(x))=\sigma ^{-1}(p(x))=\operatorname {logit} p(x)=\ln \left({\frac {p(x)}{1-p(x)}}\right)=\beta _{0}+\beta _{1}x,}$

وبالمثل، بعد رفع كلا الطرفين إلى الأس، نحصل على الاحتمالات:

${\displaystyle {\frac {p(x)}{1-p(x)}}=e^{\beta _{0}+\beta _{1}x}.}$

في المعادلات أعلاه، تكون الحدود كما يلي:

• ${\displaystyle g}$هي دالة اللوجيت. معادلة لـ${\displaystyle g(p(x))}$يوضح ذلك أن اللوجيت (أي اللوغاريتم الطبيعي للنسبة الاحتمالية) يعادل تعبير الانحدار الخطي.
• ${\displaystyle \ln }$يرمز إلى اللوغاريتم الطبيعي .
• ${\displaystyle p(x)}$هي احتمالية أن يساوي المتغير التابع حالة معينة، بالنظر إلى توليفة خطية معينة من المتغيرات المستقلة. صيغة لـ${\displaystyle p(x)}$يوضح هذا أن احتمال تساوي المتغير التابع لحالة معينة يساوي قيمة الدالة اللوجستية لمعادلة الانحدار الخطي. وهذا مهم لأنه يُبين أن قيمة معادلة الانحدار الخطي يمكن أن تتراوح من سالب ما لا نهاية إلى موجب ما لا نهاية، ومع ذلك، بعد التحويل، فإن الصيغة الناتجة للاحتمال تبقى ثابتة.${\displaystyle p(x)}$تتراوح قيمتها بين 0 و 1.
• ${\displaystyle \beta _{0}}$يمثل هذا التقاطع من معادلة الانحدار الخطي (قيمة المعيار عندما يكون المتنبئ مساوياً للصفر).
• ${\displaystyle \beta _{1}x}$هو معامل الانحدار مضروبًا في قيمة معينة للمتغير التنبؤي.
• قاعدة${\displaystyle e}$يرمز إلى الدالة الأسية.

احتمالات أن يساوي المتغير التابع حالة معينة (بالنظر إلى تركيبة خطية معينة)${\displaystyle x}$(من المتغيرات التنبؤية) يُعادل الدالة الأسية لمعادلة الانحدار الخطي. يوضح هذا كيف تعمل دالة اللوجيت كدالة ربط بين الاحتمالية ومعادلة الانحدار الخطي. ونظرًا لأن قيمة اللوجيت تتراوح بين سالب ما لا نهاية وموجب ما لا نهاية، فإنها توفر معيارًا مناسبًا لإجراء الانحدار الخطي، ويمكن تحويل قيمة اللوجيت بسهولة إلى نسبة الاحتمالات. ^{[ 2 ]}

لذا نُعرّف احتمالات تساوي المتغير التابع مع حالة معينة (بالنظر إلى تركيبة خطية معينة).${\displaystyle x}$(من المتغيرات التنبؤية) على النحو التالي:

${\displaystyle {\text{odds}}=e^{\beta _{0}+\beta _{1}x}.}$

بالنسبة للمتغير المستقل المستمر، يمكن تعريف نسبة الاحتمالات على النحو التالي:

${\displaystyle \mathrm {OR} ={\frac {\operatorname {odds} (x+1)}{\operatorname {odds} (x)}}={\frac {\left({\frac {p(x+1)}{1-p(x+1)}}\right)}{\left({\frac {p(x)}{1-p(x)}}\right)}}={\frac {e^{\beta _{0}+\beta _{1}(x+1)}}{e^{\beta _{0}+\beta _{1}x}}}=e^{\beta _{1}}}$

توفر هذه العلاقة الأسية تفسيراً لـ${\displaystyle \beta _{1}}$تتضاعف الاحتمالات بـ${\displaystyle e^{\beta _{1}}}$لكل زيادة بمقدار وحدة واحدة في x. ^{[ 22 ]}

بالنسبة لمتغير مستقل ثنائي، تُعرَّف نسبة الاحتمالات على النحو التالي:${\displaystyle {\frac {ad}{bc}}}$حيث تمثل a و b و c و d خلايا في جدول توافق 2×2 . ^{[ 23 ]}

في حالة وجود متغيرات تفسيرية متعددة، فإن التعبير أعلاه${\displaystyle \beta _{0}+\beta _{1}x}$يمكن تعديلها إلى${\displaystyle \beta _{0}+\beta _{1}x_{1}+\beta _{2}x_{2}+\cdots +\beta _{m}x_{m}=\beta _{0}+\sum _{i=1}^{m}\beta _{i}x_{i}}$ثم عند استخدام هذا في المعادلة التي تربط اللوغاريتم الطبيعي لاحتمالية النجاح بقيم المتغيرات التنبؤية، سيصبح الانحدار الخطي انحدارًا متعددًا مع m من المتغيرات التفسيرية؛ المعاملات${\displaystyle \beta _{i}}$للجميع${\displaystyle i=0,1,2,\dots ,m}$جميعها تقديرات.

ومرة أخرى، المعادلات الأكثر تقليدية هي:

${\displaystyle \log {\frac {p}{1-p}}=\beta _{0}+\beta _{1}x_{1}+\beta _{2}x_{2}+\cdots +\beta _{m}x_{m}}$

و

${\displaystyle p={\frac {1}{1+b^{-(\beta _{0}+\beta _{1}x_{1}+\beta _{2}x_{2}+\cdots +\beta _{m}x_{m})}}}}$

حيث عادة${\displaystyle b=e}$.

يمكن تعميم المثال المذكور أعلاه للانحدار اللوجستي الثنائي على متغير تفسيري واحد ليشمل الانحدار اللوجستي الثنائي على أي عدد من المتغيرات التفسيرية x1 _، x2 ، ... وأي عدد من القيم الفئوية _.${\displaystyle y=0,1,2,\dots }$.

بدايةً، يمكننا النظر في نموذج لوجستي ذي M متغيرًا تفسيريًا، x1 _، x2 ، _... ، xM _، وكما في المثال أعلاه، قيمتين فئويتين ( y = 0 و1). بالنسبة لنموذج الانحدار اللوجستي الثنائي البسيط، افترضنا وجود علاقة خطية بين المتغير التنبؤي واللوغاريتم الطبيعي لنسبة احتمالية وقوع الحدث (المعروف أيضًا باسم اللوجيت ).${\displaystyle y=1}$يمكن تعميم هذه العلاقة الخطية على حالة وجود M من المتغيرات التفسيرية:

${\displaystyle t=\log _{b}{\frac {p}{1-p}}=\beta _{0}+\beta _{1}x_{1}+\beta _{2}x_{2}+\cdots +\beta _{M}x_{M}}$

حيث t هو اللوغاريتم الطبيعي للنسبة الاحتمالية و${\displaystyle \beta _{i}}$هي معلمات النموذج. وقد تم إدخال تعميم إضافي لا يقتصر فيه أساس النموذج ( b ) على عدد أويلر e . في معظم التطبيقات، يكون الأساس${\displaystyle b}$عادةً ما يتم اعتبار اللوغاريتم هو e . ومع ذلك، في بعض الحالات قد يكون من الأسهل توصيل النتائج بالعمل في الأساس 2 أو الأساس 10.

لتبسيط الترميز، سنحدد المتغيرات التفسيرية ومعاملات β على النحو التالي :${\displaystyle (M+1)}$المتجهات ذات الأبعاد :

${\displaystyle {\boldsymbol {x}}=\{x_{0},x_{1},x_{2},\dots ,x_{M}\}}$

${\displaystyle {\boldsymbol {\beta }}=\{\beta _{0},\beta _{1},\beta _{2},\dots ,\beta _{M}\}}$

مع إضافة متغير تفسيري x ₀ =1. يمكن الآن كتابة اللوجيت على النحو التالي:

${\displaystyle t=\sum _{m=0}^{M}\beta _{m}x_{m}={\boldsymbol {\beta }}\cdot x}$

إيجاد الاحتمال p أن${\displaystyle y=1}$ينتج عنه:

${\displaystyle p({\boldsymbol {x}})={\frac {b^{{\boldsymbol {\beta }}\cdot {\boldsymbol {x}}}}{1+b^{{\boldsymbol {\beta }}\cdot {\boldsymbol {x}}}}}={\frac {1}{1+b^{-{\boldsymbol {\beta }}\cdot {\boldsymbol {x}}}}}=S_{b}(t)}$،

أين${\displaystyle S_{b}}$هي دالة سيجمويد ذات أساس${\displaystyle b}$تُظهر الصيغة أعلاه أنه بمجرد${\displaystyle \beta _{m}}$إذا كانت المتغيرات ثابتة، فيمكننا بسهولة حساب احتمالات اللوغاريتم التي${\displaystyle y=1}$بالنسبة لملاحظة معينة، أو احتمال أن${\displaystyle y=1}$بالنسبة لملاحظة معينة. تتمثل حالة الاستخدام الرئيسية للنموذج اللوجستي في إعطاء ملاحظة${\displaystyle {\boldsymbol {x}}}$وتقدير الاحتمالية${\displaystyle p({\boldsymbol {x}})}$الذي - التي${\displaystyle y=1}$يمكن إيجاد معاملات بيتا المثلى مرة أخرى عن طريق تعظيم دالة الاحتمال اللوغاريتمي. بالنسبة لقياسات K ، يتم تعريف${\displaystyle {\boldsymbol {x}}_{k}}$باعتباره المتجه التفسيري للقياس رقم k ، و${\displaystyle y_{k}}$باعتبارها النتيجة التصنيفية لهذا القياس، يمكن كتابة دالة الاحتمال اللوغاريتمي في شكل مشابه جدًا للشكل البسيط${\displaystyle M=1}$الحالة المذكورة أعلاه:

${\displaystyle \ell =\sum _{k=1}^{K}y_{k}\log _{b}(p({\boldsymbol {x_{k}}}))+\sum _{k=1}^{K}(1-y_{k})\log _{b}(1-p({\boldsymbol {x_{k}}}))}$

كما في المثال البسيط أعلاه، يتطلب إيجاد قيم معاملات β المثلى استخدام أساليب عددية. إحدى التقنيات المفيدة هي مساواة مشتقات دالة الاحتمال اللوغاريتمي بالنسبة لكل معامل من معاملات β بالصفر، مما ينتج عنه مجموعة من المعادلات التي تتحقق عند القيمة القصوى لدالة الاحتمال اللوغاريتمي.

${\displaystyle {\frac {\partial \ell }{\partial \beta _{m}}}=0=\sum _{k=1}^{K}y_{k}x_{mk}-\sum _{k=1}^{K}p({\boldsymbol {x}}_{k})x_{mk}}$

حيث x _mk هي قيمة المتغير التفسيري x _m من القياس رقم k .

لنأخذ مثالاً مع${\displaystyle M=2}$المتغيرات التفسيرية،${\displaystyle b=10}$، والمعاملات${\displaystyle \beta _{0}=-3}$،${\displaystyle \beta _{1}=1}$، و${\displaystyle \beta _{2}=2}$والتي تم تحديدها بالطريقة المذكورة أعلاه. وبشكل أكثر تحديداً، فإن النموذج هو:

${\displaystyle t=\log _{10}{\frac {p}{1-p}}=-3+x_{1}+2x_{2}}$

${\displaystyle p={\frac {b^{{\boldsymbol {\beta }}\cdot {\boldsymbol {x}}}}{1+b^{{\boldsymbol {\beta }}\cdot x}}}={\frac {b^{\beta _{0}+\beta _{1}x_{1}+\beta _{2}x_{2}}}{1+b^{\beta _{0}+\beta _{1}x_{1}+\beta _{2}x_{2}}}}={\frac {1}{1+b^{-(\beta _{0}+\beta _{1}x_{1}+\beta _{2}x_{2})}}}}$،

حيث p هو احتمال وقوع الحدث الذي${\displaystyle y=1}$ويمكن تفسير ذلك على النحو التالي:

• ${\displaystyle \beta _{0}=-3}$يمثل نقطة تقاطع المحور الصادي . وهو اللوغاريتم الطبيعي لاحتمالية وقوع الحدث الذي${\displaystyle y=1}$عندما تكون المتغيرات التنبؤية${\displaystyle x_{1}=x_{2}=0}$من خلال الرفع إلى الأس، يمكننا أن نرى أنه عندما${\displaystyle x_{1}=x_{2}=0}$احتمالات وقوع الحدث الذي${\displaystyle y=1}$هي من 1 إلى 1000، أو${\displaystyle 10^{-3}}$وبالمثل، فإن احتمال وقوع الحدث الذي${\displaystyle y=1}$متى${\displaystyle x_{1}=x_{2}=0}$يمكن حسابها على النحو التالي${\displaystyle 1/(1000+1)=1/1001.}$
• ${\displaystyle \beta _{1}=1}$زيادة${\displaystyle x_{1}}$يزيد الرقم بمقدار 1 من احتمالات اللوغاريتم بمقدار${\displaystyle 1}$لذا إذا${\displaystyle x_{1}}$تزداد احتمالات أن${\displaystyle y=1}$زيادة بمعامل${\displaystyle 10^{1}}$احتمالية${\displaystyle y=1}$وقد ازدادت أيضاً، لكنها لم تزد بنفس القدر الذي ازدادت به الاحتمالات.
• ${\displaystyle \beta _{2}=2}$زيادة${\displaystyle x_{2}}$يزيد الرقم بمقدار 1 من احتمالات اللوغاريتم بمقدار${\displaystyle 2}$لذا إذا${\displaystyle x_{2}}$تزداد احتمالات أن${\displaystyle y=1}$زيادة بمعامل${\displaystyle 10^{2}.}$لاحظ كيف أثر${\displaystyle x_{2}}$يكون تأثير اللوغاريتم الاحتمالي ضعف تأثير${\displaystyle x_{1}}$لكن التأثير على الاحتمالات أكبر بعشر مرات. لكن التأثير على احتمالية${\displaystyle y=1}$ليس أكبر بعشر مرات، إنما التأثير على الاحتمالات هو الأكبر بعشر مرات فقط.

في الحالات المذكورة أعلاه لفئتين (الانحدار اللوجستي الثنائي)، تم ترقيم الفئات بـ "0" و"1"، وكان لدينا احتمالان: احتمال أن تكون النتيجة في الفئة 1 يُعطى بواسطة${\displaystyle p({\boldsymbol {x}})}$واحتمالية أن تكون النتيجة في الفئة 0 تُعطى بواسطة${\displaystyle 1-p({\boldsymbol {x}})}$مجموع هذه الاحتمالات يساوي 1، وهو أمر يجب أن يكون صحيحًا، لأن "0" و "1" هما الفئتان الوحيدتان الممكنتان في هذا الإعداد.

بشكل عام ، إذا كان لدينا${\displaystyle M+1}$المتغيرات التفسيرية (بما في ذلك x ₀ ) و${\displaystyle N+1}$سنحتاج إلى تصنيفات${\displaystyle N+1}$احتمالات منفصلة ، ​​احتمال واحد لكل فئة، مُفهرسة بالرمز n ، تصف احتمال أنتكون النتيجة الفئوية y في الفئة y=n ، بشرط وجود متجه المتغيرات المساعدة x . يجب أن يساوي مجموع هذه الاحتمالات على جميع الفئات 1. باستخدام الأساس الرياضي e ، تكون هذه الاحتمالات كما يلي:

${\displaystyle p_{n}({\boldsymbol {x}})={\frac {e^{{\boldsymbol {\beta }}_{n}\cdot {\boldsymbol {x}}}}{1+\sum _{u=1}^{N}e^{{\boldsymbol {\beta }}_{u}\cdot {\boldsymbol {x}}}}}}$ل${\displaystyle n=1,2,\dots ,N}$

${\displaystyle p_{0}({\boldsymbol {x}})=1-\sum _{n=1}^{N}p_{n}({\boldsymbol {x}})={\frac {1}{1+\sum _{u=1}^{N}e^{{\boldsymbol {\beta }}_{u}\cdot {\boldsymbol {x}}}}}}$

كل الاحتمالات باستثناء${\displaystyle p_{0}({\boldsymbol {x}})}$سيكون لكل منها مجموعة خاصة بها من معاملات الانحدار${\displaystyle {\boldsymbol {\beta }}_{n}}$يتضح أنه، كما هو مطلوب، مجموع${\displaystyle p_{n}({\boldsymbol {x}})}$في جميع الفئات، يكون عدد الفئات n هو 1. اختيار${\displaystyle p_{0}({\boldsymbol {x}})}$إن تعريفها بدلالة الاحتمالات الأخرى أمرٌ مصطنع. كان من الممكن اختيار أيٍّ من الاحتمالات لتعريفها بهذه الطريقة. تُسمى هذه القيمة الخاصة لـ n "مؤشر المحور"، ويتم التعبير عن اللوغاريتم الطبيعي للنسبة ( t _n ) بدلالة احتمال المحور، ويتم التعبير عنها بدورها كتركيبة خطية للمتغيرات التفسيرية.

${\displaystyle t_{n}=\ln \left({\frac {p_{n}({\boldsymbol {x}})}{p_{0}({\boldsymbol {x}})}}\right)={\boldsymbol {\beta }}_{n}\cdot {\boldsymbol {x}}}$

لاحظ أيضًا أنه في الحالة البسيطة لـ${\displaystyle N=1}$تم استرداد القضية المصنفة ضمن فئتين، مع${\displaystyle p({\boldsymbol {x}})=p_{1}({\boldsymbol {x}})}$و${\displaystyle p_{0}({\boldsymbol {x}})=1-p_{1}({\boldsymbol {x}})}$.

يمكن الآن حساب احتمالية توليد مجموعة معينة من K قياسات أو نقاط بيانات بواسطة الاحتمالات المذكورة أعلاه. وبفهرسة كل قياس بالرمز k ، فلنرمز إلى المجموعة k من المتغيرات التفسيرية المقاسة بالرمز .${\displaystyle {\boldsymbol {x}}_{k}}$ويمكن الإشارة إلى نتائجها التصنيفية بـ${\displaystyle y_{k}}$والتي يمكن أن تساوي أي عدد صحيح في الفترة [0، N]. وبالتالي، فإن دالة الاحتمال اللوغاريتمي هي:

${\displaystyle \ell =\sum _{k=1}^{K}\sum _{n=0}^{N}\Delta (n,y_{k})\,\ln(p_{n}({\boldsymbol {x}}_{k}))}$

أين${\displaystyle \Delta (n,y_{k})}$هي دالة مؤشر تساوي 1 إذا كان y _{_k} = n، وتساوي صفرًا فيما عدا ذلك. في حالة وجود متغيرين تفسيريين، عُرِّفت هذه الدالة على أنها y_{_k} عندما n = 1، و 1 - y_{_k} عندما n = 0. كان هذا مناسبًا، ولكنه ليس ضروريًا. ^{[ 24 ]} مرة أخرى، يمكن إيجاد معاملات بيتا المثلى عن طريق تعظيم دالة الاحتمال اللوغاريتمي باستخدام الطرق العددية عمومًا. إحدى طرق الحل الممكنة هي جعل مشتقات دالة الاحتمال اللوغاريتمي بالنسبة لكل معامل بيتا تساوي صفرًا، ثم حل المعادلة لإيجاد معاملات بيتا.

${\displaystyle {\frac {\partial \ell }{\partial \beta _{nm}}}=0=\sum _{k=1}^{K}\Delta (n,y_{k})x_{mk}-\sum _{k=1}^{K}p_{n}({\boldsymbol {x}}_{k})x_{mk}}$

أين${\displaystyle \beta _{nm}}$هو المعامل رقم m من${\displaystyle {\boldsymbol {\beta }}_{n}}$متجه و${\displaystyle x_{mk}}$يمثل المتغير التفسيري رقم m للقياس رقم k . بمجرد تقدير معاملات بيتا من البيانات، سنتمكن من تقدير احتمالية أن تؤدي أي مجموعة لاحقة من المتغيرات التفسيرية إلى أي من فئات النتائج الممكنة.

إن النموذج المحدد المستخدم في الانحدار اللوجستي، والذي يميزه عن الانحدار الخطي القياسي وعن أنواع تحليل الانحدار الأخرى المستخدمة للنتائج ذات القيم الثنائية ، هو الطريقة التي يتم بها ربط احتمالية حدوث نتيجة معينة بدالة التنبؤ الخطية:

${\displaystyle \operatorname {logit} (\operatorname {\mathbb {E} } [Y_{i}\mid x_{1,i},\ldots ,x_{m,i}])=\operatorname {logit} (p_{i})=\ln \left({\frac {p_{i}}{1-p_{i}}}\right)=\beta _{0}+\beta _{1}x_{1,i}+\cdots +\beta _{m}x_{m,i}}$

مكتوبة باستخدام الصيغة المختصرة الموضحة أعلاه، وهي كالتالي:

${\displaystyle \operatorname {logit} (\operatorname {\mathbb {E} } [Y_{i}\mid \mathbf {X} _{i}])=\operatorname {logit} (p_{i})=\ln \left({\frac {p_{i}}{1-p_{i}}}\right)={\boldsymbol {\beta }}\cdot \mathbf {X} _{i}}$

تعبر هذه الصيغة عن الانحدار اللوجستي كنوع من النموذج الخطي المعمم ، والذي يتنبأ بالمتغيرات بأنواع مختلفة من التوزيعات الاحتمالية عن طريق ملاءمة دالة تنبؤ خطية بالشكل المذكور أعلاه لنوع من التحويل التعسفي للقيمة المتوقعة للمتغير.

تم شرح فكرة التحويل باستخدام دالة اللوجيت (اللوغاريتم الطبيعي للنسبة الاحتمالية) أعلاه . ولها أيضًا تأثير عملي يتمثل في تحويل الاحتمالية (التي تتراوح قيمتها بين 0 و1) إلى متغير يتراوح بين 0 و1.${\displaystyle (-\infty ,+\infty )}$— وبالتالي مطابقة النطاق المحتمل لدالة التنبؤ الخطي على الجانب الأيمن من المعادلة.

كل من الاحتمالات pᵢ _{ومعاملات} الانحدار غير قابلة للملاحظة، ولا تُعدّ طريقة تحديدها جزءًا من النموذج نفسه. عادةً ما يتم تحديدها من خلال نوع من إجراءات التحسين، مثل تقدير الاحتمال الأقصى ، الذي يجد القيم التي تُطابق البيانات المرصودة على أفضل وجه (أي التي تُعطي أدق التنبؤات للبيانات المرصودة بالفعل)، وعادةً ما تخضع لشروط تنظيمية تسعى إلى استبعاد القيم غير المحتملة، مثل القيم الكبيرة جدًا لأي من معاملات الانحدار. يُعادل استخدام شرط تنظيمي إجراء تقدير الاحتمال اللاحق الأقصى (MAP)، وهو امتداد لتقدير الاحتمال الأقصى. (يتم التنظيم عادةً باستخدام دالة تنظيمية تربيعية ، وهي تُعادل وضع توزيع غاوسي مسبق بمتوسط ​​صفري على المعاملات، ولكن توجد منظمات أخرى ممكنة أيضًا). سواءً تم استخدام التنظيم أم لا، فإنه عادةً ما يكون من غير الممكن إيجاد حل مغلق. بدلاً من ذلك، يجب استخدام طريقة عددية تكرارية، مثل المربعات الصغرى الموزونة بشكل تكراري (IRLS) أو، بشكل أكثر شيوعًا هذه الأيام، طريقة شبه نيوتن مثل طريقة L-BFGS . ^{[ 25 ]}

يُفسَّر تقدير المعامل β _j على أنه التأثير التراكمي على لوغاريتم احتمالات حدوث تغيير بمقدار وحدة واحدة في المتغير التفسيري j . في حالة المتغير التفسيري الثنائي، على سبيل المثال، الجنس${\displaystyle e^{\beta }}$هو تقدير احتمالات حدوث النتيجة، على سبيل المثال، للذكور مقارنة بالإناث.

تستخدم الصيغة المكافئة معكوس دالة اللوجيت، وهي الدالة اللوجستية ، أي:

${\displaystyle \operatorname {\mathbb {E} } [Y_{i}\mid \mathbf {X} _{i}]=p_{i}=\operatorname {logit} ^{-1}({\boldsymbol {\beta }}\cdot \mathbf {X} _{i})={\frac {1}{1+e^{-{\boldsymbol {\beta }}\cdot \mathbf {X} _{i}}}}}$

يمكن أيضًا كتابة الصيغة على شكل توزيع احتمالي (وتحديدًا باستخدام دالة الكتلة الاحتمالية ):

${\displaystyle \Pr(Y_{i}=y\mid \mathbf {X} _{i})={p_{i}}^{y}(1-p_{i})^{1-y}=\left({\frac {e^{{\boldsymbol {\beta }}\cdot \mathbf {X} _{i}}}{1+e^{{\boldsymbol {\beta }}\cdot \mathbf {X} _{i}}}}\right)^{y}\left(1-{\frac {e^{{\boldsymbol {\beta }}\cdot \mathbf {X} _{i}}}{1+e^{{\boldsymbol {\beta }}\cdot \mathbf {X} _{i}}}}\right)^{1-y}={\frac {e^{{\boldsymbol {\beta }}\cdot \mathbf {X} _{i}\cdot y}}{1+e^{{\boldsymbol {\beta }}\cdot \mathbf {X} _{i}}}}}$

يتمتع النموذج اللوجستي بصيغة مكافئة لنموذج المتغيرات الكامنة . هذه الصيغة شائعة في نظرية نماذج الاختيار المنفصل ، وتسهل توسيعها لتشمل نماذج أكثر تعقيدًا ذات خيارات متعددة ومترابطة، بالإضافة إلى مقارنة الانحدار اللوجستي بنموذج بروبيت ذي الصلة الوثيقة .

تخيل أنه لكل تجربة i ، يوجد متغير كامن مستمر Y _i ^* (أي متغير عشوائي غير ملاحظ ) يتم توزيعه على النحو التالي:

${\displaystyle Y_{i}^{\ast }={\boldsymbol {\beta }}\cdot \mathbf {X} _{i}+\varepsilon _{i}\,}$

أين

${\displaystyle \varepsilon _{i}\sim \operatorname {Logistic} (0,1)\,}$

أي أن المتغير الكامن يمكن كتابته مباشرة بدلالة دالة التنبؤ الخطي ومتغير الخطأ العشوائي الإضافي الذي يتم توزيعه وفقًا للتوزيع اللوجستي القياسي .

ويمكن اعتبار Y _i مؤشراً على ما إذا كان هذا المتغير الكامن موجباً أم لا:

${\displaystyle Y_{i}={\begin{cases}1&{\text{if }}Y_{i}^{\ast }>0\ {\text{ i.e. }}{-\varepsilon _{i}}<{\boldsymbol {\beta }}\cdot \mathbf {X} _{i},\\0&{\text{otherwise.}}\end{cases}}}$

قد يبدو اختيار نمذجة متغير الخطأ باستخدام التوزيع اللوجستي القياسي، بدلاً من التوزيع اللوجستي العام مع تحديد الموقع والمقياس بقيم عشوائية، مقيدًا، ولكنه في الواقع ليس كذلك. يجب أن نضع في اعتبارنا أنه بإمكاننا اختيار معاملات الانحدار بأنفسنا، وفي كثير من الأحيان يمكننا استخدامها لتعويض التغيرات في معلمات توزيع متغير الخطأ. على سبيل المثال، يُكافئ التوزيع اللوجستي لمتغير الخطأ بمعامل موقع غير صفري μ (الذي يحدد المتوسط) توزيعًا بمعامل موقع صفري، حيث تمت إضافة μ إلى معامل التقاطع. تُنتج كلتا الحالتين القيمة نفسها لـ Y _i ^* بغض النظر عن إعدادات المتغيرات التفسيرية. وبالمثل، يُكافئ معامل المقياس العشوائي s ضبط معامل المقياس على 1 ثم قسمة جميع معاملات الانحدار على s . في الحالة الأخيرة، ستكون القيمة الناتجة لـ Y _i ^* أصغر بمعامل s مقارنة بالحالة الأولى، لجميع مجموعات المتغيرات التفسيرية - ولكن الأهم من ذلك، أنها ستبقى دائمًا على نفس جانب 0، وبالتالي ستؤدي إلى نفس اختيار Y _i .

(هذا يتنبأ بأن عدم أهمية معامل المقياس قد لا ينتقل إلى النماذج الأكثر تعقيدًا حيث يتوفر أكثر من خيارين.)

اتضح أن هذه الصيغة مكافئة تمامًا للصيغة السابقة، المصاغة بصيغة النموذج الخطي المعمم وبدون أي متغيرات كامنة . ويمكن إثبات ذلك على النحو التالي، باستخدام حقيقة أن دالة التوزيع التراكمي (CDF) للتوزيع اللوجستي القياسي هي الدالة اللوجستية ، وهي معكوس دالة اللوجيت ، أي

${\displaystyle \Pr(\varepsilon _{i}<x)=\operatorname {logit} ^{-1}(x)}$

ثم:

${\displaystyle {\begin{aligned}\Pr(Y_{i}=1\mid \mathbf {X} _{i})&=\Pr(Y_{i}^{\ast }>0\mid \mathbf {X} _{i})\\[5pt]&=\Pr({\boldsymbol {\beta }}\cdot \mathbf {X} _{i}+\varepsilon _{i}>0)\\[5pt]&=\Pr(\varepsilon _{i}>-{\boldsymbol {\beta }}\cdot \mathbf {X} _{i})\\[5pt]&=\Pr(\varepsilon _{i}<{\boldsymbol {\beta }}\cdot \mathbf {X} _{i})&&{\text{(because the logistic distribution is symmetric)}}\\[5pt]&=\operatorname {logit} ^{-1}({\boldsymbol {\beta }}\cdot \mathbf {X} _{i})&\\[5pt]&=p_{i}&&{\text{(see above)}}\end{aligned}}}$

توضح هذه الصيغة، وهي صيغة قياسية في نماذج الاختيار المنفصل ، العلاقة بين الانحدار اللوجستي (نموذج اللوجيت) ونموذج البروبيت ، الذي يستخدم متغير خطأ موزعًا وفقًا للتوزيع الطبيعي القياسي بدلًا من التوزيع اللوجستي القياسي. كلا التوزيعين، اللوجستي والطبيعي، متناظران ويتخذان شكل منحنى الجرس أحادي النمط. الفرق الوحيد هو أن التوزيع اللوجستي له ذيول أثقل نوعًا ما ، مما يعني أنه أقل حساسية للبيانات الشاذة (وبالتالي أكثر مقاومة لأخطاء النموذج أو البيانات الخاطئة).

وهناك صيغة أخرى تستخدم متغيرين كامنين منفصلين:

${\displaystyle {\begin{aligned}Y_{i}^{0\ast }&={\boldsymbol {\beta }}_{0}\cdot \mathbf {X} _{i}+\varepsilon _{0}\,\\Y_{i}^{1\ast }&={\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}+\varepsilon _{1}\,\end{aligned}}}$

أين

${\displaystyle {\begin{aligned}\varepsilon _{0}&\sim \operatorname {EV} _{1}(0,1)\\\varepsilon _{1}&\sim \operatorname {EV} _{1}(0,1)\end{aligned}}}$

حيث EV _{1 (0,1) هو} توزيع القيمة القصوى القياسي من النوع الأول : أي

${\displaystyle \Pr(\varepsilon _{0}=x)=\Pr(\varepsilon _{1}=x)=e^{-x}e^{-e^{-x}}}$

ثم

${\displaystyle Y_{i}={\begin{cases}1&{\text{if }}Y_{i}^{1\ast }>Y_{i}^{0\ast },\\0&{\text{otherwise.}}\end{cases}}}$

يحتوي هذا النموذج على متغير كامن منفصل ومجموعة منفصلة من معاملات الانحدار لكل نتيجة محتملة للمتغير التابع. والسبب في هذا الفصل هو تسهيل توسيع الانحدار اللوجستي ليشمل المتغيرات الفئوية متعددة النتائج، كما هو الحال في نموذج اللوجيت متعدد الحدود . في مثل هذا النموذج، من الطبيعي نمذجة كل نتيجة محتملة باستخدام مجموعة مختلفة من معاملات الانحدار. كما يمكن تبرير كل متغير كامن منفصل باعتباره المنفعة النظرية المرتبطة باتخاذ الخيار المرتبط به، وبالتالي تبرير الانحدار اللوجستي من منظور نظرية المنفعة . (من منظور نظرية المنفعة، يختار الفاعل العقلاني دائمًا الخيار الذي يحقق أكبر منفعة مرتبطة به). هذا هو النهج الذي يتبعه الاقتصاديون عند صياغة نماذج الاختيار المنفصل ، لأنه يوفر أساسًا نظريًا قويًا ويسهل فهم النموذج، مما يسهل بدوره النظر في أنواع مختلفة من التوسعات. (انظر المثال أدناه).

يبدو اختيار توزيع القيمة القصوى من النوع الأول تعسفيًا إلى حد ما، ولكنه يجعل الرياضيات تعمل، وقد يكون من الممكن تبرير استخدامه من خلال نظرية الاختيار العقلاني .

اتضح أن هذا النموذج مكافئ للنموذج السابق، على الرغم من أن هذا قد يبدو غير بديهي، نظرًا لوجود مجموعتين من معاملات الانحدار ومتغيرات الخطأ، ولأن متغيرات الخطأ لها توزيع مختلف. في الواقع، يختزل هذا النموذج مباشرةً إلى النموذج السابق بإجراء الاستبدالات التالية:

${\displaystyle {\boldsymbol {\beta }}={\boldsymbol {\beta }}_{1}-{\boldsymbol {\beta }}_{0}}$

${\displaystyle \varepsilon =\varepsilon _{1}-\varepsilon _{0}}$

ينبع هذا الحدس من حقيقة أنه بما أننا نختار بناءً على القيمة القصوى بين قيمتين، فإن الفرق بينهما هو المهم فقط، وليس القيم نفسها، وهذا يُلغي فعليًا درجة واحدة من درجات الحرية . ومن الحقائق المهمة الأخرى أن الفرق بين متغيرين من النوع الأول يتبع توزيع القيم المتطرفة يتبع التوزيع اللوجستي، أي${\displaystyle \varepsilon =\varepsilon _{1}-\varepsilon _{0}\sim \operatorname {Logistic} (0,1).}$يمكننا توضيح المكافئ على النحو التالي:

${\displaystyle {\begin{aligned}\Pr(Y_{i}=1\mid \mathbf {X} _{i})={}&\Pr \left(Y_{i}^{1\ast }>Y_{i}^{0\ast }\mid \mathbf {X} _{i}\right)&\\[5pt]={}&\Pr \left(Y_{i}^{1\ast }-Y_{i}^{0\ast }>0\mid \mathbf {X} _{i}\right)&\\[5pt]={}&\Pr \left({\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}+\varepsilon _{1}-\left({\boldsymbol {\beta }}_{0}\cdot \mathbf {X} _{i}+\varepsilon _{0}\right)>0\right)&\\[5pt]={}&\Pr \left(({\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}-{\boldsymbol {\beta }}_{0}\cdot \mathbf {X} _{i})+(\varepsilon _{1}-\varepsilon _{0})>0\right)&\\[5pt]={}&\Pr(({\boldsymbol {\beta }}_{1}-{\boldsymbol {\beta }}_{0})\cdot \mathbf {X} _{i}+(\varepsilon _{1}-\varepsilon _{0})>0)&\\[5pt]={}&\Pr(({\boldsymbol {\beta }}_{1}-{\boldsymbol {\beta }}_{0})\cdot \mathbf {X} _{i}+\varepsilon >0)&&{\text{(substitute }}\varepsilon {\text{ as above)}}\\[5pt]={}&\Pr({\boldsymbol {\beta }}\cdot \mathbf {X} _{i}+\varepsilon >0)&&{\text{(substitute }}{\boldsymbol {\beta }}{\text{ as above)}}\\[5pt]={}&\Pr(\varepsilon >-{\boldsymbol {\beta }}\cdot \mathbf {X} _{i})&&{\text{(now, same as above model)}}\\[5pt]={}&\Pr(\varepsilon <{\boldsymbol {\beta }}\cdot \mathbf {X} _{i})&\\[5pt]={}&\operatorname {logit} ^{-1}({\boldsymbol {\beta }}\cdot \mathbf {X} _{i})\\[5pt]={}&p_{i}\end{aligned}}}$

وهناك صيغة أخرى تجمع بين صيغة المتغير الكامن ثنائي الاتجاه المذكورة أعلاه والصيغة الأصلية أعلاه بدون متغيرات كامنة، وفي هذه العملية توفر رابطًا لإحدى الصيغ القياسية للوغيت متعدد الحدود .

هنا، بدلاً من كتابة لوغاريتم الاحتمالات p _i كمتنبئ خطي، نقوم بفصل المتنبئ الخطي إلى اثنين، واحد لكل من النتيجتين:

${\displaystyle {\begin{aligned}\ln \Pr(Y_{i}=0)&={\boldsymbol {\beta }}_{0}\cdot \mathbf {X} _{i}-\ln Z\\\ln \Pr(Y_{i}=1)&={\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}-\ln Z\end{aligned}}}$

تم إدخال مجموعتين منفصلتين من معاملات الانحدار، تمامًا كما هو الحال في نموذج المتغير الكامن ثنائي الاتجاه، وتظهر المعادلتان في شكل يكتب لوغاريتم الاحتمال المرتبط كمتنبئ خطي، مع حد إضافي.${\displaystyle -\ln Z}$في النهاية. هذا الحد، كما اتضح، يعمل كعامل توحيد يضمن أن تكون النتيجة توزيعًا. ويمكن ملاحظة ذلك برفع كلا الطرفين إلى الأس:

${\displaystyle {\begin{aligned}\Pr(Y_{i}=0)&={\frac {1}{Z}}e^{{\boldsymbol {\beta }}_{0}\cdot \mathbf {X} _{i}}\\[5pt]\Pr(Y_{i}=1)&={\frac {1}{Z}}e^{{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}}\end{aligned}}}$

_{في هذا الشكل ،} يتضح أن الغرض من Z هو ضمان أن يكون التوزيع الناتج على Yᵢ توزيعًا احتماليًا بالفعل ، أي أن مجموعها يساوي 1. وهذا يعني أن Z هو ببساطة مجموع جميع الاحتمالات غير المعيارية، وبقسمة كل احتمال على Z ، تصبح الاحتمالات " معيارية ". أي:

${\displaystyle Z=e^{{\boldsymbol {\beta }}_{0}\cdot \mathbf {X} _{i}}+e^{{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}}}$

والمعادلات الناتجة هي

${\displaystyle {\begin{aligned}\Pr(Y_{i}=0)&={\frac {e^{{\boldsymbol {\beta }}_{0}\cdot \mathbf {X} _{i}}}{e^{{\boldsymbol {\beta }}_{0}\cdot \mathbf {X} _{i}}+e^{{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}}}}\\[5pt]\Pr(Y_{i}=1)&={\frac {e^{{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}}}{e^{{\boldsymbol {\beta }}_{0}\cdot \mathbf {X} _{i}}+e^{{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}}}}.\end{aligned}}}$

أو بشكل عام:

${\displaystyle \Pr(Y_{i}=c)={\frac {e^{{\boldsymbol {\beta }}_{c}\cdot \mathbf {X} _{i}}}{\sum _{h}e^{{\boldsymbol {\beta }}_{h}\cdot \mathbf {X} _{i}}}}}$

يوضح هذا بوضوح كيفية تعميم هذه الصيغة لتشمل أكثر من نتيجتين، كما هو الحال في نموذج اللوجيت متعدد الحدود . هذه الصيغة العامة هي بالضبط دالة softmax كما في

${\displaystyle \Pr(Y_{i}=c)=\operatorname {softmax} (c,{\boldsymbol {\beta }}_{0}\cdot \mathbf {X} _{i},{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i},\dots ).}$

لإثبات أن هذا النموذج مكافئ للنموذج السابق، نبدأ بإدراك أن النموذج المذكور أعلاه مُفرط التحديد، بمعنى أن${\displaystyle \Pr(Y_{i}=0)}$و${\displaystyle \Pr(Y_{i}=1)}$لا يمكن تحديدها بشكل مستقل: بل${\displaystyle \Pr(Y_{i}=0)+\Pr(Y_{i}=1)=1}$لذا فإن معرفة أحدهما تحدد الآخر تلقائيًا. ونتيجة لذلك، يكون النموذج غير قابل للتحديد ، حيث توجد تركيبات متعددة من${\displaystyle {\boldsymbol {\beta }}_{0}}$و${\displaystyle {\boldsymbol {\beta }}_{1}}$سينتج عن ذلك نفس الاحتمالات لجميع المتغيرات التفسيرية الممكنة. في الواقع، يمكن ملاحظة أن إضافة أي متجه ثابت إلى كليهما سينتج عنه نفس الاحتمالات.

${\displaystyle {\begin{aligned}\Pr(Y_{i}=1)&={\frac {e^{({\boldsymbol {\beta }}_{1}+\mathbf {C} )\cdot \mathbf {X} _{i}}}{e^{({\boldsymbol {\beta }}_{0}+\mathbf {C} )\cdot \mathbf {X} _{i}}+e^{({\boldsymbol {\beta }}_{1}+\mathbf {C} )\cdot \mathbf {X} _{i}}}}\\[5pt]&={\frac {e^{{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}}e^{\mathbf {C} \cdot \mathbf {X} _{i}}}{e^{{\boldsymbol {\beta }}_{0}\cdot \mathbf {X} _{i}}e^{\mathbf {C} \cdot \mathbf {X} _{i}}+e^{{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}}e^{\mathbf {C} \cdot \mathbf {X} _{i}}}}\\[5pt]&={\frac {e^{\mathbf {C} \cdot \mathbf {X} _{i}}e^{{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}}}{e^{\mathbf {C} \cdot \mathbf {X} _{i}}(e^{{\boldsymbol {\beta }}_{0}\cdot \mathbf {X} _{i}}+e^{{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}})}}\\[5pt]&={\frac {e^{{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}}}{e^{{\boldsymbol {\beta }}_{0}\cdot \mathbf {X} _{i}}+e^{{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}}}}.\end{aligned}}}$

ونتيجة لذلك، يمكننا تبسيط الأمور واستعادة إمكانية التحديد عن طريق اختيار قيمة عشوائية لأحد المتجهين. نختار أن نضبط${\displaystyle {\boldsymbol {\beta }}_{0}=\mathbf {0} .}$ ثم،

${\displaystyle e^{{\boldsymbol {\beta }}_{0}\cdot \mathbf {X} _{i}}=e^{\mathbf {0} \cdot \mathbf {X} _{i}}=1}$

وهكذا

${\displaystyle \Pr(Y_{i}=1)={\frac {e^{{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}}}{1+e^{{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}}}}={\frac {1}{1+e^{-{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}}}}=p_{i}}$

مما يدل على أن هذه الصيغة مكافئة بالفعل للصيغة السابقة. (كما هو الحال في صيغة المتغير الكامن ثنائي الاتجاه، أي إعدادات حيث${\displaystyle {\boldsymbol {\beta }}={\boldsymbol {\beta }}_{1}-{\boldsymbol {\beta }}_{0}}$(سيؤدي ذلك إلى نتائج مماثلة.)

تبدأ معظم الدراسات التي تتناول نموذج اللوجيت متعدد الحدود إما بتوسيع الصيغة "الخطية اللوغاريتمية" المعروضة هنا أو صيغة المتغير الكامن ثنائي الاتجاه المعروضة أعلاه، حيث تُظهر كلتاهما بوضوح كيفية توسيع النموذج ليشمل نتائج متعددة الاتجاهات. وبشكل عام، يُعدّ استخدام المتغيرات الكامنة أكثر شيوعًا في الاقتصاد القياسي والعلوم السياسية ، حيث تسود نماذج الاختيار المنفصل ونظرية المنفعة ، بينما تُعدّ الصيغة "الخطية اللوغاريتمية" هنا أكثر شيوعًا في علوم الحاسوب ، مثل التعلّم الآلي ومعالجة اللغات الطبيعية .

للنموذج صيغة مكافئة

${\displaystyle p_{i}={\frac {1}{1+e^{-(\beta _{0}+\beta _{1}x_{1,i}+\cdots +\beta _{k}x_{k,i})}}}.\,}$

_{يُطلق على هذا الشكل الوظيفي عادةً اسم} الشبكة العصبية الاصطناعية أحادية الطبقة أو الشبكة العصبية أحادية الطبقة . تُحسب الشبكة العصبية أحادية الطبقة مخرجًا متصلًا بدلًا من دالة متدرجة . تُحسب مشتقة pᵢ بالنسبة إلى X = ( x₁ , _... , xₖ ₎ من الشكل العام التالي:  

${\displaystyle y={\frac {1}{1+e^{-f(X)}}}}$

حيث f ( X ) دالة تحليلية في X. بهذا الاختيار، تصبح الشبكة العصبية أحادية الطبقة مطابقة لنموذج الانحدار اللوجستي. تتميز هذه الدالة بمشتقة متصلة، مما يسمح باستخدامها في خوارزمية الانتشار العكسي . كما تُفضّل هذه الدالة لسهولة حساب مشتقتها.

${\displaystyle {\frac {\mathrm {d} y}{\mathrm {d} X}}=y(1-y){\frac {\mathrm {d} f}{\mathrm {d} X}}.\,}$

يفترض نموذج وثيق الصلة أن كل i لا يرتبط بتجربة برنولي واحدة ولكن بـ n _i تجارب مستقلة موزعة بشكل متطابق ، حيث تكون الملاحظة Y _i هي عدد النجاحات الملاحظة (مجموع المتغيرات العشوائية الفردية الموزعة وفقًا لتوزيع برنولي)، وبالتالي تتبع توزيعًا ذا حدين :

${\displaystyle Y_{i}\,\sim \operatorname {Bin} (n_{i},p_{i}),{\text{ for }}i=1,\dots ,n}$

ومن الأمثلة على هذا التوزيع نسبة البذور ( pi ₎ التي تنبت بعد _زراعة ni .

من حيث القيم المتوقعة ، يتم التعبير عن هذا النموذج على النحو التالي:

${\displaystyle p_{i}=\operatorname {\mathbb {E} } \left[\left.{\frac {Y_{i}}{n_{i}}}\,\right|\,\mathbf {X} _{i}\right]\,,}$

لهذا السبب.

${\displaystyle \operatorname {logit} \left(\operatorname {\mathbb {E} } \left[\left.{\frac {Y_{i}}{n_{i}}}\,\right|\,\mathbf {X} _{i}\right]\right)=\operatorname {logit} (p_{i})=\ln \left({\frac {p_{i}}{1-p_{i}}}\right)={\boldsymbol {\beta }}\cdot \mathbf {X} _{i}\,,}$