الانحدار ذو الحدين

في الإحصاء ، يُعد الانحدار ذو الحدين أسلوبًا لتحليل الانحدار حيث يكون للمتغير التابع (الذي يُشار إليه غالبًا بـ Y ) توزيع ذو الحدين : وهو عدد النجاحات في سلسلة من${\displaystyle n}$تجارب برنولي المستقلة ، حيث يكونلكل تجربة احتمال نجاح${\displaystyle p}$⁠ . ^{[ 1 ]} في الانحدار ذي الحدين، يرتبط احتمال النجاح بالمتغيرات التفسيرية : المفهوم المقابل في الانحدار العادي هو ربط القيمة المتوسطة للاستجابة غير الملاحظة بالمتغيرات التفسيرية.

يرتبط الانحدار ذو الحدين ارتباطًا وثيقًا بالانحدار الثنائي : يمكن اعتبار الانحدار الثنائي انحدارًا ذا حدين مع${\displaystyle n=1}$أو انحدار على بيانات ثنائية غير مصنفة ، بينما يمكن اعتبار الانحدار الثنائي انحدارًا على بيانات ثنائية مصنفة (انظر المقارنة ). ^{[ 2 ]} تتشابه نماذج الانحدار الثنائي جوهريًا مع نماذج الاختيار الثنائي ، وهي أحد أنواع نماذج الاختيار المنفصل : ويكمن الاختلاف الرئيسي في الدافع النظري (انظر المقارنة ). في مجال تعلم الآلة ، يُعتبر الانحدار الثنائي حالة خاصة من التصنيف الاحتمالي ، وبالتالي تعميمًا للتصنيف الثنائي .

في أحد الأمثلة المنشورة لتطبيق الانحدار الثنائي، ^{[ 3 ]} كانت التفاصيل كما يلي: كان المتغير التابع المرصود هو ما إذا كان قد حدث عطل في عملية صناعية أم لا. وكان هناك متغيران تفسيريان: الأول عامل بسيط ثنائي الحالة يمثل ما إذا تم استخدام نسخة معدلة من العملية أم لا، والثاني متغير كمي عادي يقيس نقاء المادة الموردة للعملية.

يُفترض أن المتغير التابع Y يتبع التوزيع الثنائي المشروط بالمتغيرات التفسيرية X. عدد المحاولات n معروف، واحتمالية النجاح لكل محاولة p محددة كدالة θ (X) . هذا يعني أن التوقع الشرطي والتباين الشرطي لنسبة النجاحات المرصودة، Y/n ، هما

${\displaystyle E(Y/n\mid X)=\theta (X)}$

${\displaystyle \operatorname {Var} (Y/n\mid X)=\theta (X)(1-\theta (X))/n}$

يهدف الانحدار ذو الحدين إلى تقدير الدالة θ (X) . عادةً ما يفترض الإحصائي${\displaystyle \theta (X)=m(\beta ^{\mathrm {T} }X)}$، لدالة معروفة m ، وتقديرات β . تشمل الخيارات الشائعة لـ m الدالة اللوجستية . ^{[ 1 ]}

غالبًا ما تُطابق البيانات كنموذج خطي معمّم ، حيث تمثل القيم المتوقعة μ احتمالات نجاح أي حدث فردي. ويُعطى احتمال التنبؤات بالصيغة التالية:

${\displaystyle L({\boldsymbol {\mu }}\mid Y)=\prod _{i=1}^{n}\left(1_{y_{i}=1}(\mu _{i})+1_{y_{i}=0}(1-\mu _{i})\right),\,\!}$

حيث _{تمثل 1A} دالة المؤشر التي تأخذ القيمة واحد عند وقوع الحدث A ، وصفرًا فيما عدا ذلك. في هذه الصيغة، لأي مشاهدة معينة _yᵢ ، _يساهم أحد الحدين داخل حاصل الضرب فقط، وذلك بحسب ما إذا كانت yᵢ = 0 أو _1. يتم تحديد دالة الاحتمال بشكل أكثر تفصيلًا بتعريف المعاملات الرسمية μᵢ كدوال مُعَلمة للمتغيرات التفسيرية، مما يُحدد الاحتمال بدلالة عدد أقل بكثير من المعاملات. عادةً ما يتم تحقيق ملاءمة النموذج باستخدام طريقة الاحتمال الأقصى لتحديد هذه المعاملات. عمليًا، يسمح استخدام الصيغة كنموذج خطي مُعمم بالاستفادة من بعض الأفكار الخوارزمية التي تنطبق على فئة النماذج الأكثر عمومية، ولكنها لا تنطبق على جميع مسائل الاحتمال الأقصى.

يمكن في كثير من الأحيان توسيع النماذج المستخدمة في الانحدار الثنائي لتشمل البيانات متعددة الحدود.

هناك العديد من الطرق لتوليد قيم μ بطرق منهجية تسمح بتفسير النموذج؛ وسيتم مناقشتها أدناه.

يشترط أن يكون النموذج الذي يربط الاحتمالات μ بالمتغيرات التفسيرية على شكل ينتج عنه قيم في النطاق من 0 إلى 1 فقط. ويمكن ملاءمة العديد من النماذج بهذا الشكل.

${\displaystyle {\boldsymbol {\mu }}=g({\boldsymbol {\eta }})\,.}$

هنا، η متغير وسيط يمثل توليفة خطية، تحتوي على معاملات الانحدار، للمتغيرات التفسيرية. الدالة g هي دالة التوزيع التراكمي (cdf) لتوزيع احتمالي ما . عادةً ما يكون لهذا التوزيع الاحتمالي نطاق من سالب ما لا نهاية إلى موجب ما لا نهاية، بحيث يتم تحويل أي قيمة محدودة لـ η بواسطة الدالة g إلى قيمة ضمن النطاق من 0 إلى 1.

في حالة الانحدار اللوجستي ، تكون دالة الربط هي لوغاريتم نسبة الاحتمالات أو الدالة اللوجستية . أما في حالة نموذج بروبيت ، فتكون دالة الربط هي دالة التوزيع التراكمي للتوزيع الطبيعي . لا يُعد نموذج الاحتمال الخطي مواصفةً مناسبةً للانحدار الثنائي، لأن التنبؤات لا يشترط أن تكون ضمن النطاق من صفر إلى واحد؛ ويُستخدم أحيانًا لهذا النوع من البيانات عندما يكون فضاء الاحتمال هو موضع التفسير، أو عندما يفتقر المحلل إلى الخبرة الكافية لتركيب أو حساب تقريب خطي للاحتمالات لأغراض التفسير.

يرتبط الانحدار ذو الحدين ارتباطًا وثيقًا بالانحدار الثنائي. إذا كان المتغير التابع متغيرًا ثنائيًا (نتيجتان محتملتان)، فيمكن ترميز هاتين النتيجتين بـ 0 أو 1، وذلك باعتبار إحدى النتيجتين "نجاحًا" والأخرى "فشلًا"، واعتبارهما بيانات عددية : "النجاح" هو نجاح واحد من محاولة واحدة، بينما "الفشل" هو عدم وجود أي نجاح من محاولة واحدة. يمكن اعتبار هذا توزيعًا ذا حدين.${\displaystyle n=1}$في التجارب، يُعدّ الانحدار الثنائي حالة خاصة من الانحدار ذي الحدين. إذا جُمعت هذه البيانات ( بجمع القيم العددية)، فإنها لم تعد بيانات ثنائية، بل بيانات عددية لكل مجموعة، ويمكن نمذجتها باستخدام الانحدار ذي الحدين؛ وتُسمى النتائج الثنائية الفردية حينها "بيانات غير مُجمّعة". من مزايا التعامل مع البيانات المُجمّعة إمكانية اختبار مدى ملاءمة النموذج؛ ^{[ 2 ]} على سبيل المثال، قد تُظهر البيانات المُجمّعة تشتتًا زائدًا مقارنةً بالتباين المُقدّر من البيانات غير المُجمّعة.

يفترض نموذج الاختيار الثنائي وجود متغير كامن Un _، وهو المنفعة (أو صافي الفائدة) التي يحصل عليها الشخص n من اتخاذ إجراء ما (مقارنةً بعدم اتخاذه). وتعتمد المنفعة التي يحصل عليها الشخص من اتخاذ هذا الإجراء على خصائصه، بعضها يلاحظه الباحث وبعضها الآخر لا يلاحظه.

${\displaystyle U_{n}={\boldsymbol {\beta }}\cdot \mathbf {s_{n}} +\varepsilon _{n}}$

أين${\displaystyle {\boldsymbol {\beta }}}$هي مجموعة من معاملات الانحدار و${\displaystyle \mathbf {s_{n}} }$هي مجموعة من المتغيرات المستقلة (المعروفة أيضًا باسم "الميزات") التي تصف الشخص ن ، والتي قد تكون إما " متغيرات وهمية " منفصلة أو متغيرات مستمرة منتظمة. ${\displaystyle \varepsilon _{n}}$هو متغير عشوائي يُحدد "الضوضاء" أو "الخطأ" في التنبؤ، ويُفترض أنه موزع وفقًا لتوزيع معين. عادةً، إذا كان هناك مُعامل متوسط ​​أو تباين في التوزيع، فلا يُمكن تحديده ، لذلك يتم ضبط المُعاملات على قيم مُلائمة - عادةً ما يكون المتوسط ​​0 والتباين 1.

يقوم الشخص بالإجراء، y _n = 1 ، إذا كان U _n > 0. ويفترض أن الحد غير الملاحظ، ε _n ، له توزيع لوجستي .

تُكتب المواصفات بإيجاز على النحو التالي:

• • U _n = βs _n + ε _n
  • ${\displaystyle Y_{n}={\begin{cases}1,&{\text{if }}U_{n}>0,\\0,&{\text{if }}U_{n}\leq 0\end{cases}}}$
  • ε ∼ لوجستي ، طبيعي قياسي ، إلخ.

دعونا نكتبها بشكل مختلف قليلاً:

• • Un = βs _n − e _n​
  • ${\displaystyle Y_{n}={\begin{cases}1,&{\text{if }}U_{n}>0,\\0,&{\text{if }}U_{n}\leq 0\end{cases}}}$
  • e ∼ لوجستي ، طبيعي قياسي ، إلخ.

هنا قمنا بالاستبدال e _{_n} = −ε_n . هذا يُغيّر متغيرًا عشوائيًا إلى متغير مختلف قليلًا، مُعرّف على نطاق معكوس. وكما هو الحال، فإن توزيعات الخطأ التي نأخذها عادةً في الاعتبار (مثل التوزيع اللوجستي ، والتوزيع الطبيعي القياسي ، وتوزيع t القياسي للطالب ، وما إلى ذلك) متناظرة حول الصفر، وبالتالي فإن التوزيع على e_{_n} مطابق للتوزيع على ε _{_n} .

لنرمز إلى دالة التوزيع التراكمي (CDF) لـ${\displaystyle e}$مثل${\displaystyle F_{e},}$ودالة الكمية (دالة التوزيع التراكمي العكسي) لـ${\displaystyle e}$مثل${\displaystyle F_{e}^{-1}.}$

لاحظ أن

${\displaystyle {\begin{aligned}\Pr(Y_{n}=1)&=\Pr(U_{n}>0)\\[6pt]&=\Pr({\boldsymbol {\beta }}\cdot \mathbf {s_{n}} -e_{n}>0)\\[6pt]&=\Pr(-e_{n}>-{\boldsymbol {\beta }}\cdot \mathbf {s_{n}} )\\[6pt]&=\Pr(e_{n}\leq {\boldsymbol {\beta }}\cdot \mathbf {s_{n}} )\\[6pt]&=F_{e}({\boldsymbol {\beta }}\cdot \mathbf {s_{n}} )\end{aligned}}}$

منذ${\displaystyle Y_{n}}$هي تجربة برنولي ، حيث${\displaystyle \mathbb {E} [Y_{n}]=\Pr(Y_{n}=1),}$لدينا

${\displaystyle \mathbb {E} [Y_{n}]=F_{e}({\boldsymbol {\beta }}\cdot \mathbf {s_{n}} )}$

أو ما يعادل ذلك

${\displaystyle F_{e}^{-1}(\mathbb {E} [Y_{n}])={\boldsymbol {\beta }}\cdot \mathbf {s_{n}} .}$

لاحظ أن هذا يعادل تمامًا نموذج الانحدار ذي الحدين المعبر عنه في شكل النموذج الخطي المعمم .

لو${\displaystyle e_{n}\sim {\mathcal {N}}(0,1),}$أي موزعة وفقًا للتوزيع الطبيعي القياسي ، إذن

${\displaystyle \Phi ^{-1}(\mathbb {E} [Y_{n}])={\boldsymbol {\beta }}\cdot \mathbf {s_{n}} }$

وهو بالضبط نموذج بروبيت .

لو${\displaystyle e_{n}\sim \operatorname {Logistic} (0,1),}$أي إذا تم توزيعها وفقًا للتوزيع اللوجستي القياسي بمتوسط ​​0 ومعامل قياس 1، فإن دالة الكمية المقابلة هي دالة اللوجيت ، و

${\displaystyle \operatorname {logit} (\mathbb {E} [Y_{n}])={\boldsymbol {\beta }}\cdot \mathbf {s_{n}} }$

وهو بالضبط نموذج لوجيت .

لاحظ أن الشكلين المختلفين - النماذج الخطية المعممة (GLM) ونماذج الاختيار المنفصل - متكافئان في حالة نماذج الاختيار الثنائي البسيطة، ولكن يمكن توسيعهما بطرق مختلفة:

• تستطيع نماذج الانحدار الخطي المعمم (GLM) التعامل بسهولة مع متغيرات الاستجابة ( المتغيرات التابعة ) ذات التوزيع العشوائي، وليس فقط المتغيرات الفئوية أو الترتيبية ، التي تقتصر عليها نماذج الاختيار المنفصل بطبيعتها. كما أن نماذج الانحدار الخطي المعمم لا تقتصر على دوال الربط التي تمثل دوال كمية لتوزيع معين، على عكس استخدام متغير الخطأ ، الذي يفترض بالضرورة أن يكون له توزيع احتمالي .
• من ناحية أخرى، ولأن نماذج الاختيار المنفصلة توصف بأنها أنواع من النماذج التوليدية ، فمن الأسهل من الناحية المفاهيمية توسيعها لتشمل المواقف المعقدة ذات الخيارات المتعددة، وربما المترابطة، لكل شخص، أو غيرها من الاختلافات.

يمكن بناء نموذج متغير كامن يتضمن متغيرًا مُلاحظًا ثنائي الحد Y بحيث يرتبط Y بالمتغير الكامن Y* عبر

${\displaystyle Y={\begin{cases}0,&{\mbox{if }}Y^{*}>0\\1,&{\mbox{if }}Y^{*}<0.\end{cases}}}$

ثم يتم ربط المتغير الكامن Y* بمجموعة من متغيرات الانحدار X بواسطة النموذج

${\displaystyle Y^{*}=X\beta +\epsilon \ .}$

ينتج عن ذلك نموذج انحدار ذي الحدين.

لا يمكن تحديد تباين ϵ، وعندما لا يكون ذا أهمية، يُفترض غالبًا أنه يساوي واحدًا. إذا كان ϵ يتبع التوزيع الطبيعي، فإن نموذج بروبيت هو النموذج المناسب، وإذا كان يتبع توزيع لوغاريتم ويبول ، فإن نموذج لوجيت هو الأنسب. أما إذا كان يتبع التوزيع المنتظم، فإن نموذج الاحتمال الخطي هو الأنسب.

• نموذج الاحتمالية الخطية
• انحدار بواسون
• النمذجة التنبؤية

• كوكس، د. ر.؛ سنيل ، إ. ج. (1981). الإحصاء التطبيقي: المبادئ والأمثلة . تشابمان وهول. ISBN 0-412-16570-8.
• رودريغيز، جيرمان (2007). "ملاحظات محاضرات حول النماذج الخطية المعممة" . مؤرشف من الأصل بتاريخ 24-09-2022 . تم الاطلاع عليه بتاريخ 27-03-2022 .

• دين، سي بي (1992). "اختبار التشتت الزائد في نماذج الانحدار بواسون والانحدار ذي الحدين". مجلة الجمعية الإحصائية الأمريكية . 87 (418). إنفورما المملكة المتحدة المحدودة: 451-457 . doi : 10.1080/01621459.1992.10475225 . ISSN 0162-1459 . JSTOR 2290276 .