نموذج بروبيت

جزء من سلسلة عن
تحليل الانحدار
نماذج
الانحدار الخطي الانحدار البسيط الانحدار المتعدد الحدود النموذج الخطي العام
نموذج خطي معمم نموذج خطي معمم متجه اختيار منفصل الانحدار الثنائي الانحدار الثنائي الانحدار اللوجستي الانحدار اللوجستي المتعدد الحدود لوجيت مختلط بروبيت بروبيت متعدد الحدود تم ترتيب اللوجيت بروبيت مرتب سمكة
نموذج متعدد المستويات تأثيرات ثابتة تأثيرات عشوائية نموذج التأثيرات المختلطة الخطية نموذج التأثيرات المختلطة غير الخطية
الانحدار غير الخطي غير معياري شبه معلمية قوي كمية متساوي التوتر المكونات الرئيسية أقل زاوية محلي مجزأة
أخطاء في المتغيرات
تقدير
المربعات الصغرى خطي غير خطي
عادي موزون معمم معادلة التقدير المعممة
جزئي المجموع غير سلبي انحدار التلال منظم
أقل الانحرافات المطلقة تمت إعادة الترجيح بشكل متكرر بايزية متعدد المتغيرات البايزية التحليل الطيفي لأقل المربعات
خلفية
التحقق من صحة الانحدار المتوسط ​​والاستجابة المتوقعة الأخطاء والمخلفات جودة الملاءمة المتبقي من الدراسة نظرية جاوس-ماركوف
بوابة الرياضيات
ف ت هـ

في الإحصاء ، نموذج البروبيت هو نوع من الانحدار حيث يمكن للمتغير التابع أن يأخذ قيمتين فقط، على سبيل المثال متزوج أو غير متزوج. الكلمة هي كلمة مركبة ، تأتي من الاحتمال + غير ذلك . ^{[1] الغرض من النموذج هو تقدير احتمالية وقوع ملاحظة ذات خصائص معينة في فئة معينة من الفئات؛ علاوة على ذلك، فإن تصنيف الملاحظات بناءً على} احتمالاتها المتوقعة هو نوع من نموذج التصنيف الثنائي .

نموذج بروبيت هو مواصفة شائعة لنموذج الاستجابة الثنائية . وعلى هذا النحو، فإنه يعالج نفس مجموعة المشكلات التي يعالجها الانحدار اللوجستي باستخدام تقنيات مماثلة. عند عرضه في إطار النموذج الخطي المعمم ، يستخدم نموذج بروبيت دالة ارتباط بروبيت . ^[2] وغالبًا ما يتم تقديره باستخدام إجراء الاحتمالية القصوى ، ^[3] ويُطلق على هذا التقدير انحدار بروبيت .

لنفترض أن متغير الاستجابة Y ثنائي ، أي أنه يمكن أن يكون له نتيجتان محتملتان فقط سنشير إليهما بـ 1 و0. على سبيل المثال، قد يمثل Y وجود/غياب حالة معينة، أو نجاح/فشل جهاز ما، أو الإجابة بنعم/لا على استبيان، وما إلى ذلك. لدينا أيضًا متجه من المتغيرات X ، والتي يُفترض أنها تؤثر على النتيجة Y. على وجه التحديد، نفترض أن النموذج يأخذ الشكل

${\displaystyle P(Y=1\mid X)=\Phi (X^{\operatorname {T} }\beta ),}$

حيث P هو الاحتمال و هي دالة التوزيع التراكمي ( CDF ) للتوزيع الطبيعي القياسي . يتم تقدير المعلمات β عادةً من خلال أقصى احتمال . ${\displaystyle \Phi }$

من الممكن تحفيز نموذج البروبيت كنموذج متغير كامن . افترض أن هناك متغير عشوائي مساعد

${\displaystyle Y^{\ast }=X^{T}\beta +\varepsilon ,}$

حيث ε ~ N (0, 1). ومن ثم يمكن اعتبار Y مؤشرًا على ما إذا كان هذا المتغير الكامن موجبًا:

${\displaystyle Y=\left.{\begin{cases}1&Y^{*}>0\\0&{\text{otherwise}}\end{cases}}\right\}=\left.{\begin{cases}1&X^{\operatorname {T} }\beta +\varepsilon >0\\0&{\text{otherwise}}\end{cases}}\right\}}$

إن استخدام التوزيع الطبيعي القياسي لا يسبب أي فقدان في العمومية مقارنة باستخدام التوزيع الطبيعي بمتوسط ​​وانحراف معياري تعسفيين، لأن إضافة مبلغ ثابت إلى المتوسط ​​يمكن تعويضه عن طريق طرح نفس المبلغ من المقطع، وضرب الانحراف المعياري بمبلغ ثابت يمكن تعويضه عن طريق ضرب الأوزان بنفس المبلغ.

ولرؤية أن النموذجين متكافئان، لاحظ أن

${\displaystyle {\begin{aligned}P(Y=1\mid X)&=P(Y^{\ast }>0)\\&=P(X^{\operatorname {T} }\beta +\varepsilon >0)\\&=P(\varepsilon >-X^{\operatorname {T} }\beta )\\&=P(\varepsilon <X^{\operatorname {T} }\beta )&{\text{by symmetry of the normal distribution}}\\&=\Phi (X^{\operatorname {T} }\beta )\end{aligned}}}$

افترض أن مجموعة البيانات تحتوي على n وحدة إحصائية مستقلة تتوافق مع النموذج أعلاه. ${\displaystyle \{y_{i},x_{i}\}_{i=1}^{n}}$

بالنسبة للملاحظة الفردية، اعتمادًا على متجه مدخلات تلك الملاحظة، لدينا:

${\displaystyle P(y_{i}=1|x_{i})=\Phi (x_{i}^{\operatorname {T} }\beta )}$

${\displaystyle P(y_{i}=0|x_{i})=1-\Phi (x_{i}^{\operatorname {T} }\beta )}$

حيث هو متجه للمدخلات، و هو متجه للمعاملات. ${\displaystyle x_{i}}$${\displaystyle K\times 1}$${\displaystyle \beta }$${\displaystyle K\times 1}$

ومن ثم فإن احتمالية ملاحظة واحدة هي ${\displaystyle (y_{i},x_{i})}$

${\displaystyle {\mathcal {L}}(\beta ;y_{i},x_{i})=\Phi (x_{i}^{\operatorname {T} }\beta )^{y_{i}}[1-\Phi (x_{i}^{\operatorname {T} }\beta )]^{(1-y_{i})}}$

في الواقع، إذا ، فإن ، وإذا ، فإن . ${\displaystyle y_{i}=1}$${\displaystyle {\mathcal {L}}(\beta ;y_{i},x_{i})=\Phi (x_{i}^{\operatorname {T} }\beta )}$${\displaystyle y_{i}=0}$${\displaystyle {\mathcal {L}}(\beta ;y_{i},x_{i})=1-\Phi (x_{i}^{\operatorname {T} }\beta )}$

نظرًا لأن الملاحظات مستقلة وموزعة بشكل متطابق، فإن احتمال العينة بأكملها، أو الاحتمالية المشتركة ، سيكون مساويًا لحاصل ضرب احتمالات الملاحظات الفردية:

${\displaystyle {\mathcal {L}}(\beta ;Y,X)=\prod _{i=1}^{n}\left(\Phi (x_{i}^{\operatorname {T} }\beta )^{y_{i}}[1-\Phi (x_{i}^{\operatorname {T} }\beta )]^{(1-y_{i})}\right)}$

وبالتالي فإن دالة الاحتمالية المشتركة هي

${\displaystyle \ln {\mathcal {L}}(\beta ;Y,X)=\sum _{i=1}^{n}{\bigg (}y_{i}\ln \Phi (x_{i}^{\operatorname {T} }\beta )+(1-y_{i})\ln \!{\big (}1-\Phi (x_{i}^{\operatorname {T} }\beta ){\big )}{\bigg )}}$

سيكون المقدر الذي يزيد هذه الدالة إلى أقصى حد متسقًا وطبيعيًا مقاربًا وفعالًا بشرط أن يكون موجودًا وليس مفردًا. يمكن إثبات أن دالة الاحتمال اللوغاريتمي هذه مقعرة عالميًا في ، وبالتالي فإن الخوارزميات العددية القياسية للتحسين ستتقارب بسرعة إلى الحد الأقصى الفريد. ${\displaystyle {\hat {\beta }}}$${\displaystyle \operatorname {E} [XX^{\operatorname {T} }]}$${\displaystyle \beta }$

التوزيع المقارب لـ يعطى بواسطة ${\displaystyle {\hat {\beta }}}$

${\displaystyle {\sqrt {n}}({\hat {\beta }}-\beta )\ {\xrightarrow {d}}\ {\mathcal {N}}(0,\,\Omega ^{-1}),}$

أين

${\displaystyle \Omega =\operatorname {E} {\bigg [}{\frac {\varphi ^{2}(X^{\operatorname {T} }\beta )}{\Phi (X^{\operatorname {T} }\beta )(1-\Phi (X^{\operatorname {T} }\beta ))}}XX^{\operatorname {T} }{\bigg ]},\qquad {\hat {\Omega }}={\frac {1}{n}}\sum _{i=1}^{n}{\frac {\varphi ^{2}(x_{i}^{\operatorname {T} }{\hat {\beta }})}{\Phi (x_{i}^{\operatorname {T} }{\hat {\beta }})(1-\Phi (x_{i}^{\operatorname {T} }{\hat {\beta }}))}}x_{i}x_{i}^{\operatorname {T} },}$^{[ بحاجة لمصدر ]}

وهي دالة كثافة الاحتمال ( PDF ) للتوزيع الطبيعي القياسي. ${\displaystyle \varphi =\Phi '}$

تتوفر أيضًا طرق الاحتمالية القصوى شبه المعلمية وغير المعلمية لنماذج البروبت وغيرها من النماذج ذات الصلة. ^[4]

لا يمكن تطبيق هذه الطريقة إلا عندما يكون هناك العديد من الملاحظات لمتغير الاستجابة الذي له نفس قيمة متجه الانحدار (قد يشار إلى هذا الموقف باسم "العديد من الملاحظات لكل خلية"). وبشكل أكثر تحديدًا، يمكن صياغة النموذج على النحو التالي. ${\displaystyle y_{i}}$${\displaystyle x_{i}}$

لنفترض أنه من بين n ملاحظة يوجد فقط T قيم مميزة للمتغيرات الانحدارية، والتي يمكن الإشارة إليها بـ . ليكن عدد الملاحظات مع وعدد هذه الملاحظات مع . نفترض أنه يوجد بالفعل "عدة" ملاحظات لكل "خلية": لكل . ${\displaystyle \{y_{i},x_{i}\}_{i=1}^{n}}$${\displaystyle \{x_{(1)},\ldots ,x_{(T)}\}}$${\displaystyle n_{t}}$${\displaystyle x_{i}=x_{(t)},}$${\displaystyle r_{t}}$${\displaystyle y_{i}=1}$${\displaystyle t,\lim _{n\rightarrow \infty }n_{t}/n=c_{t}>0}$

دل

${\displaystyle {\hat {p}}_{t}=r_{t}/n_{t}}$

${\displaystyle {\hat {\sigma }}_{t}^{2}={\frac {1}{n_{t}}}{\frac {{\hat {p}}_{t}(1-{\hat {p}}_{t})}{\varphi ^{2}{\big (}\Phi ^{-1}({\hat {p}}_{t}){\big )}}}}$

ثم يكون مقدر مربع كاي الأدنى لبيركسون مقدرًا معممًا لأقل المربعات في انحدار مع الأوزان : ${\displaystyle \Phi ^{-1}({\hat {p}}_{t})}$${\displaystyle x_{(t)}}$${\displaystyle {\hat {\sigma }}_{t}^{-2}}$

${\displaystyle {\hat {\beta }}={\Bigg (}\sum _{t=1}^{T}{\hat {\sigma }}_{t}^{-2}x_{(t)}x_{(t)}^{\operatorname {T} }{\Bigg )}^{-1}\sum _{t=1}^{T}{\hat {\sigma }}_{t}^{-2}x_{(t)}\Phi ^{-1}({\hat {p}}_{t})}$

يمكن إظهار أن هذا المقدر متسق (حيث n →∞ و T ثابت) وطبيعي مقارب وفعال. ^{[ بحاجة لمصدر ]} ميزته هي وجود صيغة مغلقة الشكل للمقدر. ومع ذلك، فمن المفيد إجراء هذا التحليل فقط عندما لا تكون الملاحظات الفردية متاحة، فقط عددهم المجمع ، ، و (على سبيل المثال في تحليل سلوك التصويت). ${\displaystyle r_{t}}$${\displaystyle n_{t}}$${\displaystyle x_{(t)}}$

إن أخذ العينات من نموذج بروبت باستخدام طريقة جيبس ​​أمر ممكن لأن نماذج الانحدار تستخدم عادةً توزيعات سابقة طبيعية على الأوزان، وهذا التوزيع مترافق مع التوزيع الطبيعي للأخطاء (وبالتالي للمتغيرات الكامنة Y ^* ). ويمكن وصف النموذج بأنه

${\displaystyle {\begin{aligned}{\boldsymbol {\beta }}&\sim {\mathcal {N}}(\mathbf {b} _{0},\mathbf {B} _{0})\\[3pt]y_{i}^{\ast }\mid \mathbf {x} _{i},{\boldsymbol {\beta }}&\sim {\mathcal {N}}(\mathbf {x} _{i}^{\operatorname {T} }{\boldsymbol {\beta }},1)\\[3pt]y_{i}&={\begin{cases}1&{\text{if }}y_{i}^{\ast }>0\\0&{\text{otherwise}}\end{cases}}\end{aligned}}}$

ومن هذا، يمكننا تحديد الكثافات الشرطية الكاملة المطلوبة:

${\displaystyle {\begin{aligned}\mathbf {B} &=(\mathbf {B} _{0}^{-1}+\mathbf {X} ^{\operatorname {T} }\mathbf {X} )^{-1}\\[3pt]{\boldsymbol {\beta }}\mid \mathbf {y} ^{\ast }&\sim {\mathcal {N}}(\mathbf {B} (\mathbf {B} _{0}^{-1}\mathbf {b} _{0}+\mathbf {X} ^{\operatorname {T} }\mathbf {y} ^{\ast }),\mathbf {B} )\\[3pt]y_{i}^{\ast }\mid y_{i}=0,\mathbf {x} _{i},{\boldsymbol {\beta }}&\sim {\mathcal {N}}(\mathbf {x} _{i}^{\operatorname {T} }{\boldsymbol {\beta }},1)[y_{i}^{\ast }<0]\\[3pt]y_{i}^{\ast }\mid y_{i}=1,\mathbf {x} _{i},{\boldsymbol {\beta }}&\sim {\mathcal {N}}(\mathbf {x} _{i}^{\operatorname {T} }{\boldsymbol {\beta }},1)[y_{i}^{\ast }\geq 0]\end{aligned}}}$

النتيجة موضحة في المقالة حول الانحدار الخطي البايزي ، على الرغم من تحديدها باستخدام تدوين مختلف. ${\displaystyle {\boldsymbol {\beta }}}$

الخدعة الوحيدة تكمن في المعادلتين الأخيرتين. التدوين هو قوس إيفرسون ، الذي يُكتب أحيانًا أو يُشبهه. يشير إلى أنه يجب اقتطاع التوزيع داخل النطاق المعطى، وإعادة قياسه بشكل مناسب. في هذه الحالة المعينة، ينشأ توزيع طبيعي مقتطع . يعتمد أخذ العينات من هذا التوزيع على مقدار المقطوع. إذا بقي جزء كبير من الكتلة الأصلية، يمكن إجراء أخذ العينات بسهولة باستخدام أخذ العينات الرافضة - ببساطة أخذ عينة من رقم من التوزيع غير المقطوع، ورفضه إذا كان خارج القيد المفروض بواسطة الاقتطاع. ومع ذلك، إذا تم أخذ العينات من جزء صغير فقط من الكتلة الأصلية (على سبيل المثال إذا تم أخذ العينات من أحد ذيول التوزيع الطبيعي - على سبيل المثال إذا كان حوالي 3 أو أكثر، وكانت العينة السلبية مطلوبة)، فسيكون هذا غير فعال ويصبح من الضروري الرجوع إلى خوارزميات أخذ العينات الأخرى. يمكن تحقيق أخذ العينات العامة من الطبيعي المقطوع باستخدام تقريبات لـ CDF الطبيعي ودالة البروبت ، و R لديها دالة لتوليد عينات طبيعية مقطوعة. ${\displaystyle [y_{i}^{\ast }<0]}$${\displaystyle {\mathcal {I}}(y_{i}^{\ast }<0)}$${\displaystyle \mathbf {x} _{i}^{\operatorname {T} }{\boldsymbol {\beta }}}$rtnorm()

يمكن تقييم مدى ملاءمة نموذج ثنائي مقدر من خلال حساب عدد الملاحظات الصحيحة التي تساوي 1، والعدد الذي يساوي صفرًا، حيث يقوم النموذج بتعيين تصنيف تنبؤ صحيح من خلال التعامل مع أي احتمال مقدر أعلى من 1/2 (أو أقل من 1/2)، كتعيين لتوقع 1 (أو 0). راجع الانحدار اللوجستي § النموذج للحصول على التفاصيل.

This section may require cleanup to meet Wikipedia's quality standards. The specific problem is: Need to adopt the notation of the rest of the article, fix grammar, and make prose clearer. Please help improve this section if you can. (June 2019) (Learn how and when to remove this message)

فكر في صياغة نموذج المتغير الكامن لنموذج بروبيت. عندما لا يكون تباين الشرط على ثابتًا ولكنه يعتمد على ، فإن مشكلة عدم تجانس التباين تنشأ. على سبيل المثال، افترض و حيث هو متغير توضيحي موجب مستمر. في ظل عدم تجانس التباين، يكون مقدر بروبيت لـ غير متسق عادةً، ومعظم الاختبارات حول المعاملات غير صالحة. والأهم من ذلك، يصبح مقدر لـ غير متسق أيضًا. للتعامل مع هذه المشكلة، يجب تحويل النموذج الأصلي ليكون متجانس التباين. على سبيل المثال، في نفس المثال، يمكن إعادة كتابته على النحو التالي ، حيث . لذلك، يؤدي تشغيل بروبيت على إلى إنشاء مقدر متسق للاحتمال الشرطي${\displaystyle \varepsilon }$${\displaystyle x}$${\displaystyle x}$${\displaystyle y^{*}=\beta _{0}+B_{1}x_{1}+\varepsilon }$${\displaystyle \varepsilon \mid x\sim N(0,x_{1}^{2})}$${\displaystyle x_{1}}$${\displaystyle \beta }$${\displaystyle P(y=1\mid x)}$${\displaystyle 1[\beta _{0}+\beta _{1}x_{1}+\varepsilon >0]}$${\displaystyle 1[\beta _{0}/x_{1}+\beta _{1}+\varepsilon /x_{1}>0]}$${\displaystyle \varepsilon /x_{1}\mid x\sim N(0,1)}$${\displaystyle P(y=1\mid x)=\Phi (\beta _{1}+\beta _{0}/x_{1})}$${\displaystyle (1,1/x_{1})}$ ${\displaystyle P(y=1\mid x).}$

عندما يفشل الافتراض الذي يتم توزيعه بشكل طبيعي في الصمود، تنشأ مشكلة تحديد الخطأ في الشكل الوظيفي : إذا كان النموذج لا يزال مقدرًا كنموذج بروبيت، فإن مقدري المعاملات غير متسقين. على سبيل المثال، إذا اتبع توزيعًا لوجستيًا في النموذج الحقيقي، ولكن تم تقدير النموذج بواسطة بروبيت، فستكون التقديرات عمومًا أصغر من القيمة الحقيقية. ومع ذلك، فإن عدم اتساق تقديرات المعاملات غير ذي صلة عمليًا لأن التقديرات للتأثيرات الجزئية، ، ستكون قريبة من التقديرات المقدمة بواسطة نموذج لوجيت الحقيقي. ^[5]${\displaystyle \varepsilon }$${\displaystyle \beta }$${\displaystyle \varepsilon }$${\displaystyle \partial P(y=1\mid x)/\partial x_{i'}}$

لتجنب مشكلة عدم تحديد التوزيع بشكل صحيح، قد يتبنى المرء افتراض توزيع عام لمصطلح الخطأ، بحيث يمكن تضمين العديد من أنواع التوزيع المختلفة في النموذج. التكلفة هي حساب أثقل ودقة أقل لزيادة عدد المعلمات. ^[6] في معظم الحالات العملية حيث يتم تحديد شكل التوزيع بشكل خاطئ، تكون مقدرات المعاملات غير متسقة، لكن مقدرات الاحتمال الشرطي والتأثيرات الجزئية لا تزال جيدة جدًا. ^{[ بحاجة لمصدر ]}

يمكن للمرء أيضًا اتباع مناهج شبه بارامترية أو غير بارامترية، على سبيل المثال، عبر طرق الاحتمالية المحلية أو طرق شبه الاحتمالية غير البارامترية، والتي تتجنب الافتراضات على شكل بارامتري لدالة المؤشر وهي قوية لاختيار دالة الارتباط (على سبيل المثال، بروبت أو لوجيت). ^[4]

يُنسب نموذج البروبيت عادةً إلى تشيستر بليس ، الذي صاغ مصطلح "بروبيت" في عام 1934، ^[7] وإلى جون جادوم (1933)، الذي نظم الأعمال السابقة. ^[8] ومع ذلك، فإن النموذج الأساسي يعود إلى قانون ويبر-فيشنر الذي وضعه جوستاف فيشنر ، والذي نُشر في فيشنر (1860)، وأُعيد اكتشافه مرارًا وتكرارًا حتى ثلاثينيات القرن العشرين؛ انظر فيني (1971، الفصل 3.6) وأتشيسون وبراون (1957، الفصل 1.2). ^[8]

اقترح رونالد فيشر طريقة سريعة لحساب تقديرات الاحتمالية القصوى لنموذج البروبيت كملحق لعمل بليس في عام 1935. ^[9]

• نموذج خطي معمم
• متغير تابع محدود
• نموذج لوجيت
• بروبيت متعدد الحدود
• نماذج بروبيت متعددة المتغيرات
• نموذج البروبيت المرتب ونموذج اللوجيت المرتب
• الفصل (الإحصاء)
• نموذج توبيت

• ألبرت، جيه إتش؛ شيب، إس. (1993). "التحليل البايزي لبيانات الاستجابة الثنائية والمتعددة الأشكال". مجلة الجمعية الإحصائية الأمريكية . 88 (422): 669-679. doi :10.1080/01621459.1993.10476321. JSTOR  2290350.
• أميميا، تاكيشي (1985). "نماذج الاستجابة النوعية". القياس الاقتصادي المتقدم . أكسفورد: باسيل بلاكويل. ص 267-359. رقم ISBN 0-631-13345-3.
• جوريرو، كريستيان (2000). "التقسيم الثنائي البسيط". القياس الاقتصادي للمتغيرات التابعة النوعية . نيويورك: مطبعة جامعة كامبريدج. ص 6-37. ISBN 0-521-58985-1.
• لياو، تيم فوتينج (1994). تفسير نماذج الاحتمالات: لوجيت، وبروبيت، وغيرها من النماذج الخطية المعممة . سيج. رقم ISBN 0-8039-4999-5.
• McCullagh, Peter ; John Nelder (1989). Generalized Linear Models . London: Chapman and Hall. ISBN 0-412-31760-5.

• الوسائط المتعلقة بنموذج Probit في ويكيميديا ​​كومنز
• محاضرة في القياس الاقتصادي (الموضوع: نموذج بروبيت) على اليوتيوب يقدمها مارك توما