نموذج بروبيت

لنفترض مجموعة البيانات${\displaystyle \{y_{i},x_{i}\}_{i=1}^{n}}$يحتوي على n وحدة إحصائية مستقلة تتوافق مع النموذج أعلاه.

بالنسبة للملاحظة الفردية، بشرط وجود متجه المدخلات لتلك الملاحظة، لدينا:

${\displaystyle P(y_{i}=1|x_{i})=\Phi (x_{i}^{\operatorname {T} }\beta )}$

${\displaystyle P(y_{i}=0|x_{i})=1-\Phi (x_{i}^{\operatorname {T} }\beta )}$

أين${\displaystyle x_{i}}$هو متجه من${\displaystyle K\times 1}$المدخلات، و${\displaystyle \beta }$هو${\displaystyle K\times 1}$متجه المعاملات.

احتمالية حدوث ملاحظة واحدة${\displaystyle (y_{i},x_{i})}$ثم

${\displaystyle {\mathcal {L}}(\beta ;y_{i},x_{i})=\Phi (x_{i}^{\operatorname {T} }\beta )^{y_{i}}[1-\Phi (x_{i}^{\operatorname {T} }\beta )]^{(1-y_{i})}}$

في الواقع، إذا${\displaystyle y_{i}=1}$، ثم${\displaystyle {\mathcal {L}}(\beta ;y_{i},x_{i})=\Phi (x_{i}^{\operatorname {T} }\beta )}$وإذا${\displaystyle y_{i}=0}$، ثم${\displaystyle {\mathcal {L}}(\beta ;y_{i},x_{i})=1-\Phi (x_{i}^{\operatorname {T} }\beta )}$.

بما أن المشاهدات مستقلة وموزعة بشكل متطابق، فإن احتمال العينة بأكملها، أو الاحتمال المشترك ، سيكون مساوياً لحاصل ضرب احتمالات المشاهدات الفردية:

${\displaystyle {\mathcal {L}}(\beta ;Y,X)=\prod _{i=1}^{n}\left(\Phi (x_{i}^{\operatorname {T} }\beta )^{y_{i}}[1-\Phi (x_{i}^{\operatorname {T} }\beta )]^{(1-y_{i})}\right)}$

وبالتالي فإن دالة الاحتمال اللوغاريتمي المشترك هي

${\displaystyle \ln {\mathcal {L}}(\beta ;Y,X)=\sum _{i=1}^{n}{\bigg (}y_{i}\ln \Phi (x_{i}^{\operatorname {T} }\beta )+(1-y_{i})\ln \!{\big (}1-\Phi (x_{i}^{\operatorname {T} }\beta ){\big )}{\bigg )}}$

المُقدِّر${\displaystyle {\hat {\beta }}}$إن الدالة التي تحقق أقصى قيمة لهذه الدالة ستكون متسقة ، وطبيعية تقاربياً، وفعالة بشرط أن${\displaystyle \operatorname {E} [XX^{\operatorname {T} }]}$موجودة وليست شاذة. يمكن إثبات أن دالة الاحتمال اللوغاريتمي هذه مقعرة عالميًا في${\displaystyle \beta }$وبالتالي، فإن الخوارزميات العددية القياسية للتحسين ستتقارب بسرعة إلى القيمة القصوى الفريدة.

التوزيع التقاربي لـ${\displaystyle {\hat {\beta }}}$يُعطى بواسطة

${\displaystyle {\sqrt {n}}({\hat {\beta }}-\beta )\ {\xrightarrow {d}}\ {\mathcal {N}}(0,\,\Omega ^{-1}),}$

أين

$\begin{displaystyle \Omega = \operatorname {E} \bigg [}{\frac {\varphi ^{2}(X^{\operatorname {T} }\beta )}{\Phi (X^{\operatorname {T} }\beta )(1-\Phi (X^{\operatorname {T} }\beta ))}}XX^{\operatorname {T} }{\bigg ]},\qquad \hat {\Omega }}=\frac {1}{n}}\sum _{i=1}^{n}{\frac {\varphi ^{2}(x_{i}^{\operatorname {T} }{\hat {\beta }})}{\Phi (x_{i}^{\operatorname {T} }{\hat {\beta }})(1-\Phi (x_{i}^{\operatorname {T} }{\hat {\beta }}))}}x_{i}x_{i}^{\operatorname {T} },}$

و${\displaystyle \varphi =\Phi '}$هي دالة كثافة الاحتمال ( PDF ) للتوزيع الطبيعي القياسي.

تتوفر أيضًا طرق الاحتمال الأقصى شبه المعلمية وغير المعلمية لنماذج من نوع بروبيت وغيرها من النماذج ذات الصلة. ^{[ 4 ]}

لا يمكن تطبيق هذه الطريقة إلا عند وجود العديد من الملاحظات لمتغير الاستجابة${\displaystyle y_{i}}$لها نفس قيمة متجه المتغيرات المستقلة${\displaystyle x_{i}}$(يمكن الإشارة إلى هذه الحالة باسم "العديد من الملاحظات لكل خلية"). وبشكل أكثر تحديدًا، يمكن صياغة النموذج على النحو التالي.

لنفترض من بين n مشاهدة${\displaystyle \{y_{i},x_{i}\}_{i=1}^{n}}$يوجد فقط T قيمة مميزة للمتغيرات المستقلة، والتي يمكن الإشارة إليها على النحو التالي:${\displaystyle \{x_{(1)},\ldots ,x_{(T)}\}}$. يترك${\displaystyle n_{t}}$ليكن عدد الملاحظات التي${\displaystyle x_{i}=x_{(t)},}$و${\displaystyle r_{t}}$عدد هذه الملاحظات مع${\displaystyle y_{i}=1}$نفترض أن هناك بالفعل "العديد" من الملاحظات لكل "خلية": لكل${\displaystyle t,\lim _{n\rightarrow \infty }n_{t}/n=c_{t}>0}$.

دل

${\displaystyle {\hat {p}}_{t}=r_{t}/n_{t}}$

${\displaystyle {\hat {\sigma }}_{t}^{2}={\frac {1}{n_{t}}}{\frac {{\hat {p}}_{t}(1-{\hat {p}}_{t})}{\varphi ^{2}{\big (}\Phi ^{-1}({\hat {p}}_{t}){\big )}}}}$

إذن، يُعد مُقدِّر مربع كاي الأدنى لبيركسون مُقدِّرًا مُعمَّمًا للمربعات الصغرى في انحدار${\displaystyle \Phi ^{-1}({\hat {p}}_{t})}$على${\displaystyle x_{(t)}}$مع الأوزان${\displaystyle {\hat {\sigma }}_{t}^{-2}}$:

${\displaystyle {\hat {\beta }}={\Bigg (}\sum _{t=1}^{T}{\hat {\sigma }}_{t}^{-2}x_{(t)}x_{(t)}^{\operatorname {T} }{\Bigg )}^{-1}\sum _{t=1}^{T}{\hat {\sigma }}_{t}^{-2}x_{(t)}\Phi ^{-1}({\hat {p}}_{t})}$

يمكن إثبات أن هذا المُقدِّر متسق (عندما n → ∞ و T ثابتة)، ويتبع التوزيع الطبيعي تقاربياً، وفعال. وتكمن ميزته في وجود صيغة مغلقة له. مع ذلك، لا يكون إجراء هذا التحليل ذا جدوى إلا عندما لا تتوفر المشاهدات الفردية، وإنما فقط مجموعها.${\displaystyle r_{t}}$،${\displaystyle n_{t}}$، و${\displaystyle x_{(t)}}$(على سبيل المثال في تحليل سلوك التصويت).

يُمكن تطبيق أسلوب جيبس ​​لأخذ عينات من نموذج بروبيت بإدخال متغيرات كامنة z موزعة توزيعًا طبيعيًا ، حيث تُعتبر قيمتها 1 إذا كانت موجبة و0 فيما عدا ذلك. وقد طُرح هذا الأسلوب في دراسة ألبرت وشيب (1993) ^{[ 5 ]} ، والتي أوضحت كيفية تطبيق أسلوب جيبس ​​لأخذ العينات على نماذج الاستجابة الثنائية والمتعددة التصنيفات ضمن إطار بايزي. في ظل توزيع احتمالي طبيعي متعدد المتغيرات على الأوزان، يُمكن وصف النموذج كما يلي:

${\displaystyle {\begin{aligned}{\boldsymbol {\beta }}&\sim {\mathcal {N}}(\mathbf {b} _{0},\mathbf {B} _{0})\\[3pt]z_{i}\mid \mathbf {x} _{i},{\boldsymbol {\beta }}&\sim {\mathcal {N}}(\mathbf {x} _{i}^{\operatorname {T} }{\boldsymbol {\beta }},1)\\[3pt]y_{i}&={\begin{cases}1&{\text{if }}z_{i}>0\\0&{\text{otherwise}}\end{cases}}\end{aligned}}}$

ومن هذا، استنتج ألبرت وشيب (1993) ^{[ 5 ]} التوزيعات الشرطية الكاملة التالية في خوارزمية أخذ العينات لجيبس:

${\displaystyle {\begin{aligned}\mathbf {B} &=(\mathbf {B} _{0}^{-1}+\mathbf {X} ^{\operatorname {T} }\mathbf {X} )^{-1}\\[3pt]{\boldsymbol {\beta }}\mid \mathbf {z} &\sim {\mathcal {N}}(\mathbf {B} (\mathbf {B} _{0}^{-1}\mathbf {b} _{0}+\mathbf {X} ^{\operatorname {T} }\mathbf {z} ),\mathbf {B} )\\[3pt]z_{i}\mid y_{i}=0,\mathbf {x} _{i},{\boldsymbol {\beta }}&\sim {\mathcal {N}}(\mathbf {x} _{i}^{\operatorname {T} }{\boldsymbol {\beta }},1)[z_{i}\leq 0]\\[3pt]z_{i}\mid y_{i}=1,\mathbf {x} _{i},{\boldsymbol {\beta }}&\sim {\mathcal {N}}(\mathbf {x} _{i}^{\operatorname {T} }{\boldsymbol {\beta }},1)[z_{i}>0]\end{aligned}}}$

النتيجة لـ${\displaystyle {\boldsymbol {\beta }}}$ورد ذلك في مقالة الانحدار الخطي البايزي ، وإن كان بصيغة مختلفة، بينما تتبع التوزيعات الاحتمالية الشرطية اللاحقة للمتغيرات الكامنة توزيعًا طبيعيًا مقطوعًا ضمن النطاقات المحددة.${\displaystyle [z_{i}<0]}$قوس إيفرسون ، ويكتب أحيانًا${\displaystyle {\mathcal {I}}(z_{i}<0)}$أو ما شابه ذلك. وبالتالي، فإن معرفة النتائج المرصودة تعمل على تقييد دعم المتغيرات الكامنة.

أخذ عينات من الأوزان${\displaystyle {\boldsymbol {\beta }}}$ بالنظر إلى المتجه الكامن${\displaystyle \mathbf {z} }$يُعدّ التوزيع الطبيعي المتعدد معيارًا. ولأخذ عينات من المتغيرات الكامنة من التوزيعات الطبيعية الخلفية المقتطعة، يمكن الاستفادة من طريقة دالة التوزيع التراكمي العكسية، المُطبقة في دالة R المتجهة التالية، مما يجعل تطبيق الطريقة أمرًا بسيطًا.

zbinprobit <- function ( y , X , beta , n ) { meanv <- X %*% beta u <- runif ( n ) # متغيرات عشوائية منتظمة (0,1) cd <- pnorm ( - meanv ) # دالة التوزيع التراكمي الطبيعي pu <- ( u * cd ) * ( 1 - 2 * y ) + ( u + cd ) * y cpui <- qnorm ( pu ) # دالة التوزيع التراكمي الطبيعي العكسي z <- meanv + cpui # متجه كامن return ( z ) }