دالة التباين

النموذج الخطي المعمم (GLM) هو تعميم لتحليل الانحدار العادي، ويمتد ليشمل أي فرد من عائلة الدوال الأسية . وهو مفيد بشكل خاص عندما يكون المتغير التابع فئويًا أو ثنائيًا أو خاضعًا لقيد معين (مثلًا، الاستجابات الموجبة فقط هي المنطقية). يُقدم هذا المقال ملخصًا سريعًا لمكونات النموذج الخطي المعمم، ولكن لمزيد من التفاصيل والمعلومات، يُرجى مراجعة صفحة النماذج الخطية المعممة .

يتكون نموذج GLM من ثلاثة مكونات رئيسية:

1. المكون العشوائي: توزيع لـ y من العائلة الأسية،${\displaystyle E[y\mid X]=\mu }$

2. المتنبئ الخطي: ${\displaystyle \eta =XB=\sum _{j=1}^{p}X_{ij}^{T}B_{j}}$

3. وظيفة الربط:${\displaystyle \eta =g(\mu ),\mu =g^{-1}(\eta )}$

أولاً، من المهم استخلاص بعض الخصائص الرئيسية للعائلة الأسية.

أي متغير عشوائي${\displaystyle {\textit {y}}}$في العائلة الأسية، تكون دالة كثافة الاحتمال على الشكل التالي:

${\displaystyle f(y,\theta ,\phi )=\exp \left({\frac {y\theta -b(\theta )}{\phi }}-c(y,\phi )\right)}$

باستخدام دالة الاحتمال اللوغاريتمي،

${\displaystyle \ell (\theta ,y,\phi )=\log(f(y,\theta ,\phi ))={\frac {y\theta -b(\theta )}{\phi }}-c(y,\phi )}$

هنا،${\displaystyle \theta }$يمثل المعامل الأساسي والمعامل محل الاهتمام، و${\displaystyle \phi }$يُعدّ مُعاملًا مُزعجًا يُؤثّر على التباين. نستخدم متطابقات بارتليت لاستنتاج صيغة عامة لدالة التباين . تضمن نتائج بارتليت الأولى والثانية أنه في ظل شروط مُناسبة (انظر قاعدة لايبنتز التكاملية )، بالنسبة لدالة كثافة تعتمد على${\displaystyle \theta ,f_{\theta }()}$،

${\displaystyle \operatorname {E} _{\theta }\left[{\frac {\partial }{\partial \theta }}\log(f_{\theta }(y))\right]=0}$

${\displaystyle \operatorname {Var} _{\theta }\left[{\frac {\partial }{\partial \theta }}\log(f_{\theta }(y))\right]+\operatorname {E} _{\theta }\left[{\frac {\partial ^{2}}{\partial \theta ^{2}}}\log(f_{\theta }(y))\right]=0}$

تؤدي هذه المتطابقات إلى حسابات بسيطة للقيمة المتوقعة والتباين لأي متغير عشوائي${\displaystyle {\textit {y}}}$في العائلة الأسية${\displaystyle E_{\theta }[y],Var_{\theta }[y]}$.

القيمة المتوقعة لـ Y : بأخذ المشتقة الأولى بالنسبة إلى${\displaystyle \theta }$بالنسبة للوغاريتم الكثافة في شكل العائلة الأسية الموصوف أعلاه، لدينا

${\displaystyle {\frac {\partial }{\partial \theta }}\log(f(y,\theta ,\phi ))={\frac {\partial }{\partial \theta }}\left[{\frac {y\theta -b(\theta )}{\phi }}-c(y,\phi )\right]={\frac {y-b'(\theta )}{\phi }}}$

ثم يؤدي أخذ القيمة المتوقعة ومساواتها بالصفر إلى،

${\displaystyle \operatorname {E} _{\theta }\left[{\frac {y-b'(\theta )}{\phi }}\right]={\frac {\operatorname {E} _{\theta }[y]-b'(\theta )}{\phi }}=0}$

${\displaystyle \operatorname {E} _{\theta }[y]=b'(\theta )}$

تباين Y: لحساب التباين، نستخدم متطابقة بارتليت الثانية،

${\displaystyle \operatorname {Var} _{\theta }\left[{\frac {\partial }{\partial \theta }}\left({\frac {y\theta -b(\theta )}{\phi }}-c(y,\phi )\right)\right]+\operatorname {E} _{\theta }\left[{\frac {\partial ^{2}}{\partial \theta ^{2}}}\left({\frac {y\theta -b(\theta )}{\phi }}-c(y,\phi )\right)\right]=0}$

${\displaystyle \operatorname {Var} _{\theta }\left[{\frac {y-b'(\theta )}{\phi }}\right]+\operatorname {E} _{\theta }\left[{\frac {-b''(\theta )}{\phi }}\right]=0}$

${\displaystyle \operatorname {Var} _{\theta }\left[y\right]=b''(\theta )\phi }$

لدينا الآن علاقة بين${\displaystyle \mu }$و${\displaystyle \theta }$، أي

${\displaystyle \mu =b'(\theta )}$و${\displaystyle \theta =b'^{-1}(\mu )}$مما يسمح بإقامة علاقة بين${\displaystyle \mu }$والتباين،

${\displaystyle V(\theta )=b''(\theta )={\text{the part of the variance that depends on }}\theta }$

${\displaystyle \operatorname {V} (\mu )=b''(b'^{-1}(\mu )).\,}$

لاحظ ذلك لأن${\displaystyle \operatorname {Var} _{\theta }\left[y\right]>0,b''(\theta )>0}$، ثم${\displaystyle b':\theta \rightarrow \mu }$قابلة للعكس. نستنتج دالة التباين لبعض التوزيعات الشائعة.

التوزيع الطبيعي هو حالة خاصة تكون فيها دالة التباين ثابتة. لنفترض${\displaystyle y\sim N(\mu ,\sigma ^{2})}$ثم نضع دالة الكثافة لـ y في شكل العائلة الأسية الموصوفة أعلاه:

${\displaystyle f(y)=\exp \left({\frac {y\mu -{\frac {\mu ^{2}}{2}}}{\sigma ^{2}}}-{\frac {y^{2}}{2\sigma ^{2}}}-{\frac {1}{2}}\ln {2\pi \sigma ^{2}}\right)}$

أين

${\displaystyle \theta =\mu ,}$

${\displaystyle b(\theta )={\frac {\mu ^{2}}{2}},}$

${\displaystyle \phi =\sigma ^{2},}$

${\displaystyle c(y,\phi )=-{\frac {y^{2}}{2\sigma ^{2}}}-{\frac {1}{2}}\ln {2\pi \sigma ^{2}}}$

لحساب دالة التباين${\displaystyle V(\mu )}$، نعبر أولاً${\displaystyle \theta }$كدالة لـ${\displaystyle \mu }$ثم نقوم بالتحويل${\displaystyle V(\theta )}$إلى دالة من${\displaystyle \mu }$

${\displaystyle \theta =\mu }$

${\displaystyle b'(\theta )=\theta =\operatorname {E} [y]=\mu }$

${\displaystyle V(\theta )=b''(\theta )=1}$

لذلك، فإن دالة التباين ثابتة.

يترك${\displaystyle y\sim {\text{Bernoulli}}(p)}$ثم نعبر عن كثافة توزيع برنولي في شكل عائلة أسية،

${\displaystyle f(y)=\exp \left(y\ln {\frac {p}{1-p}}+\ln(1-p)\right)}$

${\displaystyle \theta =\ln {\frac {p}{1-p}}=}$logit (p)، مما يعطينا${\displaystyle p={\frac {e^{\theta }}{1+e^{\theta }}}=}$انتهاء الصلاحية${\displaystyle (\theta )}$

${\displaystyle b(\theta )=\ln(1+e^{\theta })}$ و

${\displaystyle b'(\theta )={\frac {e^{\theta }}{1+e^{\theta }}}=}$انتهاء الصلاحية${\displaystyle (\theta )=p=\mu }$

${\displaystyle b''(\theta )={\frac {e^{\theta }}{1+e^{\theta }}}-\left({\frac {e^{\theta }}{1+e^{\theta }}}\right)^{2}}$

هذا يعطينا

${\displaystyle V(\mu )=\mu (1-\mu )}$

يترك${\displaystyle y\sim {\text{Poisson}}(\lambda )}$ثم نعبر عن كثافة توزيع بواسون في شكل عائلة أسية،

${\displaystyle f(y)=\exp(y\ln \lambda -\ln \lambda )}$

${\displaystyle \theta =\ln \lambda =}$مما يعطينا${\displaystyle \lambda =e^{\theta }}$

${\displaystyle b(\theta )=e^{\theta }}$ و

${\displaystyle b'(\theta )=e^{\theta }=\lambda =\mu }$

${\displaystyle b''(\theta )=e^{\theta }=\mu }$

هذا يعطينا

${\displaystyle V(\mu )=\mu }$

هنا نرى الخاصية المركزية لبيانات بواسون، وهي أن التباين يساوي المتوسط.

يمكن التعبير عن توزيع جاما ودالة الكثافة الاحتمالية باستخدام معلمات مختلفة. سنستخدم صيغة جاما ذات المعلمات${\displaystyle (\mu ,\nu )}$

${\displaystyle f_{\mu ,\nu }(y)={\frac {1}{\Gamma (\nu )y}}\left({\frac {\nu y}{\mu }}\right)^{\nu }e^{-{\frac {\nu y}{\mu }}}}$

ثم في شكل عائلة الدوال الأسية لدينا

${\displaystyle f_{\mu ,\nu }(y)=\exp \left({\frac {-{\frac {1}{\mu }}y+\ln({\frac {1}{\mu }})}{\frac {1}{\nu }}}+\ln \left({\frac {\nu ^{\nu }y^{\nu -1}}{\Gamma (\nu )}}\right)\right)}$

${\displaystyle \theta ={\frac {-1}{\mu }}\rightarrow \mu ={\frac {-1}{\theta }}}$

${\displaystyle \phi ={\frac {1}{\nu }}}$

${\displaystyle b(\theta )=-\ln(-\theta )}$

${\displaystyle b'(\theta )={\frac {-1}{\theta }}={\frac {-1}{\frac {-1}{\mu }}}=\mu }$

${\displaystyle b''(\theta )={\frac {1}{\theta ^{2}}}=\mu ^{2}}$

ولدينا${\displaystyle V(\mu )=\mu ^{2}}$

يُعدّ استخدام دالة التباين في تقدير المعلمات والاستدلال من أهم تطبيقاتها، سواءً عندما يكون المتغير التابع من النوع الأسي المطلوب، أو في بعض الحالات التي لا يكون فيها كذلك (والتي سنناقشها في شبه الاحتمالية ). تُعتبر طريقة المربعات الصغرى الموزونة (WLS) حالة خاصة من طريقة المربعات الصغرى المعممة. يتضمن كل حد في معيار WLS وزنًا يُحدد تأثير كل مشاهدة على تقديرات المعلمات النهائية. وكما هو الحال في طريقة المربعات الصغرى العادية، فإن الهدف هو تقدير المعلمات المجهولة في دالة الانحدار من خلال إيجاد قيم لتقديرات المعلمات تُقلل مجموع مربعات الانحرافات بين الاستجابات المرصودة والجزء الوظيفي من النموذج.

على الرغم من أن طريقة المربعات الصغرى الموزونة (WLS) تفترض استقلال المشاهدات ، إلا أنها لا تفترض تساوي التباين، ولذلك فهي حل لتقدير المعلمات في حالة وجود تباين غير متجانس. تُبين نظرية جاوس-ماركوف وآيتكن أن أفضل مُقدِّر خطي غير متحيز (BLUE)، وهو المُقدِّر غير المتحيز ذو أقل تباين، يكون وزنه مساويًا لمقلوب تباين القياس.

في إطار نموذج الانحدار الخطي المعمم، هدفنا هو تقدير المعلمات${\displaystyle \beta }$، أين${\displaystyle Z=g(E[y\mid X])=X\beta }$لذلك، نود أن نقلل من${\displaystyle (Z-XB)^{T}W(Z-XB)}$وإذا عرّفنا مصفوفة الوزن W على النحو التالي

${\displaystyle \underbrace {W} _{n\times n}={\begin{bmatrix}{\frac {1}{\phi V(\mu _{1})g'(\mu _{1})^{2}}}&0&\cdots &0&0\\0&{\frac {1}{\phi V(\mu _{2})g'(\mu _{2})^{2}}}&0&\cdots &0\\\vdots &\vdots &\vdots &\vdots &0\\\vdots &\vdots &\vdots &\vdots &0\\0&\cdots &\cdots &0&{\frac {1}{\phi V(\mu _{n})g'(\mu _{n})^{2}}}\end{bmatrix}},}$

أين${\displaystyle \phi ,V(\mu ),g(\mu )}$كما هو موضح في القسم السابق، يسمح هذا الأسلوب بتقدير المعلمات باستخدام طريقة المربعات الصغرى الموزونة المتكررة (IRLS). راجع قسم المربعات الصغرى الموزونة المتكررة لمزيد من الاشتقاق والمعلومات.

ومن المهم أيضًا ملاحظة أنه عندما تكون مصفوفة الأوزان بالشكل الموصوف هنا، فإن تقليل التعبير${\displaystyle (Z-XB)^{T}W(Z-XB)}$كما أنه يقلل من مسافة بيرسون. انظر معامل ارتباط المسافة لمزيد من المعلومات.

تُستنتج المصفوفة W مباشرةً من معادلات التقدير لتقدير${\displaystyle \beta }$تقدير الاحتمال الأقصى لكل معلمة${\displaystyle \beta _{r},1\leq r\leq p}$، يتطلب

${\displaystyle \sum _{i=1}^{n}{\frac {\partial l_{i}}{\partial \beta _{r}}}=0}$، أين${\displaystyle \operatorname {l} (\theta ,y,\phi )=\log(\operatorname {f} (y,\theta ,\phi ))={\frac {y\theta -b(\theta )}{\phi }}-c(y,\phi )}$هو دالة الاحتمال اللوغاريتمي.

بالنظر إلى ملاحظة واحدة لدينا،

${\displaystyle {\frac {\partial l}{\partial \beta _{r}}}={\frac {\partial l}{\partial \theta }}{\frac {\partial \theta }{\partial \mu }}{\frac {\partial \mu }{\partial \eta }}{\frac {\partial \eta }{\partial \beta _{r}}}}$

${\displaystyle {\frac {\partial \eta }{\partial \beta _{r}}}=x_{r}}$

${\displaystyle {\frac {\partial l}{\partial \theta }}={\frac {y-b'(\theta )}{\phi }}={\frac {y-\mu }{\phi }}}$

${\displaystyle {\frac {\partial \theta }{\partial \mu }}={\frac {\partial b'^{-1}(\mu )}{\mu }}={\frac {1}{b''(b'(\mu ))}}={\frac {1}{V(\mu )}}}$

وهذا يعطينا

${\displaystyle {\frac {\partial l}{\partial \beta _{r}}}={\frac {y-\mu }{\phi V(\mu )}}{\frac {\partial \mu }{\partial \eta }}x_{r}}$ولاحظ أن

${\displaystyle {\frac {\partial \eta }{\partial \mu }}=g'(\mu )}$لدينا ذلك

${\displaystyle {\frac {\partial l}{\partial \beta _{r}}}=(y-\mu )W{\frac {\partial \eta }{\partial \mu }}x_{r}}$

يتم تحديد مصفوفة هيسيان بطريقة مماثلة ويمكن إثبات أنها،

${\displaystyle H=X^{T}(y-\mu )\left[{\frac {\partial }{\beta _{s}}}W{\frac {\partial }{\beta _{r}}}\right]-X^{T}WX}$

مع ملاحظة أن شركة فيشر للمعلومات (FI)،

${\displaystyle {\text{FI}}=-E[H]=X^{T}WX}$، يسمح بالتقريب التقاربي لـ${\displaystyle {\hat {\beta }}}$

${\displaystyle {\hat {\beta }}\sim N_{p}(\beta ,(X^{T}WX)^{-1})}$وبالتالي يمكن إجراء الاستدلال.

لأن معظم خصائص النماذج الخطية المعممة تعتمد فقط على أول عزمين للتوزيع، وليس على التوزيع بأكمله، يمكن اشتقاق شبه الاحتمالية بمجرد تحديد دالة الربط ودالة التباين. أي أننا نحتاج إلى تحديد

• وظيفة الربط،${\displaystyle E[y]=\mu =g^{-1}(\eta )}$
• دالة التباين،${\displaystyle V(\mu )}$، حيث${\displaystyle \operatorname {Var} _{\theta }(y)=\sigma ^{2}V(\mu )}$

باستخدام دالة تباين ودالة ربط محددتين، يمكننا تطوير بدائل لدالة الاحتمالية اللوغاريتمية ، ودالة النتيجة ، ومعلومات فيشر ، وهي: شبه الاحتمالية ، وشبه النتيجة ، وشبه المعلومات . وهذا يسمح بالاستدلال الكامل لـ${\displaystyle \beta }$.

الاحتمالية شبهية (QL)

على الرغم من تسميتها شبه الاحتمالية ، إلا أنها في الواقع شبه لوغاريتمية الاحتمالية. الاحتمالية شبه اللوغاريتمية لملاحظة واحدة هي

${\displaystyle Q_{i}(\mu _{i},y_{i})=\int _{y_{i}}^{\mu _{i}}{\frac {y_{i}-t}{\sigma ^{2}V(t)}}\,dt}$

وبالتالي فإن جودة الحياة لجميع الملاحظات n هي

${\displaystyle Q(\mu ,y)=\sum _{i=1}^{n}Q_{i}(\mu _{i},y_{i})=\sum _{i=1}^{n}\int _{y_{i}}^{\mu _{i}}{\frac {y-t}{\sigma ^{2}V(t)}}\,dt}$

من خلال QL نحصل على النتيجة شبه النهائية

النتيجة شبه القياسية (QS)

تذكر دالة التقييم ، U ، للبيانات ذات الاحتمالية اللوغاريتمية${\displaystyle \operatorname {l} (\mu \mid y)}$يكون

${\displaystyle U={\frac {\partial l}{d\mu }}.}$

نحصل على النتيجة شبه النهائية بنفس الطريقة،

${\displaystyle U={\frac {y-\mu }{\sigma ^{2}V(\mu )}}}$

مع ملاحظة أن النتيجة بالنسبة لملاحظة واحدة هي

${\displaystyle {\frac {\partial Q}{\partial \mu }}={\frac {y-\mu }{\sigma ^{2}V(\mu )}}}$

تتحقق معادلتان بارتليت الأوليان بالنسبة للنتيجة شبهية، وهما:

${\displaystyle E[U]=0}$

و

${\displaystyle \operatorname {Cov} (U)+E\left[{\frac {\partial U}{\partial \mu }}\right]=0.}$

بالإضافة إلى ذلك، فإن النتيجة شبه الخطية تتناسب طرديًا مع y .

الهدف النهائي هو العثور على معلومات حول المعايير ذات الأهمية${\displaystyle \beta }$كل من QS و QL هما في الواقع دالتان لـ${\displaystyle \beta }$. يتذكر،${\displaystyle \mu =g^{-1}(\eta )}$، و${\displaystyle \eta =X\beta }$، لذلك،

${\displaystyle \mu =g^{-1}(X\beta ).}$

المعلومات شبهية (QI)

المعلومات شبه الحقيقية تشبه معلومات فيشر .

${\displaystyle i_{b}=-\operatorname {E} \left[{\frac {\partial U}{\partial \beta }}\right]}$

QL و QS و QI كدوال لـ${\displaystyle \beta }$

تُشكّل كل من QL و QS و QI اللبنات الأساسية للاستدلال حول المعلمات محل الاهتمام، ولذلك من المهم التعبير عن QL و QS و QI كدوال لـ${\displaystyle \beta }$.

أتذكر مرة أخرى أن${\displaystyle \mu =g^{-1}(X\beta )}$، نستنتج تعابير QL و QS و QI المُعَلمة تحت${\displaystyle \beta }$.

شبه الاحتمالية في${\displaystyle \beta }$،

${\displaystyle Q(\beta ,y)=\int _{y}^{\mu (\beta )}{\frac {y-t}{\sigma ^{2}V(t)}}\,dt}$

QS كدالة لـ${\displaystyle \beta }$وبالتالي

${\displaystyle U_{j}(\beta _{j})={\frac {\partial }{\partial \beta _{j}}}Q(\beta ,y)=\sum _{i=1}^{n}{\frac {\partial \mu _{i}}{\partial \beta _{j}}}{\frac {y_{i}-\mu _{i}(\beta _{j})}{\sigma ^{2}V(\mu _{i})}}}$

${\displaystyle U(\beta )={\begin{bmatrix}U_{1}(\beta )\\U_{2}(\beta )\\\vdots \\\vdots \\U_{p}(\beta )\end{bmatrix}}=D^{T}V^{-1}{\frac {(y-\mu )}{\sigma ^{2}}}}$

أين،

${\displaystyle \underbrace {D} _{n\times p}={\begin{bmatrix}{\frac {\partial \mu _{1}}{\partial \beta _{1}}}&\cdots &\cdots &{\frac {\partial \mu _{1}}{\partial \beta _{p}}}\\{\frac {\partial \mu _{2}}{\partial \beta _{1}}}&\cdots &\cdots &{\frac {\partial \mu _{2}}{\partial \beta _{p}}}\\\vdots \\\vdots \\{\frac {\partial \mu _{m}}{\partial \beta _{1}}}&\cdots &\cdots &{\frac {\partial \mu _{m}}{\partial \beta _{p}}}\end{bmatrix}}\underbrace {V} _{n\times n}=\operatorname {diag} (V(\mu _{1}),V(\mu _{2}),\ldots ,\ldots ,V(\mu _{n}))}$

مصفوفة المعلومات شبهية في${\displaystyle \beta }$يكون،

${\displaystyle i_{b}=-{\frac {\partial U}{\partial \beta }}=\operatorname {Cov} (U(\beta ))={\frac {D^{T}V^{-1}D}{\sigma ^{2}}}}$

الحصول على دالة التقييم ومعلومات${\displaystyle \beta }$يسمح بتقدير المعلمات والاستدلال بطريقة مماثلة لما هو موضح في التطبيق - المربعات الصغرى الموزونة .