النموذج الخطي المعمم

📅 آخر تحديث: ١٧ يوليو ٢٠٢٦
✍️ نُشر في: ١٧ يوليو ٢٠٢٦
📷 يحتوي على 79 صور
الموسوعة الحرة

في الإحصاء ، يُعدّ النموذج الخطي المعمم ( GLM ) تعميمًا مرنًا للانحدار الخطي العادي . يُعمّم النموذج الخطي المعمم الانحدار الخطي من خلال السماح بربط النموذج الخطي بالمتغير التابع عبر دالة الربط ، والسماح بأن يكون مقدار تباين كل قياس دالةً لقيمته المتوقعة.

صاغ جون نيلدر وروبرت ويدربورن النماذج الخطية المعممة كوسيلة لتوحيد نماذج إحصائية أخرى متنوعة، بما في ذلك الانحدار الخطي ، والانحدار اللوجستي ، وانحدار بواسون . [ 1 ] واقترحا طريقة المربعات الصغرى الموزونة بشكل تكراري لتقدير الاحتمال الأقصى (MLE) لمعلمات النموذج. ولا تزال طريقة تقدير الاحتمال الأقصى شائعة الاستخدام، وهي الطريقة الافتراضية في العديد من حزم الحوسبة الإحصائية. وقد طُوّرت مناهج أخرى، بما في ذلك الانحدار البايزي وتوفيق المربعات الصغرى للاستجابات المستقرة التباين .

حدس

يتنبأ الانحدار الخطي العادي بالقيمة المتوقعة لكمية مجهولة معينة ( المتغير التابع ، وهو متغير عشوائي ) كمزيج خطي من مجموعة من القيم المرصودة ( المتغيرات المستقلة ). وهذا يعني أن التغير الثابت في المتغير المستقل يؤدي إلى تغير ثابت في المتغير التابع (أي نموذج الاستجابة الخطية ). يُعد هذا مناسبًا عندما يكون المتغير التابع قابلًا للتغير، بتقريب جيد، بشكل غير محدود في أي من الاتجاهين، أو بشكل أعم لأي كمية لا تتغير إلا بمقدار صغير نسبيًا مقارنةً بالتغير في المتغيرات المستقلة، مثل أطوال البشر.

مع ذلك، فإن هذه الافتراضات غير مناسبة لبعض أنواع متغيرات الاستجابة. على سبيل المثال، في الحالات التي يُتوقع فيها أن يكون متغير الاستجابة موجبًا دائمًا ويتغير ضمن نطاق واسع، فإن التغيرات الثابتة في المدخلات تؤدي إلى تغيرات هندسية (أي أسية) في المخرجات، بدلًا من تغيرات ثابتة. على سبيل المثال، لنفترض أن نموذج تنبؤ خطي يتعلم من بعض البيانات (ربما مستمدة أساسًا من شواطئ كبيرة) أن انخفاض درجة الحرارة بمقدار 10 درجات سيؤدي إلى انخفاض عدد زوار الشاطئ بمقدار 1000 شخص. من غير المرجح أن يُعمم هذا النموذج بشكل جيد على شواطئ مختلفة الأحجام. وبشكل أكثر تحديدًا، تكمن المشكلة في أنه إذا استُخدم النموذج للتنبؤ بالحضور الجديد مع انخفاض درجة الحرارة بمقدار 10 درجات لشاطئ يستقبل بانتظام 50 زائرًا، فإنه سيتنبأ بقيمة حضور غير منطقية تبلغ -950. منطقيًا، سيتنبأ نموذج أكثر واقعية بمعدل ثابت لزيادة حضور الشاطئ (على سبيل المثال، تؤدي زيادة درجة الحرارة بمقدار 10 درجات إلى مضاعفة حضور الشاطئ، بينما يؤدي انخفاضها بمقدار 10 درجات إلى انخفاضه إلى النصف). يُطلق على هذا النموذج اسم نموذج الاستجابة الأسية (أو النموذج اللوغاريتمي الخطي ، حيث يُتوقع أن يتغير لوغاريتم الاستجابة بشكل خطي).

وبالمثل، فإن النموذج الذي يتنبأ باحتمالية اتخاذ خيار بنعم/لا ( متغير برنولي ) أقل ملاءمة كنموذج استجابة خطية، لأن الاحتمالات محدودة من كلا الطرفين (يجب أن تكون بين 0 و1). تخيل، على سبيل المثال، نموذجًا يتنبأ باحتمالية ذهاب شخص معين إلى الشاطئ كدالة لدرجة الحرارة. قد يتنبأ نموذج معقول، على سبيل المثال، بأن تغيرًا بمقدار 10 درجات يجعل احتمالية ذهاب الشخص إلى الشاطئ ضعفين أو أقل. ولكن ماذا يعني "ضعف الاحتمال" من حيث الاحتمالية؟ لا يمكن أن يعني ذلك حرفيًا مضاعفة قيمة الاحتمالية (مثلًا، 50% تصبح 100%، 75% تصبح 150%، إلخ). بل إن الاحتمالات هي التي تتضاعف: من احتمالات 2:1، إلى احتمالات 4:1، إلى احتمالات 8:1، وهكذا. يُسمى هذا النموذج نموذج الاحتمالات اللوغاريتمية أو النموذج اللوجستي .

تُغطي النماذج الخطية المعممة جميع هذه الحالات من خلال السماح لمتغيرات الاستجابة بتوزيعات عشوائية (بدلاً من التوزيعات الطبيعية فقط ) ، وللدالة العشوائية لمتغير الاستجابة ( دالة الربط ) بالتغير خطيًا مع المتغيرات التنبؤية (بدلاً من افتراض أن الاستجابة نفسها يجب أن تتغير خطيًا). على سبيل المثال، عادةً ما يتم نمذجة حالة العدد المتوقع لرواد الشاطئ باستخدام توزيع بواسون ودالة ربط لوغاريتمية، بينما عادةً ما يتم نمذجة حالة الاحتمالية المتوقعة لرواد الشاطئ باستخدام توزيع برنولي (أو التوزيع ذي الحدين ، اعتمادًا على صياغة المسألة بدقة) ودالة ربط لوغاريتمية (أو لوجيت ).

ملخص

في النموذج الخطي المعمم (GLM)، يُفترض أن كل نتيجة Y للمتغيرات التابعة تُولَّد من توزيع معين ضمن عائلة التوزيعات الأسية ، وهي فئة واسعة من التوزيعات الاحتمالية تشمل التوزيع الطبيعي ، والتوزيع ذي الحدين ، وتوزيع بواسون ، وتوزيع جاما ، وغيرها. يعتمد المتوسط ​​الشرطي μ للتوزيع على المتغيرات المستقلة X من خلال:

هـ⁡(Y|X)=μ=ز-1(Xβ)،{\displaystyle \operatorname {E} (\mathbf {Y} \mid \mathbf {X} )={\boldsymbol {\mu }}=g^{-1}(\mathbf {X} {\boldsymbol {\beta }})،}

حيث E( Y  | X ) هي القيمة المتوقعة لـ Y بشرط X ؛ X β هو المتنبئ الخطي ، وهو عبارة عن تركيبة خطية من المعلمات غير المعروفة β ؛ g هي دالة الربط. 

في هذا الإطار، يكون التباين عادةً دالة، V ، للمتوسط:

متغير⁡(Y|X)=V⁡(ز-1(Xβ)).{\displaystyle \operatorname {Var} (\mathbf {Y} \mid \mathbf {X} )=\operatorname {V} (g^{-1}(\mathbf {X} {\boldsymbol {\beta }})).}

من الملائم أن يتبع V عائلة أسية من التوزيعات، ولكن قد يكون ببساطة أن التباين هو دالة للقيمة المتوقعة.

يتم عادةً تقدير المعلمات المجهولة، β ، باستخدام تقنيات الاحتمال الأقصى ، أو الاحتمال شبه الأقصى ، أو التقنيات البايزية .

مكونات النموذج

يتكون النموذج الخطي المعمم من ثلاثة عناصر:

1. توزيع معين للنمذجةY{\displaystyle Y}من بين تلك التي تُعتبر عائلات أسية من التوزيعات الاحتمالية،
2. نموذج تنبؤ خطيη=Xβ{\displaystyle \eta =X\beta }، و
3. دالة الربطز{\displaystyle g}بحيثهـ⁡(Y|X)=μ=ز-1(η){\displaystyle \operatorname {E} (Y\mid X)=\mu =g^{-1}(\eta )}.

التوزيع الاحتمالي

تُعدّ عائلة التوزيعات الأسية ذات التشتت الزائد (أو عائلة التوزيعات الأسية ذات التشتت ) تعميمًا لعائلة التوزيعات الأسية ونموذج التشتت الأسي للتوزيعات، وتشمل عائلات التوزيعات الاحتمالية التي تُحدد معالمها بواسطةθ{\displaystyle {\boldsymbol {\theta }}}وτ{\displaystyle \tau }، والتي يمكن التعبير عن دوال كثافتها f (أو دالة كتلة الاحتمال ، في حالة التوزيع المنفصل ) بالشكل التالي

وY(y|θ،τ)=ح(y،τ)خبرة⁡(ب(θ)تيتي(y)-أ(θ)د(τ)).{\displaystyle f_{Y}(\mathbf {y} \mid {\boldsymbol {\theta }},\tau )=h(\mathbf {y} ,\tau )\exp \left({\frac {\mathbf {b} ({\boldsymbol {\theta }})^{\rm {T}}\mathbf {T} (\mathbf {y} )-A({\boldsymbol {\theta }})}{d(\tau )}}\right).\,\!}

معامل التشتت ،τ{\displaystyle \tau }عادةً ما تكون هذه الدالة معروفة وترتبط عادةً بتباين التوزيع.ح(y،τ){\displaystyle h(\mathbf {y} ,\tau )}،ب(θ){\displaystyle \mathbf {b} ({\boldsymbol {\theta }})}،تي(y){\displaystyle \mathbf {T} (\mathbf {y} )}،أ(θ){\displaystyle A({\boldsymbol {\theta }})}، ود(τ){\displaystyle d(\tau )}معروفة. العديد من التوزيعات الشائعة تنتمي إلى هذه العائلة، بما في ذلك التوزيع الطبيعي، والتوزيع الأسي، وتوزيع جاما، وتوزيع بواسون، وتوزيع برنولي، و(بالنسبة لعدد ثابت من التجارب) التوزيع ذو الحدين، والتوزيع متعدد الحدود، والتوزيع ذو الحدين السالب.

للكميات العدديةy{\displaystyle \mathbf {y} }وθ{\displaystyle {\boldsymbol {\theta }}}(يشار إليه)y{\displaystyle y}وθ{\displaystyle \theta }(في هذه الحالة)، يتقلص هذا إلى

وY(y|θ،τ)=ح(y،τ)خبرة⁡(ب(θ)تي(y)-أ(θ)د(τ)).{\displaystyle f_{Y}(y\mid \theta ,\tau )=h(y,\tau )\exp \left({\frac {b(\theta )T(y)-A(\theta )}{d(\tau )}}\right).\,\!}

θ{\displaystyle {\boldsymbol {\theta }}}يرتبط بمتوسط ​​التوزيع. صاغ جون نيلدر وروبرت ويدربورن الصيغة الأصلية.تي(y)=y{\displaystyle T(y)=y}[ 2 ] [ 3 ] ، وهو شرط أساسي للحصول على معادلات تقدير غير متحيزة لـ θ{\displaystyle \theta }وهذا يُنتج العديد من الخصائص الجذابة، بما في ذلك اتساق تقدير الاحتمال الأقصى في ظل سوء تحديد التوزيع [ 4 ] . إذاب(θ){\displaystyle \mathbf {b} ({\boldsymbol {\theta }})}إذا كانت دالة التطابق هي ، فإن التوزيع يُقال إنه في شكله القانوني (أو شكله الطبيعي ). لاحظ أنه يمكن تحويل أي توزيع إلى شكله القانوني عن طريق إعادة كتابتهθ{\displaystyle {\boldsymbol {\theta }}}مثلθ′{\displaystyle {\boldsymbol {\theta }}'}ثم تطبيق التحويلθ=ب(θ′){\displaystyle {\boldsymbol {\theta }}=\mathbf {b} ({\boldsymbol {\theta }}')}من الممكن دائمًا التحويلأ(θ){\displaystyle A({\boldsymbol {\theta }})}فيما يتعلق بالمعاملات الجديدة، حتى لوب(θ′){\displaystyle \mathbf {b} ({\boldsymbol {\theta }}')}ليست دالة أحادية ؛ انظر التعليقات في الصفحة الخاصة بالعائلات الأسية .

وإذا، بالإضافة إلى ذلك،تي(y){\displaystyle \mathbf {T} (\mathbf {y} )}وب(θ){\displaystyle \mathbf {b} ({\boldsymbol {\theta }})}هي الهوية، إذنθ{\displaystyle {\boldsymbol {\theta }}}يُطلق عليه اسم المعلمة الأساسية (أو المعلمة الطبيعية ) ويرتبط بالمتوسط ​​من خلال

μ=هـ⁡(y)=∇θأ(θ).{\displaystyle {\boldsymbol {\mu }}=\operatorname {E} (\mathbf {y} )=\nabla _{\boldsymbol {\theta }}A({\boldsymbol {\theta }}).\,\!}

للكميات العدديةy{\displaystyle \mathbf {y} }وθ{\displaystyle {\boldsymbol {\theta }}}، وهذا يختزل إلى

μ=هـ⁡(y)=أ′(θ).{\displaystyle \mu =\operatorname {E} (y)=A'(\theta ).}

في ظل هذا السيناريو، يمكن إثبات أن تباين التوزيع هو [ 3 ]

متغير⁡(y)=∇θ2أ(θ)د(τ).{\displaystyle \operatorname {Var} (\mathbf {y} )=\nabla _{\boldsymbol {\theta }}^{2}A({\boldsymbol {\theta }})d(\tau ).\,\!}

للكميات العدديةy{\displaystyle \mathbf {y} }وθ{\displaystyle {\boldsymbol {\theta }}}، وهذا يختزل إلى

متغير⁡(y)=أ"(θ)د(τ).{\displaystyle \operatorname {Var} (y)=A''(\theta )d(\tau ).\,\!}

المتنبئ الخطي

المتنبئ الخطي هو الكمية التي تُدمج معلومات المتغيرات المستقلة في النموذج. يرمز له بالرمز η (من اليونانية " إيتا "). ويرتبط هذا المتنبئ بالقيمة المتوقعة للبيانات من خلال دالة الربط.

يُعبَّر عن η كمجموعات خطية (وبالتالي "خطية") من المعاملات المجهولة β . تُمثَّل معاملات المجموعة الخطية بمصفوفة المتغيرات المستقلة X. وبالتالي ، يمكن التعبير عن η على النحو التالي:

η=Xβ.{\displaystyle \eta =\mathbf {X} {\boldsymbol {\beta }}.\,}

تُحدد دالة الربط العلاقة بين المتنبئ الخطي ومتوسط ​​دالة التوزيع. توجد العديد من دوال الربط الشائعة الاستخدام، ويستند اختيارها إلى عدة اعتبارات. توجد دائمًا دالة ربط قياسية محددة جيدًا ، تُشتق من الدالة الأسية لدالة كثافة الاستجابة . مع ذلك، في بعض الحالات، يكون من الأنسب محاولة مطابقة نطاق دالة الربط مع مدى متوسط ​​دالة التوزيع، أو استخدام دالة ربط غير قياسية لأغراض حسابية، مثل انحدار بروبيت البايزي .

عند استخدام دالة توزيع ذات معلمة أساسيةθ،{\displaystyle \theta ,}دالة الربط الأساسية هي الدالة التي تعبر عنθ{\displaystyle \theta }من ناحيةμ،{\displaystyle \mu ,}أيθ=ز(μ).{\displaystyle \theta =g(\mu ).} بالنسبة للتوزيعات الأكثر شيوعًا، المتوسطμ{\displaystyle \mu }يُعد أحد المعاملات في الصيغة القياسية لدالة كثافة التوزيع ، ثمز(μ){\displaystyle g(\mu )}هي الدالة كما عُرّفت أعلاه التي تُحوّل دالة الكثافة إلى شكلها المتعارف عليه. عند استخدام دالة الربط المتعارف عليها،ز(μ)=θ=Xβ،{\displaystyle g(\mu )=\theta =\mathbf {X} {\boldsymbol {\beta }},}مما يسمحXتيY{\displaystyle \mathbf {X} ^{\rm {T}}\mathbf {Y} }أن تكون إحصائية كافية لـβ{\displaystyle {\boldsymbol {\beta }}}.

فيما يلي جدول يتضمن العديد من التوزيعات الأسية الشائعة الاستخدام والبيانات التي تستخدم عادةً من أجلها، إلى جانب دوال الربط الأساسية ومعكوساتها (والتي يشار إليها أحيانًا باسم دالة المتوسط، كما هو الحال هنا).

التوزيعات الشائعة ذات الاستخدامات النموذجية ووظائف الربط الأساسية
توزيعدعم التوزيعالاستخدامات النموذجيةاسم الرابطوظيفة الربط،Xβ=ز(μ){\displaystyle \mathbf {X} {\boldsymbol {\beta }}=g(\mu )\,\!}دالة المتوسط
طبيعيحقيقي:(-∞،+∞){\displaystyle (-\infty ,+\infty )}بيانات الاستجابة الخطيةهويةXβ=μ{\displaystyle \mathbf {X} {\boldsymbol {\beta }}=\mu \,\!}μ=Xβ{\displaystyle \mu =\mathbf {X} {\boldsymbol {\beta }}\,\!}
لابلاس
النمو الأسيحقيقي:(0،+∞){\displaystyle (0,+\infty )}بيانات الاستجابة الأسية، معلمات المقياسالمعكوس السالبXβ=-μ-1{\displaystyle \mathbf {X} {\boldsymbol {\beta }}=-\mu ^{-1}\,\!}μ=-(Xβ)-1{\displaystyle \mu =-(\mathbf {X} {\boldsymbol {\beta }})^{-1}\,\!}
جاما
دالة غاوسية معكوسةحقيقي:(0،+∞){\displaystyle (0,+\infty )}مقلوب تربيعيXβ=μ-2{\displaystyle \mathbf {X} {\boldsymbol {\beta }}=\mu ^{-2}\,\!}μ=(Xβ)-1/2{\displaystyle \mu =(\mathbf {X} {\boldsymbol {\beta }})^{-1/2}\,\!}
بواسونعدد صحيح:0،1،2،...{\displaystyle 0,1,2,\ldots }عدد مرات الحدوث في فترة زمنية/مكانية محددةسجلXβ=ln⁡(μ){\displaystyle \mathbf {X} {\boldsymbol {\beta }}=\ln(\mu )\,\!}μ=خبرة⁡(Xβ){\displaystyle \mu =\exp(\mathbf {X} {\boldsymbol {\beta }})\,\!}
برنوليعدد صحيح:{0،1}{\displaystyle \{0,1\}}نتيجة حدوث واحد بنعم/لالوجيتXβ=ln⁡(μ1-μ){\displaystyle \mathbf {X} {\boldsymbol {\beta }}=\ln \left({\frac {\mu }{1-\mu }}\right)\,\!}μ=خبرة⁡(Xβ)1+خبرة⁡(Xβ)=11+خبرة⁡(-Xβ){\displaystyle \mu ={\frac {\exp(\mathbf {X} {\boldsymbol {\beta }})}{1+\exp(\mathbf {X} {\boldsymbol {\beta }})}}={\frac {1}{1+\exp(-\mathbf {X} {\boldsymbol {\beta }})}}\,\!}
ذات الحدينعدد صحيح:0،1،...،شمال{\displaystyle 0,1,\ldots ,N}عدد مرات ظهور "نعم" من بين عدد مرات ظهور "نعم/لا" (N)Xβ=ln⁡(μن-μ){\displaystyle \mathbf {X} {\boldsymbol {\beta }}=\ln \left({\frac {\mu }{n-\mu }}\right)\,\!}
فئويعدد صحيح:[0،ك){\displaystyle [0,K)}نتيجة حدوث K -way واحدXβ=ln⁡(μ1-μ){\displaystyle \mathbf {X} {\boldsymbol {\beta }}=\ln \left({\frac {\mu }{1-\mu }}\right)\,\!}
متجه K من الأعداد الصحيحة:[0،1]{\displaystyle [0,1]}، حيث يكون لعنصر واحد فقط في المتجه القيمة 1
متعدد الحدودمتجه K من الأعداد الصحيحة:[0،شمال]{\displaystyle [0,N]}عدد مرات ظهور الأنواع المختلفة (1، ...، K ) من إجمالي N من مرات الظهور ذات K طريقة
ذات الحدين المتصلةحقيقي:(0،1){\displaystyle (0,1)}أو[0،1]{\displaystyle [0,1]}نمذجة النسب المستمرة (%)كوبيتلا يوجد نموذج مغلقμ=1/(1-خبرة⁡(-Xβ))-1/(Xβ){\displaystyle \mu =1/(1-\exp(-\mathbf {X} {\boldsymbol {\beta }}))-1/(\mathbf {X} {\boldsymbol {\beta }})\,\!}

في حالتي التوزيعين الأسي وجاما، لا يتطابق نطاق دالة الربط الأساسية مع النطاق المسموح به للمتوسط. على وجه الخصوص، قد يكون المتنبئ الخطي موجبًا، مما يُعطي متوسطًا سالبًا غير ممكن. عند حساب الاحتمالية القصوى، يجب اتخاذ الاحتياطات اللازمة لتجنب ذلك. يتمثل البديل في استخدام دالة ربط غير أساسية.

في حالة توزيعات برنولي، والتوزيعات ذات الحدين، والتوزيعات الفئوية، والتوزيعات متعددة الحدود، فإن نطاق هذه التوزيعات لا يكون من نفس نوع البيانات التي يُراد التنبؤ بها. في جميع هذه الحالات، تكون المعلمة المتوقعة احتمالًا واحدًا أو أكثر، أي أعدادًا حقيقية ضمن النطاق[0،1]{\displaystyle [0,1]}. يُعرف النموذج الناتج باسم الانحدار اللوجستي (أو الانحدار اللوجستي متعدد الحدود في حالة التنبؤ بقيم K -way بدلاً من القيم الثنائية).

في توزيعي برنولي وذو الحدين، يمثل المعامل احتمالًا واحدًا، يشير إلى احتمالية وقوع حدث واحد. يُحقق توزيع برنولي الشرط الأساسي للنموذج الخطي المعمم، فمع أن النتيجة ستكون دائمًا إما 0 أو 1، إلا أن القيمة المتوقعة ستكون احتمالًا حقيقيًا، أي احتمالية وقوع نتيجة "نعم" (أو 1). وبالمثل، في التوزيع ذي الحدين، القيمة المتوقعة هي Np ، أي أن النسبة المتوقعة لنتائج "نعم" هي الاحتمالية المتوقعة.

في التوزيعات الفئوية والمتعددة الحدود، يكون المَعلمة المراد التنبؤ بها عبارة عن متجه احتمالات ذي K عنصر، مع شرط إضافي يتمثل في أن يكون مجموع جميع الاحتمالات مساويًا لـ 1. يشير كل احتمال إلى احتمالية وقوع إحدى القيم K الممكنة. بالنسبة للتوزيع متعدد الحدود، وللصيغة المتجهة للتوزيع الفئوي، يمكن ربط القيم المتوقعة لعناصر المتجه بالاحتمالات المتوقعة على غرار التوزيعات ذات الحدين وبرنولي.

تركيب

أقصى احتمال

يمكن إيجاد تقديرات الاحتمال الأقصى باستخدام خوارزمية المربعات الصغرى المعاد ترجيحها بشكل متكرر أو طريقة نيوتن مع تحديثات على النحو التالي:

β(ت+1)=β(ت)+ج-1(β(ت))u(β(ت))،{\displaystyle {\boldsymbol {\beta }}^{(t+1)}={\boldsymbol {\beta }}^{(t)}+{\mathcal {J}}^{-1}({\boldsymbol {\beta }}^{(t)})u({\boldsymbol {\beta }}^{(t)}),}

أينج(β(ت)){\displaystyle {\mathcal {J}}({\boldsymbol {\beta }}^{(t)})}هي مصفوفة المعلومات المرصودة (معكوس مصفوفة هيسيان ) وu(β(ت)){\displaystyle u({\boldsymbol {\beta }}^{(t)})}هل هي دالة التقييم ؛ أم طريقة تقييم فيشر ؟

β(ت+1)=β(ت)+أنا-1(β(ت))u(β(ت))،{\displaystyle {\boldsymbol {\beta }}^{(t+1)}={\boldsymbol {\beta }}^{(t)}+{\mathcal {I}}^{-1}({\boldsymbol {\beta }}^{(t)})u({\boldsymbol {\beta }}^{(t)}),}

أينأنا(β(ت)){\displaystyle {\mathcal {I}}({\boldsymbol {\beta }}^{(t)})}هي مصفوفة معلومات فيشر . لاحظ أنه في حالة استخدام دالة الربط الأساسية، فإنهما متطابقتان. [ 5 ]

الأساليب البايزية

بشكل عام، لا يمكن إيجاد التوزيع الخلفي في شكل مغلق ، وبالتالي يجب تقريبه، وعادة ما يتم ذلك باستخدام تقريبات لابلاس أو نوع من طرق مونت كارلو لسلسلة ماركوف مثل أخذ عينات جيبس .

أمثلة

النماذج الخطية العامة

قد يكمن أحد مواطن الالتباس في التمييز بين النماذج الخطية المعممة والنماذج الخطية العامة ، وهما نموذجان إحصائيان واسعان. وقد أعرب جون نيلدر، أحد مؤسسي هذا النموذج، عن أسفه لهذا المصطلح. [ 6 ]

يمكن اعتبار النموذج الخطي العام حالة خاصة من النموذج الخطي المعمم ذي دالة الربط المطابقة والاستجابات الموزعة توزيعًا طبيعيًا. ولأن معظم النتائج الدقيقة ذات الأهمية لا تُحصل إلا على النموذج الخطي العام، فقد مرّ هذا النموذج بمرحلة تطور تاريخية أطول نسبيًا. أما نتائج النموذج الخطي المعمم ذي دالة الربط غير المطابقة فهي تقاربية (أي أنها تميل إلى العمل بكفاءة مع العينات الكبيرة).

الانحدار الخطي

يُعدّ الانحدار الخطي مثالاً بسيطاً وهاماً جداً على النموذج الخطي المعمم (وهو أيضاً مثال على النموذج الخطي العام) . في الانحدار الخطي، يُبرر استخدام مُقدِّر المربعات الصغرى بنظرية غاوس-ماركوف ، التي لا تفترض أن التوزيع طبيعي.

من منظور النماذج الخطية المعممة، من المفيد افتراض أن دالة التوزيع هي التوزيع الطبيعي ذو التباين الثابت، وأن دالة الربط هي دالة التطابق، وهي دالة الربط الأساسية إذا كان التباين معروفًا. في ظل هذه الافتراضات، يُحسب مُقدِّر المربعات الصغرى كتقدير لمعامل الاحتمال الأقصى.

بالنسبة للتوزيع الطبيعي، يمتلك النموذج الخطي المعمم صيغة مغلقة لتقديرات الاحتمال الأقصى، وهو أمر ملائم. أما معظم النماذج الخطية المعممة الأخرى فتفتقر إلى تقديرات الصيغة المغلقة .

البيانات الثنائية

عندما تكون بيانات الاستجابة، Y ، ثنائية (تأخذ القيمتين 0 و1 فقط)، يتم اختيار دالة التوزيع بشكل عام لتكون توزيع برنولي ، ويكون تفسير μ i هو احتمال p أن تأخذ Y i القيمة واحد.

توجد العديد من دوال الربط الشائعة للدوال ذات الحدين.

أكثر دوال الربط شيوعًا هي دالة الربط اللوجستي المتعارف عليها :

ز(ص)=لوجيت⁡ص=ln⁡(ص1-ص).{\displaystyle g(p)=\operatorname {logit} p=\ln \left({p \over 1-p}\right).}

نماذج الانحدار الخطي المعمم (GLMs) مع هذا الإعداد هي نماذج الانحدار اللوجستي (أو نماذج اللوجيت ).

بدلاً من ذلك، يمكن استخدام معكوس أي دالة توزيع تراكمي مستمرة (CDF) للرابط لأن نطاق دالة التوزيع التراكمي هو[0،1]{\displaystyle [0,1]}، مدى المتوسط ​​ذي الحدين. دالة التوزيع التراكمي الطبيعيΦ{\displaystyle \Phi }يُعد خيارًا شائعًا وينتج عنه نموذج بروبيت . رابطه هو

ز(ص)=Φ-1(ص).{\displaystyle g(p)=\Phi ^{-1}(p).\,\!}

يكمن سبب استخدام نموذج بروبيت في أن تغيير مقياس متغير الإدخال إلى دالة التوزيع التراكمي الطبيعي (والذي يمكن استيعابه من خلال تغيير مقياس جميع المعلمات بشكل مكافئ) ينتج عنه دالة مطابقة عمليًا لدالة لوجيت، إلا أن نماذج بروبيت أسهل في التعامل معها في بعض الحالات من نماذج لوجيت. (في إطار بايزي حيث تُوضع توزيعات احتمالية مسبقة طبيعية على المعلمات، فإن العلاقة بين التوزيعات الاحتمالية المسبقة الطبيعية ودالة الربط لدالة التوزيع التراكمي الطبيعي تعني أنه يمكن حساب نموذج بروبيت باستخدام أخذ عينات جيبس ، بينما لا يمكن ذلك عمومًا مع نموذج لوجيت).

اللوغاريتم التكميلي (cloglog)

يمكن أيضًا استخدام دالة اللوغاريتم التكميلية:

ز(ص)=سجل⁡(-سجل⁡(1-ص)).{\displaystyle g(p)=\log(-\log(1-p)).}

دالة الربط هذه غير متناظرة، وغالبًا ما تُنتج نتائج مختلفة عن دالتي الربط اللوجستي والبروبيت. [ 7 ] يتوافق نموذج cloglog مع التطبيقات التي نلاحظ فيها إما صفرًا من الأحداث (مثل العيوب) أو حدثًا واحدًا أو أكثر، حيث يُفترض أن عدد الأحداث يتبع توزيع بواسون . [ 8 ] يعني افتراض بواسون أن

برو(0)=خبرة⁡(-μ)،{\displaystyle \Pr(0)=\exp(-\mu ),}

حيث μ عدد موجب يدل على العدد المتوقع للأحداث. إذا كان p يمثل نسبة المشاهدات التي تحتوي على حدث واحد على الأقل، فإن مكملها

1-ص=برو(0)=خبرة⁡(-μ)،{\displaystyle 1-p=\Pr(0)=\exp(-\mu ),}

وثم

-سجل⁡(1-ص)=μ.{\displaystyle -\log(1-p)=\mu .}

يتطلب النموذج الخطي أن تأخذ متغير الاستجابة قيمًا على كامل خط الأعداد الحقيقية. وبما أن μ يجب أن تكون موجبة، يمكننا فرض ذلك بأخذ اللوغاريتم، وجعل log( μ ) نموذجًا خطيًا. ينتج عن ذلك تحويل "cloglog".

سجل⁡(-سجل⁡(1-ص))=سجل⁡(μ).{\displaystyle \log(-\log(1-p))=\log(\mu ).}

تُستخدم دالة الربط المطابقة g(p) = p أحيانًا مع البيانات ذات الحدين للحصول على نموذج احتمالي خطي . مع ذلك، قد تتنبأ هذه الدالة باحتمالات غير منطقية، إما أقل من الصفر أو أكبر من واحد. يمكن تجنب ذلك باستخدام تحويلات مثل cloglog أو probit أو logit (أو أي دالة توزيع تراكمي عكسي). من أهم مزايا دالة الربط المطابقة إمكانية تقديرها باستخدام الرياضيات الخطية، كما أن دوال الربط القياسية الأخرى تُقارب دالة الربط المطابقة خطيًا بالقرب من p = 0.5.

دالة التباين

دالة التباين لـ "البيانات شبه الثنائية هي:

متغير⁡(Yأنا)=τμأنا(1-μأنا){\displaystyle \operatorname {Var} (Y_{i})=\tau \mu _{i}(1-\mu _{i})\,\!}

حيث يكون معامل التشتت τ مساويًا لـ 1 تمامًا في التوزيع ذي الحدين. في الواقع، يُهمل احتمال التوزيع ذي الحدين القياسي τ . وعند وجوده، يُطلق على النموذج اسم "شبه ذي الحدين"، ويُطلق على الاحتمال المُعدَّل اسم " شبه احتمال" ، لأنه لا يُمثِّل عادةً الاحتمال المُقابل لأي عائلة حقيقية من التوزيعات الاحتمالية. إذا تجاوز τ القيمة 1، يُقال إن النموذج يُظهر تشتتًا زائدًا .

الانحدار متعدد الحدود

يمكن بسهولة توسيع حالة التوزيع ذي الحدين لتشمل التوزيع متعدد الحدود كمتغير تابع (وكذلك نموذج خطي معمّم للعدّ، مع إجمالي مقيد). وهناك طريقتان شائعتان للقيام بذلك:

استجابة منظمة

إذا كان المتغير التابع ترتيبيًا ، فيمكن حينها ملاءمة دالة نموذجية بالشكل التالي:

ز(μم)=ηم=β0+X1β1+⋯+Xصβص+γ2+⋯+γم=η1+γ2+⋯+γم أين μم=P⁡(Y≤م).{\displaystyle g(\mu _{m})=\eta _{m}=\beta _{0}+X_{1}\beta _{1}+\cdots +X_{p}\beta _{p}+\gamma _{2}+\cdots +\gamma _{m}=\eta _{1}+\gamma _{2}+\cdots +\gamma _{m}{\text{ where }}\mu _{m}=\operatorname {P} (Y\leq m).\,}

بالنسبة لـ m > 2. تؤدي الروابط المختلفة g إلى نماذج الانحدار الترتيبي مثل نماذج الاحتمالات النسبية أو نماذج بروبيت المرتبة .

استجابة غير مرتبة

إذا كان المتغير التابع عبارة عن قياس اسمي ، أو إذا كانت البيانات لا تفي بافتراضات النموذج المرتب، فيمكن للمرء أن يلائم نموذجًا بالشكل التالي:

ز(μم)=ηم=βم،0+X1βم،1+⋯+Xصβم،ص أين μم=P(Y=م|Y∈{1،م}).{\displaystyle g(\mu _{m})=\eta _{m}=\beta _{m,0}+X_{1}\beta _{m,1}+\cdots +X_{p}\beta _{m,p}{\text{ where }}\mu _{m}=\mathrm {P} (Y=m\mid Y\in \{1,m\}).\,}

عندما تكون قيمة m أكبر من 2، تؤدي الروابط المختلفة g إلى نماذج لوجيت متعددة الحدود أو نماذج بروبيت متعددة الحدود . هذه النماذج أكثر عمومية من نماذج الاستجابة المرتبة، ويتم تقدير عدد أكبر من المعلمات فيها.

بيانات العد

ومن الأمثلة الأخرى على النماذج الخطية المعممة انحدار بواسون الذي ينمذج بيانات العد باستخدام توزيع بواسون . ويكون الرابط عادةً هو اللوغاريتم، وهو الرابط المتعارف عليه.

دالة التباين تتناسب طرديًا مع المتوسط

متغير⁡(Yأنا)=τμأنا،{\displaystyle \operatorname {var} (Y_{i})=\tau \mu _{i},\,}

حيث يتم عادةً تثبيت معامل التشتت τ عند واحد بالضبط. وعندما لا يكون كذلك، فإن نموذج شبه الاحتمالية الناتج غالبًا ما يوصف بأنه بواسون مع تشتت زائد أو شبه بواسون .

البيانات النسبية المستمرة

عندما يكون هناك ردY{\displaystyle Y}هو متغير عشوائي مستمر ذو حدود مزدوجة، وبعد توحيده في الفترة [0،1]، فإن مثالًا على النموذج الخطي المعمم هو انحدار ذي الحدين المستمر (كوبين) [ 9 ] القائم على توزيع ذي الحدين المستمر ، وهو تعميم ذو معلَمَين لتوزيع برنولي المستمر . معامل إضافيλ{\displaystyle \lambda }يتناسب عكسياً مع التباين،

متغير⁡(Yأنا)=λ-1أ"(أ-1(μأنا))،{\displaystyle \operatorname {var} (Y_{i})=\lambda ^{-1}A''(A^{-1}(\mu _{i})),\,}

أينأ(θ)=سجل⁡{(هـθ-1)/θ}{\displaystyle A(\theta )=\log\{(e^{\theta }-1)/\theta \}}ويرتبط ذلك بنماذج الانحدار الجزئي القائمة على شبه الاحتمال الأقصى إذا تم اختيار دالة التباين بشكل مختلف. [ 9 ]

الإضافات

البيانات المترابطة أو المجمعة

يفترض النموذج الخطي المعمم القياسي أن المشاهدات غير مترابطة . وقد تم تطوير امتدادات للسماح بوجود ارتباط بين المشاهدات، كما يحدث على سبيل المثال في الدراسات الطولية والتصاميم العنقودية.

  • تسمح معادلات التقدير المعممة (GEEs) بحساب الارتباط بين المشاهدات دون الحاجة إلى نموذج احتمالي صريح لأصل هذه الارتباطات، وبالتالي لا يوجد احتمال صريح . وهي مناسبة عندما لا تكون التأثيرات العشوائية وتبايناتها ذات أهمية جوهرية، إذ تسمح بحساب الارتباط دون تفسير أصله. وينصب التركيز على تقدير متوسط ​​الاستجابة على مستوى المجتمع ("التأثيرات المتوسطة على مستوى المجتمع") بدلاً من معلمات الانحدار التي تُمكّن من التنبؤ بتأثير تغيير عنصر واحد أو أكثر من عناصر X على فرد معين. وعادةً ما تُستخدم معادلات التقدير المعممة بالتزامن مع أخطاء هوبر-وايت المعيارية . [ 10 ] [ 11 ]
  • تُعدّ النماذج الخطية المختلطة المعممة (GLMMs) امتدادًا للنماذج الخطية المعممة (GLMs) التي تتضمن تأثيرات عشوائية في المتنبئ الخطي، مما يُعطي نموذج احتمالية صريحًا يُفسّر أصل الارتباطات. وتُناسب تقديرات المعلمات "الخاصة بكل فرد" الناتجة عندما يكون التركيز على تقدير تأثير تغيير مُكوّن واحد أو أكثر من مُكوّنات X على فرد مُحدد. ويُشار إلى GLMMs أيضًا باسم النماذج متعددة المستويات والنماذج المختلطة . وبشكل عام، يُعدّ تركيب GLMMs أكثر تعقيدًا من الناحية الحسابية وأكثر استهلاكًا للموارد من تركيب معادلات التقدير المعممة (GEEs).

النماذج الجمعية المعممة

تُعد النماذج المضافة المعممة (GAMs) امتدادًا آخر للنماذج الخطية المعممة (GLMs) حيث لا يقتصر المتنبئ الخطي η على أن يكون خطيًا في المتغيرات المساعدة X، بل هو مجموع دوال التنعيم المطبقة على x i s:

η=β0+و1(x1)+و2(x2)+⋯{\displaystyle \eta =\beta _{0}+f_{1}(x_{1})+f_{2}(x_{2})+\cdots \,\!}

يتم تقدير دوال التنعيم f i من البيانات. يتطلب هذا عمومًا عددًا كبيرًا من نقاط البيانات، وهو عملية حسابية مكثفة. [ 12 ] [ 13 ]

انظر أيضاً

مراجع

الاقتباسات

  1. ↑ نيلدر، جون ؛ ويدربورن، روبرت (1972). "النماذج الخطية المعممة". مجلة الجمعية الإحصائية الملكية. السلسلة أ (عامة) . 135 (3). دار بلاكويل للنشر: 370-384 . doi : 10.2307 /2344614 . JSTOR 2344614. S2CID 14154576 .  
  2. ↑ نيلدر، جيه إيه؛ ويدربورن، آر دبليو إم (1972). "النماذج الخطية المعممة" . مجلة الجمعية الإحصائية الملكية. السلسلة أ (عامة) . 135 (3): 370-384 . doi : 10.2307/2344614 . ISSN 0035-9238 . 
  3. 1 2 ماكولا ونيلدر 1989 ، الفصل 2.
  4. ↑ غورييرو، سي.؛ مونفور، أ.؛ تروغنون، أ. (1984). "طرق الاحتمال الأقصى الزائف: النظرية" . إيكونومتريكا . 52 (3): 681-700 . doi : 10.2307/1913471 . ISSN 0012-9682 . 
  5. ^ ماكولا ونيلدر 1989 ، ص. 43.
  6. ↑ سين، ستيفن (2003). "حوار مع جون نيلدر" . العلوم الإحصائية . 18 (1): 118-131 . doi : 10.1214/ss/1056397489 . أظن أنه كان من الأفضل اختيار اسم أكثر جاذبيةً له، اسمٌ يبقى راسخًا ولا يُخلط بينه وبين النموذج الخطي العام، مع أن "عام" و"معمم" ليسا متطابقين تمامًا. أستطيع أن أفهم لماذا كان من الأفضل التفكير في اسم آخر.
  7. ↑ "نموذج اللوغاريتم التكميلي" (PDF) .
  8. ↑ "أي دالة ربط - لوجيت، بروبيت، أم كلولوج؟" . باييزيوم أناليتكس . 14 أغسطس 2015. تم الاطلاع عليه بتاريخ 17 مارس 2019 .
  9. 1 2 لي، تشانغوو جيه؛ دال، بنجامين كيه؛ أوفاسكاينن، أوتسو؛ دونسون، ديفيد بي. (2026-05-18). " نماذج انحدار قابلة للتطوير وقوية للبيانات النسبية المستمرة" . مجلة الجمعية الإحصائية الأمريكية . doi : 10.1080/01621459.2026.2626081 . ISSN 0162-1459 . PMC 13188389. PMID 42169758 .   
  10. ↑ زيغر، سكوت ل .؛ ليانغ، كونغ-يي ؛ ألبرت، بول س. (1988). "نماذج للبيانات الطولية: منهج معادلة التقدير المعمم". القياسات الحيوية . 44 (4). الجمعية الدولية للقياسات الحيوية: 1049-1060 . doi : 10.2307/2531734 . JSTOR 2531734. PMID 3233245 .  
  11. ↑ هاردين، جيمس؛ هيلبي، جوزيف (2003). معادلات التقدير المعممة . لندن، إنجلترا: تشابمان آند هول/سي آر سي. رقم ISBN 1-58488-307-3.
  12. ↑ هاستي وتيبشيراني 1990 .
  13. ↑ وود 2006 .

فهرس

  • هاستي، تي جيه ؛ تيبشيراني، آر جيه (1990). النماذج الإضافية المعممة . تشابمان آند هول/سي آر سي. رقم ISBN 978-0-412-34390-2.
  • مادسن، هنريك؛ ثيريجود، بول (2011). مقدمة في النماذج الخطية العامة والمعممة . تشابمان آند هول/سي آر سي سي. رقم ISBN 978-1-4200-9155-7.
  • مكولاج، بيتر ؛ نيلدر، جون (1989). النماذج الخطية المعممة (  الطبعة الثانية). بوكا راتون ، فلوريدا: تشابمان آند هول/سي آر سي. رقم ISBN 0-412-31760-5.
  • وود، سيمون (2006). النماذج الجمعية المعممة: مقدمة باستخدام لغة البرمجة R. تشابمان آند هول/سي آر سي. رقم ISBN 1-58488-474-6.

للمزيد من القراءة

  • دان، ب.ك.؛ سميث، ج.ك. (2018). النماذج الخطية المعممة مع أمثلة في لغة البرمجة R. نيويورك: سبرينغر. doi : 10.1007/978-1-4419-0118-7 . ISBN 978-1-4419-0118-7.{{cite book}}: CS1 maint: publisher location ( link )
  • دوبسون، أ. ج.؛ بارنيت، أ. ج. (2008). مقدمة في النماذج الخطية المعممة (  الطبعة الثالثة). بوكا راتون، فلوريدا: تشابمان آند هول/سي آر سي. رقم ISBN 978-1-58488-165-0.
  • هاردين، جيمس؛ هيلبي، جوزيف (2007). النماذج الخطية المعممة وامتداداتها (  الطبعة الثانية). كوليدج ستيشن: ستاتا برس. ISBN 978-1-59718-014-6.{{cite book}}: CS1 maint: publisher location ( link )
  • شعار ويكيميديا ​​كومنزالوسائط المتعلقة بالنماذج الخطية المعممة على ويكيميديا ​​كومنز