النموذج الإحصائي

النموذج الإحصائي هو نموذج رياضي يجسد مجموعة من الافتراضات الإحصائية المتعلقة بتوليد بيانات العينة (وبيانات مماثلة من مجتمع أكبر ). يمثل النموذج الإحصائي، غالبًا بصورة مثالية إلى حد كبير، عملية توليد البيانات . ^{[ 1 ]} عند الإشارة تحديدًا إلى الاحتمالات ، يُستخدم مصطلح النموذج الاحتمالي . تُشتق جميع اختبارات الفرضيات الإحصائية وجميع المُقدِّرات الإحصائية عبر النماذج الإحصائية. وبشكل أعم، تُعد النماذج الإحصائية جزءًا من أساس الاستدلال الإحصائي . يُحدد النموذج الإحصائي عادةً كعلاقة رياضية بين متغير عشوائي واحد أو أكثر ومتغيرات أخرى غير عشوائية. وعلى هذا النحو، يُعد النموذج الإحصائي "تمثيلًا رسميًا لنظرية" ( هيرمان أدير، نقلاً عن كينيث بولين ). ^{[ 2 ]}

بصورة غير رسمية، يمكن اعتبار النموذج الإحصائي بمثابة افتراض إحصائي (أو مجموعة من الافتراضات الإحصائية) يتمتع بخاصية معينة: وهي أن هذا الافتراض يسمح لنا بحساب احتمالية وقوع أي حدث . على سبيل المثال، لنفترض زوجًا من النرد العادي ذي الستة أوجه . سندرس افتراضين إحصائيين مختلفين حول هذا النرد.

الافتراض الإحصائي الأول هو: لكل نرد، احتمال ظهور كل وجه من الوجوه (1، 2، 3، 4، 5، و6) هو 1/6 . من هذا الافتراض، يمكننا حساب احتمال ظهور 5 على كلا النردين: 1/6 × 1/6 = 1/36. وبشكل أعم ، يمكننا حساب احتمال أي حدث : مثل ( 1 و 2 ) أو ( 3 و 3 ) أو ( 5 و6). أما الافتراض الإحصائي البديل فهو: لكل نرد، احتمال ظهور الوجه 5 هو 1/8 ( لأن النردين مُثقَّلان ) . انطلاقاً من هذا الافتراض، يمكننا حساب احتمال ظهور الرقم 5 على كلا النردين: 1/8 × 1/8 = 1/64. مع ذلك ، لا يمكننا حساب احتمال أي حدث آخر غير تافه ، لأن احتمالات الأوجه الأخرى غير معروفة .

يشكل الافتراض الإحصائي الأول نموذجًا إحصائيًا، لأنه يسمح لنا بحساب احتمالية أي حدث. أما الافتراض الإحصائي البديل فلا يشكل نموذجًا إحصائيًا، لأنه لا يسمح لنا بحساب احتمالية كل حدث. في المثال السابق، مع الافتراض الأول، يكون حساب احتمالية أي حدث سهلًا. لكن في بعض الأمثلة الأخرى، قد يكون الحساب صعبًا، أو حتى مستحيلًا (كأن يتطلب ملايين السنين من الحساب). لكي يشكل الافتراض نموذجًا إحصائيًا، تُقبل هذه الصعوبة، إذ لا يشترط أن يكون الحساب عمليًا، بل يكفي أن يكون ممكنًا نظريًا.

من الناحية الرياضية، النموذج الإحصائي هو زوج (${\displaystyle S,{\mathcal {P}}}$)، أين${\displaystyle S}$هي مجموعة المشاهدات الممكنة، أي فضاء العينة ، و${\displaystyle {\mathcal {P}}}$هي مجموعة من التوزيعات الاحتمالية على${\displaystyle S}$[ ^{3 ]} المجموعة^​${\displaystyle {\mathcal {P}}}$يمثل هذا جميع النماذج التي تُعتبر ممكنة. وعادةً ما يتم تحديد معلمات هذه المجموعة كما يلي:${\displaystyle {\mathcal {P}}=\{F_{\theta }:\theta \in \Theta \}}$المجموعة${\displaystyle \Theta }$يُحدد هذا النموذج معلمات النموذج. إذا كانت المعلمات بحيث تؤدي قيم المعلمات المختلفة إلى توزيعات مختلفة، أي${\displaystyle F_{\theta _{1}}=F_{\theta _{2}}\Rightarrow \theta _{1}=\theta _{2}}$(بمعنى آخر، إذا كان التعيين أحاديًا )، فإنه يُقال إنه قابل للتحديد . ^{[ 3 ]}

في بعض الحالات، يمكن أن يكون النموذج أكثر تعقيداً.

• في الإحصاء البايزي ، يتم توسيع النموذج بإضافة توزيع احتمالي على فضاء المعلمات${\displaystyle \Theta }$.
• يمكن للنموذج الإحصائي أحيانًا أن يميز بين مجموعتين من التوزيعات الاحتمالية. المجموعة الأولى${\displaystyle {\mathcal {Q}}=\{F_{\theta }:\theta \in \Theta \}}$هي مجموعة النماذج التي تم أخذها في الاعتبار للاستدلال. المجموعة الثانية${\displaystyle {\mathcal {P}}=\{F_{\lambda }:\lambda \in \Lambda \}}$هي مجموعة النماذج التي كان من الممكن أن تولد البيانات، وهي أكبر بكثير من${\displaystyle {\mathcal {Q}}}$تُعد هذه النماذج الإحصائية أساسية في التحقق من أن إجراءً معينًا قوي ، أي أنه لا ينتج عنه أخطاء كارثية عندما تكون افتراضاته حول البيانات غير صحيحة.

لنفترض أن لدينا مجموعة من الأطفال، تتوزع أعمارهم توزيعًا منتظمًا . يرتبط طول الطفل بعمره ارتباطًا احتماليًا : فمثلًا، عندما نعلم أن عمر الطفل 7 سنوات، يؤثر ذلك على احتمال أن يكون طوله 1.5 متر. يمكننا صياغة هذه العلاقة في نموذج انحدار خطي ، كما يلي: الطول _i  = b₀ + b₁ العمر _i + εᵢ _{، حيث} b₀ هو الحد الثابت، _{و b₁} هو معامل يُضرب به العمر للحصول على تنبؤ بالطول، وεᵢ _هو حد الخطأ، و i _يُمثل الطفل. هذا يعني أن الطول يُتنبأ به بناءً على العمر، مع وجود هامش خطأ.  

_{يجب أن يكون} النموذج المقبول متسقًا مع جميع نقاط البيانات. وبالتالي، لا يمكن قبول خط مستقيم (الارتفاع _{i =}  b₀ + b₁ العمر i ₎ كنموذج للبيانات، إلا إذا كان يطابق جميع نقاط البيانات تمامًا، أي أن جميع نقاط البيانات تقع تمامًا على الخط. يجب تضمين حد الخطأ، εᵢ _، في المعادلة، حتى يكون النموذج متسقًا مع جميع نقاط البيانات. لإجراء الاستدلال الإحصائي ، نحتاج أولًا إلى افتراض بعض التوزيعات الاحتمالية لـ εᵢ _. على سبيل المثال، قد نفترض أن توزيعات εᵢ _هي توزيعات غاوسية مستقلة ومتطابقة التوزيع _، بمتوسط ​​صفر. في هذه الحالة، سيكون للنموذج 3 معلمات: b₀ _و b₁ وتباين التوزيع الغاوسي. يمكننا تحديد النموذج رسميًا بالشكل ( ${\displaystyle S,{\mathcal {P}}}$) كما يلي. فضاء العينة،${\displaystyle S}$يتألف نموذجنا من مجموعة جميع الأزواج الممكنة (العمر، الطول). كل قيمة ممكنة لـ${\displaystyle \theta }$ _{تحدد الدالة} ( b0 , b1 , σ2 ⁾ توزيعًا على${\displaystyle S}$؛ تشير إلى أن التوزيع بواسطة${\displaystyle F_{\theta }}$. لو${\displaystyle \Theta }$هي مجموعة جميع القيم الممكنة لـ${\displaystyle \theta }$، ثم${\displaystyle {\mathcal {P}}=\{F_{\theta }:\theta \in \Theta \}}$(يمكن تحديد المعلمات، وهذا سهل التحقق منه.)

في هذا المثال، يتم تحديد النموذج من خلال (1) تحديد${\displaystyle S}$و(2) وضع بعض الافتراضات ذات الصلة بـ${\displaystyle {\mathcal {P}}}$هناك فرضيتان: الأولى، إمكانية تقريب الطول بدالة خطية للعمر؛ والثانية، أن أخطاء التقريب موزعة توزيعًا طبيعيًا مستقلًا ومتطابقًا. هاتان الفرضيتان كافيتان لتحديد${\displaystyle {\mathcal {P}}}$— كما هو مطلوب منهم.

النموذج الإحصائي هو نوع خاص من النماذج الرياضية . ما يُميز النموذج الإحصائي عن غيره من النماذج الرياضية هو أنه غير حتمي . وبالتالي، في النموذج الإحصائي المُحدد بمعادلات رياضية، لا تمتلك بعض المتغيرات قيمًا محددة، بل لها توزيعات احتمالية؛ أي أن بعض المتغيرات عشوائية . في المثال السابق المتعلق بأطوال الأطفال، يُعد ε متغيرًا عشوائيًا؛ وبدون هذا المتغير العشوائي، سيكون النموذج حتميًا. غالبًا ما تُستخدم النماذج الإحصائية حتى عندما تكون عملية توليد البيانات التي يتم نمذجتها حتمية. على سبيل المثال، تُعد عملية رمي العملة ، من حيث المبدأ، عملية حتمية؛ ومع ذلك، يتم نمذجتها عادةً على أنها عشوائية (عبر عملية برنولي ). يُعد اختيار النموذج الإحصائي المناسب لتمثيل عملية توليد بيانات معينة أمرًا بالغ الصعوبة في بعض الأحيان، وقد يتطلب معرفة كل من العملية والتحليلات الإحصائية ذات الصلة. وفي هذا السياق، قال الإحصائي السير ديفيد كوكس : "إن كيفية تحويل مشكلة الموضوع إلى نموذج إحصائي غالباً ما تكون الجزء الأكثر أهمية في التحليل". ^{[ 4 ]}

هناك ثلاثة أغراض للنموذج الإحصائي، وفقًا لكونيشي  وكيتاغاوا: ^{[ 5 ]}

1. التوقعات
2. استخلاص المعلومات
3. وصف الهياكل العشوائية

هذه الأغراض الثلاثة هي نفسها في الأساس الأغراض الثلاثة التي أشار إليها فريندلي  وماير: التنبؤ، والتقدير، والوصف. ^{[ 6 ]}

لنفترض أن لدينا نموذجًا إحصائيًا (${\displaystyle S,{\mathcal {P}}}$) مع${\displaystyle {\mathcal {P}}=\{F_{\theta }:\theta \in \Theta \}}$في التدوين، نكتب ذلك${\displaystyle \Theta \subseteq \mathbb {R} ^{k}}$حيث k عدد صحيح موجب (${\displaystyle \mathbb {R} }$يرمز إلى الأعداد الحقيقية (يمكن استخدام مجموعات أخرى من حيث المبدأ). هنا، يُطلق على k بُعد النموذج. ويُقال إن النموذج بارامتري إذا${\displaystyle \Theta }$له بُعد محدود. على سبيل المثال، إذا افترضنا أن البيانات تنشأ من توزيع غاوسي أحادي المتغير ، فإننا نفترض أن

${\displaystyle {\mathcal {P}}=\left\{F_{\mu ,\sigma }(x)\equiv {\frac {1}{{\sqrt {2\pi }}\sigma }}\exp \left(-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}\right):\mu \in \mathbb {R} ,\sigma >0\right\}}$.

في هذا المثال، يساوي البُعد k الرقم 2. كمثال آخر، لنفترض أن البيانات تتكون من نقاط ( x , y ) موزعة وفقًا لخط مستقيم مع بواقي غاوسية مستقلة ومتطابقة التوزيع (بمتوسط ​​صفر): يؤدي هذا إلى نفس النموذج الإحصائي المستخدم في مثال أطوال الأطفال. بُعد النموذج الإحصائي هو 3: نقطة تقاطع الخط، وميل الخط، وتباين توزيع البواقي. (لاحظ أن مجموعة جميع الخطوط الممكنة لها بُعد 2، على الرغم من أن الخط، من الناحية الهندسية، له بُعد 1).

على الرغم من رسميًا${\displaystyle \theta \in \Theta }$إذا كان المتغير عبارة عن مُعامل واحد ذي بُعد k ، فإنه يُعتبر أحيانًا مُكوّنًا من k مُعاملات منفصلة. على سبيل المثال، مع التوزيع الغاوسي أحادي المتغير،${\displaystyle \theta }$يُعتبر رسميًا مُعاملًا واحدًا ذو بُعد 2، ولكنه غالبًا ما يُنظر إليه على أنه يتألف من مُعاملين منفصلين - المتوسط ​​والانحراف المعياري. النموذج الإحصائي غير مُعاملي إذا كانت مجموعة المُعاملات${\displaystyle \Theta }$يكون النموذج الإحصائي شبه معلمي إذا كان يحتوي على معلمات ذات أبعاد محدودة ومعلمات ذات أبعاد غير محدودة. وبصورة رسمية، إذا كان k هو بُعد${\displaystyle \Theta }$و n هو عدد العينات، وتتمتع كل من النماذج شبه المعلمية وغير المعلمية${\displaystyle k\rightarrow \infty }$مثل${\displaystyle n\rightarrow \infty }$. لو${\displaystyle k/n\rightarrow 0}$مثل${\displaystyle n\rightarrow \infty }$إذا كان النموذج شبه معلمي، فإن النموذج يكون غير معلمي؛ وإلا فإن النموذج يكون غير معلمي.

تُعدّ النماذج البارامترية أكثر النماذج الإحصائية استخدامًا على الإطلاق. وفيما يتعلق بالنماذج شبه البارامترية وغير البارامترية، قال السير ديفيد كوكس : "عادةً ما تتضمن هذه النماذج افتراضات أقل حول البنية والشكل التوزيعي، ولكنها عادةً ما تحتوي على افتراضات قوية حول الاستقلالية". ^{[ 7 ]}

يُقال إن نموذجين إحصائيين متداخلان إذا أمكن تحويل النموذج الأول إلى النموذج الثاني بفرض قيود على معلمات النموذج الأول. على سبيل المثال، تحتوي مجموعة جميع التوزيعات الغاوسية، ضمنيًا، على مجموعة التوزيعات الغاوسية ذات المتوسط ​​الصفري: نقوم بتقييد المتوسط ​​في مجموعة جميع التوزيعات الغاوسية للحصول على التوزيعات ذات المتوسط ​​الصفري. كمثال ثانٍ، النموذج التربيعي

ص  = ب ₀  + ب ₁ س  + ب ₂ × ²  + ε,  ε  ~ 𝒩(0, σ ² )

يحتوي، ضمنه، على النموذج الخطي

ص  = ب ₀  + ب ₁ س  + ε,  ε  ~ 𝒩(0, σ ² )

—نقيد المعامل b ₂ بحيث يساوي 0.

في كلا المثالين، يتميز النموذج الأول ببعد أكبر من النموذج الثاني (في المثال الأول، يبلغ بُعد النموذج ذي المتوسط ​​الصفري  1). وهذا هو الحال غالبًا، ولكن ليس دائمًا. كمثال على تساوي البعد، نجد أن مجموعة التوزيعات الغاوسية ذات المتوسط ​​الموجب تقع ضمن مجموعة جميع التوزيعات الغاوسية؛ وكلاهما له بُعد 2.

تُعدّ مقارنة النماذج الإحصائية أساسيةً في كثير من الاستدلال الإحصائي . ويذكر كونيشي وكيتاغاوا (2008 ، ص 75) : "يمكن اعتبار غالبية مشاكل الاستدلال الإحصائي مشاكلَ متعلقةً بالنمذجة الإحصائية. وعادةً ما تُصاغ هذه المشاكل على شكل مقارنات بين عدة نماذج إحصائية." وتشمل المعايير الشائعة لمقارنة النماذج ما يلي: معامل التحديد (R² ⁾ ، ومعامل بايز ، ومعيار معلومات أكايكي ، واختبار نسبة الاحتمال بالإضافة إلى تعميمه، وهو الاحتمال النسبي . 

هناك طريقة أخرى لمقارنة نموذجين إحصائيين وهي من خلال مفهوم النقص الذي قدمه لوسيان لو كام . ^{[ 8 ]}

• دافيسون، أ. س. (2008)، النماذج الإحصائية ، مطبعة جامعة كامبريدج
• درتون، م.؛ سوليفانت، س. (2007)، "النماذج الإحصائية الجبرية" (ملف PDF) ، مجلة الإحصاء الصينية ، 17 : 1273-1297
• فريدمان، د.أ. (2009)، النماذج الإحصائية ، مطبعة جامعة كامبريدج
• هيلاند، آي إس (2010)، خطوات نحو أساس موحد للنماذج والأساليب العلمية ، وورلد ساينتيفيك
• كروس، د.ب .؛ تشان، ج.س.س. (2014)، النمذجة الإحصائية والحساب ، سبرينغر
• شمويلي، ج. (2010)، "التفسير أم التنبؤ؟"، العلوم الإحصائية ، 25 (3): 289-310 ، arXiv : 1101.0891 ، doi : 10.1214/10-STS330 ، S2CID 15900983