معيار المعلومات البايزي

في الإحصاء ، يُعد معيار معلومات بايز ( BIC ) أو معيار معلومات شوارتز (ويُعرف أيضًا باسم SIC و SBC و SBIC ) معيارًا لاختيار النموذج الأمثل من بين مجموعة محدودة من النماذج؛ حيث تُفضّل النماذج ذات قيمة BIC المنخفضة عمومًا. ويستند هذا المعيار جزئيًا إلى دالة الاحتمال ، ويرتبط ارتباطًا وثيقًا بمعيار معلومات أكايكي (AIC).

عند تركيب النماذج، من الممكن زيادة الاحتمالية القصوى بإضافة معلمات، ولكن قد يؤدي ذلك إلى فرط التخصيص . يحاول كل من معيار معلومات بايز (BIC) ومعيار معلومات أكايكي (AIC) حل هذه المشكلة عن طريق إدخال حد جزائي لعدد المعلمات في النموذج؛ ويكون هذا الحد الجزائي أكبر في معيار معلومات بايز منه في معيار معلومات أكايكي لأحجام العينات الأكبر من 7. ^{[ 1 ]}

تم تطوير BIC بواسطة جيديون إي. شوارتز ونُشر في ورقة بحثية عام 1978، ^{[ 2 ]} كتقريب لعينة كبيرة لعامل بايز .

يتم تعريف BIC رسميًا على النحو التالي ^{[ 3 ] [ أ ]}

${\displaystyle \mathrm {BIC} =k\ln(n)-2\ln({\widehat {L}}).\ }$

أين

• ${\displaystyle {\hat {L}}}$= القيمة القصوى لدالة الاحتمالية للنموذج${\displaystyle M}$، أي${\displaystyle {\hat {L}}=p(x\mid {\widehat {\theta }},M)}$، أين${\displaystyle \{{\widehat {\theta }}\}}$هي قيم المعلمات التي تزيد من دالة الاحتمالية و${\displaystyle x}$هي البيانات المرصودة؛
• ${\displaystyle n}$= عدد نقاط البيانات في${\displaystyle x}$، عدد الملاحظات ، أو ما يعادلها، حجم العينة؛
• ${\displaystyle k}$= عدد المعاملات التي يُقدّرها النموذج. على سبيل المثال، في الانحدار الخطي المتعدد ، تكون المعاملات المُقدّرة هي الحد الثابت، و${\displaystyle q}$معلمات الميل، والتباين الثابت للأخطاء؛ وبالتالي،${\displaystyle k=q+2}$.

يمكن اشتقاق معيار معلومات بايز (BIC) عن طريق دمج معلمات النموذج باستخدام طريقة لابلاس ، بدءًا من دليل النموذج التالي : ^{[ 5 ] [ 6 ] : 217}

${\displaystyle p(x\mid M)=\int p(x\mid \theta ,M)\pi (\theta \mid M)\,d\theta }$

أين${\displaystyle \pi (\theta \mid M)}$هو السابق لـ${\displaystyle \theta }$نموذج قيد التطوير${\displaystyle M}$.

احتمالية اللوغاريتم،${\displaystyle \ln(p(x\mid \theta ,M))}$ثم يتم توسيعها إلى متسلسلة تايلور من الدرجة الثانية حول تقدير الاحتمال الأقصى ،${\displaystyle {\widehat {\theta }}}$بافتراض أنها قابلة للتفاضل مرتين كما يلي:

${\displaystyle \ln(p(x\mid \theta ,M))=\ln({\widehat {L}})-{\frac {n}{2}}(\theta -{\widehat {\theta }})^{\operatorname {T} }{\mathcal {I}}({\widehat {\theta }})(\theta -{\widehat {\theta }})+R(x,\theta ),}$

أين${\displaystyle {\mathcal {I}}(\theta )}$يمثل متوسط ​​المعلومات المرصودة لكل عملية رصد ، و${\displaystyle R(x,\theta )}$يشير إلى الحد المتبقي. إلى الحد الذي${\displaystyle R(x,\theta )}$ضئيل و${\displaystyle \pi (\theta \mid M)}$يكون خطيًا نسبيًا بالقرب من${\displaystyle {\widehat {\theta }}}$يمكننا دمج${\displaystyle \theta }$للحصول على ما يلي:

${\displaystyle p(x\mid M)\approx {\hat {L}}{\left({\frac {2\pi }{n}}\right)}^{\frac {k}{2}}|{\mathcal {I}}({\widehat {\theta }})|^{-{\frac {1}{2}}}\pi ({\widehat {\theta }})}$

مثل${\displaystyle n}$يمكننا تجاهل الزيادات${\displaystyle |{\mathcal {I}}({\widehat {\theta }})|}$و${\displaystyle \pi ({\widehat {\theta }})}$كما هي${\displaystyle O(1)}$. هكذا،

${\displaystyle p(x\mid M)=\exp \left(\ln {\widehat {L}}-{\frac {k}{2}}\ln(n)+O(1)\right)=\exp \left(-{\frac {\mathrm {BIC} }{2}}+O(1)\right),}$

حيث يتم تعريف BIC كما هو موضح أعلاه، و${\displaystyle {\widehat {L}}}$إما (أ) هو النمط الخلفي البايزي أو (ب) يستخدم تقدير الاحتمال الأقصى والنمط المسبق${\displaystyle \pi (\theta \mid M)}$يكون للدالة ميل غير صفري عند تقدير الاحتمال الأقصى. عندئذٍ يكون التوزيع الاحتمالي اللاحق

${\displaystyle p(M\mid x)\propto p(x\mid M)p(M)\approx \exp \left(-{\frac {\mathrm {BIC} }{2}}\right)p(M)}$

إن الحجج المذكورة أعلاه هي حجج استدلالية، ولكن يمكن جعلها دقيقة رياضياً في ظل الافتراضات التقنية لاستمرارية ليبشيتز والتحدب القوي ، كما يلي.

ليما. (لما 2.82 ^{[ 7 ]} ) تعريف${\displaystyle \ell _{n}(\theta )=-\ln(p(x\mid \theta ,M)\pi (\theta \mid M))/n}$إذا كان تسلسل التدرجات${\displaystyle \{\nabla \ell _{n}(\theta )\}}$دالة ليبشيتز متصلة، بشكل منتظم في${\displaystyle n}$وكل${\displaystyle \ell _{n}(\theta )}$محدبة بقوة ولها معامل مشترك${\displaystyle m>0}$(بشكل مستقل عن${\displaystyle n}$ثم كما${\displaystyle n\rightarrow \infty }$: $${\displaystyle \ln p(x\mid M)=\ln(p(x\mid {\bar {\theta }}_{n},M)\pi ({\bar {\theta }}_{n}\mid M))-{\frac {k}{2}}\ln(n)+O(1),}$$ أين${\displaystyle {\bar {\theta }}_{n}=\arg \min _{\theta }\ell _{n}(\theta )}$هو التقدير الأقصى اللاحق (MAP) لـ${\displaystyle \theta }$.

لاحظ أنه من الممكن دائمًا اختيار كثافة مسبقة${\displaystyle \pi (\theta \mid M)}$بحيث يكون كل${\displaystyle \ell _{n}(\theta )}$محدبة بشدة (بنفس المعامل)${\displaystyle m}$يضمن هذا التوزيع المسبق أن تقدير MAP${\displaystyle {\bar {\theta }}_{n}}$يوجد، حتى في الحالات التي يكون فيها تقدير MLE${\displaystyle {\hat {\theta }}}$هو نفسه غير موجود.

عند الاختيار من بين عدة نماذج، يُفضل عمومًا النماذج ذات قيم BIC المنخفضة. وتُعد قيمة BIC دالة متزايدة لتباين الخطأ.${\displaystyle \sigma _{e}^{2}}$وهي دالة متزايدة لـ k . أي أن التباين غير المُفسَّر في المتغير التابع وعدد المتغيرات التفسيرية يزيدان من قيمة BIC. مع ذلك، فإن انخفاض قيمة BIC لا يشير بالضرورة إلى أن نموذجًا ما أفضل من غيره. ولأنها تتضمن تقريبات، فإن BIC مجرد أداة استدلالية. وعلى وجه الخصوص، لا ينبغي أبدًا التعامل مع الاختلافات في BIC كما لو كانت عوامل بايز مُحوَّلة.

من المهم التذكير بأن معيار معلومات بايز (BIC) يُستخدم لمقارنة النماذج المُقدَّرة فقط عندما تكون القيم العددية للمتغير التابع ^{[ b ]} متطابقة في جميع النماذج المُقارنة. ولا يشترط أن تكون النماذج المُقارنة متداخلة ، على عكس ما يحدث عند مقارنة النماذج باستخدام اختبار F أو اختبار نسبة الاحتمال .

لمقارنة نموذجين مختلفين، ما عليك سوى حساب BIC لكل نموذج ومقارنته وفقًا للجدول أدناه:

يعاني معيار معلومات بايز (BIC) من قيدين رئيسيين: ^{[ 8 ]}

1. التقريب المذكور أعلاه صالح فقط لحجم العينة${\displaystyle n}$أكبر بكثير من العدد${\displaystyle k}$من المعلمات في النموذج.
2. لا يستطيع معيار BIC التعامل مع مجموعات النماذج المعقدة كما هو الحال في مشكلة اختيار المتغيرات (أو اختيار الميزات ) في الأبعاد العالية. ^{[ 8 ]}

بافتراض أن أخطاء النموذج أو الاضطرابات مستقلة وموزعة بشكل متطابق وفقًا للتوزيع الطبيعي وشرط الحدود الذي يكون فيه مشتق اللوغاريتم الاحتمالي بالنسبة للتباين الحقيقي يساوي صفرًا، يصبح هذا ( حتى ثابت إضافي ، والذي يعتمد فقط على n وليس على النموذج): ^{[ 9 ]}

${\displaystyle \mathrm {BIC} =n\ln({\widehat {\sigma _{e}^{2}}})+k\ln(n)\ }$

أين${\displaystyle {\widehat {\sigma _{e}^{2}}}}$يمثل تباين الخطأ. ويُعرَّف تباين الخطأ في هذه الحالة على النحو التالي:

${\displaystyle {\widehat {\sigma _{e}^{2}}}={\frac {1}{n}}\sum _{i=1}^{n}(x_{i}-{\widehat {x}}_{i})^{2}.}$

وهو مقدر متحيز للتباين الحقيقي .

من حيث مجموع مربعات البواقي (RSS)، فإن معيار معلومات بايز ( BIC) هو

${\displaystyle \mathrm {BIC} =n\ln({\text{RSS}}/n)+k\ln(n)\ }$

عند اختبار نماذج خطية متعددة مقابل نموذج مشبع، يمكن إعادة كتابة معيار معلومات بايز (BIC) بدلالة الانحراف.${\displaystyle \chi ^{2}}$كما يلي: ^{[ 10 ]}

${\displaystyle \mathrm {BIC} =\chi ^{2}+k\ln(n)}$

أين${\displaystyle k}$يمثل عدد معلمات النموذج في الاختبار.

• بهات، إتش إس؛ كومار، إن (2010). "حول اشتقاق معيار المعلومات البايزي" (ملف PDF) . مؤرشف من الأصل (ملف PDF) بتاريخ 28 مارس 2012.
• فايندلي، د. ف. (1991). "أمثلة مضادة لمبدأ البخل ومعيار معلومات بايز". حوليات معهد الرياضيات الإحصائية . 43 (3): 505-514 . doi : 10.1007/BF00053369 . S2CID 58910242 . 
• كاس، ر. إي.؛ واسرمان، ل. (1995). "اختبار بايزي مرجعي للفرضيات المتداخلة وعلاقته بمعيار شوارتز". مجلة الجمعية الإحصائية الأمريكية . 90 (431): 928-934 . doi : 10.2307/2291327 . JSTOR 2291327 . 
• ليدل، أ. ر. (2007). "معايير المعلومات لاختيار النموذج الفيزيائي الفلكي" . الإشعارات الشهرية للجمعية الفلكية الملكية . 377 (1): L74– L78. arXiv : astro-ph/0701113 . Bibcode : 2007MNRAS.377L..74L . doi : 10.1111/j.1745-3933.2007.00306.x . S2CID 2884450 . 
• ماكواري، إيه دي آر؛ تساي، سي إل (1998). اختيار نموذج الانحدار والسلاسل الزمنية . وورلد ساينتيفيك .

• نمذجة الانحدار الذاتي المتجهي المتفرق