عامل بايز

جزء من سلسلة عن
إحصاءات بايزية
لاحق = الاحتمال × السابق ÷ الدليل
خلفية
الاستدلال البايزي احتمالية بايزية نظرية بايز نظرية برنشتاين-فون ميزس التماسك نظرية كوكس حكم كرومويل مبدأ الاحتمالية مبدأ اللامبالاة مبدأ الحد الأقصى للإنتروبيا
بناء النموذج
اقتران سابق الانحدار الخطي بايز التجريبية النموذج الهرمي
التقريب الخلفي
سلسلة ماركوف مونتي كارلو تقريب لابلاس تقريبات لابلاس المتداخلة المتكاملة الاستدلال المتغير الحساب البايزي التقريبي
المُقَدِّرون
مقدر بايز فاصل زمني معقول الحد الأقصى للتقدير اللاحق
تقريب الأدلة
دليل الحد الأدنى أخذ العينات المتداخلة
تقييم النموذج
عامل بايز متوسط ​​النموذج التنبؤ الخلفي
بوابة الرياضيات
ف ت هـ

عامل بايز هو نسبة نموذجين إحصائيين متنافسين يتم تمثيلهما بأدلتهما ، ويُستخدم لقياس الدعم لأحد النموذجين على الآخر. ^[1] يمكن أن يكون للنماذج المعنية مجموعة مشتركة من المعلمات، مثل الفرضية الصفرية والبديلة، ولكن هذا ليس ضروريًا؛ على سبيل المثال، يمكن أن يكون أيضًا نموذجًا غير خطي مقارنة بتقريبه الخطي . يمكن اعتبار عامل بايز بمثابة نظير بايز لاختبار نسبة الاحتمالية ، على الرغم من أنه يستخدم الاحتمالية المتكاملة (أي الهامشية) بدلاً من الاحتمالية القصوى. وعلى هذا النحو، تتطابق الكميتان فقط تحت فرضيات بسيطة (على سبيل المثال، قيمتان محددتان للمعلمة). ^[2] أيضًا، على النقيض من اختبار أهمية الفرضية الصفرية ، تدعم عوامل بايز تقييم الأدلة لصالح الفرضية الصفرية، بدلاً من السماح فقط برفض الفرضية الصفرية أو عدم رفضها. ^[3]

على الرغم من بساطته من الناحية المفاهيمية، إلا أن حساب عامل بايز قد يكون صعبًا اعتمادًا على تعقيد النموذج والفرضيات. ^[4] نظرًا لأن التعبيرات المغلقة الشكل للاحتمالية الهامشية غير متاحة عمومًا، فقد تم اقتراح تقريبات عددية تعتمد على عينات MCMC . ^[5] بالنسبة لبعض الحالات الخاصة، يمكن اشتقاق تعبيرات جبرية مبسطة؛ على سبيل المثال، نسبة كثافة سافاج-ديكي في حالة فرضية دقيقة (مقيدة بالمساواة) مقابل بديل غير مقيد. ^{[6] [7]} يُعرف تقريب آخر، مشتق من خلال تطبيق تقريب لابلاس على الاحتمالات المتكاملة، باسم معيار المعلومات البايزي (BIC)؛ ^[8] في مجموعات البيانات الكبيرة، سيقترب عامل بايز من BIC مع تضاؤل ​​تأثير المسبقات. في مجموعات البيانات الصغيرة، تكون المسبقات مهمة بشكل عام ويجب ألا تكون غير مناسبة لأن عامل بايز سيكون غير محدد إذا لم يكن أي من التكاملين في نسبته محدودًا.

عامل بايز هو نسبة احتمالين هامشيين؛ أي احتمالات نموذجين إحصائيين متكاملين على الاحتمالات السابقة لمعلماتهما. ^[9]

الاحتمالية الخلفية لنموذج M مع البيانات D تعطى بواسطة نظرية بايز : ${\displaystyle \Pr(M|D)}$

${\displaystyle \Pr(M|D)={\frac {\Pr(D|M)\Pr(M)}{\Pr(D)}}.}$

يمثل المصطلح المعتمد على البيانات الأساسية احتمالية إنتاج بعض البيانات تحت افتراض النموذج M ؛ وتقييمه بشكل صحيح هو المفتاح لمقارنة النموذج البايزي. ${\displaystyle \Pr(D|M)}$

بالنظر إلى مشكلة اختيار النموذج حيث يرغب المرء في الاختيار بين نموذجين على أساس البيانات المرصودة D ، فإن معقولية النموذجين المختلفين M ₁ و M ₂ ، والمحددة بمتجهات معلمات النموذج و ، يتم تقييمها بواسطة عامل بايز K المعطى بواسطة ${\displaystyle \theta _{1}}$${\displaystyle \theta _{2}}$

${\displaystyle K={\frac {\Pr(D|M_{1})}{\Pr(D|M_{2})}}={\frac {\int \Pr(\theta _{1}|M_{1})\Pr(D|\theta _{1},M_{1})\,d\theta _{1}}{\int \Pr(\theta _{2}|M_{2})\Pr(D|\theta _{2},M_{2})\,d\theta _{2}}}={\frac {\frac {\Pr(M_{1}|D)\Pr(D)}{\Pr(M_{1})}}}{\frac {\Pr(M_{2}|D)\Pr(D)}{\Pr(M_{2})}}}={\frac {\Pr(M_{1}|D)}{\Pr(M_{2}|D)}}{\frac {\Pr(M_{2})}{\Pr(M_{1})}}.}$

عندما يكون للنموذجين احتمال مسبق متساوٍ، بحيث يكون عامل بايز مساويًا لنسبة الاحتمالات اللاحقة لـ M ₁ و M _{2. إذا تم استخدام الاحتمال المقابل} لتقدير الاحتمال الأقصى للمعامل لكل نموذج إحصائي بدلاً من تكامل عامل بايز ، فإن الاختبار يصبح اختبار نسبة الاحتمال الكلاسيكي . على عكس اختبار نسبة الاحتمال، لا تعتمد مقارنة النموذج البايزي هذا على أي مجموعة واحدة من المعاملات، حيث إنها تتكامل مع جميع المعاملات في كل نموذج (بالنسبة للمعاملات المسبقة ذات الصلة). تتمثل إحدى مزايا استخدام عوامل بايز في أنها تتضمن تلقائيًا، وبشكل طبيعي تمامًا، عقوبة لتضمين الكثير من بنية النموذج. ^[10] وبالتالي فهي تحمي من الإفراط في التجهيز . بالنسبة للنماذج التي لا يتوفر فيها إصدار صريح للاحتمال أو يكون تقييمها عدديًا مكلفًا للغاية، يمكن استخدام الحساب البايزي التقريبي لاختيار النموذج في إطار بايزي، ^[11] مع التحذير من أن التقديرات البايزية التقريبية لعوامل بايز غالبًا ما تكون متحيزة. ^[12]${\displaystyle \Pr(M_{1})=\Pr(M_{2})}$

ومن الطرق الأخرى:

• معالجة مقارنة النماذج باعتبارها مشكلة قرار ، وحساب القيمة المتوقعة أو التكلفة لكل اختيار نموذج؛
• لاستخدام الحد الأدنى لطول الرسالة (MML).
• لاستخدام الحد الأدنى لطول الوصف (MDL).

تعني قيمة K > 1 أن البيانات قيد الدراسة تدعم M _{1 بشكل أقوى من} M _2. لاحظ أن اختبار الفرضيات الكلاسيكي يمنح فرضية واحدة (أو نموذجًا) وضعًا مفضلًا (الفرضية الصفرية)، ولا يأخذ في الاعتبار إلا الأدلة ضدها . إن حقيقة أن عامل بايز يمكنه إنتاج أدلة لصالح الفرضية الصفرية وليس فقط ضدها هي إحدى المزايا الرئيسية لطريقة التحليل هذه. ^[13]

أعطى هارولد جيفريز مقياسًا ( مقياس جيفريز ) لتفسير : ^[14]${\displaystyle K}$

ك	دارت	أجزاء	قوة الأدلة
< 10 0	< 1	< 0	سلبي (يدعم M 2 )
10 0 إلى 10 1/2	1 إلى 3.2	0 الى 1.6	لا يستحق الذكر
10 1/2 إلى 10 1	3.2 إلى 10	1.6 إلى 3.3	جوهري
10 1 إلى 10 3/2	10 إلى 31.6	3.3 إلى 5.0	قوي
10 3/2 إلى 10 2	31.6 إلى 100	5.0 إلى 6.6	قوي جدا
> 10 2	> 100	> 6.6	حاسم

يقدم العمود الثاني الأوزان المقابلة للأدلة بوحدات ديسي هارتلي (المعروفة أيضًا باسم ديسيبان )؛ تتم إضافة البتات في العمود الثالث من أجل الوضوح. يستمر الجدول في الاتجاه الآخر، بحيث يكون، على سبيل المثال، دليلاً حاسمًا على . ${\displaystyle K\leq 10^{-2}}$${\displaystyle M_{2}}$

تم تقديم جدول بديل، تم الاستشهاد به على نطاق واسع، بواسطة Kass وRaftery (1995): ^[10]

سجل 10 كيلو	ك	قوة الأدلة
0 إلى 1/2	1 إلى 3.2	لا يستحق أكثر من مجرد ذكر
1/2 إلى 1	3.2 إلى 10	جوهري
1 الى 2	10 الى 100	قوي
> 2	> 100	حاسم

وفقًا لـ IJ Good ، فإن الاختلاف الملحوظ بين البشر في حياتهم اليومية، عندما يتعلق الأمر بدرجة التغيير في الإيمان بفرضية ما، هو حوالي عامل 1.3x، أو 1 ديسيبل، أو 1/3 من البت، أو من 1:1 إلى 5:4 في نسبة الأرجحية. ^[15]

لنفترض أن لدينا متغيرًا عشوائيًا ينتج إما نجاحًا أو فشلًا. نريد مقارنة نموذج M ₁ حيث احتمال النجاح هو q = 1 ⁄ 2 ، ونموذج آخر M ₂ حيث q غير معروف ونأخذ توزيعًا مسبقًا لـ q موحدًا على [ 0,1 ]. نأخذ عينة من 200، ونجد 115 نجاحاً و85 فشلاً. يمكن حساب الاحتمالية وفقًا للتوزيع الثنائي :

${\displaystyle {{200 \choose 115}q^{115}(1-q)^{85}}.}$

وهكذا لدينا بالنسبة لـ M ₁

${\displaystyle P(X=115\mid M_{1})={200 \choose 115}\left({1 \over 2}\right)^{200}\approx 0.006}$

بينما بالنسبة لـ M ₂ لدينا

${\displaystyle P(X=115\mid M_{2})=\int _{0}^{1}{200 \choose 115}q^{115}(1-q)^{85}dq={1 \over 201}\approx 0.005}$

وبالتالي تصبح النسبة 1.2، وهي نسبة "لا تستحق الذكر" حتى لو كانت تشير بشكل طفيف للغاية _نحو M1 .

كان من الممكن أن ينتج اختبار الفرضية التكرارية لـ M ₁ (الذي يُعتبر هنا فرضية معدومة ) نتيجة مختلفة تمامًا. يقول مثل هذا الاختبار أنه يجب رفض M _{1 عند مستوى دلالة 5٪، حيث أن احتمال الحصول على 115 أو أكثر من النجاحات من عينة من 200 إذا كان} q = 1 ⁄ 2 هو 0.02، وكاختبار ثنائي الذيل للحصول على رقم متطرف مثل 115 أو أكثر تطرفًا هو 0.04. لاحظ أن 115 أبعد من 100 بأكثر من انحرافين معياريين. وبالتالي، في حين أن اختبار الفرضية التكرارية من شأنه أن يعطي نتائج مهمة عند مستوى دلالة 5٪، فإن عامل بايز بالكاد يعتبر هذه نتيجة متطرفة. ومع ذلك، لاحظ أن الأولوية غير الموحدة (على سبيل المثال تلك التي تعكس حقيقة أنك تتوقع أن يكون عدد النجاحات والإخفاقات من نفس ترتيب الحجم) يمكن أن تؤدي إلى عامل بايز أكثر اتفاقًا مع اختبار الفرضية التكرارية.

كان من الممكن أن يجد اختبار نسبة الاحتمالية الكلاسيكي أقصى تقدير للاحتمالية لـ q ، أي ، حيث ${\displaystyle {\hat {q}}={\frac {115}{200}}=0.575}$

${\displaystyle \textstyle P(X=115\mid M_{2})={{200 \choose 115}{\hat {q}}^{115}(1-{\hat {q}})^{85}}\approx 0.06}$

(بدلاً من حساب المتوسط ​​لجميع الاحتمالات الممكنة ). وهذا يعطي نسبة احتمالية 0.1 ويشير إلى M ₂ .

M ₂ هو نموذج أكثر تعقيدًا من M ₁ لأنه يحتوي على معلمة مجانية تسمح له بنمذجة البيانات بشكل أكثر دقة. إن قدرة عوامل بايز على أخذ هذا في الاعتبار هي أحد الأسباب التي جعلت الاستدلال البايزي يُطرح كمبرر نظري وتعميم لمبدأ أوكام ، مما يقلل من أخطاء النوع الأول . ^[16]

من ناحية أخرى، تأخذ الطريقة الحديثة للاحتمالية النسبية في الاعتبار عدد المعلمات الحرة في النماذج، على عكس نسبة الاحتمالية الكلاسيكية. يمكن تطبيق طريقة الاحتمالية النسبية على النحو التالي. يحتوي النموذج M ₁ على 0 معلمة، وبالتالي فإن قيمة معيار المعلومات Akaike (AIC) الخاص به هي . يحتوي النموذج M ₂ على معلمة واحدة، وبالتالي فإن قيمة معيار المعلومات Akaike (AIC) الخاص به هي . وبالتالي فإن احتمالية M ₁ أكبر بنحو مرة من احتمالية M ₂ لتقليل فقدان المعلومات. وبالتالي فإن M ₂ مفضلة قليلاً، ولكن لا يمكن استبعاد M _{1 .}${\displaystyle 2\cdot 0-2\cdot \ln(0.005956)\approx 10.2467}$${\displaystyle 2\cdot 1-2\cdot \ln(0.056991)\approx 7.7297}$${\displaystyle \exp \left({\frac {7.7297-10.2467}{2}}\right)\approx 0.284}$

• معيار معلومات أكايكي
• الحساب البايزي التقريبي
• معيار المعلومات البايزي
• معيار معلومات الانحراف
• مفارقة ليندلي
• الحد الأدنى لطول الرسالة
• اختيار النموذج
• القيمة الإلكترونية

النسب الإحصائية

• نسبة الاحتمالات
• المخاطر النسبية

• برناردو، ج.؛ سميث، إيه إف إم (1994). النظرية البايزية . جون وايلي. رقم ISBN 0-471-92416-4.
• دينيسون، دي جي تي؛ هولمز، سي سي؛ ماليك، بي كيه؛ سميث، إيه إف إم (2002). الأساليب البايزية للتصنيف والانحدار غير الخطي . جون وايلي. رقم ISBN 0-471-49036-9.
• ديينز، ز. (2019). كيف أعرف ما تتنبأ به نظريتي؟ التقدم في الأساليب والممارسات في العلوم النفسية doi :10.1177/2515245919876960
• دودا، ريتشارد أو.؛ ​​هارت، بيتر إي.؛ ستورك، ديفيد جي. (2000). "القسم 9.6.5". تصنيف الأنماط (الطبعة الثانية). وايلي. ص 487-489. رقم ISBN 0-471-05669-3.
• جلمان، أ.؛ كارلين، ج.؛ ستيرن، هـ.؛ روبين، د. (1995). تحليل البيانات البايزية . لندن: تشابمان وهول . رقم ISBN 0-412-03991-5.
• جاينز، إي تي (1994)، نظرية الاحتمالات: منطق العلم ، الفصل 24.
• كادان، جوزيف ب.؛ ديكي، جيمس م. (1980). "نظرية القرار البايزية وتبسيط النماذج". في كمينتا، جان؛ رامزي، جيمس ب. (المحررون). تقييم النماذج الاقتصادية القياسية . نيويورك: أكاديميك بريس. ص 245-268. رقم ISBN 0-12-416550-8.
• لي، ب.م. (2012). الإحصاءات البايزية: مقدمة . وايلي. رقم ISBN 9781118332573.
• ريتشارد، مارك؛ فيسر، جان (2021). "اختبار كفاءة أسواق التنبؤ: نهج مارتينجال ونسبة الاحتمال وتحليل عامل بايز". المخاطر . 9 (2): 31. doi : 10.3390/risks9020031 . hdl : 10419/258120 .
• وينكلر، روبرت (2003). مقدمة في الاستدلال والقرار البايزي (الطبعة الثانية). الاحتمالية. رقم ISBN 0-9647938-4-9.

• BayesFactor — حزمة R لحساب عوامل Bayes في تصميمات البحث الشائعة
• حاسبة عامل بايز — حاسبة عبر الإنترنت لعوامل بايز المستنيرة
• حاسبات عامل بايز أرشيف 2015-05-07 على موقع Wayback Machine —إصدار قائم على الويب لمعظم حزمة BayesFactor