الاحتمالية الهامشية

الموسوعة الحرة

الاحتمال الهامشي هو دالة احتمال تم تكاملها على فضاء المعلمات . في الإحصاء البايزي ، يمثل احتمال توليد العينة المرصودة لجميع القيم الممكنة للمعلمات؛ ويمكن فهمه على أنه احتمال النموذج نفسه، ولذلك يُشار إليه غالبًا باسم دليل النموذج أو ببساطة الدليل .

بسبب التكامل على فضاء المعلمات، لا يعتمد الاحتمال الهامشي بشكل مباشر على المعلمات. إذا لم يكن التركيز على مقارنة النماذج، فإن الاحتمال الهامشي هو ببساطة ثابت التطبيع الذي يضمن أن يكون الاحتمال اللاحق احتمالًا صحيحًا. وهو مرتبط بدالة التقسيم في الميكانيكا الإحصائية . [ 1 ]

مفهوم

بالنظر إلى مجموعة من نقاط البيانات المستقلة والموزعة بشكل متطابقX=(x1،...،xن)،{\displaystyle \mathbf {X} =(x_{1},\ldots ,x_{n}),}أينxأنا∼ص(x|θ){\displaystyle x_{i}\sim p(x|\theta )}وفقًا لتوزيع احتمالي معين يتم تحديده بواسطةθ{\displaystyle \theta }، أينθ{\displaystyle \theta }هو نفسه متغير عشوائي موصوف بتوزيع، أيθ∼ص(θ|α)،{\displaystyle \theta \sim p(\theta \mid \alpha ),}يسأل الاحتمال الهامشي بشكل عام عن الاحتمالص(X|α){\displaystyle p(\mathbf {X} \mid \alpha )}هو، حيثθ{\displaystyle \theta }تم تهميشه (دمجه):

ص(X|α)=∫θص(X|θ)ص(θ|α) دθ{\displaystyle p(\mathbf {X} \mid \alpha )=\int _{\theta }p(\mathbf {X} \mid \theta )\,p(\theta \mid \alpha )\ \اسم المشغل {d} \!\theta }

تمت صياغة التعريف أعلاه في سياق الإحصاءات البايزية، وفي هذه الحالةص(θ|α){\displaystyle p(\theta \mid \alpha )}يُطلق عليه اسم الكثافة المسبقة وص(X|θ){\displaystyle p(\mathbf {X} \mid \theta )}الاحتمالية. مع العلم أن الاحتمالية الحدية هي ثابت التطبيع لكثافة الاحتمال الخلفي البايزي.ص(θ|X،α){\displaystyle p(\theta \mid \mathbf {X} ,\alpha )}وهناك أيضًا التعبير البديل [ 2 ]

ص(X|α)=ص(X|θ،α)ص(θ|α)ص(θ|X،α){\displaystyle p(\mathbf {X} \mid \alpha )={\frac {p(\mathbf {X} \mid \theta ,\alpha )p(\theta \mid \alpha )}{p(\theta \mid \mathbf {X} ,\alpha )}}}

وهو ما يمثل هوية فيθ{\displaystyle \theta }يُحدد الاحتمال الهامشي مدى التوافق بين البيانات والتوزيع الاحتمالي المسبق بطريقة هندسية دقيقة، مُوضحة باستخدام فضاءات هيلبرت في دراسة دي كارفاليو وآخرون (2019). أما في الإحصاء الكلاسيكي ( التكراري )، فيظهر مفهوم الاحتمال الهامشي في سياق مُعامل مشترك.θ=(ψ،λ){\displaystyle \theta =(\psi ,\lambda )}، أينψ{\displaystyle \psi }هو المعيار الفعلي محل الاهتمام، وλ{\displaystyle \lambda }هو مُعامل إزعاج غير مهم . إذا وُجد توزيع احتمالي لـλ{\displaystyle \lambda }لذا، من المستحسن في كثير من الأحيان النظر إلى دالة الاحتمالية فقط من حيثψ{\displaystyle \psi }عن طريق تهميشλ{\displaystyle \lambda }:

ل(ψ؛X)=ص(X|ψ)=∫λص(X|λ،ψ)ص(λ|ψ) دλ{\displaystyle {\mathcal {L}}(\psi ;\mathbf {X} )=p(\mathbf {X} \mid \psi )=\int _{\lambda }p(\mathbf {X} \mid \lambda ,\psi )\,p(\lambda \mid \psi )\ \operatorname {d} \!\lambda }

لسوء الحظ، يصعب عمومًا حساب الاحتمالات الهامشية. تتوفر حلول دقيقة لفئة صغيرة من التوزيعات، خاصةً عندما يكون المعامل المهمش هو التوزيع المسبق المترافق لتوزيع البيانات. في حالات أخرى، يلزم استخدام نوع من طرق التكامل العددي ، إما طريقة عامة مثل التكامل الغاوسي أو طريقة مونت كارلو ، أو طريقة متخصصة في المسائل الإحصائية مثل تقريب لابلاس ، أو أخذ عينات جيبس / متروبوليس ، أو خوارزمية EM .

من الممكن أيضاً تطبيق الاعتبارات المذكورة أعلاه على متغير عشوائي واحد (نقطة بيانات).x{\displaystyle x}بدلاً من مجموعة من الملاحظات. في سياق بايزي، هذا يعادل التوزيع التنبؤي المسبق لنقطة بيانات.

التطبيقات

مقارنة النماذج البايزية

في مقارنة النماذج البايزية ، المتغيرات المهمشةθ{\displaystyle \theta }هي معلمات لنوع معين من النماذج، والمتغير المتبقيم{\displaystyle M}هي هوية النموذج نفسه. في هذه الحالة، الاحتمال الهامشي هو احتمال البيانات بالنظر إلى نوع النموذج، دون افتراض أي معلمات نموذجية محددة. كتابةθ{\displaystyle \theta }بالنسبة لمعلمات النموذج، فإن الاحتمالية الحدية للنموذج M هي

ص(X|م)=∫ص(X|θ،م)ص(θ|م)دθ{\displaystyle p(\mathbf {X} \mid M)=\int p(\mathbf {X} \mid \theta ,M)\,p(\theta \mid M)\,\اسم المشغل {d} \!\theta }

في هذا السياق يُستخدم مصطلح " دليل النموذج" عادةً . هذه الكمية مهمة لأن نسبة الاحتمالات اللاحقة لنموذج M1 مقابل نموذج آخر M2 تتضمن نسبة الاحتمالات الحدية، والتي تُسمى عامل بايز .

ص(م1|X)ص(م2|X)=ص(م1)ص(م2)ص(X|م1)ص(X|م2){\displaystyle {\frac {p(M_{1}\mid \mathbf {X} )}{p(M_{2}\mid \mathbf {X} )}}={\frac {p(M_{1})}{p(M_{2})}}\,{\frac {p(\mathbf {X} \mid M_{1})}{p(\mathbf {X} \mid M_{2})}}}

والتي يمكن التعبير عنها بشكل تخطيطي كما يلي

الاحتمالات اللاحقة = الاحتمالات السابقة × عامل بايز

انظر أيضاً

مراجع

  1. ↑ شميدل، فاكلاف؛ كوين، أنتوني (2006). "نظرية بايز". طريقة بايز التباينية في معالجة الإشارات . سبرينغر. ص 13-23 . doi : 10.1007/3-540-28820-1_2 . 
  2. ↑ تشيب، سيدهارتا (1995). "الاحتمالية الحدية من مخرجات جيبس". مجلة الجمعية الإحصائية الأمريكية . 90 (432): 1313-1321 . doi : 10.1080/01621459.1995.10476635 .

للمزيد من القراءة

  • تشارلز س. بوس. "مقارنة بين طرق حساب الاحتمالية الحدية". في: دبليو. هاردل وب. رونز (محرران)، COMPSTAT 2002: وقائع في الإحصاء الحاسوبي ، الصفحات  111-117 . 2002. (متوفر كنسخة أولية على SSRN 332860 ) 
  • دي كارفاليو، ميغيل؛ بيج، غاريت؛ بارني، برادلي (2019). "حول هندسة الاستدلال البايزي". التحليل البايزي . 14 (4): 1013-1036. (متاح كنسخة أولية على الإنترنت:)
  • لامبرت، بن (2018). "يكمن الشيطان في المقام". دليل الطالب للإحصاء البايزي . سيج. ص 109-120 . ISBN  978-1-4739-1636-4.
  • الكتاب المدرسي الإلكتروني: نظرية المعلومات والاستدلال وخوارزميات التعلم ، بقلم ديفيد جيه سي ماكاي .