توزيع الاحتمالية المركبة

في علم الاحتمالات والإحصاء ، يُعرف التوزيع الاحتمالي المركب (أو التوزيع المختلط أو التوزيع المعدي ) بأنه التوزيع الاحتمالي الناتج عن افتراض أن متغيرًا عشوائيًا يتبع توزيعًا مُعَلمًا، حيث تكون (بعض) معلمات هذا التوزيع نفسها متغيرات عشوائية. وإذا كانت المعلمة معلمة مقياس ، يُطلق على الخليط الناتج أيضًا اسم خليط المقياس .

التوزيع المركب ("التوزيع غير المشروط") هو نتيجة التهميش (التكامل) على المتغير (المتغيرات) العشوائية الكامنة التي تمثل معلمات التوزيع المعلم ("التوزيع المشروط").

تعريف

التوزيع الاحتمالي المركب هو التوزيع الاحتمالي الناتج عن افتراض أن متغيرًا عشوائيًاX{\displaystyle X}يتم توزيعها وفقًا لتوزيع معين ذي معلماتF{\displaystyle F}مع معلمة غير معروفةθ{\displaystyle \theta }يتم توزيع ذلك مرة أخرى وفقًا لتوزيع آخرجي{\displaystyle G}التوزيع الناتجح{\displaystyle H}ويُقال إنها التوزيع الناتج عن التراكمF{\displaystyle F}معجي{\displaystyle G}توزيع المعلمةجي{\displaystyle G}يُطلق عليه أيضًا اسم التوزيع المختلط أو التوزيع الكامن . من الناحية الفنية، التوزيع غير المشروطح{\displaystyle H}النتائج الناجمة عن التهميش علىجي{\displaystyle G}أي، من خلال تكامل المعلمة (المعلمات) المجهولةθ{\displaystyle \theta }. دالة كثافة الاحتمال الخاصة بها معطاة بالصيغة التالية:

صح(x)=صF(x|θ)صجي(θ)دθ{\displaystyle p_{H}(x)={\displaystyle \int \limits p_{F}(x|\theta )\,p_{G}(\theta )\operatorname {d} \!\theta }}

وينطبق نفس المبدأ بشكل مماثل إذا كانت بعض المتغيرات أو جميعها متجهات.

من الصيغة أعلاه، يمكن ملاحظة أن التوزيع المركب هو في الأساس حالة خاصة من التوزيع الهامشي : التوزيع المشترك لـx{\displaystyle x}وθ{\displaystyle \theta }يُعطى بواسطة ص(x،θ)=ص(x|θ)ص(θ){\displaystyle p(x,\theta )=p(x|\theta )p(\theta )}والنتائج المركبة هي توزيعها الهامشي: ص(x)=ص(x،θ)دθ{\displaystyle {\textstyle p(x)=\int p(x,\theta )\operatorname {d} \!\theta }}إذا كان مجالθ{\displaystyle \theta }إذا كانت منفصلة، ​​فإن التوزيع هو مرة أخرى حالة خاصة من توزيع الخليط .

ملكيات

عام

التوزيع المركبح{\displaystyle H}سيعتمد ذلك على التعبير المحدد لكل توزيع، بالإضافة إلى أي معلمة من معلماتF{\displaystyle F}يتم توزيعها وفقًا للتوزيعجي{\displaystyle G}، ومعاييرح{\displaystyle H}سيشمل ذلك أي معايير لـجي{\displaystyle G}أولئك الذين لا يتم تهميشهم أو دمجهم. دعمح{\displaystyle H}هو نفسه مثل ذلك الخاص بـF{\displaystyle F}وإذا كان الأخير توزيعًا ذا معلمتين يتم تحديده بالمتوسط ​​والتباين، فإن بعض الخصائص العامة موجودة.

المتوسط ​​والتباين

يتم تحديد أول عزمين للتوزيع المركب بواسطة قانون التوقع الكلي وقانون التباين الكلي :

هـح[X]=هـجي[هـF[X|θ]]{\displaystyle \operatorname {E} _{H}[X]=\operatorname {E} _{G}{\bigl [}\operatorname {E} _{F}[X|\theta ]{\bigr ]}}

متغيرح(X)=هـجي[متغيرF(X|θ)]+متغيرجي(هـF[X|θ]){\displaystyle \operatorname {Var} _{H}(X)=\operatorname {E} _{G}{\bigl [}\operatorname {Var} _{F}(X|\theta ){\bigr ]}+\operatorname {Var} _{G}{\bigl (}\operatorname {E} _{F}[X|\theta ]{\bigr )}}

إذا كان متوسطF{\displaystyle F}يتم توزيعها على النحو التالي:جي{\displaystyle G}وهذا بدوره يعنيμ{\displaystyle \mu }والتباينσ2{\displaystyle \sigma ^{2}}تشير العبارات المذكورة أعلاه إلىهـح[X]=هـجي[θ]=μ{\displaystyle \operatorname {E} _{H[X]=\operatorname {E} _{G}[\theta ]=\mu }ومتغيرح(X)=متغيرF(X|θ)+متغيرجي(Y)=τ2+σ2{\displaystyle \operatorname {Var} _{H}(X)=\operatorname {Var} _{F}(X|\theta )+\operatorname {Var} _{G}(Y)=\tau ^{2}+\sigma ^{2}}، أينτ2{\displaystyle \tau ^{2}}هو تباينF{\displaystyle F}.

دليل

يتركF{\displaystyle F}وجي{\displaystyle G}لنفترض أن التوزيعات الاحتمالية مُعَلمة بالمتوسط ​​والتباين كما يلي:xF(θ،τ2)θجي(μ،σ2){\displaystyle {\begin{aligned}x&\sim {\mathcal {F}}(\theta ,\tau ^{2})\\\theta &\sim {\mathcal {G}}(\mu ,\sigma ^{2})\end{محاذاة}}}ثم نرمز إلى دوال كثافة الاحتمال بـو(x|θ)=صF(x|θ){\displaystyle f(x|\theta )=p_{F}(x|\theta )}وز(θ)=صجي(θ){\displaystyle g(\theta )=p_{G}(\theta )}على التوالي، وح(x){\displaystyle h(x)}كونها دالة كثافة الاحتمال لـح{\displaystyle H}لديناهـح[X]=Fxح(x)دx=Fxجيو(x|θ)ز(θ)دθدx=جيFxو(x|θ)دx ز(θ)دθ=جيهـF[X|θ]ز(θ)دθ{\displaystyle {\begin{aligned}\operatorname {E} _{H}[X]=\int _{F}xh(x)dx&=\int _{F}x\int _{G}f(x|\theta )g(\theta )d\theta dx\\&=\int _{G}\int _{F}xf(x|\theta )dx\ g(\theta )d\theta \\&=\int _{G}\operatorname {E} _{F}[X|\theta ]g(\theta )d\theta \end{aligned}}}وقد حصلنا من عملية تحديد المعلماتF{\displaystyle {\mathcal {F}}}وجي{\displaystyle {\mathcal {G}}}الذي - التيهـF[X|θ]=Fxو(x|θ)دx=θهـجي[θ]=جيθز(θ)دθ=μ{\displaystyle {\begin{aligned}\operatorname {E} _{F}[X|\theta ]&=\int _{F}xf(x|\theta )dx=\theta \\\operatorname {E} _{G}[\theta ]&=\int _{G}\theta g(\theta )d\theta =\mu \end{aligned}}}وبالتالي فإن متوسط ​​التوزيع المركبهـح[X]=μ{\displaystyle \operatorname {E} _{H}[X]=\mu }وفقًا للتعبير عن لحظته الأولى أعلاه.

تباينح{\displaystyle H}يُعطى بواسطةهـح[X2]-(هـح[X])2{\displaystyle \operatorname {E} _{H}[X^{2}]-(\operatorname {E} _{H}[X])^{2}}، وهـح[X2]=Fx2ح(x)دx=Fx2جيو(x|θ)ز(θ)دθدx=جيز(θ)Fx2و(x|θ)دx دθ=جيز(θ)(τ2+θ2)دθ=τ2جيز(θ)دθ+جيز(θ)θ2دθ=τ2+(σ2+μ2)،{\displaystyle {\begin{aligned}\operatorname {E} _{H}[X^{2}]=\int _{F}x^{2}h(x)dx&=\int _{F}x^{2}\int _{G}f(x|\theta )g(\theta )d\theta dx\\&=\int _{G}g(\theta )\int _{F}x^{2}f(x|\theta )dx\ d\theta \\&=\int _{G}g(\theta )(\tau ^{2}+\theta ^{2})d\theta \\&=\tau ^{2}\int _{G}g(\theta )d\theta +\int _{G}g(\theta )\theta ^{2}d\theta \\&=\tau ^{2}+(\sigma ^{2}+\mu ^{2}),\end{aligned}}}بالنظر إلى حقيقة أنFx2و(x|θ)دx=هـF[X2|θ]=متغيرF(X|θ)+(هـF[X|θ])2{\displaystyle \int _{F}x^{2}f(x\mid \theta )dx=\operatorname {E} _{F}[X^{2}\mid \theta ]=\operatorname {Var} _{F}(X\mid \theta )+(\operatorname {E} _{F}[X\mid \theta ])^{2}}وجيθ2ز(θ)دθ=هـجي[θ2]=متغيرجي(θ)+(هـجي[θ])2{\displaystyle \int _{G}\theta ^{2}g(\theta )d\theta =\operatorname {E} _{G}[\theta ^{2}]=\operatorname {Var} _{G}(\theta )+(\operatorname {E} _{G}[\theta ])^{2}}وأخيراً نحصل علىمتغيرح(X)=هـح[X2]-(هـح[X])2=τ2+σ2{\displaystyle {\begin{aligned}\operatorname {Var} _{H}(X)&=\operatorname {E} _{H}[X^{2}]-(\operatorname {E} _{H}[X])^{2}\\&=\tau ^{2}+\sigma ^{2}\end{aligned}}}

التطبيقات

الاختبار

تنتج توزيعات إحصائيات الاختبار الشائعة كتوزيعات مركبة في ظل فرضية الصفر الخاصة بها، على سبيل المثال في اختبار t للطالب (حيث تكون إحصائية الاختبار هي نسبة متغير عشوائي طبيعي ومتغير عشوائي مربع كاي ) ، أو في اختبار F (حيث تكون إحصائية الاختبار هي نسبة متغيرين عشوائيين مربع كاي ).

نمذجة التشتت الزائد

تُعدّ التوزيعات المركبة مفيدةً لنمذجة النتائج التي تُظهر تشتتًا زائدًا ، أي تباينًا أكبر مما هو متوقع في نموذج مُحدد. على سبيل المثال، تُنمذج بيانات العد عادةً باستخدام توزيع بواسون ، الذي يساوي تباينه متوسطه. يمكن تعميم هذا التوزيع بالسماح بالتباين في مُعامل معدله ، وذلك من خلال توزيع جاما ، مما ينتج عنه توزيع ثنائي الحد السالب الهامشي . يُشبه هذا التوزيع توزيع بواسون في شكله، ولكنه يسمح بتباينات أكبر. وبالمثل، يمكن تعميم التوزيع الثنائي للسماح بتباين إضافي من خلال دمجه مع توزيع بيتا لمُعامل احتمالية النجاح، مما ينتج عنه توزيع بيتا-ثنائي الحد .

الاستدلال البايزي

إلى جانب التوزيعات الهامشية الشائعة التي يمكن اعتبارها حالات خاصة من التوزيعات المركبة، في الاستدلال البايزي ، تنشأ التوزيعات المركبة عندما يُمثل F ، وفقًا للرموز المذكورة أعلاه، توزيع المشاهدات المستقبلية، بينما يُمثل G التوزيع الاحتمالي اللاحق لمعلمات F ، بالنظر إلى المعلومات الواردة في مجموعة من البيانات المرصودة. وهذا يُعطي توزيعًا تنبؤيًا لاحقًا . وبالمثل، بالنسبة للتوزيع التنبؤي المسبق ، يُمثل F توزيع نقطة بيانات جديدة، بينما يُمثل G التوزيع المسبق للمعلمات.

التفاف

يمكن اعتبار عملية التفاف التوزيعات الاحتمالية (لاستنتاج التوزيع الاحتمالي لمجاميع المتغيرات العشوائية) حالة خاصة من التراكم؛ حيث ينتج توزيع المجموع بشكل أساسي من اعتبار أحد حدود المجموع كمعامل موقع عشوائي للحدود الأخرى. [ 1 ]

حساب

غالباً ما يكون للتوزيعات المركبة المشتقة من التوزيعات الأسية صيغة مغلقة. وإذا تعذر التكامل التحليلي، فقد تكون الطرق العددية ضرورية.

يمكن دراسة التوزيعات المركبة بسهولة نسبية باستخدام طرق مونت كارلو ، أي عن طريق توليد عينات عشوائية. وغالبًا ما يكون من السهل توليد أرقام عشوائية من هذه التوزيعات.ص(θ){\displaystyle p(\theta )}إلى جانبص(x|θ){\displaystyle p(x|\theta )}ثم استخدم هذه البيانات لإجراء عملية أخذ عينات جيبس ​​المنهارة لتوليد عينات منص(x){\displaystyle p(x)}.

يمكن عادةً تقريب التوزيع المركب بدرجة كافية بواسطة توزيع خليط باستخدام عدد محدود من مكونات الخليط، مما يسمح باستنتاج الكثافة التقريبية، ودالة التوزيع، وما إلى ذلك. [ 1 ]

يمكن تبسيط تقدير المعلمات ( تقدير الاحتمال الأقصى أو تقدير الاحتمال اللاحق الأقصى ) ضمن نموذج التوزيع المركب أحيانًا باستخدام خوارزمية EM . [ 2 ]

أمثلة

مصطلحات مشابهة

يختلف مفهوم "التوزيع المركب" كما هو مستخدم، على سبيل المثال، في تعريف توزيع بواسون المركب أو عملية بواسون المركبة، عن التعريف الوارد في هذه المقالة. يتوافق المعنى الوارد في هذه المقالة مع ما يُستخدم، على سبيل المثال، في النمذجة الهرمية البايزية .

الحالة الخاصة لتوزيعات الاحتمال المركبة حيث يكون التوزيع ذو المعلماتF{\displaystyle F}يُطلق على توزيع بواسون أيضًا اسم توزيع بواسون المختلط .

انظر أيضاً

مراجع

  1. 1 2 روفر، سي.؛ فريد، تي. (2017). "التقريب المتقطع لتوزيع خليط عبر التباعد المقيد" . مجلة الإحصاءات الحاسوبية والرسومية . 26 (1): 217-222 . arXiv : 1602.04060 . doi : 10.1080/10618600.2016.1276840 .
  2. جيلمان، أ.؛ كارلين، ج.ب.؛ ستيرن، هـ.؛ روبين، د.ب. (1997). "9.5 إيجاد الأنماط الخلفية الهامشية باستخدام خوارزمية EM والخوارزميات ذات الصلة ". تحليل البيانات البايزية ( الطبعة الأولى). بوكا راتون: تشابمان آند هول / سي آر سي. ص 276.  
  3. 1 2 لي، إس إكس؛ ماكلاكلان، جي جي (2019). "توزيع خليط المقياس". وايلي ستاتس ريف: مرجع إحصائي على الإنترنت . ص 1-16 . doi : 10.1002/9781118445112.stat08201 . ISBN  978-1-118-44511-2.
  4. Gneiting, T. (1997). "مخاليط المقياس الطبيعي وكثافات الاحتمال المزدوجة". مجلة الحساب الإحصائي والمحاكاة . 59 (4): 375-384 . doi : 10.1080/00949659708811867 .
  5. مود، أ.م.؛ غرايبيل، ف.أ.؛ بوس، د.س. (1974). مقدمة في نظرية الإحصاء ( الطبعة الثالثة). نيويورك: ماكجرو هيل. 
  6. أندروز، د. ف.؛ مالوز، س. ل. (1974)، "مزيج المقياس للتوزيعات الطبيعية"، مجلة الجمعية الإحصائية الملكية، السلسلة ب ، 36 (1): 99-102 ، doi : 10.1111/j.2517-6161.1974.tb00989.x
  7. جونسون، ن. ل.؛ كيمب، أ . و .؛ كوتز، س. (2005). "6.2.2". التوزيعات المنفصلة أحادية المتغير ( الطبعة الثالثة). نيويورك: وايلي. ص 253.  
  8. جيلمان، أ.؛ كارلين، ج.ب.؛ ستيرن، هـ.؛ دونسون، د.ب.؛ فيهتاري، أ.؛ روبين، د.ب. (2014). تحليل البيانات البايزي ( الطبعة الثالثة). بوكا راتون: تشابمان آند هول / سي آر سي. رمز Bibcode : 2014bda..book.....G . 
  9. لوليس، جيه إف (1987). "انحدار ذي الحدين السالب وانحدار بواسون المختلط". المجلة الكندية للإحصاء . 15 (3): 209-225 . doi : 10.2307/3314912 . JSTOR 3314912 . 
  10. ^ تيش، ماك. ديامينت، ص. (1989). “اضرب التمثيلات العشوائية لتوزيعات K وتحويلات بواسون الخاصة بها”. مجلة الجمعية البصرية الأمريكية أ . 6 (1): 80– 91. بيب كود : 1989JOSAA...6...80T . سيتيسيركس 10.1.1.64.596 . دوى : 10.1364/JOSAA.6.000080 . 
  11. جونسون، ن. ل.؛ كوتز، س.؛ بالاكريشنان، ن. (1994). "20 توزيعًا باريتو ". التوزيعات أحادية المتغير المستمرة . المجلد 1 ( الطبعة الثانية). نيويورك: وايلي. ص 573.   
  12. دوبي، إس دي (1970). "توزيعات جاما وبيتا وF المركبة". ميتريكا . 16 : 27-31 . doi : 10.1007/BF02613934 .

للمزيد من القراءة

  • ليندسي، بي جي (1995)، نماذج الخليط: النظرية والهندسة والتطبيقات ، سلسلة مؤتمرات NSF-CBMS الإقليمية في الاحتمالات والإحصاء، المجلد  5، هايوارد، كاليفورنيا، الولايات المتحدة الأمريكية: معهد الإحصاء الرياضي، الصفحات  من 1 إلى 163، ISBN 978-0-940600-32-4JSTOR 4153184 
  • سايدل، دبليو. (2010)، "نماذج الخليط"، في لوفريك، إم. (محرر)، الموسوعة الدولية للعلوم الإحصائية ، هايدلبرغ: سبرينغر، ص 827-829 ، doi : 10.1007/978-3-642-04898-2_368 ، ISBN  978-3-642-04898-2
  • مود، أ.م.؛ غرايبيل، ف.أ.؛ بوس، د.س. (1974)، "III.4.3 التوزيعات المعدية والتوزيعات المبتورةمقدمة في نظرية الإحصاء (  الطبعة الثالثة)، نيويورك: ماكجرو هيل، ISBN 978-0-07-042864-5
  • جونسون، إن إل؛ كيمب، إيه دبليو ؛ كوتز، إس. (2005)، "8 توزيعات خليطالتوزيعات المنفصلة أحادية المتغير ، نيويورك: وايلي، ISBN 978-0-471-27246-5