النمذجة الهرمية البايزية

بالنسبة لعدد ثابت n ، فإن المجموعة${\displaystyle y_{1},y_{2},\ldots ,y_{n}}$ تكون قابلة للتبادل إذا كان الاحتمال المشترك${\displaystyle P(y_{1},y_{2},\ldots ,y_{n})}$يكون ثابتًا تحت تبديلات المؤشرات. أي أنه لكل تبديل${\displaystyle \pi }$أو${\displaystyle (\pi _{1},\pi _{2},\ldots ,\pi _{n})}$ من (1، 2، ...، ن )،${\displaystyle P(y_{1},y_{2},\ldots ,y_{n})=P(y_{\pi _{1}},y_{\pi _{2}},\ldots ,y_{\pi _{n}}).}$^{[ 11 ]}

فيما يلي مثال قابل للتبادل، ولكنه ليس مستقلاً ومتطابقاً (iid): لنفترض وجود جرة بداخلها كرة حمراء وكرة زرقاء، باحتمال${\displaystyle {\frac {1}{2}}}$يتم سحب الكرات بدون إرجاع، أي بعد سحب كرة واحدة من${\displaystyle n}$ستكون هناك كرات${\displaystyle n-1}$عدد الكرات المتبقية للسحب القادم.

${\displaystyle {\text{Let }}Y_{i}={\begin{cases}1,&{\text{if the }}i{\text{ball this {returned }},\\0,&{\text{otherwise}}.\end{cases}}}$

إن احتمال سحب كرة حمراء في السحبة الأولى وكرة زرقاء في السحبة الثانية يساوي احتمال سحب كرة زرقاء في السحبة الأولى وكرة حمراء في السحبة الثانية، وكلاهما يساوي 1/2:

${\displaystyle P(y_{1}=1,y_{2}=0)=P(y_{1}=0,y_{2}=1)={\frac {1}{2}}}$.

وهذا يجعل${\displaystyle y_{1}}$و${\displaystyle y_{2}}$قابلة للتبادل.

لكن احتمال اختيار كرة حمراء في السحبة الثانية، علماً بأن الكرة الحمراء قد تم اختيارها بالفعل في السحبة الأولى، هو صفر. وهذا لا يساوي احتمال اختيار الكرة الحمراء في السحبة الثانية، والذي يساوي 1/2.

${\displaystyle P(y_{2}=1\mid y_{1}=1)=0\neq P(y_{2}=1)={\frac {1}{2}}}$.

هكذا،${\displaystyle y_{1}}$و${\displaystyle y_{2}}$ليست مستقلة.

لو${\displaystyle x_{1},\ldots ,x_{n}}$إذا كانت مستقلة وموزعة توزيعاً متطابقاً، فإنها قابلة للتبادل، ولكن العكس ليس صحيحاً بالضرورة. ^{[ 12 ]}

التبادلية اللانهائية هي الخاصية التي تجعل كل مجموعة جزئية منتهية من متتالية لانهائية${\displaystyle y_{1}}$،${\displaystyle y_{2},\ldots }$قابلة للتبادل. لأي قيمة لـ n ، فإن المتتالية${\displaystyle y_{1},y_{2},\ldots ,y_{n}}$قابل للتبادل. ^{[ 12 ]}

تستخدم النمذجة الهرمية البايزية مفهومين مهمين في اشتقاق التوزيع الاحتمالي اللاحق، ^{[ 1 ]} وهما:

1. المعلمات الفائقة : معلمات التوزيع المسبق
2. التوزيعات الاحتمالية الفائقة : توزيعات المعلمات الفائقة

لنفترض أن المتغير العشوائي Y يتبع التوزيع الطبيعي بمعامل${\displaystyle \theta }$المتوسط ​​و1 التباين ، أي${\displaystyle Y\mid \theta \sim N(\theta ,1)}$العلاقة بين علامة التلدة${\displaystyle \sim }$يمكن قراءة العبارة على أنها "لها توزيع" أو "يتم توزيعها على النحو التالي". لنفترض أيضًا أن المعلمة${\displaystyle \theta }$لها توزيع معطى بواسطة التوزيع الطبيعي بمتوسط${\displaystyle \mu }$والتباين 1، أي${\displaystyle \theta \mid \mu \sim N(\mu ,1)}$. بالإضافة إلى،${\displaystyle \mu }$يتبع توزيعًا آخر، على سبيل المثال، التوزيع الطبيعي القياسي .${\displaystyle {\text{N}}(0,1)}$المعلمة${\displaystyle \mu }$يُطلق عليه اسم المعلمة الفائقة، بينما يتم تحديد توزيعه بواسطة${\displaystyle {\text{N}}(0,1)}$يُعد مثالاً على التوزيع الفائق المسبق. يتغير ترميز توزيع Y بإضافة مُعامل آخر، أي${\displaystyle Y\mid \theta ,\mu \sim N(\theta ,1)}$وإذا كانت هناك مرحلة أخرى، على سبيل المثال،${\displaystyle \mu }$يتبع توزيعًا طبيعيًا آخر بمتوسط ​​قدره${\displaystyle \beta }$وتباين من${\displaystyle \epsilon }$، ثم${\displaystyle \mu \sim N(\beta ,\epsilon )}$،${\displaystyle {\mbox{ }}}$${\displaystyle \beta }$و${\displaystyle \epsilon }$ويمكن تسميتها أيضًا بالمعلمات الفائقة ذات التوزيعات المسبقة الفائقة. ^{[ 6 ]}

يترك${\displaystyle y_{j}}$كن ملاحظة و${\displaystyle \theta _{j}}$معيار يتحكم في عملية توليد البيانات لـ${\displaystyle y_{j}}$افترض كذلك أن المعلمات${\displaystyle \theta _{1},\theta _{2},\ldots ,\theta _{j}}$يتم توليدها بشكل تبادلي من مجموعة سكانية مشتركة، ويخضع توزيعها لمعامل فائق${\displaystyle \phi }$يحتوي النموذج الهرمي البايزي على المراحل التالية :

${\displaystyle {\text{المرحلة الأولى: }}y_{j}\mid \theta _{j},\phi \sim P(y_{j}\mid \theta _{j},\phi )}$

${\displaystyle {\text{المرحلة الثانية: }}\theta _{j}\mid \phi \sim P(\theta _{j}\mid \phi )}$

${\displaystyle {\text{المرحلة الثالثة: }}\phi \sim P(\phi )}$

الاحتمالية، كما هو موضح في المرحلة الأولى، هي${\displaystyle P(y_{j}\mid \theta _{j},\phi )}$، مع${\displaystyle P(\theta _{j},\phi )}$كتوزيعها المسبق. لاحظ أن الاحتمالية تعتمد على${\displaystyle \phi }$فقط من خلال${\displaystyle \theta _{j}}$.

يمكن تقسيم التوزيع المسبق من المرحلة الأولى إلى:

${\displaystyle P(\theta _{j},\phi )=P(\theta _{j}\mid \phi )P(\phi )}$[من تعريف الاحتمال الشرطي]

مع${\displaystyle \phi }$باعتبارها معلمة فائقة ذات توزيع مسبق فائق،${\displaystyle P(\phi )}$.

وبالتالي، فإن التوزيع الاحتمالي اللاحق يتناسب مع:

${\displaystyle P(\phi ,\theta _{j}\mid y)\propto P(y_{j}\mid \theta _{j},\phi )P(\theta _{j},\phi )}$[باستخدام نظرية بايز]

${\displaystyle P(\phi ,\theta _{j}\mid y)\propto P(y_{j}\mid \theta _{j})P(\theta _{j}\mid \phi )P(\phi )}$^{[ 13 ]}

على سبيل المثال، يرغب المعلم في تقدير أداء الطالب في اختبار SAT . يستخدم المعلم معدل الطالب التراكمي الحالي (GPA) لهذا التقدير. ويُرمز لمعدل الطالب التراكمي الحالي بـ${\displaystyle Y}$، لها احتمالية معطاة بدالة احتمالية ما ذات معلمة${\displaystyle \theta }$، أي${\displaystyle Y\mid \theta \sim P(Y\mid \theta )}$هذه المعلمة${\displaystyle \theta }$يمثل هذا الرقم درجة الطالب في اختبار SAT. وتُعتبر درجة SAT عينةً مأخوذةً من توزيع سكاني مشترك مُفهرس بمعامل آخر.${\displaystyle \phi }$، وهو الصف الدراسي للطالب في المرحلة الثانوية (السنة الأولى، أو الثانية، أو الثالثة، أو الرابعة). ^{[ 14 ]} أي،${\displaystyle \theta \mid \phi \sim P(\theta \mid \phi )}$علاوة على ذلك، فإن المعلمة الفائقة${\displaystyle \phi }$يتبع توزيعه الخاص المحدد بواسطة${\displaystyle P(\phi )}$، وهو احتمال أولي فائق.

يمكن استخدام هذه العلاقات لحساب احتمالية الحصول على درجة معينة في اختبار SAT بالنسبة إلى معدل تراكمي معين:

${\displaystyle P(\theta ,\phi \mid Y)\propto P(Y\mid \theta ,\phi )P(\theta ,\phi )}$

${\displaystyle P(\theta ,\phi \mid Y)\propto P(Y\mid \theta )P(\theta \mid \phi )P(\phi )}$

ستُستخدم جميع المعلومات الواردة في المسألة لحساب التوزيع الاحتمالي اللاحق. وبدلاً من الاعتماد فقط على التوزيع الاحتمالي المسبق ودالة الاحتمال ، فإن استخدام التوزيعات الاحتمالية المسبقة الفائقة يسمح بتمييز أدق للعلاقات بين المتغيرات المعطاة. ^{[ 15 ]}

بشكل عام، يكون التوزيع الاحتمالي الخلفي المشترك محل الاهتمام في النماذج الهرمية ذات المرحلتين كما يلي:

${\displaystyle P(\theta ,\phi \mid Y)={P(Y\mid \theta ,\phi )P(\theta ,\phi ) \over P(Y)}={P(Y\mid \theta )P(\theta \mid \phi )P(\phi ) \over P(Y)}}$

${\displaystyle P(\theta ,\phi \mid Y)\propto P(Y\mid \theta )P(\theta \mid \phi )P(\phi )}$^{[ 15 ]}

بالنسبة للنماذج الهرمية ثلاثية المراحل، يتم إعطاء التوزيع الاحتمالي اللاحق على النحو التالي:

${\displaystyle P(\theta ,\phi ,X\mid Y)={P(Y\mid \theta )P(\theta \mid \phi )P(\phi \mid X)P(X) \over P(Y)}}$

${\displaystyle P(\theta ,\phi ,X\mid Y)\propto P(Y\mid \theta )P(\theta \mid \phi )P(\phi \mid X)P(X)}$^{[ 15 ]}

${\displaystyle {y}_{ij}=f(t_{ij};\theta _{1i},\theta _{2i},\ldots ,\theta _{li},\ldots ,\theta _{Ki})+\epsilon _{ij},\quad \epsilon _{ij}\sim N(0,\sigma ^{2}),\quad i=1,\ldots ,N,\,j=1,\ldots ,M_{i}.}$

${\displaystyle \theta _{li}=\alpha _{l}+\sum _{b=1}^{P}\beta _{lb}x_{ib}+\eta _{li},\quad \eta _{li}\sim N(0,\omega _{l}^{2}),\quad i=1,\ldots ,N,\,l=1,\ldots ,K.}$

${\displaystyle \sigma ^{2}\sim \pi (\sigma ^{2}),\quad \alpha _{l}\sim \pi (\alpha _{l}),\quad (\beta _{l1},\ldots ,\beta _{lb},\ldots ,\beta _{lP})\sim \pi (\beta _{l1},\ldots ,\beta _{lb},\ldots ,\beta _{lP}),\quad \omega _{l}^{2}\sim \pi (\omega _{l}^{2}),\quad l=1,\ldots ,K.}$

هنا،${\displaystyle y_{ij}}$يشير إلى الاستجابة المستمرة لـ${\displaystyle i}$الموضوع رقم - في النقطة الزمنية${\displaystyle t_{ij}}$، و${\displaystyle x_{ib}}$هو${\displaystyle b}$المتغير المشترك رقم - من${\displaystyle i}$الموضوع رقم -th. تُكتب المعلمات المستخدمة في النموذج بأحرف يونانية. المتغير${\displaystyle f(t;\theta _{1},\ldots ,\theta _{K})}$هي دالة معروفة يتم تحديدها بواسطة${\displaystyle K}$متجه ذو أبعاد${\displaystyle (\theta _{1},\ldots ,\theta _{K})}$.

عادة،${\displaystyle f}$هي دالة "غير خطية" وتصف المسار الزمني للأفراد. في النموذج،${\displaystyle \epsilon _{ij}}$و ${\displaystyle \eta _{li}}$يصف هذا النموذج التباين داخل الفرد والتباين بين الأفراد على التوالي. إذا لم يُؤخذ التوزيع الاحتمالي المسبق في الاعتبار، فإن العلاقة تختزل إلى نموذج إحصائي غير خطي ذي تأثيرات مختلطة.

تتمثل المهمة الأساسية في تطبيق نماذج التأثيرات المختلطة غير الخطية البايزية في تقييم الكثافة الاحتمالية اللاحقة:

${\displaystyle \pi (\{\theta _{li}\}_{i=1,l=1}^{N,K},\sigma ^{2},\{\alpha _{l}\}_{l=1}^{K},\{\beta _{lb}\}_{l=1,b=1}^{K,P},\{\omega _{l}\}_{l=1}^{K}|\{y_{ij}\}_{i=1,j=1}^{N,M_{i}})}$

${\displaystyle \propto \pi (\{y_{ij}\}_{i=1,j=1}^{N,M_{i}},\{\theta _{li}\}_{i=1,l=1}^{N,K},\sigma ^{2},\{\alpha _{l}\}_{l=1}^{K},\{\beta _{lb}\}_{l=1,b=1}^{K,P},\{\omega _{l}\}_{l=1}^{K})}$

${\displaystyle =\underbrace {\pi (\{y_{ij}\}_{i=1,j=1}^{N,M_{i}}|\{\theta _{li}\}_{i=1,l=1}^{N,K},\sigma ^{2})} _{\text{Stage 1: Individual-Level Model}}\times \underbrace {\pi (\{\theta _{li}\}_{i=1,l=1}^{N,K}|\{\alpha _{l}\}_{l=1}^{K},\{\beta _{lb}\}_{l=1,b=1}^{K,P},\{\omega _{l}\}_{l=1}^{K})} _{\text{Stage 2: Population Model}}\times \underbrace {p(\sigma ^{2},\{\alpha _{l}\}_{l=1}^{K},\{\beta _{lb}\}_{l=1,b=1}^{K,P},\{\omega _{l}\}_{l=1}^{K})} _{\text{Stage 3: Prior}}}$

تعرض اللوحة على اليمين دورة بحث بايزية باستخدام نموذج التأثيرات المختلطة غير الخطي البايزي. ^{[ 16 ]} تتألف دورة البحث باستخدام نموذج التأثيرات المختلطة غير الخطي البايزي من خطوتين: (أ) دورة البحث القياسية و (ب) سير العمل الخاص بالمنهج البايزي.

تتضمن دورة البحث القياسية ما يلي: 1) مراجعة الأدبيات ، 2) تحديد المشكلة، 3) تحديد سؤال البحث وفرضيته. يُقسّم سير العمل الخاص بالمنهج البايزي هذا النهج إلى ثلاث خطوات فرعية: (ب) - (1) صياغة التوزيعات الاحتمالية المسبقة بناءً على المعرفة الأساسية واستنباط المعلومات المسبقة؛ (ب) - (2) تحديد دالة الاحتمال بناءً على دالة غير خطية.${\displaystyle f}$و(ب)–(3) إجراء استدلال لاحق. ويمكن استخدام الاستدلال اللاحق الناتج لبدء دورة بحثية جديدة.