الحد الأقصى للتقدير اللاحق

في الإحصاء البايزي ، يُعرف تقدير الاحتمال اللاحق الأقصى ( MAP ) لكمية مجهولة بأنه نمط دالة الكثافة الاحتمالية اللاحقة . يُمكن استخدام تقدير الاحتمال اللاحق الأقصى للحصول على تقدير نقطي لكمية غير مُلاحظة بناءً على البيانات التجريبية. وهو يرتبط ارتباطًا وثيقًا بطريقة تقدير الاحتمال الأقصى (ML)، ولكنه يستخدم هدفًا مُحسَّنًا للتحسين يتضمن دالة كثافة احتمالية مسبقة للكمية المراد تقديرها. وبالتالي، يُعد تقدير الاحتمال اللاحق الأقصى بمثابة تنظيم لتقدير الاحتمال الأقصى.

لنفترض أننا نريد تقدير معلمة سكانية غير مرصودة${\displaystyle \theta }$بناءً على الملاحظات${\displaystyle x}$. يترك${\displaystyle f}$ليكن التوزيع الاحتمالي لـ${\displaystyle x}$، لهذا السبب${\displaystyle f(x\mid \theta )}$هو احتمال${\displaystyle x}$عندما تكون معلمة السكان الأساسية${\displaystyle \theta }$ثم الدالة:

${\displaystyle \theta \mapsto f(x\mid \theta )\!}$

تُعرف باسم دالة الاحتمال والتقدير:

${\displaystyle {\hat {\theta}}_{\mathrm {MLE} }(x)={\underset {\theta }{\operatorname {arg\,max} }}\ f(x\mid \theta )\!}$

هو تقدير الاحتمال الأقصى لـ${\displaystyle \theta }$.

لنفترض الآن أن التوزيع المسبق${\displaystyle g}$زيادة${\displaystyle \theta }$هذا موجود. وهذا يسمح لنا بالتعامل مع${\displaystyle \theta }$كمتغير عشوائي كما هو الحال في الإحصاء البايزي . يمكننا حساب الكثافة الاحتمالية اللاحقة لـ${\displaystyle \theta }$باستخدام نظرية بايز :

${\displaystyle \theta \mapsto f(\theta \mid x)={\frac {f(x\mid \theta )\,g(\theta )}{\displaystyle \int _{\Theta }f(x\mid \vartheta )\,g(\vartheta )\,d\vartheta }}\!}$

أين${\displaystyle g}$دالة الكثافة لـ${\displaystyle \theta }$،${\displaystyle \Theta }$هو مجال${\displaystyle g}$.

ثم تقوم طريقة التقدير اللاحق الأقصى بتقدير${\displaystyle \theta }$باعتباره نمط الكثافة الاحتمالية اللاحقة لهذا المتغير العشوائي:

${\displaystyle {\begin{aligned}{\hat {\theta }}_{\mathrm {MAP} }(x)&={\underset {\theta }{\operatorname {arg\,max} }}\ f(\theta \mid x)\\&={\underset {\theta }{\operatorname {arg\,max} }}\ {\frac {f(x\mid \theta) )\,g(\theta )}{\displaystyle \int _{\Theta }f(x\mid \vartheta )\,g(\vartheta )\,d\vartheta }}\\&={\underset {\theta }{\operatorname {arg\,max} }}\ f(x\mid \theta )\,g(\theta ).\end{محاذاة}}\!}$

يكون مقام دالة الكثافة الاحتمالية الخلفية ( الاحتمالية الحدية للنموذج) موجبًا دائمًا ولا يعتمد على${\displaystyle \theta }$وبالتالي، لا يلعب أي دور في عملية التحسين. لاحظ أن تقدير MAP لـ${\displaystyle \theta }$يتطابق مع تقدير الاحتمال الأقصى عندما تكون القيمة المسبقة${\displaystyle g}$موحد (أي،${\displaystyle g}$هي دالة ثابتة )، والتي تحدث كلما تم اعتبار التوزيع المسبق كمقياس مرجعي، كما هو معتاد في تطبيقات فضاء الدوال.

في سياق مقدرات بايز ، يمكن استعادة متوسط ​​الاحتمال اللاحق (MAP) باعتباره القيمة التي تقلل من مخاطر بايز باستخدام دالة المخاطرة.

${\displaystyle L(\theta ,a)={\begin{cases}0,&{\text{if }}|a-\theta |<c,\\1,&{\text{otherwise}},\\\end{cases}}}$

في الحد كما${\displaystyle c}$يؤول إلى الصفر، بشرط أن يكون توزيع${\displaystyle \theta }$تكون شبه مقعرة. ^{[ 1 ]} عمومًا، مع ذلك، فإن مُقدِّر MAP ليس مُقدِّر بايز إلا إذا${\displaystyle \theta }$منفصل .​

يمكن حساب تقديرات متوسط ​​هطول الأمطار بعدة طرق:

1. تحليليًا، عندما يمكن التعبير عن نمط (أنماط) الكثافة الاحتمالية اللاحقة بصيغة مغلقة . هذا هو الحال عند استخدام التوزيعات الاحتمالية المسبقة المترافقة .
2. عن طريق التحسين العددي مثل طريقة التدرج المترافق أو طريقة نيوتن . يتطلب هذا عادةً مشتقات أولى أو ثانية ، والتي يجب تقييمها تحليليًا أو عدديًا.
3. عن طريق تعديل خوارزمية التوقع والتعظيم . وهذا لا يتطلب مشتقات الكثافة الاحتمالية اللاحقة.
4. باستخدام طريقة مونت كارلو وتقنية التلدين المحاكي

على الرغم من أن تقدير MAP لا يتطلب سوى شروط بسيطة ليكون حالةً حديةً لتقدير بايز (في ظل دالة الخسارة 0-1)، ^{[ 1 ]} إلا أنه لا يُمثل الطرق البايزية عمومًا. يعود ذلك إلى أن تقديرات MAP هي تقديرات نقطية، وتعتمد على اختيار عشوائي للمقياس المرجعي، بينما تتميز الطرق البايزية باستخدام التوزيعات لتلخيص البيانات واستخلاص النتائج؛ لذا، تميل الطرق البايزية إلى الإبلاغ عن المتوسط ​​أو الوسيط اللاحق ، بالإضافة إلى فترات الثقة . ويرجع ذلك إلى أن هذه المُقدِّرات تكون مثالية في ظل خسارة الخطأ التربيعي والخطأ الخطي على التوالي - وهما أكثر تمثيلًا لدوال الخسارة النموذجية - ولأنه بالنسبة للتوزيع اللاحق المستمر، لا توجد دالة خسارة تُشير إلى أن MAP هو المُقدِّر النقطي الأمثل.

في العديد من أنواع النماذج، مثل نماذج الخليط ، قد يكون التوزيع الاحتمالي اللاحق متعدد الأنماط . في هذه الحالة، يُنصح عادةً باختيار النمط الأعلى: إلا أن هذا ليس ممكنًا دائمًا ( فالتحسين الشامل مشكلة معقدة)، بل قد يكون مستحيلاً في بعض الحالات (كما هو الحال عند ظهور مشكلات في قابلية التحديد ). علاوة على ذلك، قد لا يُمثل النمط الأعلى غالبية التوزيع الاحتمالي اللاحق، خاصةً في الأبعاد المتعددة.

أخيرًا، على عكس مُقدِّرات الاحتمال الأقصى، فإن تقدير الاحتمال الأقصى اللاحق ليس ثابتًا عند إعادة تحديد المعلمات. فالانتقال من معلمة إلى أخرى يستلزم إدخال مصفوفة جاكوبية تؤثر على موقع القيمة القصوى. ^{[ 2 ]} في المقابل، فإن التوقعات الخلفية البايزية ثابتة عند إعادة تحديد المعلمات.

كمثال على الفرق بين مقدرات بايز المذكورة أعلاه (مقدرات المتوسط ​​والوسيط) واستخدام تقدير MAP، لنفترض الحالة التي تتطلب تصنيف المدخلات${\displaystyle x}$إما إيجابي أو سلبي (على سبيل المثال، القروض باعتبارها محفوفة بالمخاطر أو آمنة). لنفترض أن هناك ثلاث فرضيات محتملة فقط حول الطريقة الصحيحة للتصنيف${\displaystyle h_{1}}$،${\displaystyle h_{2}}$و${\displaystyle h_{3}}$بقيم احتمالية لاحقة تبلغ 0.4 و0.3 و0.3 على التوالي. لنفترض، عند إعطاء حالة جديدة،${\displaystyle x}$،${\displaystyle h_{1}}$يصنفها على أنها إيجابية، بينما يصنفها الاثنان الآخران على أنها سلبية. باستخدام تقدير MAP للمصنف الصحيح${\displaystyle h_{1}}$،${\displaystyle x}$يُصنف على أنه إيجابي، بينما تقوم تقديرات بايز بحساب المتوسط ​​لجميع الفرضيات وتصنيفها.${\displaystyle x}$سلبي.

لنفترض أن لدينا متتالية${\displaystyle (x_{1},\dots ,x_{n})}$من IID${\displaystyle N(\mu ,\sigma _{v}^{2})}$المتغيرات العشوائية والتوزيع المسبق لـ${\displaystyle \mu }$يُعطى بواسطة ${\displaystyle N(\mu _{0},\sigma _{m}^{2})}$نرغب في إيجاد تقدير MAP لـ${\displaystyle \mu }$لاحظ أن التوزيع الطبيعي هو التوزيع المسبق المترافق الخاص به ، لذلك سنكون قادرين على إيجاد حل مغلق الشكل تحليليًا.

ثم يتم إعطاء الدالة المراد تعظيمها بواسطة ^{[ 3 ]}

${\displaystyle g(\mu )f(x\mid \mu )=\pi (\mu )L(\mu )={\frac {1}{{\sqrt {2\pi }}\sigma _{m}}}\exp \left(-{\frac {1}{2}}\left({\frac {\mu -\mu _{0}}{\sigma _{m}}}\right)^{2}\right)\prod _{j=1}^{n}{\frac {1}{{\sqrt {2\pi }}\sigma _{v}}}\exp \left(-{\frac {1}{2}}\left({\frac {x_{j}-\mu }{\sigma _{v}}}\right)^{2}\right),}$

وهو ما يعادل تقليل الدالة التالية لـ${\displaystyle \mu }$:

${\displaystyle \sum _{j=1}^{n}\left({\frac {x_{j}-\mu }{\sigma _{v}}}\right)^{2}+\left({\frac {\mu -\mu _{0}}{\sigma _{m}}}\right)^{2}.}$

وهكذا، نرى أن مقدر MAP لـ μ يتم إعطاؤه بواسطة ^{[ 3 ]}

${\displaystyle {\hat {\mu }}_{\mathrm {MAP} }={\frac {\sigma _{m}^{2}\,n}{\sigma _{m}^{2}\,n+\sigma _{v}^{2}}}\left({\frac {1}{n}}\sum _{j=1}^{n}x_{j}\right)+{\frac {\sigma _{v}^{2}}{\sigma _{m}^{2}\,n+\sigma _{v}^{2}}}\,\mu _{0}={\frac {\sigma _{m}^{2}\left(\sum _{j=1}^{n}x_{j}\right)+\sigma _{v}^{2}\,\mu _{0}}{\sigma _{m}^{2}\,n+\sigma _{v}^{2}}}.}$

والذي تبين أنه استيفاء خطي بين المتوسط ​​المسبق ومتوسط ​​العينة المرجح بمعاملات التباين الخاصة بهما.

قضية${\displaystyle \sigma _{m}\to \infty }$يُطلق عليه اسم التوزيع الاحتمالي المسبق غير المُعلِم، ويؤدي إلى توزيع احتمالي غير صحيح ؛ في هذه الحالة${\displaystyle {\hat {\mu }} _ {\mathrm {MAP} }\to {\hat {\mu }}_{\mathrm {MLE} }.}$

• ديغروت، م. (1970). القرارات الإحصائية المثلى . ماكجرو هيل. ISBN 0-07-016242-5.
• سورنسون، هارولد و. (1980). تقدير المعلمات: المبادئ والمسائل . مارسيل ديكر. ISBN 0-8247-6987-2.
• هالد، أندرس (2007). "اشتقاق جاوس للتوزيع الطبيعي وطريقة المربعات الصغرى، 1809". تاريخ الاستدلال الإحصائي البارامتري من برنولي إلى فيشر، 1713-1935 . نيويورك: سبرينغر. ص 55-61 . ISBN  978-0-387-46409-1.