دالة الاحتمال

يترك${\textstyle X}$ليكن متغيرًا عشوائيًا منفصلاً بدالة كتلة احتمالية${\textstyle p}$اعتمادًا على أحد المعايير${\textstyle \theta }$ثم الدالة

$${\displaystyle {\mathcal {L}}(\theta \mid x)=p_{\theta }(x)=P_{\theta }(X=x)={\text{Pr}}\{X=x\mid \Theta =\theta \},}$$

باعتبارها دالة لـ${\textstyle \theta }$، قيمة محتملة للمعامل الحتمي ولكن غير المعروف${\textstyle \Theta }$، هي دالة الاحتمال ، بالنظر إلى النتيجة${\textstyle x}$المتغير العشوائي${\textstyle X}$أحيانًا يكون احتمال "القيمة"${\textstyle x}$ل${\textstyle X}$بالنسبة لقيمة المعامل${\textstyle \theta }$تُكتب " P ( X = x | θ )" أو P ( X = x ; θ ) . الاحتمالية هي احتمالية حدوث نتيجة معينة.${\textstyle x}$يُلاحظ ذلك عندما تكون القيمة الحقيقية للمعامل هي${\textstyle \theta }$، وهو ما يعادل كتلة الاحتمال على${\textstyle x}$إنها ليست دالة كثافة احتمالية على المعلمة${\textstyle \theta }$الاحتمالية،${\textstyle {\mathcal {L}}(\theta \mid x)}$لا ينبغي الخلط بينه وبين${\textstyle P(\theta \mid x)}$، وهو الاحتمال اللاحق لـ${\textstyle \theta }$بالنظر إلى البيانات${\textstyle x}$.

مثال

لنفترض نموذجًا إحصائيًا بسيطًا لرمي عملة معدنية: معلمة واحدة${\textstyle p_{\text{H}}}$وهذا يعبّر عن "عدالة" العملة. والمُعامل هو احتمال ظهور صورة العملة ("H") عند رميها.${\textstyle p_{\text{H}}}$يمكن أن تأخذ أي قيمة ضمن النطاق من 0.0 إلى 1.0. بالنسبة لعملة عادلة تمامًا ،${\textstyle p_{\text{H}}=0.5}$.

تخيل أنك تقلب قطعة نقدية متوازنة مرتين، وتلاحظ ظهور صورتين ("HH"). بافتراض أن كل رمية متتالية مستقلة ومتطابقة التوزيع ، فإن احتمال ظهور HH هو

$${\displaystyle P({\text{HH}}\mid p_{\text{H}}=0.5)=0.5^{2}=0.25.}$$

وبعبارة أخرى، فإن احتمال ملاحظة "HH" بافتراض${\textstyle p_{\text{H}}=0.5}$يكون

$${\displaystyle {\mathcal {L}}(p_{\text{H}}=0.5\mid {\text{HH}})=0.25.}$$

هذا لا يعني بالضرورة أن${\textstyle P(p_{\text{H}}=0.5\mid {\text{HH}})=0.25}$وهو استنتاج لا يمكن التوصل إليه إلا من خلال نظرية بايز بمعرفة الاحتمالات الهامشية${\textstyle P(p_{\text{H}}=0.5)}$و${\textstyle P({\text{HH}})}$.

لنفترض الآن أن العملة ليست عملة عادلة، بل هي عملة...${\textstyle p_{\text{H}}=0.3}$إذن، احتمال ظهور صورتين في رميتين هو

$${\displaystyle P({\text{HH}}\mid p_{\text{H}}=0.3)=0.3^{2}=0.09.}$$

لذلك

$${\displaystyle {\mathcal {L}}(p_{\text{H}}=0.3\mid {\text{HH}})=0.09.}$$

وبشكل أعم، لكل قيمة من${\textstyle p_{\text{H}}}$يمكننا حساب الاحتمالية المقابلة. وتظهر نتيجة هذه الحسابات في الشكل  1. تكامل${\textstyle {\mathcal {L}}}$على [0،  1] يكون 1/3؛ لا يلزم أن تتكامل الاحتمالات أو تجمع إلى واحد على فضاء المعلمات.

يترك${\textstyle X}$ليكن متغيرًا عشوائيًا يتبع توزيعًا احتماليًا مستمرًا تمامًا بدالة كثافة احتمالية${\textstyle f}$(وظيفة من${\textstyle x}$) والذي يعتمد على معلمة${\textstyle \theta }$ثم الدالة

$${\displaystyle {\mathcal {L}}(\theta \mid x)=f_{\theta }(x),}$$

باعتبارها دالة لـ${\textstyle \theta }$، هي دالة الاحتمال (لـ${\textstyle \theta }$بالنظر إلى النتيجة${\textstyle X=x}$). مرة أخرى،${\textstyle {\mathcal {L}}}$ليست دالة كثافة احتمالية أو دالة كتلة على${\textstyle \theta }$، على الرغم من كونها وظيفة من${\textstyle \theta }$بالنظر إلى الملاحظة${\textstyle X=x}$.

في نظرية الاحتمالات القائمة على القياس ، تُعرَّف دالة الكثافة بأنها مشتقة رادون-نيكوديم لتوزيع الاحتمال بالنسبة إلى مقياس مهيمن مشترك. ^{[ 5 ]} أما دالة الاحتمال فهي دالة الكثافة هذه مُفسَّرة كدالة للمعلمة، وليس للمتغير العشوائي. ^{[ 6 ]} وبالتالي، يمكننا بناء دالة احتمال لأي توزيع، سواء كان منفصلاً أو متصلاً أو خليطاً أو غير ذلك. (تكون دوال الاحتمال قابلة للمقارنة، على سبيل المثال لتقدير المعلمات، فقط إذا كانت مشتقات رادون-نيكوديم بالنسبة إلى نفس المقياس المهيمن).

تستخدم المناقشة أعلاه حول احتمالية المتغيرات العشوائية المنفصلة مقياس العد ، والذي بموجبه تكون كثافة الاحتمال عند أي نتيجة مساوية لاحتمالية تلك النتيجة.

يمكن توسيع ما سبق بطريقة بسيطة للسماح بدراسة التوزيعات التي تحتوي على مكونات منفصلة ومتصلة. لنفترض أن التوزيع يتكون من عدد من كتل الاحتمال المنفصلة.${\textstyle p_{k}(\theta )}$وكثافة${\textstyle f(x\mid \theta )}$، حيث مجموع كل${\textstyle p}$تمت إضافة 's إلى تكامل${\textstyle f}$تكون دائمًا واحدًا. بافتراض إمكانية التمييز بين مشاهدة تتوافق مع إحدى كتل الاحتمال المنفصلة وأخرى تتوافق مع مكون الكثافة، يمكن التعامل مع دالة الاحتمال لمشاهدة من المكون المستمر بالطريقة الموضحة أعلاه. أما بالنسبة لمشاهدة من المكون المنفصل، فإن دالة الاحتمال لمشاهدة من المكون المنفصل هي ببساطة $${\displaystyle {\mathcal {L}}(\theta \mid x)=p_{k}(\theta ),}$$ أين${\textstyle k}$هو مؤشر كتلة الاحتمال المنفصلة المقابلة للملاحظة${\textstyle x}$لأن تعظيم كتلة الاحتمال (أو الاحتمال) عند${\textstyle x}$ويعني ذلك زيادة احتمالية حدوث الملاحظة المحددة إلى أقصى حد.

إن حقيقة إمكانية تعريف دالة الاحتمال بطريقة تتضمن مساهمات غير متناسبة (الكثافة وكتلة الاحتمال) تنشأ من الطريقة التي تُعرَّف بها دالة الاحتمال حتى ثابت تناسب، حيث يمكن أن يتغير هذا "الثابت" مع الملاحظة.${\textstyle x}$، ولكن ليس مع المعلمة${\textstyle \theta }$.

في سياق تقدير المعلمات، يُفترض عادةً أن دالة الاحتمال تخضع لشروط معينة، تُعرف بشروط الانتظام. تُفترض هذه الشروط في العديد من البراهين المتعلقة بدوال الاحتمال، ويجب التحقق منها في كل تطبيق على حدة. بالنسبة لتقدير الاحتمال الأقصى، يُعد وجود قيمة عظمى مطلقة لدالة الاحتمال أمرًا بالغ الأهمية. وبحسب نظرية القيمة القصوى ، يكفي أن تكون دالة الاحتمال متصلة على فضاء معلمات مضغوط لكي يوجد مُقدِّر الاحتمال الأقصى. ^{[ 7 ]} في حين أن فرضية الاتصال عادةً ما تتحقق، فإن فرضية الضغط على فضاء المعلمات غالبًا ما لا تتحقق، إذ قد تكون حدود قيم المعلمات الحقيقية غير معروفة. في هذه الحالة، يلعب تقعر دالة الاحتمال دورًا محوريًا.

وبشكل أكثر تحديدًا، إذا كانت دالة الاحتمال قابلة للتفاضل مرتين بشكل مستمر على فضاء المعلمات ذي الأبعاد k${\textstyle \Theta }$يُفترض أنها مجموعة فرعية مفتوحة متصلة من${\textstyle \mathbb {R} ^{k}\,,}$توجد قيمة عظمى فريدة${\textstyle {\hat {\theta }}\in \Theta }$إذا كانت مصفوفة المشتقات الجزئية الثانية$${\displaystyle \mathbf {H} (\theta )\equiv \left[\,{\frac {\partial ^{2}L}{\partial \theta _{i}\,\partial \theta _{j}}}\,\right]_{i,j=1,1}^{n_{\mathrm {i} },n_{\mathrm {j} }}\;}$$يكون سالباً بشكل قاطع لكل${\textstyle \theta \in \Theta }$عند أي تدرج${\textstyle \nabla L\equiv \left[{\frac {\partial L}{\partial \theta _{i}}}\right]_{i=1}^{n_{\mathrm {i} }}}$تتلاشى، وإذا اقتربت دالة الاحتمال من قيمة ثابتة على حدود فضاء المعلمات،${\textstyle \partial \Theta ,}$أي، $${\displaystyle \lim _{\theta \to \partial \Theta }L(\theta )=0\;,}$$ والتي قد تشمل النقاط عند اللانهاية إذا${\textstyle \Theta }$غير محدود. أثبت ماكيلاينن وزملاؤه هذه النتيجة باستخدام نظرية مورس، مستندين بشكل غير رسمي إلى خاصية ممر جبلي. ^{[ 8 ]} أعاد ماسكارينهاس صياغة برهانهم باستخدام نظرية الممر الجبلي . ^{[ 9 ]}

في براهين اتساق وتقارب التوزيع الطبيعي لمُقدِّر الاحتمال الأقصى، تُوضع افتراضات إضافية حول كثافات الاحتمال التي تُشكِّل أساس دالة احتمال مُحدَّدة. وقد وضع هذه الشروط تشاندا لأول مرة. ^{[ 10 ]} وعلى وجه الخصوص، بالنسبة لجميع القيم تقريبًا${\textstyle x}$ولجميع${\textstyle \,\theta \in \Theta \,,}$$${\displaystyle {\frac {\partial \log f}{\partial \theta _{r}}}\,,\quad {\frac {\partial ^{2}\log f}{\partial \theta _{r}\partial \theta _{s}}}\,,\quad {\frac {\partial ^{3}\log f}{\partial \theta _{r}\,\partial \theta _{s}\,\partial \theta _{t}}}\,}$$ موجود للجميع${\textstyle \,r,s,t=1,2,\ldots ,k\,}$لضمان وجود متسلسلة تايلور . ثانيًا، بالنسبة لجميع الدوال تقريبًا${\textstyle x}$ولكل${\textstyle \,\theta \in \Theta \,}$لا بد أن يكون ذلك $${\displaystyle \left|{\frac {\partial f}{\partial \theta _{r}}}\right|<F_{r}(x)\,,\quad \left|{\frac {\partial ^{2}f}{\partial \theta _{r}\,\partial \theta _{s}}}\right|<F_{rs}(x)\,,\quad \left|{\frac {\partial ^{3}f}{\partial \theta _{r}\,\partial \theta _{s}\,\partial \theta _{t}}}\right|<H_{rst}(x)}$$ أين${\textstyle H}$بحيث${\textstyle \,\int _{-\infty }^{\infty }H_{rst}(z)\,dz\leq M<\infty \;.}$هذا التقييد للمشتقات ضروري للسماح بالتفاضل تحت علامة التكامل . وأخيرًا، يُفترض أن مصفوفة المعلومات ، $${\displaystyle \mathbf {I} (\theta )=\int _{-\infty }^{\infty }{\frac {\partial \log f}{\partial \theta _{r}}}\ {\frac {\partial \log f}{\partial \theta _{s}}}\ f\,dz}$$ موجب محدد و${\textstyle \,\left|\mathbf {I} (\theta )\right|\,}$وهي محدودة. وهذا يضمن أن يكون للنتيجة تباين محدود. ^{[ 11 ]}

الشروط المذكورة أعلاه كافية، ولكنها ليست ضرورية. بمعنى آخر، قد يمتلك النموذج الذي لا يستوفي شروط الانتظام هذه مُقدِّرًا لأقصى احتمال للخصائص المذكورة أعلاه، وقد لا يمتلكه. علاوة على ذلك، في حالة المشاهدات غير المستقلة أو غير المتطابقة التوزيع، قد يلزم افتراض خصائص إضافية.

في الإحصاء البايزي، تُفرض شروط انتظام متطابقة تقريبًا على دالة الاحتمال لإثبات التوزيع الطبيعي التقاربي للاحتمال اللاحق ، ^{[ 12 ] [ 13 ]} وبالتالي لتبرير تقريب لابلاس للاحتمال اللاحق في العينات الكبيرة. ^{[ 14 ]}

نسبة الاحتمال هي نسبة أي احتمالين محددين، وتُكتب عادةً على النحو التالي: $${\displaystyle \Lambda (\theta _{1}:\theta _{2}\mid x)={\frac {{\mathcal {L}}(\theta _{1}\mid x)}{{\mathcal {L}}(\theta _{2}\mid x)}}.}$$

نسبة الاحتمالية هي عنصر أساسي في الإحصاءات الاحتمالية : ينص قانون الاحتمالية على أن درجة دعم البيانات (التي تعتبر بمثابة دليل) لقيمة معلمة معينة مقابل قيمة أخرى يتم قياسها بواسطة نسبة الاحتمالية.

في الاستدلال التكراري ، تُعدّ نسبة الاحتمال أساسًا لإحصائية اختبار تُعرف باختبار نسبة الاحتمال . وبحسب مبرهنة نيمان-بيرسون ، يُعدّ هذا الاختبار الأقوى لمقارنة فرضيتين بسيطتين عند مستوى دلالة مُحدد . ويمكن اعتبار العديد من الاختبارات الأخرى اختبارات نسبة احتمال أو تقريبات لها. ^{[ 15 ]} ويُعطى التوزيع التقاربي لنسبة لوغاريتم الاحتمال، باعتبارها إحصائية اختبار، بواسطة مبرهنة ويلكس .

تُعدّ نسبة الاحتمال ذات أهمية مركزية في الاستدلال البايزي ، حيث تُعرف باسم عامل بايز ، وتُستخدم في قاعدة بايز . وبعبارة أخرى ، تنص قاعدة بايز على أن الاحتمالات اللاحقة لبديلين ،${\displaystyle A_{1}}$و​​${\displaystyle A_{2}}$، بالنظر إلى حدث ما${\displaystyle B}$، هي النسبة الاحتمالية المسبقة مضروبة في نسبة الاحتمال. كمعادلة: $${\displaystyle O(A_{1}:A_{2}\mid B)=O(A_{1}:A_{2})\cdot \Lambda (A_{1}:A_{2}\mid B).}$$

لا يُستخدم معدل الاحتمال بشكل مباشر في الإحصاءات القائمة على معيار معلومات أكايكي (AIC). بدلاً من ذلك، يُستخدم الاحتمال النسبي للنماذج (انظر أدناه).

في الطب القائم على الأدلة ، تُستخدم نسب الاحتمال في الاختبارات التشخيصية لتقييم قيمة إجراء اختبار تشخيصي .

بما أن القيمة الفعلية لدالة الاحتمال تعتمد على العينة، فمن الملائم غالبًا العمل بمقياس معياري. لنفترض أن تقدير الاحتمال الأقصى للمعلمة θ هو${\textstyle {\hat {\theta }}}$يمكن إيجاد احتمالات نسبية لقيم θ الأخرى من خلال مقارنة احتمالات تلك القيم الأخرى باحتمالية${\textstyle {\hat {\theta }}}$. يتم تعريف الاحتمالية النسبية لـ θ على أنها ^{[ 16 ] [ 17 ] [ 18 ] [ 19 ] [ 20 ]}$${\displaystyle R(\theta )={\frac {{\mathcal {L}}(\theta \mid x)}{{\mathcal {L}}({\hat {\theta }}\mid x)}}.}$$ وبالتالي، فإن الاحتمالية النسبية هي نسبة الاحتمالية (التي نوقشت أعلاه) مع ثبات المقام${\textstyle {\mathcal {L}}({\hat {\theta }})}$وهذا يتوافق مع توحيد احتمالية أن يكون الحد الأقصى هو 1.

من الممكن تقليل الأبعاد عن طريق تركيز دالة الاحتمال لمجموعة فرعية من المعلمات، وذلك بالتعبير عن المعلمات المزعجة كدوال للمعلمات محل الاهتمام واستبدالها في دالة الاحتمال. ^{[ 25 ] [ 26 ]} بشكل عام، بالنسبة لدالة احتمال تعتمد على متجه المعلمات${\textstyle \mathbf {\theta } }$يمكن تقسيم ذلك إلى${\textstyle \mathbf {\theta } =\left(\mathbf {\theta } _{1}:\mathbf {\theta } _{2}\right)}$وحيثما توجد مراسلات${\textstyle \mathbf {\hat {\theta }} _{2}=\mathbf {\hat {\theta }} _{2}\left(\mathbf {\theta } _{1}\right)}$يمكن تحديدها بشكل صريح، ويقلل التركيز من العبء الحسابي لمسألة التعظيم الأصلية. ^{[ 27 ]}

على سبيل المثال، في الانحدار الخطي مع الأخطاء الموزعة توزيعًا طبيعيًا،${\textstyle \mathbf {y} =\mathbf {X} \beta +u}$، يمكن تقسيم متجه المعاملات إلى${\textstyle \beta =\left[\beta _{1}:\beta _{2}\right]}$(وبالتالي مصفوفة التصميم)${\textstyle \mathbf {X} =\left[\mathbf {X} _{1}:\mathbf {X} _{2}\right]}$). تعظيم بالنسبة إلى${\textstyle \beta _{2}}$ينتج عنه دالة قيمة مثلى${\textstyle \beta _{2}(\beta _{1})=\left(\mathbf {X} _{2}^{\mathsf {T}}\mathbf {X} _{2}\right)^{-1}\mathbf {X} _{2}^{\mathsf {T}}\left(\mathbf {y} -\mathbf {X} _{1}\beta _{1}\right)}$باستخدام هذه النتيجة، فإن مقدر الاحتمال الأقصى لـ${\textstyle \beta _{1}}$ويمكن اشتقاق ذلك على النحو التالي $${\displaystyle {\hat {\beta }}_{1}=\left(\mathbf {X} _{1}^{\mathsf {T}}\left(\mathbf {I} -\mathbf {P} _{2}\right)\mathbf {X} _{1}\right)^{-1}\mathbf {X} _{1}^{\mathsf {T}}\left(\mathbf {I} -\mathbf {P} _{2}\right)\mathbf {y} }$$ أين${\textstyle \mathbf {P} _{2}=\mathbf {X} _{2}\left(\mathbf {X} _{2}^{\mathsf {T}}\mathbf {X} _{2}\right)^{-1}\mathbf {X} _{2}^{\mathsf {T}}}$هي مصفوفة الإسقاط لـ${\textstyle \mathbf {X} _{2}}$تُعرف هذه النتيجة باسم نظرية فريش-وو-لوفيل .

بما أن إجراء التركيز بيانيًا يعادل تقطيع سطح الاحتمالية على طول سلسلة قيم المعامل المزعج${\textstyle \beta _{2}}$الذي يزيد من دالة الاحتمال، مما يؤدي إلى إنشاء شكل متساوي القياس لدالة الاحتمال لقيمة معينة${\textstyle \beta _{1}}$تُعرف نتيجة هذه العملية أيضًا باسم احتمالية الملف الشخصي . ^{[ 28 ] [ 29 ]} بالإضافة إلى تمثيلها بيانيًا، يمكن استخدام احتمالية الملف الشخصي لحساب فترات الثقة التي غالبًا ما تتمتع بخصائص أفضل في العينات الصغيرة مقارنةً بتلك القائمة على الأخطاء المعيارية التقاربية المحسوبة من الاحتمالية الكاملة. ^{[ 30 ] [ 31 ]}

في بعض الأحيان، يكون من الممكن إيجاد إحصائية كافية للمعاملات المزعجة، ويؤدي التكييف على هذه الإحصائية إلى احتمال لا يعتمد على المعاملات المزعجة. ^{[ 32 ]}

أحد الأمثلة على ذلك يظهر في جداول 2×2، حيث يؤدي التكييف على جميع المجاميع الهامشية الأربعة إلى احتمال شرطي قائم على التوزيع الهندسي الفائق غير المركزي . ويُعد هذا النوع من التكييف أساسًا لاختبار فيشر الدقيق .

أحيانًا، يمكننا إزالة المعاملات المزعجة من خلال اعتماد دالة احتمالية تستند إلى جزء فقط من المعلومات الموجودة في البيانات، على سبيل المثال باستخدام مجموعة الرتب بدلًا من القيم العددية. مثال آخر يظهر في النماذج الخطية المختلطة ، حيث يؤدي اعتماد دالة احتمالية للبواقي فقط بعد ضبط التأثيرات الثابتة إلى تقدير أقصى احتمالية للبواقي لمكونات التباين.

الاحتمال الجزئي هو تعديل للاحتمال الكامل بحيث لا يظهر فيه إلا جزء من المعلمات (المعلمات محل الاهتمام). ^{[ 33 ]} وهو عنصر أساسي في نموذج المخاطر النسبية : فباستخدام قيد على دالة المخاطر، لا يتضمن الاحتمال شكل المخاطر بمرور الوقت.

يُطلق على الرسم البياني للوغاريتم الاحتمالية اسم منحنى الدعم (في حالة المتغير الواحد ). ^{[ 36 ]} في حالة المتغيرات المتعددة، يُعمم المفهوم ليصبح سطح دعم على فضاء المعلمات . وهو يرتبط بدعم التوزيع ، ولكنه يختلف عنه .

وقد صاغ هذا المصطلح AWF Edwards ^{[ 36 ]} في سياق اختبار الفرضيات الإحصائية ، أي ما إذا كانت البيانات "تدعم" فرضية واحدة (أو قيمة معلمة) يتم اختبارها أكثر من أي فرضية أخرى.

تُستخدم دالة الاحتمال اللوغاريتمي المرسومة في حساب النتيجة ( ميل دالة الاحتمال اللوغاريتمي) ومعلومات فيشر (انحناء دالة الاحتمال اللوغاريتمي). وبالتالي، فإن للرسم البياني تفسيرًا مباشرًا في سياق تقدير الاحتمال الأقصى واختبارات نسبة الاحتمال .

إذا كانت دالة الاحتمال اللوغاريتمي سلسة ، فإن تدرجها بالنسبة للمعلمة، والمعروف باسم النتيجة ، يُكتب${\textstyle s_{n}(\theta )\equiv \nabla _{\theta }\ell _{n}(\theta )}$توجد هذه الطريقة وتتيح تطبيق حساب التفاضل والتكامل . الطريقة الأساسية لتعظيم دالة قابلة للتفاضل هي إيجاد النقاط الثابتة (النقاط التي تكون عندها المشتقة صفرًا)؛ ولأن مشتقة المجموع هي ببساطة مجموع المشتقات، بينما تتطلب مشتقة حاصل الضرب قاعدة الضرب ، فمن الأسهل حساب النقاط الثابتة للوغاريتم احتمالية الأحداث المستقلة مقارنةً باحتمالية الأحداث المستقلة.

تُستخدم المعادلات المحددة بواسطة النقطة الثابتة لدالة النتيجة كمعادلات تقدير لمقدر الاحتمال الأقصى. $${\displaystyle s_{n}(\theta )=\mathbf {0} }$$ وبهذا المعنى، يتم تعريف مقدر الاحتمال الأقصى ضمنيًا بالقيمة عند${\textstyle \mathbf {0} }$الدالة العكسية${\textstyle s_{n}^{-1}:\mathbb {E} ^{d}\to \Theta }$، أين${\textstyle \mathbb {E} ^{d}}$هو الفضاء الإقليدي ذو البعد d ، و${\textstyle \Theta }$هي فضاء المعاملات. باستخدام نظرية الدالة العكسية ، يمكن إثبات أن${\textstyle s_{n}^{-1}}$محدد جيدًا في حي مفتوح حول${\textstyle \mathbf {0} }$باحتمالية تقترب من واحد، و${\textstyle {\hat {\theta }}_{n}=s_{n}^{-1}(\mathbf {0} )}$يُعد تقديرًا ثابتًا لـ${\textstyle \theta }$ونتيجة لذلك، توجد متتالية${\textstyle \left\{{\hat {\theta }}_{n}\right\}}$بحيث${\textstyle s_{n}({\hat {\theta }}_{n})=\mathbf {0} }$بشكل شبه مؤكد تقريبًا ، و${\textstyle {\hat {\theta }}_{n}\xrightarrow {\text{p}} \theta _{0}}$[ ^{37 ]} يمكن إثبات نتيجة مماثلة باستخدام ^نظرية رول . ^{[ 38 ] [ 39 ]}

تم تقييم المشتقة الثانية عند${\textstyle {\hat {\theta }}}$تُعرف هذه المعلومات باسم معلومات فيشر ، وهي تحدد انحناء سطح الاحتمالية، ^{[ 40 ]} وبالتالي تشير إلى دقة التقدير. ^{[ 41 ]}

يُعدّ اللوغاريتم الاحتمالي مفيدًا بشكل خاص للعائلات الأسية للتوزيعات، والتي تشمل العديد من التوزيعات الاحتمالية البارامترية الشائعة . تحتوي دالة التوزيع الاحتمالي (وبالتالي دالة الاحتمال) للعائلات الأسية على نواتج عوامل تتضمن عملية أسية . لوغاريتم هذه الدالة هو مجموع نواتج، وهو أسهل في التفاضل من الدالة الأصلية.

العائلة الأسية هي عائلة تكون دالة كثافة احتمالها على الشكل (بالنسبة لبعض الدوال، كتابة${\textstyle \langle -,-\rangle }$(للحاصل الداخلي ):

$${\displaystyle p(x\mid {\boldsymbol {\theta }})=h(x)\exp {\Big (}\langle {\boldsymbol {\eta }}({\boldsymbol {\theta }}),\mathbf {T} (x)\rangle -A({\boldsymbol {\theta }}){\Big )}.}$$

لكل من هذه المصطلحات تفسير، ^{[ أ ]} ولكن ببساطة عن طريق التحويل من الاحتمالية إلى الترجيح وأخذ اللوغاريتمات ينتج المجموع:

$${\displaystyle \ell ({\boldsymbol {\theta }}\mid x)=\langle {\boldsymbol {\eta }}({\boldsymbol {\theta }}),\mathbf {T} (x)\rangle -A({\boldsymbol {\theta }})+\log h(x).}$$

ال${\textstyle {\boldsymbol {\eta }}({\boldsymbol {\theta }})}$و${\textstyle h(x)}$كل منها يتوافق مع تغيير في الإحداثيات ، لذلك في هذه الإحداثيات، يتم إعطاء احتمالية اللوغاريتم لعائلة أسية بالصيغة البسيطة التالية:

$${\displaystyle \ell ({\boldsymbol {\eta }}\mid x)=\langle {\boldsymbol {\eta }},\mathbf {T} (x)\rangle -A({\boldsymbol {\eta }}).}$$

بعبارة أخرى، فإن دالة الاحتمال اللوغاريتمي لعائلة أسية هي حاصل الضرب الداخلي للمعامل الطبيعي .${\displaystyle {\boldsymbol {\eta }}}$والإحصائية الكافية ​​${\displaystyle \mathbf {T} (x)}$، مطروحًا منه عامل التطبيع ( دالة التقسيم اللوغاريتمي )${\displaystyle A({\boldsymbol {\eta }})}$⁠ . وبالتالي على سبيل المثال ،يمكن حساب تقدير الاحتمال الأقصى عن طريق أخذ مشتقات الإحصائية الكافية T ودالة التقسيم اللوغاريتمي A.

يُستخدم مصطلح "الاحتمالية" في اللغة الإنجليزية منذ أواخر العصور الوسطى على الأقل . ^{[ 42 ]} وقد اقترح رونالد فيشر استخدامه رسميًا للإشارة إلى دالة محددة في الإحصاء الرياضي ، ^{[ 43 ]} في ورقتين بحثيتين نُشرتا عامي 1921 ^{[ 44 ]} و1922. ^{[ 45 ]} قدّمت ورقة عام 1921 ما يُعرف اليوم باسم "فترة الاحتمالية"، بينما قدّمت ورقة عام 1922 مصطلح " طريقة الاحتمالية القصوى ". (نقلاً عن فيشر:

في عام ١٩٢٢، اقترحتُ مصطلح "الاحتمالية"، نظرًا لأنها، فيما يتعلق بالمعلمة، ليست احتمالية، ولا تخضع لقوانين الاحتمالات، وفي الوقت نفسه، تربطها بمشكلة الاختيار العقلاني بين القيم الممكنة للمعلمة علاقة مشابهة لتلك التي تربط الاحتمالية بمشكلة التنبؤ بالأحداث في ألعاب الحظ... ومع ذلك، في حين أن الاحتمالية، فيما يتعلق بالحكم النفسي، تتشابه إلى حد ما مع الاحتمالية، فإن المفهومين مختلفان تمامًا... ^{[ ٤٦ ]}

لا ينبغي الخلط بين مفهوم الاحتمالية ومفهوم الترجيح، كما ذكر السير رونالد فيشر.

أؤكد على هذا لأنه بالرغم من تأكيدي الدائم على الفرق بين الاحتمال والترجيح، لا يزال هناك ميلٌ إلى التعامل مع الترجيح كما لو كان نوعًا من الاحتمال. والنتيجة الأولى هي وجود مقياسين مختلفين للاعتقاد العقلاني، مناسبين لحالات مختلفة. بمعرفة المجتمع الإحصائي، يمكننا التعبير عن معرفتنا غير الكاملة بالعينة، أو توقعاتنا بشأنها، بدلالة الاحتمال؛ وبمعرفة العينة، يمكننا التعبير عن معرفتنا غير الكاملة بالمجتمع الإحصائي بدلالة الترجيح. ^{[ 47 ]}

جاء ابتكار فيشر للاحتمالية الإحصائية كرد فعل على شكل سابق من أشكال الاستدلال يسمى الاحتمالية العكسية . ^{[ 48 ]} وقد ساهم استخدامه لمصطلح "الاحتمالية" في تحديد معنى المصطلح ضمن الإحصاء الرياضي.

وضع إدواردز (1972) الأساس البديهي لاستخدام نسبة الاحتمال اللوغاريتمي كمقياس للدعم النسبي لفرضية ما مقابل أخرى. وبالتالي، فإن دالة الدعم هي اللوغاريتم الطبيعي لدالة الاحتمال. يُستخدم كلا المصطلحين في علم الوراثة العرقي ، لكنهما لم يُعتمدا في معالجة عامة لموضوع الأدلة الإحصائية. ^{[ 49 ]}

لا يوجد إجماع بين الإحصائيين حول الأسس التي ينبغي أن يقوم عليها علم الإحصاء . وقد طُرحت أربعة نماذج رئيسية كأساس: التكرارية ، والبيزية ، والاحتمالية ، والقائمة على معيار معلومات أكايكي (AIC) . ^{[ 50 ]} ولكل أساس من هذه الأسس المقترحة تفسير مختلف للاحتمالية. وسيتم شرح هذه التفسيرات الأربعة في الأقسام الفرعية أدناه.