عائلة الدوال الأسية

📅 آخر تحديث: ٢٣ يوليو ٢٠٢٦
✍️ نُشر في: ٢٣ يوليو ٢٠٢٦
📷 يحتوي على 348 صور
الموسوعة الحرة

في علم الاحتمالات والإحصاء ، تُعرف العائلة الأسية بأنها مجموعة بارامترية من التوزيعات الاحتمالية ذات شكل محدد، كما هو موضح أدناه. وقد تم اختيار هذا الشكل الخاص لسهولة استخدامه رياضيًا، بما في ذلك تمكين المستخدم من حساب التوقعات والتباينات باستخدام التفاضل بناءً على بعض الخصائص الجبرية المفيدة، فضلًا عن كونه عامًا، إذ تُعد العائلات الأسية، بمعنى ما، مجموعات توزيعات طبيعية جدًا للدراسة. يُستخدم مصطلح " الفئة الأسية " أحيانًا بدلًا من "العائلة الأسية" [ 1 ] ، أو المصطلح الأقدم " عائلة كوبمان-دارموا ". وتُعرف هذه الفئة من التوزيعات، التي يُشار إليها أحيانًا بشكل عام بالعائلة الأسية، بأنها متميزة لأنها جميعًا تمتلك مجموعة متنوعة من الخصائص المرغوبة، وأهمها وجود إحصائية كافية .

يُنسب مفهوم العائلات الأسية إلى [ 2 ] إي جيه جي بيتمان ، [ 3 ] جي دارموا ، [ 4 ] وبي أو كوبمان [ 5 ] في 1935-1936 . توفر العائلات الأسية للتوزيعات إطارًا عامًا لاختيار معلمات بديلة محتملة لعائلة معلمات من التوزيعات، من حيث المعلمات الطبيعية، ولتحديد إحصاءات العينة المفيدة ، والتي تسمى الإحصاءات الكافية الطبيعية للعائلة.

صعوبة التسمية

غالبًا ما يتم استخدام مصطلحي "التوزيع" و"العائلة" بشكل فضفاض: على وجه التحديد، فإن العائلة الأسية هي مجموعة من التوزيعات، حيث يختلف التوزيع المحدد باختلاف المعلمة؛ [ أ ] ومع ذلك، غالبًا ما يشار إلى عائلة التوزيعات المعلمية باسم " توزيع " (مثل "التوزيع الطبيعي"، بمعنى "عائلة التوزيعات الطبيعية")، ويشار أحيانًا إلى مجموعة جميع العائلات الأسية بشكل فضفاض باسم "العائلة" الأسية.

تعريف

تُشكّل معظم التوزيعات الشائعة الاستخدام عائلةً أسيةً أو مجموعةً فرعيةً منها، كما هو مُبيّن في القسم الفرعي أدناه. أما الأقسام الفرعية التي تليه، فهي سلسلة من التعريفات الرياضية الأكثر عموميةً للعائلة الأسية. قد يرغب القارئ العادي في الاكتفاء بالتعريف الأول والأبسط، والذي يُشير إلى عائلة ذات مُعامل واحد من التوزيعات الاحتمالية المنفصلة أو المتصلة .

أمثلة على توزيعات العائلة الأسية

تشمل العائلات الأسية العديد من التوزيعات الأكثر شيوعًا. ومن بين العديد من التوزيعات الأخرى، تشمل العائلات الأسية ما يلي: [ 6 ]

تُعدّ العديد من التوزيعات الشائعة من العائلات الأسية، ولكن فقط عندما تكون بعض المعاملات ثابتة ومعروفة. على سبيل المثال:

لاحظ أنه في كل حالة، فإن المعلمات التي يجب تثبيتها هي تلك التي تحدد نطاق القيم التي يمكن ملاحظتها.

من أمثلة التوزيعات الشائعة التي لا تنتمي إلى العائلات الأسية: توزيع t للطالب ، ومعظم التوزيعات المختلطة ، وحتى عائلة التوزيعات المنتظمة عندما لا تكون الحدود ثابتة. راجع القسم أدناه للاطلاع على أمثلة لمزيد من التفاصيل.

المعامل القياسي

قيمةθ{\displaystyle \theta }يُطلق عليه اسم مُعامل العائلة.

تُعرف عائلة التوزيعات الأسية ذات المعامل الواحد بأنها مجموعة من التوزيعات الاحتمالية التي يمكن التعبير عن دالة كثافة احتمالها (أو دالة كتلة احتمالها ، في حالة التوزيع المتقطع ) بالشكل التالي:

وX(x|θ)=ح(x)خبرة⁡[η(θ)⋅تي(x)-أ(θ)]{\displaystyle f_{X}{\left(x\,{\big |}\,\theta \right)}=h(x)\,\exp \left[\eta (\theta )\cdot T(x)-A(\theta )\right]}

حيث أن T ( x ) و h ( x ) و η ( θ ) و A ( θ ) دوال معلومة. يجب أن تكون الدالة h ( x ) غير سالبة.

وهناك شكل بديل ومكافئ يُعطى غالبًا وهو

وX(x | θ)=ح(x)ز(θ)خبرة⁡[η(θ)⋅تي(x)]{\displaystyle f_{X}{\left(x\ {\big |}\ \theta \right)}=h(x)\,g(\theta )\,\exp \left[\eta (\theta )\cdot T(x)\right]}

أو ما يعادل ذلك

وX(x | θ)=خبرة⁡[η(θ)⋅تي(x)-أ(θ)+ب(x)].{\displaystyle f_{X}{\left(x\ {\big |}\ \theta \right)}=\exp \left[\eta (\theta )\cdot T(x)-A(\theta )+B(x)\right].}

من حيث احتمالية اللوغاريتم ، سجل⁡(وX(x | θ))=η(θ)⋅تي(x)-أ(θ)+ب(x).{\displaystyle \log(f_{X}{\left(x\ {\big |}\ \theta \right)})=\eta (\theta )\cdot T(x)-A(\theta )+B(x).}

لاحظ أنز(θ)=هـ-أ(θ){\displaystyle g(\theta )=e^{-A(\theta )}}وح(x)=هـب(x){\displaystyle h(x)=e^{B(x)}}.

يجب أن يكون الدعم مستقلاً عن θ

والأهم من ذلك، دعموX(x|θ){\displaystyle f_{X}{\left(x{\big |}\theta \right)}}(جميع الاحتمالات)x{\displaystyle x}القيم التيوX(x|θ){\displaystyle f_{X}\!\left(x{\big |}\theta \right)}أكبر من0{\displaystyle 0}) مطلوب منه عدم الاعتماد علىθ .{\displaystyle \theta ~.}[ 7 ] يمكن استخدام هذا الشرط لاستبعاد توزيع عائلة المعلمات من كونه عائلة أسية.

على سبيل المثال: توزيع باريتو له دالة كثافة احتمالية معرفة لـx≥xم{\displaystyle x\geq x_{\mathsf {m}}}(القيمة الدنيا،xم ،{\displaystyle x_{m}\ ,}(باعتبارها معامل المقياس) وبالتالي فإن نطاقها له حد أدنى منxم .{\displaystyle x_{\mathsf {m}}~.}منذ دعموα،xم(x){\displaystyle f_{\alpha ,x_{m}}\!(x)}إذا كان يعتمد على قيمة المعلمة، فإن عائلة توزيعات باريتو لا تشكل عائلة توزيعات أسية (على الأقل عندماxم{\displaystyle x_{m}}(غير معروف).

مثال آخر: لا يمكن إدراج التوزيعات من نوع برنولي - ذات الحدين ، وذات الحدين السالبة ، والتوزيع الهندسي ، وما شابه ذلك - في الفئة الأسية إلا إذا تم التعامل مع عدد تجارب برنولي ، n ، كثابت ثابت - مستبعد من المعلمة (المعلمات) الحرة.θ{\displaystyle \theta }– لأن العدد المسموح به من المحاولات يحدد حدود عدد "النجاحات" أو "الإخفاقات" التي يمكن ملاحظتها في مجموعة من المحاولات.

x و θ ذات قيم متجهة

غالباًx{\displaystyle x}هو متجه قياسات، وفي هذه الحالةتي(x){\displaystyle T(x)}قد تكون دالة من فضاء القيم الممكنة لـx{\displaystyle x}إلى الأرقام الحقيقية.

وبشكل عام،η(θ){\displaystyle \eta (\theta )}وتي(x){\displaystyle T(x)}يمكن أن تكون كل منها متجهة القيم بحيثη(θ)⋅تي(x){\displaystyle \eta (\theta )\cdot T(x)}هي ذات قيم حقيقية. ومع ذلك، انظر المناقشة أدناه حول معلمات المتجهات ، فيما يتعلق بالعائلة الأسية المنحنية .

الصيغة الكنسية

لوη(θ)=θ ،{\displaystyle \eta (\theta )=\theta \ ,}عندئذٍ يُقال إن العائلة الأسية في شكلها المتعارف عليه . وذلك بتعريف مُعامل مُحوَّل.η=η(θ) ،{\displaystyle \eta =\eta (\theta )\ ,}من الممكن دائمًا تحويل عائلة الدوال الأسية إلى صيغة قانونية. الصيغة القانونية غير فريدة، لأنη(θ){\displaystyle \eta (\theta )}يمكن ضربها بأي ثابت غير صفري، بشرط أن يتم ضرب T ( x ) بمقلوب ذلك الثابت، أو يمكن إضافة ثابت c إلىη(θ){\displaystyle \eta (\theta )}و h ( x ) مضروبة فيخبرة⁡[-ج⋅تي(x)]{\displaystyle \exp \left[{-c}\cdot T(x)\,\right]}لتعويض ذلك. في الحالة الخاصة التيη(θ)=θ{\displaystyle \eta (\theta )=\theta }وإذا كان T ( x ) = x ، فإن العائلة تسمى عائلة أسية طبيعية .

حتى عندماx{\displaystyle x}هو قيمة عددية، ولا يوجد سوى مُعامل واحد، الدوالη(θ){\displaystyle \eta (\theta )}وتي(x){\displaystyle T(x)}لا يزال من الممكن أن تكون متجهات، كما هو موضح أدناه.

الوظيفةأ(θ) ،{\displaystyle A(\theta )\ ,}أو ما يعادل ذلكز(θ) ،{\displaystyle g(\theta )\ ,}يتم تحديدها تلقائيًا بمجرد اختيار الدوال الأخرى، إذ يجب أن تتخذ شكلًا يؤدي إلى تطبيع التوزيع (المجموع أو التكامل يساوي واحدًا على كامل المجال). علاوة على ذلك، يمكن دائمًا كتابة كلتا الدالتين كدوال لـη ،{\displaystyle \eta \ ,}حتى عندماη(θ){\displaystyle \eta (\theta )}ليست دالة أحادية ، أي أنها لا تقبل أكثر من قيمة واحدة.θ{\displaystyle \theta }الخريطة إلى نفس قيمةη(θ) ،{\displaystyle \eta (\theta )\ ,}وبالتاليη(θ){\displaystyle \eta (\theta )}لا يمكن عكسها. في هذه الحالة، جميع قيمθ{\displaystyle \theta }التعيين إلى نفسη(θ){\displaystyle \eta (\theta )}وستكون لها نفس القيمة بالنسبة لـأ(θ){\displaystyle A(\theta )}وز(θ) .{\displaystyle g(\theta )~.}

تحليل المتغيرات المعنية

من المهم ملاحظة أن المعلمة (المعلمات) والمتغير (المتغيرات) المرصودة يجب أن تكون قابلة للتحليل (أي يمكن فصلها إلى نواتج، كل منها يحتوي على نوع واحد فقط من المتغيرات)، إما بشكل مباشر أو ضمن أي من جزئي عملية الأس (الأساس أو الأس) . وبشكل عام، يعني هذا أن جميع العوامل المكونة لدالة الكثافة أو الكتلة يجب أن تكون على أحد الأشكال التالية:

و(x)،جو(x)،[و(x)]ج،[و(x)]ز(θ)،[و(x)]ح(x)ز(θ)،ز(θ)،جز(θ)،[ز(θ)]ج،[ز(θ)]و(x)،  oر  [ز(θ)]ح(x)ج(θ)،{\displaystyle {\begin{aligned}f(x),&&c^{f(x)},&&{[f(x)]}^{c},&&{[f(x)]}^{g(\theta )},&&{[f(x)]}^{h(x)g(\theta )},\\g(\theta ),&&c^{g(\theta )},&&{[g(\theta )]}^{c},&&{[g(\theta )]}^{f(x)},&&~~{\mathsf {or}}~~{[g(\theta )]}^{h(x)j(\theta )},\end{aligned}}}

حيث f و h دالتان اختياريتان لـ x ، المتغير الإحصائي المرصود؛ و g و j دالتان اختياريتان لـθ،{\displaystyle \theta ,}المعلمات الثابتة التي تحدد شكل التوزيع؛ و c هو أي تعبير ثابت اختياري (أي رقم أو تعبير لا يتغير بتغير x أوθ{\displaystyle \theta }).

توجد قيود إضافية على عدد هذه العوامل التي يمكن أن تحدث. على سبيل المثال، التعبيران التاليان:

[و(x)ز(θ)]ح(x)ج(θ)،[و(x)]ح(x)ج(θ)[ز(θ)]ح(x)ج(θ)،{\displaystyle {[f(x)g(\theta )]}^{h(x)j(\theta )},\qquad {[f(x)]}^{h(x)j(\theta )}{[g(\theta )]}^{h(x)j(\theta )},}

هي نفسها، أي ناتج ضرب عاملين "مسموح بهما". ومع ذلك، عند إعادة كتابتها في شكلها التحليلي،

[و(x)ز(θ)]ح(x)ج(θ)=[و(x)]ح(x)ج(θ)[ز(θ)]ح(x)ج(θ)=خبرة⁡{[ح(x)سجل⁡و(x)]ج(θ)+ح(x)[ج(θ)سجل⁡ز(θ)]}،{\displaystyle {\begin{aligned}{\left[f(x)g(\theta )\right]}^{h(x)j(\theta )}&={\left[f(x)\right]}^{h(x)j(\theta )}{\left[g(\theta )\right]}^{h(x)j(\theta )}\\[4pt]&=\exp \left\{{[h(x)\log f(x)]j(\theta )+h(x)[j(\theta )\log g(\theta )]}\right\},\end{aligned}}}

يتضح أنه لا يمكن التعبير عنه بالشكل المطلوب. (مع ذلك، فإن هذا النوع من الأشكال ينتمي إلى عائلة الدوال الأسية المنحنية ، والتي تسمح بوجود عدة عوامل في الأس ) .

لنرى لماذا يكون التعبير من هذا الشكل

[و(x)]ز(θ){\displaystyle {[f(x)]}^{g(\theta )}}

مؤهل، [و(x)]ز(θ)=هـز(θ)سجل⁡و(x){\displaystyle {[f(x)]}^{g(\theta )}=e^{g(\theta )\log f(x)}}

وبالتالي، يمكن تحليل المقدار داخل الأس. وبالمثل،

[و(x)]ح(x)ز(θ)=هـح(x)ز(θ)سجل⁡و(x)=هـ[ح(x)سجل⁡و(x)]ز(θ){\displaystyle {[f(x)]}^{h(x)g(\theta )}=e^{h(x)g(\theta )\log f(x)}=e^{[h(x)\log f(x)]g(\theta )}}

ثم يقوم بتحليل المقدار داخل الأس مرة أخرى.

عامل يتكون من مجموع يتضمن كلا النوعين من المتغيرات (مثل عامل من الشكل1+و(x)ز(θ){\displaystyle 1+f(x)g(\theta )}لا يمكن تحليل ) بهذه الطريقة (باستثناء بعض الحالات التي تظهر مباشرة في الأس)؛ ولهذا السبب، على سبيل المثال، فإن توزيع كوشي وتوزيع t للطالب ليسا من العائلات الأسية.

معامل المتجه

يمكن توسيع التعريف بدلالة مُعامل عدد حقيقي واحد إلى مُعامل متجه حقيقي واحد

θ≡[θ1θ2⋯θs]تي.{\displaystyle {\boldsymbol {\theta }}\equiv {\begin{bmatrix}\theta _{1}&\theta _{2}&\cdots &\theta _{s}\end{bmatrix}}^{\mathsf {T}}.}

يُقال إن عائلة من التوزيعات تنتمي إلى عائلة التوزيعات الأسية المتجهة إذا أمكن كتابة دالة كثافة الاحتمال (أو دالة كتلة الاحتمال، بالنسبة للتوزيعات المنفصلة) على النحو التالي:

وX(x|θ)=ح(x)خبرة⁡(∑أنا=1sηأنا(θ)تيأنا(x)-أ(θ)) ،{\displaystyle f_{X}(x\mid {\boldsymbol {\theta }})=h(x)\,\exp \left(\sum _{i=1}^{s}\eta _{i}({\boldsymbol {\theta }})T_{i}(x)-A({\boldsymbol {\theta }})\right)~,}

أو بشكل أكثر إحكاما،

وX(x|θ)=ح(x)خبرة⁡[η(θ)⋅تي(x)-أ(θ)]{\displaystyle f_{X}(x\mid {\boldsymbol {\theta }})=h(x)\,\exp \left[{\boldsymbol {\eta }}({\boldsymbol {\theta }})\cdot \mathbf {T} (x)-A({\boldsymbol {\theta }})\right]}

تُكتب هذه الصيغة المجموع كحاصل ضرب داخلي لدوال ذات قيم متجهةη(θ){\displaystyle {\boldsymbol {\eta }}({\boldsymbol {\theta }})}و T ( x ) .

وهناك شكل بديل ومكافئ يُرى غالبًا وهو

وX(x|θ)=ح(x)ز(θ)خبرة⁡[η(θ)⋅تي(x)]{\displaystyle f_{X}(x\mid {\boldsymbol {\theta }})=h(x)\,g({\boldsymbol {\theta }})\,\exp \left[{\boldsymbol {\eta }}({\boldsymbol {\theta }})\cdot \mathbf {T} (x)\right]}

كما هو الحال في حالة القيم العددية، يُقال إن العائلة الأسية تكون في شكلها المتعارف عليه إذا

ηأنا(θ)=θأنا ،∀أنا.{\displaystyle \eta _{i}({\boldsymbol {\theta }})=\theta _{i}~,\quad \forall i\,.}

يُقال إن عائلة المتجهات الأسية منحنية إذا كان بُعد

θ≡[θ1θ2⋯θد]تي{\displaystyle {\boldsymbol {\theta }}\equiv {\begin{bmatrix}\theta _{1}&\theta _{2}&\cdots &\theta _{d}\end{bmatrix}}^{\mathsf {T}}}

أقل من بُعد المتجه

η(θ)≡[η1(θ)η2(θ)⋯ηs(θ)]تي .{\displaystyle {\boldsymbol {\eta }}({\boldsymbol {\theta }})\equiv {\begin{bmatrix}\eta _{1}{\!({\boldsymbol {\theta }})}&\eta _{2}{\!({\boldsymbol {\theta }})}&\cdots &\eta _{s}{\!({\boldsymbol {\theta }})}\end{bmatrix}}^{\mathsf {T}}~.}

أي، إذا كان بُعد متجه المعاملات ( d ) أقل من عدد الدوال ( s ) لمتجه المعاملات في التمثيل المذكور أعلاه لدالة كثافة الاحتمال. معظم التوزيعات الشائعة في العائلة الأسية ليست منحنية، والعديد من الخوارزميات المصممة للعمل مع أي عائلة أسية تفترض ضمنيًا أو صراحةً أن التوزيع ليس منحنيًا.

كما هو الحال في حالة المعامل ذي القيمة العددية، فإن الدالةأ(θ){\displaystyle A({\boldsymbol {\theta }})}أو ما يعادل ذلكز(θ){\displaystyle g({\boldsymbol {\theta }})}يتم تحديدها تلقائيًا بواسطة قيد التطبيع، بمجرد اختيار الدوال الأخرى. حتى لوη(θ){\displaystyle {\boldsymbol {\eta }}({\boldsymbol {\theta }})}ليست علاقة واحد لواحد، وظائفأ(η){\displaystyle A({\boldsymbol {\eta }})}وز(η){\displaystyle g({\boldsymbol {\eta }})}يمكن تعريفها من خلال اشتراط أن يكون التوزيع مُعَيَّرًا لكل قيمة من قيم المعلمة الطبيعيةη{\displaystyle {\boldsymbol {\eta }}}وهذا ينتج عنه الشكل المتعارف عليه

وX(x|η)=ح(x)خبرة⁡[η⋅تي(x)-أ(η)]،{\displaystyle f_{X}(x\mid {\boldsymbol {\eta }})=h(x)\exp \left[{\boldsymbol {\eta }}\cdot \mathbf {T} (x)-A({\boldsymbol {\eta }})\right],}

أو ما يعادل ذلك

وX(x|η)=ح(x)ز(η)خبرة⁡[η⋅تي(x)].{\displaystyle f_{X}(x\mid {\boldsymbol {\eta }})=h(x)g({\boldsymbol {\eta }})\exp \left[{\boldsymbol {\eta }}\cdot \mathbf {T} (x)\right].}

قد تُرى النماذج المذكورة أعلاه أحيانًا معηتيتي(x){\displaystyle {\boldsymbol {\eta }}^{\mathsf {T}}\mathbf {T} (x)}بدلاً منη⋅تي(x){\displaystyle {\boldsymbol {\eta }}\cdot \mathbf {T} (x)\,}هذه صيغ متكافئة تمامًا، تستخدم فقط رموزًا مختلفة للضرب النقطي .

معلمة متجهة، متغير متجه

يمكن توسيع صيغة المعلمات المتجهة لمتغير عشوائي ذي قيمة عددية واحدة بسهولة لتشمل توزيعًا مشتركًا على متجه من المتغيرات العشوائية. التوزيع الناتج هو نفسه التوزيع المذكور أعلاه لمتغير عشوائي ذي قيمة عددية، مع استبدال كل ظهور للقيمة العددية x بالمتجه.

x=[x1x2⋯xك]تي.{\displaystyle \mathbf {x} ={\begin{bmatrix}x_{1}&x_{2}&\cdots &x_{k}\end{bmatrix}}^{\mathsf {T}}.}

لا يشترط أن تتطابق أبعاد المتغير العشوائي k مع بُعد متجه المعاملات d ، ولا (في حالة الدالة الأسية المنحنية) مع بُعد المعامل الطبيعي sη{\displaystyle {\boldsymbol {\eta }}}وإحصائية كافية T ( x )  .

يُكتب التوزيع في هذه الحالة على النحو التالي:

وX(x|θ)=ح(x)خبرة[∑أنا=1sηأنا(θ)تيأنا(x)-أ(θ)]{\displaystyle f_{X}{\left(\mathbf {x} \mid {\boldsymbol {\theta }}\right)}=h(\mathbf {x} )\,\exp \!\left[\sum _{i=1}^{s}\eta _{i}({\boldsymbol {\theta }})T_{i}(\mathbf {x} )-A({\boldsymbol {\theta }})\right]}

أو بشكل أكثر إيجازًا كما

وX(x|θ)=ح(x)خبرة⁡[η(θ)⋅تي(x)-أ(θ)]{\displaystyle f_{X}{\left(\mathbf {x} \mid {\boldsymbol {\theta }}\right)}=h(\mathbf {x} )\,\exp \left[{\boldsymbol {\eta }}({\boldsymbol {\theta }})\cdot \mathbf {T} (\mathbf {x} )-A({\boldsymbol {\theta }})\right]}

أو بدلاً من ذلك كـ

وX(x|θ)=ز(θ)ح(x)خبرة⁡[η(θ)⋅تي(x)]{\displaystyle f_{X}{\left(\mathbf {x} \mid {\boldsymbol {\theta }}\right)}=g({\boldsymbol {\theta }})\,h(\mathbf {x} )\,\exp \left[{\boldsymbol {\eta }}({\boldsymbol {\theta }})\cdot \mathbf {T} (\mathbf {x} )\right]}

صياغة نظرية القياس

نستخدم دوال التوزيع التراكمي (CDF) من أجل تضمين كل من التوزيعات المنفصلة والمستمرة.

لنفترض أن H دالة غير متناقصة لمتغير حقيقي. عندئذٍ، تكون تكاملات ليبيغ-ستيلتيس بالنسبة إلىدح(x){\displaystyle dH(\mathbf {x} )}هي تكاملات بالنسبة إلى المقياس المرجعي للعائلة الأسية المولدة بواسطة H. 

أي فرد من أفراد تلك العائلة الأسية له دالة توزيع تراكمي

دF(x|θ)=خبرة⁡[η(θ)⋅تي(x)-أ(θ)] دح(x).{\displaystyle dF{\left(\mathbf {x} \mid {\boldsymbol {\theta }}\right)}=\exp \left[{\boldsymbol {\eta }}(\theta )\cdot \mathbf {T} (\mathbf {x} )-A({\boldsymbol {\theta }})\right]~dH(\mathbf {x} )\,.}

H ( x ) هي دالة تكامل ليبيغ-ستيلتيس للمقياس المرجعي. عندما يكون المقياس المرجعي محدودًا، يمكن تطبيعه، وتكون H في الواقع دالة التوزيع التراكمي لتوزيع احتمالي. إذا كانت F متصلة اتصالًا مطلقًا بكثافةو(x){\displaystyle f(x)}فيما يتعلق بمقياس مرجعيدx{\displaystyle dx}(عادةً ما تكون مقياس ليبيغ )، يمكن للمرء أن يكتبدF(x)=و(x)دx{\displaystyle dF(x)=f(x)\,dx}في هذه الحالة، تكون الدالة H متصلة بشكل مطلق ويمكن كتابتها على النحو التالي :دح(x)=ح(x)دx{\displaystyle dH(x)=h(x)\,dx}وبالتالي ، تُختزل الصيغ إلى تلك الواردة في الفقرات السابقة. إذا كانت F منفصلة، ​​فإن H تكون دالة متدرجة (مع وجود خطوات على نطاق F ).

أو بدلاً من ذلك، يمكننا كتابة مقياس الاحتمالية مباشرة على النحو التالي:

P(دx|θ)=خبرة⁡[η(θ)⋅تي(x)-أ(θ)] μ(دx).{\displaystyle P\left(d\mathbf {x} \mid {\boldsymbol {\theta }}\right)=\exp \left[{\boldsymbol {\eta }}(\theta )\cdot \mathbf {T} (\mathbf {x} )-A({\boldsymbol {\theta }})\right]~\mu (d\mathbf {x} )\,.}

لبعض المقاييس المرجعيةμ{\displaystyle \mu \,}.

تفسير

في التعريفات أعلاه، كانت الدوال T ( x ) و η ( θ ) و A ( η ) اختيارية. ومع ذلك، فإن لهذه الدوال تفسيرات مهمة في توزيع الاحتمال الناتج.

  • تُعدّ T ( x ) إحصائية كافية للتوزيع. بالنسبة للعائلات الأسية، فإن الإحصائية الكافية هي دالة للبيانات تحتوي على جميع المعلومات التي توفرها البيانات x فيما يتعلق بقيم المعلمات المجهولة. هذا يعني أنه لأي مجموعة بياناتx{\displaystyle x}وy{\displaystyle y}نسبة الاحتمال هي نفسها، أيو(x؛θ1)و(x؛θ2)=و(y؛θ1)و(y؛θ2){\displaystyle {\frac {f(x;\theta _{1})}{f(x;\theta _{2})}}={\frac {f(y;\theta _{1})}{f(y;\theta _{2})}}}إذا كان T ( x ) = T ( y ) . هذا صحيح حتى لو لم تكن قيمتا x و y متساويتين. يساوي بُعد T ( x ) عدد معلمات θ، ويشمل جميع المعلومات المتعلقة بالبيانات المرتبطة بالمعلمة θ . الإحصائية الكافية لمجموعة من مشاهدات البيانات المستقلة والمتطابقة التوزيع هي ببساطة مجموع الإحصائيات الكافية الفردية، وهي تتضمن جميع المعلومات اللازمة لوصف التوزيع الاحتمالي اللاحق للمعلمات، بالنظر إلى البيانات (وبالتالي لاستخلاص أي تقدير مطلوب للمعلمات). (ستتم مناقشة هذه الخاصية المهمة بمزيد من التفصيل لاحقًا ).
  • يُطلق على η اسم المعامل الطبيعي . مجموعة قيم η التي تكون عندها الدالةوX(x؛η){\displaystyle f_{X}(x;\eta )}يُطلق على الفضاء القابل للتكامل اسم فضاء المعاملات الطبيعي . ويمكن إثبات أن فضاء المعاملات الطبيعي يكون محدبًا دائمًا .
  • يُطلق على A ( η ) اسمدالة التقسيم اللوغاريتمي [ ب ] لأنها لوغاريتم عامل التطبيع ، وبدونهاوX(x؛θ){\displaystyle f_{X}(x;\theta )}لن يكون توزيعًا احتماليًا:أ(η)=سجل⁡(∫Xح(x)خبرة⁡[η(θ)⋅تي(x)]دx){\displaystyle A(\eta )=\log \left(\int _{X}h(x)\,\exp \left[\eta (\theta )\cdot T(x)\right]\,dx\right)}

تُعدّ الدالة A مهمة في حد ذاتها، إذ يمكن اشتقاق المتوسط ​​والتباين والعزوم الأخرى للإحصائية الكافية T ( x ) ببساطة عن طريق اشتقاق A ( η ) . على سبيل المثال، بما أن log( x ) هو أحد مكونات الإحصائية الكافية لتوزيع جاما ،هـ⁡[سجل⁡x]{\displaystyle \operatorname {\mathcal {E}} [\log x]}يمكن تحديد قيمة هذا التوزيع بسهولة باستخدام A ( η ) . من الناحية الفنية، هذا صحيح لأنك(u|η)=أ(η+u)-أ(η)،{\displaystyle K{\left(u\mid \eta \right)}=A(\eta +u)-A(\eta )\,,}هي دالة توليد العزوم للإحصاء الكافي.

ملكيات

تتمتع العائلات الأسية بعدد كبير من الخصائص التي تجعلها مفيدة للغاية في التحليل الإحصائي. وفي كثير من الحالات، يمكن إثبات أن العائلات الأسية وحدها تمتلك هذه الخصائص. أمثلة:

بفرض عائلة أسية معرفة بواسطةوX(x|θ)=ح(x)خبرة⁡[θ⋅تي(x)-أ(θ)]{\displaystyle f_{X}{\!(x\mid \theta )}=h(x)\exp \left[\theta \cdot T(x)-A(\theta )\right]}، أينΘ{\displaystyle \Theta }هي فضاء المعلمات، بحيثθ∈Θ⊂Rك{\displaystyle \theta \in \Theta \subset \mathbb {R} ^{k}}. ثم

  • لوΘ{\displaystyle \Theta }يحتوي على مساحة داخلية غير فارغةRك{\displaystyle \mathbb {R} ^{k}}ثم بالنظر إلى أي عينات مستقلة ومتطابقة التوزيعX1،...،Xن∼وX{\displaystyle X_{1},...,X_{n}\sim f_{X}}، الإحصائيةتي(X1،...،Xن):=∑أنا=1نتي(Xأنا){\textstyle T(X_{1},\dots ,X_{n}):=\sum _{i=1}^{n}T(X_{i})}إحصائية كاملة لـθ{\displaystyle \theta }[ 9 ] [ 10 ]​
  • تي{\displaystyle T}هي إحصائية دنيا لـθ{\displaystyle \theta }إذا وفقط إذا كان ذلك صحيحًا للجميعθ1،θ2∈Θ{\displaystyle \theta _{1},\theta _{2}\in \Theta }، وx1،x2{\displaystyle x_{1},x_{2}}دعماً لـX{\displaystyle X}، لو(θ1-θ2)⋅[تي(x1)-تي(x2)]=0{\displaystyle (\theta _{1}-\theta _{2})\cdot [T(x_{1})-T(x_{2})]=0}، ثمθ1=θ2{\displaystyle \theta _{1}=\theta _{2}}أوx1=x2{\displaystyle x_{1}=x_{2}}[ 11 ]​

أمثلة

من الأهمية بمكان، عند النظر في الأمثلة الواردة في هذا القسم، أن نتذكر المناقشة أعلاه حول ما يعنيه القول بأن "التوزيع" هو عائلة أسية، وعلى وجه الخصوص أن نضع في اعتبارنا أن مجموعة المعلمات المسموح لها بالتغير أمر بالغ الأهمية في تحديد ما إذا كان "التوزيع" عائلة أسية أم لا.

تُعتبر التوزيعات الطبيعية ، والأسية ، واللوغاريتمية الطبيعية ، وجاما ، وكاي تربيع ، وبيتا ، وديريشلي ، وبرنولي ، والفئوية ، وبواسون ، والهندسية ، والغاوسية المعكوسة ، و ALAAM ، وفون ميزس ، وفون ميزس-فيشر جميعها عائلات أسية.

تُصنَّف بعض التوزيعات ضمن العائلات الأسية فقط إذا ثُبِّتت بعض معاييرها. فمثلاً، تُشكِّل عائلة توزيعات باريتو ذات الحد الأدنى الثابت x<sub> m </sub> عائلة أسية. كما تُصنَّف عائلات التوزيعات ذات الحدين والمتعددة الحدود ذات عدد المحاولات الثابت n ولكن بمعامل احتمال غير معروف ضمن العائلات الأسية. وتُصنَّف عائلة التوزيعات ذات الحدين السالب ذات عدد حالات الفشل الثابت (المعروف أيضاً بمعامل زمن التوقف) r ضمن العائلات الأسية. مع ذلك، عندما يُسمح لأي من المعايير الثابتة المذكورة أعلاه بالتغير، فإن العائلة الناتجة لا تُصنَّف ضمن العائلات الأسية.

كما ذُكر سابقًا، كقاعدة عامة، يجب أن يظل نطاق عائلة التوزيعات الأسية ثابتًا بغض النظر عن قيم المعاملات في تلك العائلة. ولهذا السبب، فإن الحالات المذكورة أعلاه (مثل التوزيع ذي الحدين مع عدد متغير من المحاولات، وتوزيع باريتو مع حد أدنى متغير) لا تُعد عائلات أسية، ففي جميع هذه الحالات، يؤثر المعامل المعني على النطاق (وخاصةً بتغيير الحد الأدنى أو الأقصى الممكن). ولأسباب مماثلة، لا يُعد كل من التوزيع المنتظم المتقطع والتوزيع المنتظم المستمر من العائلات الأسية، حيث يتغير أحد الحدين أو كلاهما.

يُعد توزيع ويبول ذو معامل الشكل الثابت k عائلة أسية. وخلافًا للأمثلة السابقة، لا يؤثر معامل الشكل على نطاق التوزيع؛ بل إن السماح بتغيره يجعل توزيع ويبول غير أسي، ويعود ذلك إلى الشكل الخاص لدالة كثافة الاحتمال الخاصة به ( حيث يظهر k في أسّ الأس).

بشكل عام، لا تُعدّ التوزيعات الناتجة عن مزيج محدود أو غير محدود من توزيعات أخرى، مثل كثافات نماذج المزيج وتوزيعات الاحتمال المركبة ، من العائلات الأسية. ومن الأمثلة على ذلك نماذج مزيج غاوس النموذجية، بالإضافة إلى العديد من التوزيعات ذات الذيول السميكة الناتجة عن دمج (أي مزج لا نهائي) توزيع مع توزيع مسبق على أحد معاييره، مثل توزيع t للطالب (الذي يدمج توزيعًا طبيعيًا مع توزيع مسبق دقيق موزع وفقًا لتوزيع غاما )، وتوزيعات بيتا-ذات الحدين وديريشلي -متعددة الحدود . ومن الأمثلة الأخرى على التوزيعات التي لا تُعدّ من العائلات الأسية: توزيع F ، وتوزيع كوشي ، والتوزيع الهندسي الفائق، والتوزيع اللوجستي .

فيما يلي بعض الأمثلة التفصيلية لتمثيل بعض التوزيعات المفيدة كعائلات أسية.

التوزيع الطبيعي: متوسط ​​غير معروف، تباين معروف

كمثال أولي، لنفترض متغيرًا عشوائيًا موزعًا توزيعًا طبيعيًا بمتوسط ​​مجهول μ وتباين معلوم σ² . تكون دالة كثافة الاحتمال عندئذٍ

وσ(x؛μ)=12πσ2هـ-(x-μ)2/2σ2.{\displaystyle f_{\sigma }(x;\mu )={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}e^{-(x-\mu )^{2}/2\sigma ^{2}}.}

هذه عائلة أسية ذات مُعامل واحد، كما يتضح من خلال تحديد

تيσ(x)=xσ،حσ(x)=12πσ2هـ-x2/2σ2،أσ(μ)=μ22σ2،ησ(μ)=μσ.{\displaystyle {\begin{aligned}T_{\sigma }(x)&={\frac {x}{\sigma }},&h_{\sigma }(x)&={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}e^{-x^{2}/2\sigma ^{2}},\\[4pt]A_{\sigma }(\mu )&={\frac {\mu ^{2}}{2\sigma ^{2}}},&\eta _{\sigma }(\mu )&={\frac {\mu }{\sigma }}.\end{aligned}}}

إذا كانت σ = 1 فهذا يكون في شكل قانوني، حيث أن η ( μ ) = μ . 

التوزيع الطبيعي: متوسط ​​غير معروف وتباين غير معروف

بعد ذلك، لننظر في حالة التوزيع الطبيعي بمتوسط ​​وتباين غير معلومين. عندئذٍ تكون دالة كثافة الاحتمال هي

و(y؛μ،σ2)=12πσ2هـ-(y-μ)2/2σ2.{\displaystyle f(y;\mu ,\sigma ^{2})={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}e^{-(y-\mu )^{2}/2\sigma ^{2}}.}

هذه عائلة أسية يمكن كتابتها في شكلها المتعارف عليه من خلال تعريف

ح(y)=12π،η=[μσ2، -12σ2]،تي(y)=(y،y2)تي،أ(η)=μ22σ2+سجل⁡|σ|=-η124η2+12سجل⁡|12η2|{\displaystyle {\begin{aligned}h(y)&={\frac {1}{\sqrt {2\pi }}},&{\boldsymbol {\eta }}&=\left[{\frac {\mu }{\sigma ^{2}}},~-{\frac {1}{2\sigma ^{2}}}\right],\\T(y)&=\left(y,y^{2}\right)^{\mathsf {T}},&A({\boldsymbol {\eta }})&={\frac {\mu ^{2}}{2\sigma ^{2}}}+\log |\sigma |=-{\frac {\eta _{1}^{2}}{4\eta _{2}}}+{\frac {1}{2}}\log \left|{\frac {1}{2\eta _{2}}}\right|\end{aligned}}}

التوزيع ذو الحدين

كمثال على عائلة التوزيعات الأسية المنفصلة، ​​لنأخذ التوزيع ذي الحدين مع عدد معروف من المحاولات n . دالة الكتلة الاحتمالية لهذا التوزيع هي و(x)=(نx)صx(1-ص)ن-x،x∈{0،1،2،...،ن}.{\displaystyle f(x)={\binom {n}{x}}p^{x}{\left(1-p\right)}^{n-x},\quad x\in \{0,1,2,\ldots ,n\}.} ويمكن كتابة ذلك بشكل مكافئ على النحو التالي و(x)=(نx)خبرة⁡[xسجل⁡(ص1-ص)+نسجل⁡(1-ص)]،{\displaystyle f(x)={\binom {n}{x}}\exp \left[x\log \left({\frac {p}{1-p}}\right)+n\log(1-p)\right],} مما يدل على أن التوزيع ذي الحدين هو عائلة أسية، ومعامله الطبيعي هو η=سجل⁡ص1-ص.{\displaystyle \eta =\log {\frac {p}{1-p}}.}تُعرف هذه الدالة لـ p باسم اللوجيت .

جدول التوزيعات

يوضح الجدول التالي كيفية إعادة كتابة عدد من التوزيعات الشائعة كتوزيعات من عائلة التوزيعات الأسية ذات المعاملات الطبيعية. راجع البطاقات التعليمية [ 12 ] للاطلاع على عائلات التوزيعات الأسية الرئيسية.

بالنسبة لمتغير عددي ومعامل عددي، يكون الشكل كما يلي:

وX(x|θ)=ح(x)خبرة⁡[η(θ)تي(x)-أ(η)]{\displaystyle f_{X}(x\mid \theta )=h(x)\exp \left[\eta ({\theta })T(x)-A(\eta )\right]}

بالنسبة لمتغير عددي ومعامل متجه:

وX(x|θ)=ح(x)خبرة⁡[η(θ)⋅تي(x)-أ(η)]وX(x|θ)=ح(x)ز(θ)خبرة⁡[η(θ)⋅تي(x)]{\displaystyle {\begin{aligned}f_{X}(x\mid {\boldsymbol {\theta }})&=h(x)\,\exp \left[{\boldsymbol {\eta }}({\boldsymbol {\theta }})\cdot \mathbf {T} (x)-A({\boldsymbol {\eta }})\right]\\[4pt]f_{X}(x\mid {\boldsymbol {\theta }})&=h(x)\,g({\boldsymbol {\theta }})\,\exp \left[{\boldsymbol {\eta }}({\boldsymbol {\theta }})\cdot \mathbf {T} (x)\right]\end{aligned}}}

بالنسبة لمتغير متجه ومعامل متجه:

وX(x|θ)=ح(x)خبرة⁡[η(θ)⋅تي(x)-أ(η)]{\displaystyle f_{X}(\mathbf {x} \mid {\boldsymbol {\theta }})=h(\mathbf {x} )\,\exp \left[{\boldsymbol {\eta }}({\boldsymbol {\theta }})\cdot \mathbf {T} (\mathbf {x} )-A({\boldsymbol {\eta }})\right]}

تختار الصيغ المذكورة أعلاه الشكل الوظيفي للعائلة الأسية مع دالة التقسيم اللوغاريتميأ(η){\displaystyle A({\boldsymbol {\eta }})}والسبب في ذلك هو تسهيل حساب عزوم الإحصاءات الكافية ، ببساطة عن طريق اشتقاق هذه الدالة. وتتضمن الصيغ البديلة إما تحديد معلمات هذه الدالة بدلالة المعلمة الطبيعية.θ{\displaystyle {\boldsymbol {\theta }}}بدلاً من المعامل الطبيعي، و/أو باستخدام عاملز(η){\displaystyle g({\boldsymbol {\eta }})}خارج نطاق الدالة الأسية. العلاقة بين الدالة الأخيرة والأولى هي: أ(η)=-سجل⁡ز(η)،ز(η)=هـ-أ(η){\displaystyle {\begin{aligned}A({\boldsymbol {\eta }})&=-\log g({\boldsymbol {\eta }}),\\[2pt]g({\boldsymbol {\eta }})&=e^{-A({\boldsymbol {\eta }})}\end{aligned}}} لتحويل التمثيلات التي تتضمن نوعي المعلمات، استخدم الصيغ أدناه لكتابة نوع واحد من المعلمات بدلالة النوع الآخر.

توزيعالمعامل(ات) θالمعلمة الطبيعية ηتعيين المعلمات العكسيمقياس الأساس h ( x )إحصائية كافية T ( x )التقسيم اللوغاريتمي A ( η )التقسيم اللوغاريتمي A ( θ )
توزيع برنوليص{\displaystyle p}سجل⁡ص1-ص{\displaystyle \log {\frac {p}{1-p}}} هذه هي دالة اللوجيت .11+هـ-η=هـη1+هـη{\displaystyle {\frac {1}{1+e^{-\eta }}}={\frac {e^{\eta }}{1+e^{\eta }}}} هذه هي الدالة اللوجستية .1{\displaystyle 1}x{\displaystyle x}سجل⁡(1+هـη){\displaystyle \log(1+e^{\eta })}-سجل⁡(1-ص){\displaystyle -\log(1-p)}
التوزيع ذو الحدين مع عدد معروف من المحاولاتن{\displaystyle n}ص{\displaystyle p}سجل⁡ص1-ص{\displaystyle \log {\frac {p}{1-p}}}11+هـ-η=هـη1+هـη{\displaystyle {\frac {1}{1+e^{-\eta }}}={\frac {e^{\eta }}{1+e^{\eta }}}}(نx){\displaystyle {\binom {n}{x}}}x{\displaystyle x}نسجل⁡(1+هـη){\displaystyle n\log(1+e^{\eta })}-نسجل⁡(1-ص){\displaystyle -n\log(1-p)}
توزيع بواسونλ{\displaystyle \lambda }سجل⁡λ{\displaystyle \log \lambda }هـη{\displaystyle e^{\eta }}1x!{\displaystyle {\frac {1}{x!}}}x{\displaystyle x}هـη{\displaystyle e^{\eta }}λ{\displaystyle \lambda }
توزيع ذي الحدين السالب مع عدد معروف من حالات الفشلر{\displaystyle r}ص{\displaystyle p}سجل⁡(1-ص){\displaystyle \log(1-p)}1-هـη{\displaystyle 1-e^{\eta }}(x+ر-1x){\displaystyle {\binom {x{+}r{-}1}{x}}}x{\displaystyle x}-رسجل⁡(1-هـη){\displaystyle -r\log(1-e^{\eta })}-رسجل⁡(ص){\displaystyle -r\log(p)}
التوزيع الأسيλ{\displaystyle \lambda }-λ{\displaystyle -\lambda }-η{\displaystyle -\eta }1{\displaystyle 1}x{\displaystyle x}-سجل⁡(-η){\displaystyle -\log(-\eta )}-سجل⁡λ{\displaystyle -\log \lambda }
توزيع باريتو ذو القيمة الدنيا المعروفةxم{\displaystyle x_{m}}α{\displaystyle \alpha }-α-1{\displaystyle -\alpha -1}-1-η{\displaystyle -1-\eta }1{\displaystyle 1}سجل⁡x{\displaystyle \log x}-سجل⁡(-1-η)+(1+η)سجل⁡xم{\displaystyle {\begin{aligned}&-\log(-1-\eta )\\&+(1+\eta )\log x_{\mathrm {m} }\end{aligned}}}-سجل⁡(αxمα){\displaystyle -\log \left(\alpha x_{\mathrm {m} }^{\alpha }\right)}
توزيع ويبول ذو الشكل المعروف kλ{\displaystyle \lambda }-1λك{\displaystyle -{\frac {1}{\lambda ^{k}}}}(-η)-1/ك{\displaystyle (-\eta )^{-1/k}}xك-1{\displaystyle x^{k-1}}xك{\displaystyle x^{k}}سجل⁡(-1ηك){\displaystyle \log \left(-{\frac {1}{\eta k}}\right)}سجل⁡λكك{\displaystyle \log {\frac {\lambda ^{k}}{k}}}
توزيع لابلاس بمتوسط ​​معروفμ{\displaystyle \mu }ب{\displaystyle b}-1ب{\displaystyle -{\frac {1}{b}}}-1η{\displaystyle -{\frac {1}{\eta }}}1{\displaystyle 1}|x-μ|{\displaystyle |x-\mu |}سجل⁡(-2η){\displaystyle \log \left(-{\frac {2}{\eta }}\right)}سجل⁡2ب{\displaystyle \log 2b}
توزيع كاي تربيعν{\displaystyle \nu }ν2-1{\displaystyle {\frac {\nu }{2}}-1}2(η+1){\displaystyle 2(\eta +1)}هـ-x/2{\displaystyle e^{-x/2}}سجل⁡x{\displaystyle \log x}سجل⁡Γ(η+1)+(η+1)سجل⁡2{\displaystyle {\begin{aligned}&\log \Gamma (\eta +1)\\&+(\eta +1)\log 2\end{aligned}}}سجل⁡Γ(ν2)+ν2سجل⁡2{\displaystyle {\begin{aligned}&\log \Gamma {\left({\tfrac {\nu }{2}}\right)}\\&+{\tfrac {\nu }{2}}\log 2\end{aligned}}}
التوزيع الطبيعي ذو التباين المعروفμ{\displaystyle \mu }μσ{\displaystyle {\frac {\mu }{\sigma }}}ση{\displaystyle \sigma \eta }هـ-x2/(2σ2)2πσ{\displaystyle {\frac {e^{-x^{2}/(2\sigma ^{2})}}{{\sqrt {2\pi }}\sigma }}}xσ{\displaystyle {\frac {x}{\sigma }}}η22{\displaystyle {\frac {\eta ^{2}}{2}}}μ22σ2{\displaystyle {\frac {\mu ^{2}}{2\sigma ^{2}}}}
توزيع برنولي المستمرλ{\displaystyle \lambda }سجل⁡λ1-λ{\displaystyle \log {\frac {\lambda }{1-\lambda }}}هـη1+هـη{\displaystyle {\frac {e^{\eta }}{1+e^{\eta }}}}1{\displaystyle 1}x{\displaystyle x}سجل⁡هـη-1η{\displaystyle \log {\frac {e^{\eta }-1}{\eta }}}سجل⁡(1-2λ1-λ)-سجل2⁡(1λ-1){\displaystyle {\begin{aligned}&\log \left({\tfrac {1-2\lambda }{1-\lambda }}\right)\\[1ex]{}-{}&\log ^{2}\left({\tfrac {1}{\lambda }}-1\right)\end{aligned}}}

حيث يشير log 2 إلى اللوغاريتم المتكرر

التوزيع الطبيعيμ، σ2{\displaystyle \mu ,\ \sigma ^{2}}[μσ2-12σ2]{\displaystyle {\begin{bmatrix}{\dfrac {\mu }{\sigma ^{2}}}\\[1ex]-{\dfrac {1}{2\sigma ^{2}}}\end{bmatrix}}}[-η12η2-12η2]{\displaystyle {\begin{bmatrix}-{\dfrac {\eta _{1}}{2\eta _{2}}}\\[1ex]-{\dfrac {1}{2\eta _{2}}}\end{bmatrix}}}12π{\displaystyle {\frac {1}{\sqrt {2\pi }}}}[xx2]{\displaystyle {\begin{bmatrix}x\\x^{2}\end{bmatrix}}}-η124η2-12سجل⁡(-2η2){\displaystyle -{\frac {\eta _{1}^{2}}{4\eta _{2}}}-{\frac {1}{2}}\log(-2\eta _{2})}μ22σ2+سجل⁡σ{\displaystyle {\frac {\mu ^{2}}{2\sigma ^{2}}}+\log \sigma }
التوزيع اللوغاريتمي الطبيعيμ، σ2{\displaystyle \mu ,\ \sigma ^{2}}[μσ2-12σ2]{\displaystyle {\begin{bmatrix}{\dfrac {\mu }{\sigma ^{2}}}\\[1ex]-{\dfrac {1}{2\sigma ^{2}}}\end{bmatrix}}}[-η12η2-12η2]{\displaystyle {\begin{bmatrix}-{\dfrac {\eta _{1}}{2\eta _{2}}}\\[1ex]-{\dfrac {1}{2\eta _{2}}}\end{bmatrix}}}12πx{\displaystyle {\frac {1}{{\sqrt {2\pi }}x}}}[سجل⁡x(سجل⁡x)2]{\displaystyle {\begin{bmatrix}\log x\\(\log x)^{2}\end{bmatrix}}}-η124η2-12سجل⁡(-2η2){\displaystyle -{\frac {\eta _{1}^{2}}{4\eta _{2}}}-{\frac {1}{2}}\log(-2\eta _{2})}μ22σ2+سجل⁡σ{\displaystyle {\frac {\mu ^{2}}{2\sigma ^{2}}}+\log \sigma }
التوزيع الغاوسي المعكوسμ، λ{\displaystyle \mu ,\ \lambda }[-λ2μ2-λ2]{\displaystyle {\begin{bmatrix}-{\dfrac {\lambda }{2\mu ^{2}}}\\[15pt]-{\dfrac {\lambda }{2}}\end{bmatrix}}}[η2η1-2η2]{\displaystyle {\begin{bmatrix}{\sqrt {\dfrac {\eta _{2}}{\eta _{1}}}}\\[15pt]-2\eta _{2}\end{bmatrix}}}12πx3/2{\displaystyle {\frac {1}{{\sqrt {2\pi }}x^{3/2}}}}[x1x]{\displaystyle {\begin{bmatrix}x\\[5pt]{\dfrac {1}{x}}\end{bmatrix}}}-2η1η2-12سجل⁡(-2η2){\displaystyle -2{\sqrt {\eta _{1}\eta _{2}}}-{\tfrac {1}{2}}\log(-2\eta _{2})}-λμ-12سجل⁡λ{\displaystyle -{\tfrac {\lambda }{\mu }}-{\tfrac {1}{2}}\log \lambda }
توزيع جاماα، β{\displaystyle \alpha ,\ \beta }[α-1-β]{\displaystyle {\begin{bmatrix}\alpha -1\\-\beta \end{bmatrix}}}[η1+1-η2]{\displaystyle {\begin{bmatrix}\eta _{1}+1\\-\eta _{2}\end{bmatrix}}}1{\displaystyle 1}[سجل⁡xx]{\displaystyle {\begin{bmatrix}\log x\\x\end{bmatrix}}}سجل⁡Γ(η1+1)-(η1+1)سجل⁡(-η2){\displaystyle {\begin{aligned}&\log \Gamma (\eta _{1}+1)\\{}-{}&(\eta _{1}+1)\log(-\eta _{2})\end{aligned}}}سجل⁡Γ(α)βα{\displaystyle \log {\frac {\Gamma (\alpha )}{\beta ^{\alpha }}}}
ك، θ{\displaystyle k,\ \theta }[ك-1-1θ]{\displaystyle {\begin{bmatrix}k-1\\[5pt]-{\dfrac {1}{\theta }}\end{bmatrix}}}[η1+1-1η2]{\displaystyle {\begin{bmatrix}\eta _{1}+1\\[5pt]-{\dfrac {1}{\eta _{2}}}\end{bmatrix}}}سجل⁡(θكΓ(ك)){\displaystyle \log \left(\theta ^{k}\Gamma (k)\right)}
توزيع جاما العكسيα، β{\displaystyle \alpha ,\ \beta }[-α-1-β]{\displaystyle {\begin{bmatrix}-\alpha -1\\-\beta \end{bmatrix}}}[-η1-1-η2]{\displaystyle {\begin{bmatrix}-\eta _{1}-1\\-\eta _{2}\end{bmatrix}}}1{\displaystyle 1}[سجل⁡x1x]{\displaystyle {\begin{bmatrix}\log x\\{\frac {1}{x}}\end{bmatrix}}}سجل⁡Γ(-η1-1)+(η1+1)سجل⁡(-η2){\displaystyle {\begin{aligned}&\log \Gamma (-\eta _{1}-1)\\+&\left(\eta _{1}+1\right)\log(-\eta _{2})\end{aligned}}}سجل⁡Γ(α)βα{\displaystyle \log {\frac {\Gamma (\alpha )}{\beta ^{\alpha }}}}
التوزيع الغاوسي المعكوس المعممص، أ، ب{\displaystyle p,\ a,\ b}[ص-1-أ/2-ب/2]{\displaystyle {\begin{bmatrix}p-1\\-a/2\\-b/2\end{bmatrix}}}[η1+1-2η2-2η3]{\displaystyle {\begin{bmatrix}\eta _{1}+1\\-2\eta _{2}\\-2\eta _{3}\end{bmatrix}}}1{\displaystyle 1}[سجل⁡xx1x]{\displaystyle {\begin{bmatrix}\log x\\x\\{\frac {1}{x}}\end{bmatrix}}}سجل⁡2كη1+1(4η2η3)-η1+12سجل⁡η2η3{\displaystyle {\begin{aligned}&\log 2K_{\eta _{1}+1}{\!\left({\sqrt {4\eta _{2}\eta _{3}}}\right)}\\[2pt]{}-{}&{\frac {\eta _{1}+1}{2}}\log {\frac {\eta _{2}}{\eta _{3}}}\end{aligned}}}سجل⁡2كص(أب)-ص2سجل⁡أب{\displaystyle {\begin{aligned}&\log 2K_{p}({\sqrt {ab}})\\[2pt]&{}-{\frac {p}{2}}\log {\frac {a}{b}}\end{aligned}}}
توزيع كاي تربيع العكسي المُقاسν، σ2{\displaystyle \nu ,\ \sigma ^{2}}[-ν2-1-νσ22]{\displaystyle {\begin{bmatrix}-{\dfrac {\nu }{2}}-1\\[10pt]-{\dfrac {\nu \sigma ^{2}}{2}}\end{bmatrix}}}[-2(η1+1)η2η1+1]{\displaystyle {\begin{bmatrix}-2(\eta _{1}+1)\\[10pt]{\dfrac {\eta _{2}}{\eta _{1}+1}}\end{bmatrix}}}1{\displaystyle 1}[سجل⁡x1x]{\displaystyle {\begin{bmatrix}\log x\\{\frac {1}{x}}\end{bmatrix}}}سجل⁡Γ(-η1-1)+(η1+1)سجل⁡(-η2){\displaystyle {\begin{aligned}&\log \Gamma (-\eta _{1}-1)\\[2pt]+&\left(\eta _{1}+1\right)\log(-\eta _{2})\end{aligned}}}سجل⁡Γ(ν2)-ν2سجل⁡νσ22{\displaystyle {\begin{aligned}&\log \Gamma {\left({\frac {\nu }{2}}\right)}\\[2pt]{}-{}&{\frac {\nu }{2}}\log {\frac {\nu \sigma ^{2}}{2}}\end{aligned}}}
توزيع بيتا (النوع 1)α، β{\displaystyle \alpha ,\ \beta }[αβ]{\displaystyle {\begin{bmatrix}\alpha \\\beta \end{bmatrix}}}[η1η2]{\displaystyle {\begin{bmatrix}\eta _{1}\\\eta _{2}\end{bmatrix}}}1x(1-x){\displaystyle {\frac {1}{x(1-x)}}}[سجل⁡xسجل⁡(1-x)]{\displaystyle {\begin{bmatrix}\log x\\\log(1{-}x)\end{bmatrix}}}سجل⁡Γ(η1)Γ(η2)Γ(η1+η2){\displaystyle \log {\frac {\Gamma (\eta _{1})\,\Gamma (\eta _{2})}{\Gamma (\eta _{1}+\eta _{2})}}}سجل⁡Γ(α)Γ(β)Γ(α+β){\displaystyle \log {\frac {\Gamma (\alpha )\,\Gamma (\beta )}{\Gamma (\alpha +\beta )}}}
توزيع بيتا (النوع 2)α، β{\displaystyle \alpha ,\ \beta }[α-1β-1]{\displaystyle {\begin{bmatrix}\alpha -1\\\beta -1\end{bmatrix}}}[η1+1η2+1]{\displaystyle {\begin{bmatrix}\eta _{1}+1\\\eta _{2}+1\end{bmatrix}}}1{\displaystyle 1}[سجل⁡xسجل⁡(1-x)]{\displaystyle {\begin{bmatrix}\log x\\\log(1{-}x)\end{bmatrix}}}سجل⁡Γ(η1+1)Γ(η2+1)Γ(η1+η2+2){\displaystyle \log {\frac {\Gamma (\eta _{1}+1)\,\Gamma (\eta _{2}+1)}{\Gamma (\eta _{1}+\eta _{2}+2)}}}سجل⁡Γ(α)Γ(β)Γ(α+β){\displaystyle \log {\frac {\Gamma (\alpha )\,\Gamma (\beta )}{\Gamma (\alpha +\beta )}}}
التوزيع الطبيعي متعدد المتغيراتμ، Σ{\displaystyle {\boldsymbol {\mu }},\ {\boldsymbol {\Sigma }}}[Σ-1μ-12Σ-1]{\displaystyle {\begin{bmatrix}{\boldsymbol {\Sigma }}^{-1}{\boldsymbol {\mu }}\\[5pt]-{\frac {1}{2}}{\boldsymbol {\Sigma }}^{-1}\end{bmatrix}}}[-12η2-1η1-12η2-1]{\displaystyle {\begin{bmatrix}-{\frac {1}{2}}{\boldsymbol {\eta }}_{2}^{-1}{\boldsymbol {\eta }}_{1}\\[5pt]-{\frac {1}{2}}{\boldsymbol {\eta }}_{2}^{-1}\end{bmatrix}}}(2π)-ك2{\displaystyle (2\pi )^{-{\frac {k}{2}}}}[xxxتي]{\displaystyle {\begin{bmatrix}\mathbf {x} \\[5pt]\mathbf {x} \mathbf {x} ^{\mathsf {T}}\end{bmatrix}}}-14η1تيη2-1η1-12سجل⁡|-2η2|{\displaystyle {\begin{aligned}&-{\tfrac {1}{4}}{\boldsymbol {\eta }}_{1}^{\mathsf {T}}{\boldsymbol {\eta }}_{2}^{-1}{\boldsymbol {\eta }}_{1}\\&-{\tfrac {1}{2}}\log \left|-2{\boldsymbol {\eta }}_{2}\right|\end{aligned}}}12μتيΣ-1μ+12سجل⁡|Σ|{\displaystyle {\begin{aligned}&{\tfrac {1}{2}}{\boldsymbol {\mu }}^{\mathsf {T}}{\boldsymbol {\Sigma }}^{-1}{\boldsymbol {\mu }}\\+&{\tfrac {1}{2}}\log \left|{\boldsymbol {\Sigma }}\right|\end{aligned}}}
التوزيع الفئوي (النوع 1)ص1، ...،صك{\displaystyle p_{1},\ \ldots ,\,p_{k}}أين∑أنا=1كصأنا=1{\textstyle \sum \limits _{i=1}^{k}p_{i}=1}[سجل⁡ص1⋮سجل⁡صك]{\displaystyle {\begin{bmatrix}\log p_{1}\\\vdots \\\log p_{k}\end{bmatrix}}}[هـη1⋮هـηك]{\displaystyle {\begin{bmatrix}e^{\eta _{1}}\\\vdots \\e^{\eta _{k}}\end{bmatrix}}} أين∑أنا=1كهـηأنا=1{\textstyle \sum \limits _{i=1}^{k}e^{\eta _{i}}=1}1{\displaystyle 1}[[x=1]⋮[x=ك]]{\displaystyle {\begin{bmatrix}[x=1]\\\vdots \\{[x=k]}\end{bmatrix}}}[x=أنا]{\displaystyle [x=i]}هل قوس إيفرسون [ i ]0{\displaystyle 0}0{\displaystyle 0}
التوزيع الفئوي (النوع 2)ص1، ...،صك{\displaystyle p_{1},\ \ldots ,\,p_{k}}أين∑أنا=1كصأنا=1{\textstyle \sum \limits _{i=1}^{k}p_{i}=1}[سجل⁡ص1+ج⋮سجل⁡صك+ج]{\displaystyle {\begin{bmatrix}\log p_{1}+C\\\vdots \\\log p_{k}+C\end{bmatrix}}}1ج[هـη1⋮هـηك]{\displaystyle {\frac {1}{C}}{\begin{bmatrix}e^{\eta _{1}}\\\vdots \\e^{\eta _{k}}\end{bmatrix}}}أينج=∑أنا=1كهـηأنا{\textstyle C=\sum \limits _{i=1}^{k}e^{\eta _{i}}}1{\displaystyle 1}[[x=1]⋮[x=ك]]{\displaystyle {\begin{bmatrix}[x=1]\\\vdots \\{[x=k]}\end{bmatrix}}}[x=أنا]{\displaystyle [x=i]}هل قوس إيفرسون [ i ]0{\displaystyle 0}0{\displaystyle 0}
التوزيع الفئوي (النوع 3)ص1، ...،صك{\displaystyle p_{1},\ \ldots ,\,p_{k}}أينصك=1-∑أنا=1ك-1صأنا{\textstyle p_{k}=1-\sum \limits _{i=1}^{k-1}p_{i}}[سجل⁡ص1صك⋮سجل⁡صك-1صك0]{\displaystyle {\begin{bmatrix}\log {\dfrac {p_{1}}{p_{k}}}\\[10pt]\vdots \\[5pt]\log {\dfrac {p_{k-1}}{p_{k}}}\\[15pt]0\end{bmatrix}}}

هذه هي دالة softmax العكسية ، وهي تعميم لدالة logit .

1ج1[هـη1⋮هـηك]={\displaystyle {\frac {1}{C_{1}}}{\begin{bmatrix}e^{\eta _{1}}\\[5pt]\vdots \\[5pt]e^{\eta _{k}}\end{bmatrix}}=}

1ج2[هـη1⋮هـηك-11]{\displaystyle {\frac {1}{C_{2}}}{\begin{bmatrix}e^{\eta _{1}}\\[5pt]\vdots \\[5pt]e^{\eta _{k-1}}\\[5pt]1\end{bmatrix}}} أين ج1=∑أنا=1كهـηأنا{\textstyle C_{1}=\sum \limits _{i=1}^{k}e^{\eta _{i}}} و ج2=1+∑أنا=1ك-1هـηأنا{\textstyle C_{2}=1+\sum \limits _{i=1}^{k-1}e^{\eta _{i}}}.

هذه هي دالة softmax ، وهي تعميم للدالة اللوجستية .

1{\displaystyle 1}[[x=1]⋮[x=ك]]{\displaystyle {\begin{bmatrix}[x=1]\\\vdots \\{[x=k]}\end{bmatrix}}}[x=أنا]{\displaystyle [x=i]}هل قوس إيفرسون [ i ]سجل⁡(∑أنا=1كهـηأنا)=سجل⁡(1+∑أنا=1ك-1هـηأنا){\displaystyle {\begin{aligned}&\textstyle \log \left(\sum \limits _{i=1}^{k}e^{\eta _{i}}\right)\\={}&\textstyle \log \left(1+\sum \limits _{i=1}^{k-1}e^{\eta _{i}}\right)\end{aligned}}}-سجل⁡صك{\displaystyle -\log p_{k}}
التوزيع متعدد الحدود (النوع 1) مع عدد معروف من المحاولات nص1، ...،صك{\displaystyle p_{1},\ \ldots ,\,p_{k}}أين∑أنا=1كصأنا=1{\textstyle \sum \limits _{i=1}^{k}p_{i}=1}[سجل⁡ص1⋮سجل⁡صك]{\displaystyle {\begin{bmatrix}\log p_{1}\\\vdots \\\log p_{k}\end{bmatrix}}}[هـη1⋮هـηك]{\displaystyle {\begin{bmatrix}e^{\eta _{1}}\\\vdots \\e^{\eta _{k}}\end{bmatrix}}}أين∑أنا=1كهـηأنا=1{\textstyle \sum \limits _{i=1}^{k}e^{\eta _{i}}=1}ن!∏أنا=1كxأنا!{\displaystyle {\frac {n!}{\prod \limits _{i=1}^{k}x_{i}!}}}[x1⋮xك]{\displaystyle {\begin{bmatrix}x_{1}\\\vdots \\x_{k}\end{bmatrix}}}0{\displaystyle 0}0{\displaystyle 0}
التوزيع متعدد الحدود (النوع 2) مع عدد معروف من التجاربن{\displaystyle n}ص1، ...،صك{\displaystyle p_{1},\ \ldots ,\,p_{k}}أين∑أنا=1كصأنا=1{\textstyle \sum \limits _{i=1}^{k}p_{i}=1}[سجل⁡ص1+ج⋮سجل⁡صك+ج]{\displaystyle {\begin{bmatrix}\log p_{1}+C\\\vdots \\\log p_{k}+C\end{bmatrix}}}1ج[هـη1⋮هـηك]{\displaystyle {\frac {1}{C}}{\begin{bmatrix}e^{\eta _{1}}\\\vdots \\e^{\eta _{k}}\end{bmatrix}}}

أينج=∑أنا=1كهـηأنا{\textstyle C=\sum \limits _{i=1}^{k}e^{\eta _{i}}}

ن!∏أنا=1كxأنا!{\displaystyle {\frac {n!}{\prod \limits _{i=1}^{k}x_{i}!}}}[x1⋮xك]{\displaystyle {\begin{bmatrix}x_{1}\\\vdots \\x_{k}\end{bmatrix}}}0{\displaystyle 0}0{\displaystyle 0}
التوزيع متعدد الحدود (النوع 3) مع عدد معروف من التجاربن{\displaystyle n}ص1، ...،صك{\displaystyle p_{1},\ \ldots ,\,p_{k}}أينصك=1-∑أنا=1ك-1صأنا{\textstyle p_{k}=1-\sum \limits _{i=1}^{k-1}p_{i}}[سجل⁡ص1صك⋮سجل⁡صك-1صك0]{\displaystyle {\begin{bmatrix}\log {\dfrac {p_{1}}{p_{k}}}\\[10pt]\vdots \\[5pt]\log {\dfrac {p_{k-1}}{p_{k}}}\\[15pt]0\end{bmatrix}}}1ج1[هـη1⋮هـηك]={\displaystyle {\frac {1}{C_{1}}}{\begin{bmatrix}e^{\eta _{1}}\\[10pt]\vdots \\[5pt]e^{\eta _{k}}\end{bmatrix}}=}

1ج2[هـη1⋮هـηك-11]{\displaystyle {\frac {1}{C_{2}}}{\begin{bmatrix}e^{\eta _{1}}\\[5pt]\vdots \\[5pt]e^{\eta _{k-1}}\\[5pt]1\end{bmatrix}}}

أينج1=∑أنا=1كهـηأنا{\textstyle C_{1}=\sum \limits _{i=1}^{k}e^{\eta _{i}}}وج2=1+∑أنا=1ك-1هـηأنا{\textstyle C_{2}=1+\sum \limits _{i=1}^{k-1}e^{\eta _{i}}}

ن!∏أنا=1كxأنا!{\displaystyle {\frac {n!}{\prod \limits _{i=1}^{k}x_{i}!}}}[x1⋮xك]{\displaystyle {\begin{bmatrix}x_{1}\\\vdots \\x_{k}\end{bmatrix}}}نسجل⁡(∑أنا=1كهـηأنا)=نسجل⁡(1+∑أنا=1ك-1هـηأنا){\displaystyle {\begin{aligned}&\textstyle n\log \left(\sum \limits _{i=1}^{k}e^{\eta _{i}}\right)\\[4pt]={}&\textstyle n\log \left(1+\sum \limits _{i=1}^{k-1}e^{\eta _{i}}\right)\end{aligned}}}-نسجل⁡صك{\displaystyle -n\log p_{k}}
توزيع ديريشليه (النوع 1)α1، ...،αك{\displaystyle \alpha _{1},\ \ldots ,\,\alpha _{k}}[α1⋮αك]{\displaystyle {\begin{bmatrix}\alpha _{1}\\\vdots \\\alpha _{k}\end{bmatrix}}}[η1⋮ηك]{\displaystyle {\begin{bmatrix}\eta _{1}\\\vdots \\\eta _{k}\end{bmatrix}}}1∏أنا=1كxأنا{\displaystyle {\frac {1}{\prod \limits _{i=1}^{k}x_{i}}}}[سجل⁡x1⋮سجل⁡xك]{\displaystyle {\begin{bmatrix}\log x_{1}\\\vdots \\\log x_{k}\end{bmatrix}}}∑أنا=1كسجل⁡Γ(ηأنا)-سجل⁡Γ(∑أنا=1كηأنا){\displaystyle {\begin{aligned}\textstyle \sum \limits _{i=1}^{k}\log \Gamma (\eta _{i})\\\textstyle -\log \Gamma {\left(\sum \limits _{i=1}^{k}\eta _{i}\right)}\end{aligned}}}∑أنا=1كسجل⁡Γ(αأنا)-سجل⁡Γ(∑أنا=1كαأنا){\displaystyle {\begin{aligned}&\textstyle \sum \limits _{i=1}^{k}\log \Gamma (\alpha _{i})\\{}-{}&\textstyle \log \Gamma {\left(\sum \limits _{i=1}^{k}\alpha _{i}\right)}\end{aligned}}}
توزيع ديريشليه (النوع 2)α1، ...،αك{\displaystyle \alpha _{1},\ \ldots ,\,\alpha _{k}}[α1-1⋮αك-1]{\displaystyle {\begin{bmatrix}\alpha _{1}-1\\\vdots \\\alpha _{k}-1\end{bmatrix}}}[η1+1⋮ηك+1]{\displaystyle {\begin{bmatrix}\eta _{1}+1\\\vdots \\\eta _{k}+1\end{bmatrix}}}1{\displaystyle 1}[سجل⁡x1⋮سجل⁡xك]{\displaystyle {\begin{bmatrix}\log x_{1}\\\vdots \\\log x_{k}\end{bmatrix}}}∑أنا=1كسجل⁡Γ(ηأنا+1)-سجل⁡Γ(∑أنا=1ك(ηأنا+1)){\displaystyle {\begin{aligned}&\textstyle \sum \limits _{i=1}^{k}\log \Gamma (\eta _{i}+1)\\{}-{}&\textstyle \log \Gamma {\left(\sum \limits _{i=1}^{k}(\eta _{i}+1)\right)}\end{aligned}}}∑أنا=1كسجل⁡Γ(αأنا)-سجل⁡Γ(∑أنا=1كαأنا){\displaystyle {\begin{aligned}&\textstyle \sum \limits _{i=1}^{k}\log \Gamma (\alpha _{i})\\{}-{}&\textstyle \log \Gamma {\left(\sum \limits _{i=1}^{k}\alpha _{i}\right)}\end{aligned}}}
توزيع ويشارتV، ن{\displaystyle \mathbf {V} ,\ n}[-12V-1ن-ص-12]{\displaystyle {\begin{bmatrix}-{\frac {1}{2}}\mathbf {V} ^{-1}\\[5pt]{\dfrac {n{-}p{-}1}{2}}\end{bmatrix}}}[-12η1-12η2+ص+1]{\displaystyle {\begin{bmatrix}-{\frac {1}{2}}{\boldsymbol {\eta }}_{1}^{-1}\\[5pt]2\eta _{2}{+}p{+}1\end{bmatrix}}}1{\displaystyle 1}[Xسجل⁡|X|]{\displaystyle {\begin{bmatrix}\mathbf {X} \\\log |\mathbf {X} |\end{bmatrix}}}-[η2+ص+12]سجل⁡|-η1|+سجل⁡Γص(η2+ص+12)=-ن2سجل⁡|-η1|+سجل⁡Γص(ن2)=[η2+ص+12]سجل⁡(2ص|V|)+سجل⁡Γص(η2+ص+12){\displaystyle {\begin{aligned}&-\left[\eta _{2}+{\tfrac {p+1}{2}}\right]\log \left|-{\boldsymbol {\eta }}_{1}\right|\\&+\log \Gamma _{p}{\left(\eta _{2}+{\tfrac {p+1}{2}}\right)}\\[1ex]=&-{\tfrac {n}{2}}\log \left|-{\boldsymbol {\eta }}_{1}\right|\\&+\log \Gamma _{p}{\left({\tfrac {n}{2}}\right)}\\[1ex]={}&\left[\eta _{2}+{\tfrac {p+1}{2}}\right]\log \left(2^{p}\left|\mathbf {V} \right|\right)\\&+\log \Gamma _{p}{\left(\eta _{2}+{\tfrac {p+1}{2}}\right)}\end{aligned}}}

تم تقديم ثلاثة متغيرات بمعلمات مختلفة، لتسهيل حساب لحظات الإحصائيات الكافية.

ن2سجل⁡(2ص|V|)+سجل⁡Γص(ن2){\displaystyle {\begin{aligned}&{\frac {n}{2}}\log \left(2^{p}\left|\mathbf {V} \right|\right)\\[2pt]&+\log \Gamma _{p}{\left({\frac {n}{2}}\right)}\end{aligned}}}
ملاحظة : يعتمد على حقيقة أنtr⁡(أتيب)=متجه⁡(أ)⋅متجه⁡(ب)،{\displaystyle \operatorname {tr} (\mathbf {A} ^{\mathsf {T}}\mathbf {B} )=\operatorname {vec} (\mathbf {A} )\cdot \operatorname {vec} (\mathbf {B} ),}أي أن أثر حاصل ضرب المصفوفات يشبه إلى حد كبير حاصل الضرب النقطي . ويُفترض أن تكون معاملات المصفوفة متجهة (مُرتبة في متجه) عند إدخالها في الصيغة الأسية. أيضًا،V{\displaystyle \mathbf {V} }وX{\displaystyle \mathbf {X} }متناظرة، على سبيل المثالVتي=V .{\displaystyle \mathbf {V} ^{\mathsf {T}}=\mathbf {V} \ .}
توزيع ويشارت العكسيΨ،م{\displaystyle \mathbf {\Psi } ,\,m}-12[Ψم+ص+1]{\displaystyle -{\frac {1}{2}}{\begin{bmatrix}{\boldsymbol {\Psi }}\\[5pt]m{+}p{+}1\end{bmatrix}}}-[2η12η2+ص+1]{\displaystyle -{\begin{bmatrix}2{\boldsymbol {\eta }}_{1}\\[5pt]2\eta _{2}{+}p{+}1\end{bmatrix}}}1{\displaystyle 1}[X-1سجل⁡|X|]{\displaystyle {\begin{bmatrix}\mathbf {X} ^{-1}\\\log |\mathbf {X} |\end{bmatrix}}}[η2+ص+12]سجل⁡|-η1|+سجل⁡Γص(-η2-ص+12)=-م2سجل⁡|-η1|+سجل⁡Γص(م2)=-[η2+ص+12]سجل⁡2ص|Ψ|+سجل⁡Γص(-η2-ص+12){\displaystyle {\begin{aligned}&\left[\eta _{2}+{\tfrac {p+1}{2}}\right]\log \left|-{\boldsymbol {\eta }}_{1}\right|\\&+\log \Gamma _{p}{\left(-\eta _{2}-{\tfrac {p+1}{2}}\right)}\\[1ex]=&-{\tfrac {m}{2}}\log \left|-{\boldsymbol {\eta }}_{1}\right|\\&+\log \Gamma _{p}{\left({\tfrac {m}{2}}\right)}\\[1ex]=&-\left[\eta _{2}+{\tfrac {p+1}{2}}\right]\log {\tfrac {2^{p}}{\left|{\boldsymbol {\Psi }}\right|}}\\&+\log \Gamma _{p}{\left(-\eta _{2}-{\tfrac {p+1}{2}}\right)}\end{aligned}}}م2سجل⁡2ص|Ψ|+سجل⁡Γص(م2){\displaystyle {\begin{aligned}{\frac {m}{2}}\log {\frac {2^{p}}{|{\boldsymbol {\Psi }}|}}\\[4pt]+\log \Gamma _{p}{\left({\frac {m}{2}}\right)}\end{aligned}}}
توزيع غاما الطبيعيα، β، μ، λ{\displaystyle \alpha ,\ \beta ,\ \mu ,\ \lambda }[α-12-β-λμ22λμ-λ2]{\displaystyle {\begin{bmatrix}\alpha -{\frac {1}{2}}\\-\beta -{\dfrac {\lambda \mu ^{2}}{2}}\\\lambda \mu \\-{\dfrac {\lambda }{2}}\end{bmatrix}}}[η1+12-η2+η324η4-η32η4-2η4]{\displaystyle {\begin{bmatrix}\eta _{1}+{\frac {1}{2}}\\-\eta _{2}+{\dfrac {\eta _{3}^{2}}{4\eta _{4}}}\\-{\dfrac {\eta _{3}}{2\eta _{4}}}\\-2\eta _{4}\end{bmatrix}}}12π{\displaystyle {\dfrac {1}{\sqrt {2\pi }}}}[سجل⁡τττxτx2]{\displaystyle {\begin{bmatrix}\log \tau \\\tau \\\tau x\\\tau x^{2}\end{bmatrix}}}سجل⁡Γ(η1+12)-12سجل⁡(-2η4)-(η1+12)سجل⁡(η324η4-η2){\displaystyle {\begin{aligned}&\log \Gamma {\left(\eta _{1}+{\tfrac {1}{2}}\right)}\\[2pt]-{}&{\tfrac {1}{2}}\log \left(-2\eta _{4}\right)\\[2pt]-{}&\left(\eta _{1}+{\tfrac {1}{2}}\right)\log \left({\tfrac {\eta _{3}^{2}}{4\eta _{4}}}-\eta _{2}\right)\end{aligned}}}سجل⁡Γ(α)-αسجل⁡β-12سجل⁡λ{\displaystyle {\begin{aligned}&\log \Gamma {\left(\alpha \right)}\\[2pt]&-\alpha \log \beta \\[2pt]&-{\tfrac {1}{2}}\log \lambda \end{aligned}}}
  1. ١ ٢ ٣ قوس إيفرسون هو تعميم لدالة دلتا المنفصلة: إذا كانت العبارة داخل القوس صحيحة، فإن قيمة القوس تساوي ١؛ وإذا كانت العبارة خاطئة، فإن قيمة قوس إيفرسون تساوي صفرًا. توجد العديد من الصيغ المختلفة، مثل الأقواس المتموجة: ⧙ a = b ⧘ مكافئة للصيغة [ a = b ] المستخدمة أعلاه.

تُعزى المتغيرات الثلاثة للتوزيع الفئوي والتوزيع متعدد الحدود إلى حقيقة أن المعلماتصأنا{\displaystyle p_{i}}مقيدة، بحيث

∑أنا=1كصأنا=1.{\displaystyle \sum _{i=1}^{k}p_{i}=1\,.}

وبالتالي، لا يوجد سوىك-1{\displaystyle k-1}المعايير المستقلة.

  • يستخدم الخيار 1ك{\displaystyle k}المعايير الطبيعية ذات العلاقة البسيطة بين المعايير القياسية والمعايير الطبيعية؛ ومع ذلك، فقطك-1{\displaystyle k-1}تكون بعض المعاملات الطبيعية مستقلة، ومجموعةك{\displaystyle k}المعلمات الطبيعية غير قابلة للتحديد . ويؤدي القيد المفروض على المعلمات المعتادة إلى قيد مماثل على المعلمات الطبيعية.
  • يوضح الخيار الثاني أن مجموعة المعاملات الطبيعية بأكملها غير قابلة للتحديد: فإضافة أي قيمة ثابتة إلى المعاملات الطبيعية لا تؤثر على التوزيع الناتج. ومع ذلك، باستخدام القيد المفروض على المعاملات الطبيعية، يمكن كتابة صيغة المعاملات الطبيعية بدلالة هذه المعاملات بطريقة مستقلة عن الثابت المضاف.
  • يوضح الخيار 3 كيفية جعل المعلمات قابلة للتحديد بطريقة ملائمة عن طريق التعيينج=-سجل⁡صك .{\displaystyle C=-\log p_{k}\ .}هذا الأمر "يتحول" فعلياً حولصك{\displaystyle p_{k}}ويؤدي ذلك إلى أن تكون القيمة الثابتة للمعامل الطبيعي الأخير هي صفر. جميع الصيغ المتبقية مكتوبة بطريقة لا تسمح بالوصول إلىصك{\displaystyle p_{k}}وبالتالي فإن النموذج يحتوي فعلياً علىك-1{\displaystyle k-1}المعايير، سواء كانت من النوع المعتاد أو الطبيعي.

لا تُعدّ المتغيرات 1 و2 في الواقع عائلات أسية قياسية على الإطلاق. بل هي عائلات أسية منحنية ، أي أنهاك-1{\displaystyle k-1}معلمات مستقلة مضمنة فيك{\displaystyle k}فضاء المعاملات ذو الأبعاد n. [ 13 ] لا تنطبق العديد من النتائج القياسية للعائلات الأسية على العائلات الأسية المنحنية. ومن الأمثلة على ذلك دالة التقسيم اللوغاريتمي.أ(x){\displaystyle A(x)}، والتي تساوي قيمتها صفرًا في الحالات المنحنية. في العائلات الأسية القياسية، تتوافق مشتقات هذه الدالة مع العزوم (أو بشكل أدق، التراكمات ) للإحصاءات الكافية، مثل المتوسط ​​والتباين. ومع ذلك، فإن القيمة صفر توحي بأن متوسط ​​وتباين جميع الإحصاءات الكافية يساويان صفرًا بشكل منتظم، بينما في الواقع متوسطأنا{\displaystyle i}ينبغي أن تكون الإحصائية الكافيةصأنا{\displaystyle p_{i}}(يظهر هذا بشكل صحيح عند استخدام شكلأ(x){\displaystyle A(x)}(كما هو موضح في النسخة 3.)

العزوم والتراكمات للإحصائية الكافية

تطبيع التوزيع

نبدأ بتطبيع توزيع الاحتمال. بشكل عام، يمكن تحويل أي دالة غير سالبة f ( x ) التي تعمل كنواة لتوزيع الاحتمال (الجزء الذي يرمز إلى كل الاعتماد على x ) إلى توزيع مناسب عن طريق التطبيع : أي

ص(x)=1Zو(x){\displaystyle p(x)={\frac {1}{Z}}f(x)}

أين

Z=∫xو(x)دx.{\displaystyle Z=\int _{x}f(x)\,dx.}

يُطلق على العامل Z أحيانًا اسم عامل التطبيع أو دالة التقسيم ، استنادًا إلى تشبيه بالفيزياء الإحصائية .

في حالة عائلة أسية حيث ص(x؛η)=ز(η)ح(x)هـη⋅تي(x)،{\displaystyle p(x;{\boldsymbol {\eta }})=g({\boldsymbol {\eta }})h(x)e^{{\boldsymbol {\eta }}\cdot \mathbf {T} (x)},}

النواة هي ك(x)=ح(x)هـη⋅تي(x){\displaystyle K(x)=h(x)e^{{\boldsymbol {\eta }}\cdot \mathbf {T} (x)}} ودالة التقسيم هي Z=∫xح(x)هـη⋅تي(x)دx.{\displaystyle Z=\int _{x}h(x)e^{{\boldsymbol {\eta }}\cdot \mathbf {T} (x)}\,dx.}

بما أن التوزيع يجب أن يكون معيارياً، فإننا لدينا

1=∫xز(η)ح(x)هـη⋅تي(x)دx=ز(η)∫xح(x)هـη⋅تي(x)دx=ز(η)Z.{\displaystyle {\begin{aligned}1&=\int _{x}g({\boldsymbol {\eta }})h(x)e^{{\boldsymbol {\eta }}\cdot \mathbf {T} (x)}\,dx\\&=g({\boldsymbol {\eta }})\int _{x}h(x)e^{{\boldsymbol {\eta }}\cdot \mathbf {T} (x)}\,dx\\[1ex]&=g({\boldsymbol {\eta }})Z.\end{aligned}}}

بعبارة أخرى، ز(η)=1Z{\displaystyle g({\boldsymbol {\eta }})={\frac {1}{Z}}} أو ما يعادل ذلك أ(η)=-سجل⁡ز(η)=سجل⁡Z.{\displaystyle A({\boldsymbol {\eta }})=-\log g({\boldsymbol {\eta }})=\log Z.}

وهذا يبرر تسمية A بوظيفة التطبيع اللوغاريتمي أو وظيفة التقسيم اللوغاريتمي .

دالة توليد العزوم للإحصائية الكافية

الآن، دالة توليد العزوم لـ T ( x ) هي

متي(u)≡هـ⁡[خبرة⁡(uتيتي(x))|η]=∫xح(x)خبرة⁡[(η+u)تيتي(x)-أ(η)]دx=هـأ(η+u)-أ(η){\displaystyle {\begin{aligned}M_{T}(u)&\equiv \operatorname {E} \left[\exp \left(u^{\mathsf {T}}T(x)\right)\mid \eta \right]\\&=\int _{x}h(x)\,\exp \left[(\eta +u)^{\mathsf {T}}T(x)-A(\eta )\right]\,dx\\[1ex]&=e^{A(\eta +u)-A(\eta )}\end{aligned}}}

مما يثبت البيان السابق بأن

ك(u|η)=أ(η+u)-أ(η){\displaystyle K(u\mid \eta )=A(\eta +u)-A(\eta )}

هي دالة توليد العزوم التراكمية لـ T.

تُعد العائلات الأسية الطبيعية فئة فرعية مهمة من العائلات الأسية ، والتي لها شكل مشابه لدالة توليد العزوم لتوزيع x .

المتطابقات التفاضلية للتراكمات

وبشكل خاص، باستخدام خصائص دالة توليد العزوم التراكمية،

هـ⁡(تيج)=∂أ(η)∂ηج{\displaystyle \operatorname {E} (T_{j})={\frac {\partial A(\eta )}{\partial \eta _{j}}}}

و

كوف⁡(تيأنا،تيج)=∂2أ(η)∂ηأنا∂ηج.{\displaystyle \operatorname {cov} \left(T_{i},\,T_{j}\right)={\frac {\partial ^{2}A(\eta )}{\partial \eta _{i}\,\partial \eta _{j}}}.}

يمكن استخلاص أول عزمين خامين وجميع العزوم المختلطة من هاتين المتطابقتين. أما العزوم والتراكمات من الرتب العليا فتُحسب باستخدام المشتقات العليا. وتُعد هذه التقنية مفيدةً غالبًا عندما تكون T دالة معقدة للبيانات، ويصعب حساب عزومها بالتكامل.

ثمة طريقة أخرى لفهم هذا الأمر لا تعتمد على نظرية التراكمات ، وهي البدء من حقيقة أن توزيع عائلة أسية يجب أن يكون معياريًا، ثم اشتقاقه. نوضح ذلك باستخدام الحالة البسيطة لمعامل أحادي البعد، ولكن يمكن تطبيق اشتقاق مماثل على نطاق أوسع.

في الحالة أحادية البعد، لدينا ص(x)=ز(η)ح(x)هـηتي(x).{\displaystyle p(x)=g(\eta )h(x)e^{\eta T(x)}.}

يجب توحيد هذا، لذلك

1=∫xص(x)دx=∫xز(η)ح(x)هـηتي(x)دx=ز(η)∫xح(x)هـηتي(x)دx.{\displaystyle 1=\int _{x}p(x)\,dx=\int _{x}g(\eta )h(x)e^{\eta T(x)}\,dx=g(\eta )\int _{x}h(x)e^{\eta T(x)}\,dx.}

اشتق كلا الطرفين بالنسبة إلى η :

0=ز(η)ددη∫xح(x)هـηتي(x)دx+ز′(η)∫xح(x)هـηتي(x)دx=ز(η)∫xح(x)(ددηهـηتي(x))دx+ز′(η)∫xح(x)هـηتي(x)دx=ز(η)∫xح(x)هـηتي(x)تي(x)دx+ز′(η)∫xح(x)هـηتي(x)دx=∫xتي(x)ز(η)ح(x)هـηتي(x)دx+ز′(η)ز(η)∫xز(η)ح(x)هـηتي(x)دx=∫xتي(x)ص(x)دx+ز′(η)ز(η)∫xص(x)دx=هـ⁡[تي(x)]+ز′(η)ز(η)=هـ⁡[تي(x)]+ددηسجل⁡ز(η){\displaystyle {\begin{aligned}0&=g(\eta ){\frac {d}{d\eta }}\int _{x}h(x)e^{\eta T(x)}\,dx+g'(\eta )\int _{x}h(x)e^{\eta T(x)}\,dx\\[1ex]&=g(\eta )\int _{x}h(x)\left({\frac {d}{d\eta }}e^{\eta T(x)}\right)\,dx+g'(\eta )\int _{x}h(x)e^{\eta T(x)}\,dx\\[1ex]&=g(\eta )\int _{x}h(x)e^{\eta T(x)}T(x)\,dx+g'(\eta )\int _{x}h(x)e^{\eta T(x)}\,dx\\[1ex]&=\int _{x}T(x)g(\eta )h(x)e^{\eta T(x)}\,dx+{\frac {g'(\eta )}{g(\eta )}}\int _{x}g(\eta )h(x)e^{\eta T(x)}\,dx\\[1ex]&=\int _{x}T(x)p(x)\,dx+{\frac {g'(\eta )}{g(\eta )}}\int _{x}p(x)\,dx\\[1ex]&=\operatorname {E} [T(x)]+{\frac {g'(\eta )}{g(\eta )}}\\[1ex]&=\operatorname {E} [T(x)]+{\frac {d}{d\eta }}\log g(\eta )\end{aligned}}}

لذلك، هـ⁡[تي(x)]=-ددηسجل⁡ز(η)=ددηأ(η).{\displaystyle \operatorname {E} [T(x)]=-{\frac {d}{d\eta }}\log g(\eta )={\frac {d}{d\eta }}A(\eta ).}

المثال 1

كمثال تمهيدي، لنأخذ توزيع جاما ، الذي يُعرَّف توزيعه بواسطة

ص(x)=βαΓ(α)xα-1هـ-βx.{\displaystyle p(x)={\frac {\beta ^{\alpha }}{\Gamma (\alpha )}}x^{\alpha -1}e^{-\beta x}.}

بالرجوع إلى الجدول أعلاه، يمكننا أن نرى أن المعامل الطبيعي يُعطى بواسطة

η1=α-1،η2=-β،{\displaystyle {\begin{aligned}\eta _{1}&=\alpha -1,\\\eta _{2}&=-\beta ,\end{aligned}}}

الاستبدالات العكسية هي

α=η1+1،β=-η2،{\displaystyle {\begin{aligned}\alpha &=\eta _{1}+1,\\\beta &=-\eta _{2},\end{aligned}}}

الإحصائيات الكافية هي (log x , x) ، ودالة التقسيم اللوغاريتمي هي

أ(η1،η2)=سجل⁡Γ(η1+1)-(η1+1)سجل⁡(-η2).{\displaystyle A(\eta _{1},\eta _{2})=\log \Gamma (\eta _{1}+1)-(\eta _{1}+1)\log(-\eta _{2}).}

يمكننا إيجاد متوسط ​​الإحصائيات الكافية كما يلي. أولاً، بالنسبة لـ η 1 :

هـ⁡[سجل⁡x]=∂∂η1أ(η1،η2)=∂∂η1[سجل⁡Γ(η1+1)-(η1+1)سجل⁡(-η2)]=ψ(η1+1)-سجل⁡(-η2)=ψ(α)-سجل⁡β،{\displaystyle {\begin{aligned}\operatorname {E} [\log x]&={\frac {\partial }{\partial \eta _{1}}}A(\eta _{1},\eta _{2})\\[0.5ex]&={\frac {\partial }{\partial \eta _{1}}}\left[\log \Gamma (\eta _{1}+1)-(\eta _{1}+1)\log(-\eta _{2})\right]\\[1ex]&=\psi (\eta _{1}+1)-\log(-\eta _{2})\\[1ex]&=\psi (\alpha )-\log \beta ,\end{aligned}}}

أينψ(x){\displaystyle \psi (x)}هي دالة ديجاما (مشتقة لوغاريتم جاما)، وقد استخدمنا عمليات الاستبدال العكسي في الخطوة الأخيرة.

أما بالنسبة لـ η 2 :

هـ⁡[x]=∂∂η2أ(η1،η2)=∂∂η2[سجل⁡Γ(η1+1)-(η1+1)سجل⁡(-η2)]=-(η1+1)1-η2(-1)=η1+1-η2=αβ،{\displaystyle {\begin{aligned}\operatorname {E} [x]&={\frac {\partial }{\partial \eta _{2}}}A(\eta _{1},\eta _{2})\\[1ex]&={\frac {\partial }{\partial \eta _{2}}}\left[\log \Gamma (\eta _{1}+1)-(\eta _{1}+1)\log(-\eta _{2})\right]\\[1ex]&=-(\eta _{1}+1){\frac {1}{-\eta _{2}}}(-1)={\frac {\eta _{1}+1}{-\eta _{2}}}={\frac {\alpha }{\beta }},\end{aligned}}}

ثم إجراء الاستبدال العكسي مرة أخرى في الخطوة الأخيرة.

لحساب تباين x ، نقوم ببساطة بالتفاضل مرة أخرى:

متغير⁡(x)=∂2∂η22أ(η1،η2)=∂∂η2η1+1-η2=η1+1η22=αβ2.{\displaystyle {\begin{aligned}\operatorname {Var} (x)&={\frac {\partial ^{2}}{\partial \eta _{2}^{2}}}A{\left(\eta _{1},\eta _{2}\right)}={\frac {\partial }{\partial \eta _{2}}}{\frac {\eta _{1}+1}{-\eta _{2}}}\\[1ex]&={\frac {\eta _{1}+1}{\eta _{2}^{2}}}={\frac {\alpha }{\beta ^{2}}}.\end{aligned}}}

يمكن إجراء كل هذه الحسابات باستخدام التكامل، والاستفادة من الخصائص المختلفة لدالة جاما ، ولكن هذا يتطلب عملاً أكثر بكثير.

المثال 2

كمثال آخر، لنفترض متغيرًا عشوائيًا حقيقي القيمة X بكثافة احتمالية

صθ(x)=θهـ-x(1+هـ-x)θ+1{\displaystyle p_{\theta }(x)={\frac {\theta e^{-x}}{\left(1+e^{-x}\right)^{\theta +1}}}}

مفهرسة حسب معلمة الشكلθ∈(0،∞){\displaystyle \theta \in (0,\infty )}(يُطلق على هذا اسم التوزيع اللوجستي المائل ). يمكن إعادة كتابة الكثافة على النحو التالي:

هـ-x1+هـ-xخبرة⁡[-θسجل⁡(1+هـ-x)+سجل⁡(θ)]{\displaystyle {\frac {e^{-x}}{1+e^{-x}}}\exp[-\theta \log \left(1+e^{-x})+\log(\theta )\right]}

لاحظ أن هذه عائلة أسية ذات معامل طبيعي

η=-θ،{\displaystyle \eta =-\theta ,}

إحصائية كافية

تي=سجل⁡(1+هـ-x)،{\displaystyle T=\log \left(1+e^{-x}\right),}

ودالة التقسيم اللوغاريتمي

أ(η)=-سجل⁡(θ)=-سجل⁡(-η){\displaystyle A(\eta )=-\log(\theta )=-\log(-\eta )}

باستخدام المتطابقة الأولى،

هـ⁡[سجل⁡(1+هـ-X)]=هـ⁡(تي)=∂أ(η)∂η=∂∂η[-سجل⁡(-η)]=1-η=1θ،{\displaystyle \operatorname {E} \left[\log \left(1+e^{-X}\right)\right]=\operatorname {E} (T)={\frac {\partial A(\eta )}{\partial \eta }}={\frac {\partial }{\partial \eta }}[-\log(-\eta )]={\frac {1}{-\eta }}={\frac {1}{\theta }},}

وباستخدام الهوية الثانية

متغير⁡[سجل⁡(1+هـ-X)]=∂2أ(η)∂η2=∂∂η[1-η]=1(-η)2=1θ2.{\displaystyle \operatorname {var} \left[\log \left(1+e^{-X}\right)\right]={\frac {\partial ^{2}A(\eta )}{\partial \eta ^{2}}}={\frac {\partial }{\partial \eta }}\left[{\frac {1}{-\eta }}\right]={\frac {1}{{\left(-\eta \right)}^{2}}}={\frac {1}{\theta ^{2}}}.}

يوضح هذا المثال حالة يكون فيها استخدام هذه الطريقة بسيطًا للغاية، ولكن الحساب المباشر سيكون شبه مستحيل.

المثال 3

المثال الأخير هو مثالٌ يصعب فيه التكامل للغاية. هذا هو حال توزيع ويشارت ، المعرّف على المصفوفات. حتى اشتقاق هذه الدوال يُعدّ معقداً بعض الشيء، إذ يتطلب حساب المصفوفات ، ولكنّ المتطابقات ذات الصلة مذكورة في تلك المقالة.

من الجدول أعلاه، يمكننا أن نرى أن المعامل الطبيعي يُعطى بالصيغة التالية:

η1=-12V-1،η2=-12(ن-ص-1)،{\displaystyle {\begin{aligned}{\boldsymbol {\eta }}_{1}&=-{\tfrac {1}{2}}\mathbf {V} ^{-1},\\\eta _{2}&={\hphantom {-}}{\tfrac {1}{2}}\left(np-1\right),\end{aligned}}}

الاستبدالات العكسية هي

V=-12η1-1،ن=2η2+ص+1،{\displaystyle {\begin{aligned}\mathbf {V} &=-{\tfrac {1}{2}}{\boldsymbol {\eta }}_{1}^{-1},\\n&=2\eta _{2}+p+1,\end{aligned}}}

والإحصاءات الكافية هي(X،سجل⁡|X|).{\displaystyle (\mathbf {X} ,\log |\mathbf {X} |).}

تُكتب دالة التقسيم اللوغاريتمي بأشكال مختلفة في الجدول، لتسهيل التفاضل والتعويض العكسي. نستخدم الأشكال التالية:

أ(η1،ن)=-ن2سجل⁡|-η1|+سجل⁡Γص(ن2)،أ(V،η2)=(η2+ص+12)سجل⁡(2ص|V|)+سجل⁡Γص(η2+ص+12).{\displaystyle {\begin{aligned}A({\boldsymbol {\eta }}_{1},n)&=-{\frac {n}{2}}\log \left|-{\boldsymbol {\eta }}_{1}\right|+\log \Gamma _{p}{\left({\frac {n}{2}}\right)},\\[1ex]A(\mathbf {V} ,\eta _{2})&=\left(\eta _{2}+{\frac {p+1}{2}}\right)\log \left(2^{p}\left|\mathbf {V} \right|\right)+\log \Gamma _{p}{\left(\eta _{2}+{\frac {p+1}{2}}\right)}.\end{aligned}}}

القيمة المتوقعة لـ X (المرتبطة بـ η 1 )

للتفاضل بالنسبة إلى η 1 ، نحتاج إلى متطابقة حساب المصفوفات التالية :

∂سجل⁡|أX|∂X=(X-1)تي{\displaystyle {\frac {\partial \log |a\mathbf {X} |}{\partial \mathbf {X} }}=(\mathbf {X} ^{-1})^{\mathsf {T}}}

ثم:

هـ⁡[X]=∂∂η1أ(η1،...)=∂∂η1[-ن2سجل⁡|-η1|+سجل⁡Γص(ن2)]=-ن2(η1-1)تي=ن2(-η1-1)تي=ن(V)تي=نV{\displaystyle {\begin{aligned}\operatorname {E} [\mathbf {X} ]&={\frac {\partial }{\partial {\boldsymbol {\eta }}_{1}}}A\left({\boldsymbol {\eta }}_{1},\ldots \right)\\[1ex]&={\frac {\partial }{\partial {\boldsymbol {\eta }}_{1}}}\left[-{\frac {n}{2}}\log \left|-{\boldsymbol {\eta }}_{1}\right|+\log \Gamma _{p}{\left({\frac {n}{2}}\right)}\right]\\[1ex]&=-{\frac {n}{2}}({\boldsymbol {\eta }}_ {1}^{-1})^{\mathsf {T}}\\[1ex]&={\frac {n}{2}}(-{\boldsymbol {\eta}}_{1}^{-1})^{\mathsf {T}}\\[1ex]&=n(\mathbf {V} )^{\mathsf {T}}\\[1ex]&=n\mathbf {V} \end{محاذاة}}}

يستخدم السطر الأخير حقيقة أن V متناظر، وبالتالي فهو نفسه عند نقله.

القيمة المتوقعة لـ log | X | (المرتبطة بـ η 2 )

أما بالنسبة لـ η 2 ، فنحن نحتاج أولاً إلى توسيع جزء دالة التقسيم اللوغاريتمي الذي يتضمن دالة جاما متعددة المتغيرات :

سجل⁡Γص(أ)=سجل⁡(πص(ص-1)4∏ج=1صΓ(أ+1-ج2))=ص(ص-1)4سجل⁡π+∑ج=1صسجل⁡Γ(أ+1-ج2)\displaystyle \begin{aligned}\log \Gamma _{p}(a)&=\log \left(\pi ^{\frac {p(p-1)}{4}}\prod _{j=1}^{p}\Gamma {\left(a+{\frac {1-j}{2}}\right)}\right)\\&={\frac {p(p-1)}{4}}\log \pi +\sum _{j=1}^{p}\log \Gamma {\left(a+{\frac {1-j}{2}}\right)}\end{aligned}}}

نحتاج أيضًا إلى دالة ديجاما :

ψ(x)=ددxسجل⁡Γ(x).{\displaystyle \psi (x)={\frac {d}{dx}}\log \Gamma (x).}

ثم:

هـ⁡[سجل⁡|X|]=∂∂η2أ(...،η2)=∂∂η2[-(η2+ص+12)سجل⁡(2ص|V|)+سجل⁡Γص(η2+ص+12)]=∂∂η2[(η2+ص+12)سجل⁡(2ص|V|)]+∂∂η2[ص(ص-1)4سجل⁡π]=+∂∂η2∑ج=1صسجل⁡Γ(η2+ص+12+1-ج2)=صسجل⁡2+سجل⁡|V|+∑ج=1صψ(η2+ص+12+1-ج2)=صسجل⁡2+سجل⁡|V|+∑ج=1صψ(ن-ص-12+ص+12+1-ج2)=صسجل⁡2+سجل⁡|V|+∑ج=1صψ(ن+1-ج2){\displaystyle {\begin{aligned}\operatorname {E} [\log |\mathbf {X} |]&={\frac {\partial }{\partial \eta _{2}}}A\left(\ldots ,\eta _{2}\right)\\[1ex]&={\frac {\partial }{\partial \eta _{2}}}\left[-\left(\eta _{2}+{\frac {p+1}{2}}\right)\log \left(2^{p}\left|\mathbf {V} \right|\right)+\log \Gamma _{p}{\left(\eta _{2}+{\frac {p+1}{2}}\right)}\right]\\[1ex]&={\frac {\partial }{\partial \eta _{2}}}\left[\left(\eta _{2}+{\frac {p+1}{2}}\right)\log \left(2^{p}\left|\mathbf {V} \right|\right)\right]+{\frac {\partial }{\partial \eta _{2}}}\left[{\frac {p(p-1)}{4}}\log \pi \right]\\&{\hphantom {=}}+{\frac {\partial }{\partial \eta _{2}}}\sum _{j=1}^{p}\log \Gamma {\left(\eta _{2}+{\frac {p+1}{2}}+{\frac {1-j}{2}}\right)}\\[1ex]&=p\log 2+\log |\mathbf {V} |+\sum _{j=1}^{p}\psi {\left(\eta _{2}+{\frac {p+1}{2}}+{\frac {1-j}{2}}\right)}\\[1ex]&=p\log 2+\log |\mathbf {V} |+\sum _{j=1}^{p}\psi {\left({\frac {n-p-1}{2}}+{\frac {p+1}{2}}+{\frac {1-j}{2}}\right)}\\[1ex]&=p\log 2+\log |\mathbf {V} |+\sum _{j=1}^{p}\psi {\left({\frac {n+1-j}{2}}\right)}\end{aligned}}}

هذه الصيغة الأخيرة مذكورة في مقالة توزيع ويشارت . كلا هذين الافتراضين ضروريان عند اشتقاق معادلات تحديث بايز التبايني في شبكة بايز التي تتضمن توزيع ويشارت (وهو التوزيع المسبق المترافق للتوزيع الطبيعي متعدد المتغيرات ).

سيكون حساب هذه الصيغ باستخدام التكامل أكثر صعوبة بكثير. فالصيغة الأولى، على سبيل المثال، تتطلب تكامل المصفوفات.

إنتروبيا

الإنتروبيا النسبية

تُعطى الإنتروبيا النسبية ( تباعد كولباك-لايبير ، تباعد KL) لتوزيعين ضمن عائلة أسية بصيغة بسيطة هي تباعد بريغمان بين المعاملات الطبيعية بالنسبة إلى اللوغاريتم الطبيعي. [ 14 ] تُعرَّف الإنتروبيا النسبية بدلالة التكامل، بينما يُعرَّف تباعد بريغمان بدلالة المشتقة والجداء الداخلي، مما يجعله أسهل في الحساب وله صيغة مغلقة (بافتراض أن للمشتقة صيغة مغلقة). علاوة على ذلك، فإن تباعد بريغمان بدلالة المعاملات الطبيعية واللوغاريتم الطبيعي يساوي تباعد بريغمان للمعاملات الثنائية (معاملات التوقع)، بترتيب عكسي، بالنسبة للدالة المرافقة المحدبة . [ 15 ]

تثبيت عائلة أسية باستخدام مُعَدِّل لوغاريتميأ{\displaystyle A}( مع المرافق المحدب )أ*{\displaystyle A^{*}}الكتابة​Pأ،θ{\displaystyle P_{A,\theta }}بالنسبة للتوزيع في هذه العائلة الذي يتوافق مع قيمة ثابتة للمعامل الطبيعي ⁠θ{\displaystyle \theta }( كتابة )θ′{\displaystyle \theta '}لقيمة أخرى ، ومعη،η′{\displaystyle \eta ,\eta '}( لمعاملات التوقع/العزم المزدوجة المقابلة)، وكتابة KL للدلالة على تباعد KL، وبأ{\displaystyle B_{A}}بالنسبة لتباعد بريغمان، ترتبط التباعدات على النحو التالي: كوالالمبور⁡(Pأ،θ∥Pأ،θ′)=بأ(θ′∥θ)=بأ*(η∥η′).{\displaystyle \operatorname {KL} (P_{A,\theta }\parallel P_{A,\theta '})=B_{A}(\theta '\parallel \theta )=B_{A^{*}}(\eta \parallel \eta ').}

يُكتب تباعد KL بشكل تقليدي بالنسبة للمعامل الأول ، بينما يُكتب تباعد Bregman بشكل تقليدي بالنسبة للمعامل الثاني ، وبالتالي يمكن قراءة ذلك على أنه "الإنتروبيا النسبية تساوي تباعد Bregman المحدد بواسطة الموحد اللوغاريتمي على المعاملات الطبيعية المتبادلة"، أو بشكل مكافئ على أنه "يساوي تباعد Bregman المحدد بواسطة الثنائي للموحد اللوغاريتمي على معاملات التوقع".

اشتقاق أقصى إنتروبيا

تنشأ العائلات الأسية بشكل طبيعي كإجابة على السؤال التالي: ما هو توزيع الإنتروبيا القصوى المتوافق مع القيود المعطاة على القيم المتوقعة؟ [ 16 ]

لا يمكن حساب إنتروبيا المعلومات لتوزيع احتمالي dF ( x ) إلا بالنسبة لتوزيع احتمالي آخر (أو، بشكل أعم، مقياس موجب)، ويجب أن يكون كلا المقياسين متصلين اتصالاً مطلقاً . وبناءً على ذلك، نحتاج إلى اختيار مقياس مرجعي dH ( x ) له نفس نطاق dF ( x ) .

إنتروبيا dF ( x ) بالنسبة إلى dH ( x ) هي

S[دF|دح]=-∫دFدحسجل⁡دFدحدح{\displaystyle S[dF\mid dH]=-\int {\frac {dF}{dH}}\log {\frac {dF}{dH}}\,dH}

أو

S[دF|دح]=∫سجل⁡دحدFدF{\displaystyle S[dF\mid dH]=\int \log {\frac {dH}{dF}}\,dF}

حيث أن dF / dH و dH / dF هما مشتقات رادون-نيكوديم . التعريف العادي للإنتروبيا لتوزيع منفصل مدعوم على مجموعة I ، وهو

S=-∑أنا∈أناصأناسجل⁡صأنا{\displaystyle S=-\sum _{i\in I}p_{i}\log p_{i}}

يفترض ، على الرغم من أنه نادراً ما يتم الإشارة إلى ذلك، أن dH يتم اختياره ليكون مقياس العد على I.

لنفترض الآن مجموعة من الكميات القابلة للملاحظة (المتغيرات العشوائية) Ti . إن توزيع الاحتمال dF الذي تكون إنتروبيته بالنسبة إلى dH هي الأكبر، بشرط أن تكون القيمة المتوقعة لـ Ti مساوية لـ t i ، هو عائلة أسية مع dH كمقياس مرجعي و ( T1 ، ... ، Tn ) كإحصائية كافية.

الاشتقاق عبارة عن حساب تبايني بسيط باستخدام معاملات لاغرانج . يتم فرض التطبيع بجعل T₀ = 1 أحد القيود. المعاملات الطبيعية للتوزيع هي معاملات لاغرانج، وعامل التطبيع هو معامل لاغرانج المرتبط بـ T₀ .

للاطلاع على أمثلة على هذه الاشتقاقات، انظر توزيع احتمالية الإنتروبيا القصوى .

دور في الإحصاء

التقدير الكلاسيكي: الكفاية

وفقًا لنظرية بيتمان – كوبمان – دارموا ، من بين عائلات التوزيعات الاحتمالية التي لا يتغير نطاقها مع المعلمة التي يتم تقديرها، يوجد فقط في العائلات الأسية إحصائية كافية يظل بُعدها محدودًا مع زيادة حجم العينة.

بصورة أقل اختصارًا، لنفترض أن X <sub> k </sub> (حيث k = 1، 2، 3، ...، n ) متغيرات عشوائية مستقلة ومتطابقة التوزيع. فقط إذا كان توزيعها من عائلة التوزيعات الأسية ، توجد إحصائية كافية T ( X <sub>1</sub> , ..., X<sub> n</sub> ) لا يزداد عدد مكوناتها العددية مع ازدياد حجم العينة n ؛ قد تكون الإحصائية T متجهًا أو عددًا عدديًا واحدًا ، ولكن مهما كانت، فإن حجمها لن يزداد ولن ينقص عند الحصول على المزيد من البيانات.

كمثال مضاد، إذا تم تخفيف هذه الشروط، فإن عائلة التوزيعات المنتظمة (سواء كانت منفصلة أو متصلة ، مع عدم معرفة أحد الحدود أو كليهما) لديها إحصائية كافية، وهي الحد الأقصى للعينة، والحد الأدنى للعينة، وحجم العينة، ولكنها لا تشكل عائلة أسية، حيث يتغير المجال مع المعلمات.

التقدير البايزي: التوزيعات المترافقة

تُعدّ العائلات الأسية مهمة أيضًا في الإحصاء البايزي . في الإحصاء البايزي، يُضرب التوزيع المسبق بدالة الاحتمال ثم يُعاد توحيده لإنتاج التوزيع اللاحق . في حالة دالة الاحتمال التي تنتمي إلى عائلة أسية، يوجد توزيع مسبق مترافق ، والذي غالبًا ما ينتمي أيضًا إلى عائلة أسية. التوزيع المسبق المترافق π للمعلمةη{\displaystyle {\boldsymbol {\eta }}}من عائلة أسية

و(x|η)=ح(x)خبرة⁡[ηتيتي(x)-أ(η)]{\displaystyle f(x\mid {\boldsymbol {\eta }})=h(x)\,\exp \left[{\boldsymbol {\eta }}^{\mathsf {T}}\mathbf {T} (x)-A({\boldsymbol {\eta }})\right]}

يُعطى بواسطة

صπ(η|χ،ν)=و(χ،ν)خبرة⁡[ηتيχ-νأ(η)]،{\displaystyle p_{\pi }({\boldsymbol {\eta }}\mid {\boldsymbol {\chi }},\nu )=f({\boldsymbol {\chi }},\nu )\,\exp \left[{\boldsymbol {\eta }}^{\mathsf {T}}{\boldsymbol {\chi }}-\nu A({\boldsymbol {\eta }})\right],}

أو ما يعادل ذلك

صπ(η|χ،ν)=و(χ،ν)ز(η)νخبرة⁡(ηتيχ)،χ∈Rs{\displaystyle p_{\pi }({\boldsymbol {\eta }}\mid {\boldsymbol {\chi }},\nu )=f({\boldsymbol {\chi }},\nu )\,g({\boldsymbol {\eta }})^{\nu }\,\exp \left({\boldsymbol {\eta }}^{\mathsf {T}}{\boldsymbol {\chi }}\right),\qquad {\boldsymbol {\chi }}\in \mathbb {R} ^{s}}

حيث s هو بُعدη{\displaystyle {\boldsymbol {\eta }}}وν>0{\displaystyle \nu >0}وχ{\displaystyle {\boldsymbol {\chi }}}هي معلمات فائقة (معلمات تتحكم في المعلمات).ν{\displaystyle \nu }يتوافق ذلك مع العدد الفعلي للملاحظات التي يساهم بها التوزيع المسبق، وχ{\displaystyle {\boldsymbol {\chi }}}يتوافق مع إجمالي المبلغ الذي تساهم به هذه الملاحظات الزائفة في الإحصاء الكافي لجميع الملاحظات والملاحظات الزائفة.و(χ،ν){\displaystyle f({\boldsymbol {\chi }},\nu )}هو ثابت تطبيع يتم تحديده تلقائيًا بواسطة الدوال المتبقية ويعمل على ضمان أن الدالة المعطاة هي دالة كثافة احتمالية (أي أنها مُطَبَّعة ).أ(η){\displaystyle A({\boldsymbol {\eta }})}وبالمثلز(η){\displaystyle g({\boldsymbol {\eta }})}هي نفس الدوال الموجودة في تعريف التوزيع الذي يكون فيه π هو التوزيع المسبق المترافق.

التوزيع المسبق المترافق هو توزيع، عند دمجه مع دالة الاحتمال وتطبيعه، ينتج عنه توزيع لاحق من نفس نوع التوزيع المسبق. على سبيل المثال، عند تقدير احتمال نجاح توزيع ذي الحدين، فإن استخدام توزيع بيتا كتوزيع مسبق يؤدي إلى توزيع لاحق آخر من نوع بيتا. وهذا يُسهّل حساب التوزيع اللاحق بشكل كبير. وبالمثل، عند تقدير معلمة توزيع بواسون ، فإن استخدام توزيع جاما مسبق يؤدي إلى توزيع جاما لاحق آخر. تتميز التوزيعات المسبقة المترافقة بمرونتها العالية وسهولة استخدامها. مع ذلك، إذا كان الاعتقاد بالقيمة المحتملة لمعلمة ثيتا لتوزيع ذي الحدين ممثلاً (مثلاً) بتوزيع مسبق ثنائي النمط (ذو قمتين)، فلا يمكن تمثيله بتوزيع بيتا. ولكن يمكن تمثيله باستخدام دالة كثافة خليط كتوزيع مسبق، وهي هنا مزيج من توزيعين بيتا؛ وهذا شكل من أشكال التوزيع المسبق الفائق .

لن ينتمي احتمال عشوائي إلى عائلة التوزيعات الأسية، وبالتالي لا يوجد عمومًا توزيع احتمالي مسبق مترافق. لذا، يجب حساب التوزيع الاحتمالي اللاحق باستخدام الطرق العددية.

ولإثبات أن التوزيع المسبق المذكور أعلاه هو توزيع مسبق مترافق، يمكننا اشتقاق التوزيع اللاحق.

أولاً، افترض أن احتمال حدوث ملاحظة واحدة يتبع عائلة أسية، يتم تحديدها باستخدام معلمتها الطبيعية:

صF(x|η)=ح(x)ز(η)خبرة⁡[ηتيتي(x)]{\displaystyle p_{F}(x\mid {\boldsymbol {\eta }})=h(x)\,g({\boldsymbol {\eta }})\,\exp \left[{\boldsymbol {\eta }}^{\mathsf {T}}\mathbf {T} (x)\right]}

ثم، بالنسبة للبياناتX=(x1،...،xن){\displaystyle \mathbf {X} =(x_{1},\ldots ,x_{n})}، ويتم حساب الاحتمالية على النحو التالي:

ص(X|η)=(∏أنا=1نح(xأنا))ز(η)نخبرة⁡(ηتي∑أنا=1نتي(xأنا)){\displaystyle p(\mathbf {X} \mid {\boldsymbol {\eta }})=\left(\prod _{i=1}^{n}h(x_{i})\right)g({\boldsymbol {\eta }})^{n}\exp \left({\boldsymbol {\eta }}^{\mathsf {T}}\sum _{i=1}^{n}\mathbf {T} (x_{i})\right)}

ثم، بالنسبة للمترافق السابق المذكور أعلاه:

صπ(η|χ،ν)=و(χ،ν)ز(η)νخبرة⁡(ηتيχ)∝ز(η)νخبرة⁡(ηتيχ){\displaystyle {\begin{aligned}p_{\pi }({\boldsymbol {\eta }}\mid {\boldsymbol {\chi }},\nu )&=f({\boldsymbol {\chi }},\nu )g({\boldsymbol {\eta }})^{\nu }\exp({\boldsymbol {\eta }}^{\mathsf {T}}{\boldsymbol {\chi }})\propto g({\boldsymbol {\eta }})^{\nu }\exp({\boldsymbol {\eta }}^{\mathsf {T}}{\boldsymbol {\chi }})\end{aligned}}}

يمكننا بعد ذلك حساب الاحتمال اللاحق على النحو التالي:

ص(η|X،χ،ν)∝ص(X|η)صπ(η|χ،ν)=(∏أنا=1نح(xأنا))ز(η)نخبرة⁡(ηتي∑أنا=1نتي(xأنا))و(χ،ν)ز(η)νخبرة⁡(ηتيχ)∝ز(η)نخبرة⁡(ηتي∑أنا=1نتي(xأنا))ز(η)νخبرة⁡(ηتيχ)=ز(η)ν+نخبرة⁡(ηتي(χ+∑أنا=1نتي(xأنا))){\displaystyle {\begin{aligned}p({\boldsymbol {\eta }}\mid \mathbf {X} ,{\boldsymbol {\chi }},\nu )&\propto p(\mathbf {X} \mid {\boldsymbol {\eta }})p_{\pi }({\boldsymbol {\eta }}\mid {\boldsymbol {\chi }},\nu )\\&=\left(\prod _{i=1}^{n}h(x_{i})\right)g({\boldsymbol {\eta }})^{n}\exp \left({\boldsymbol {\eta }}^{\mathsf {T}}\sum _{i=1}^{n}\mathbf {T} (x_{i})\right)f({\boldsymbol {\chi }},\nu )g({\boldsymbol {\eta }})^{\nu }\exp({\boldsymbol {\eta }}^{\mathsf {T}}{\boldsymbol {\chi }})\\&\propto g({\boldsymbol {\eta }})^{n}\exp \left({\boldsymbol {\eta }}^{\mathsf {T}}\sum _{i=1}^{n}\mathbf {T} (x_{i})\right)g({\boldsymbol {\eta }})^{\nu }\exp({\boldsymbol {\eta }}^{\mathsf {T}}{\boldsymbol {\chi }})\\&=g({\boldsymbol {\eta }})^{\nu +n}\exp \left({\boldsymbol {\eta }}^{\mathsf {T}}\left({\boldsymbol {\chi }}+\sum _{i=1}^{n}\mathbf {T} (x_{i})\right)\right)\end{aligned}}}

السطر الأخير هو نواة التوزيع الاحتمالي اللاحق، أي

ص(η|X،χ،ν)=صπ(η| χ+∑أنا=1نتي(xأنا)،ν+ن){\displaystyle p({\boldsymbol {\eta }}\mid \mathbf {X} ,{\boldsymbol {\chi }},\nu )=p_{\pi }\left({\boldsymbol {\eta }}\left|~{\boldsymbol {\chi }}+\sum _{i=1}^{n}\mathbf {T} (x_{i}),\nu +n\right.\right)}

وهذا يدل على أن التوزيع الاحتمالي اللاحق له نفس شكل التوزيع الاحتمالي السابق.

لا تدخل البيانات X في هذه المعادلة إلا في التعبير

تي(X)=∑أنا=1نتي(xأنا)،{\displaystyle \mathbf {T} (\mathbf {X} )=\sum _{i=1}^{n}\mathbf {T} (x_{i}),}

وهذا ما يُسمى بالإحصائية الكافية للبيانات. أي أن قيمة الإحصائية الكافية كافية لتحديد التوزيع الاحتمالي اللاحق بشكل كامل. لا حاجة لنقاط البيانات الفعلية نفسها، وجميع مجموعات نقاط البيانات التي لها نفس الإحصائية الكافية سيكون لها نفس التوزيع. هذا مهم لأن بُعد الإحصائية الكافية لا يزداد مع حجم البيانات - فهو يحتوي فقط على عدد من المكونات يساوي عدد مكوناتη{\displaystyle {\boldsymbol {\eta }}}(بمعنى آخر، عدد معلمات توزيع نقطة بيانات واحدة).

معادلات التحديث هي كما يلي:

χ′=χ+تي(X)=χ+∑أنا=1نتي(xأنا)ν′=ν+ن{\displaystyle {\begin{aligned}{\boldsymbol {\chi }}'&={\boldsymbol {\chi }}+\mathbf {T} (\mathbf {X} )\\&={\boldsymbol {\chi }}+\sum _{i=1}^{n}\mathbf {T} (x_{i})\\\nu '&=\nu +n\end{aligned}}}

يُظهر هذا أنه يمكن كتابة معادلات التحديث ببساطة بدلالة عدد نقاط البيانات والإحصائية الكافية للبيانات. ويتضح ذلك جليًا في الأمثلة المختلفة لمعادلات التحديث المعروضة في صفحة التوزيع المسبق المترافق . ونظرًا لطريقة حساب الإحصائية الكافية، فإنها تتضمن بالضرورة مجاميع مكونات البيانات (في بعض الحالات، تكون هذه المجاميع مُقنّعة على شكل نواتج ضرب أو أشكال أخرى - حيث يمكن كتابة ناتج الضرب بدلالة مجموع اللوغاريتمات ). أما الحالات التي لا تتطابق فيها معادلات التحديث لتوزيعات معينة تمامًا مع الأشكال المذكورة أعلاه، فهي الحالات التي تم فيها التعبير عن التوزيع المسبق المترافق باستخدام معلمات مختلفة عن تلك التي تُنتج توزيعًا مسبقًا مترافقًا بالشكل المذكور أعلاه - وغالبًا ما يكون ذلك تحديدًا لأن الشكل المذكور أعلاه مُعرّف على المعلمة الطبيعية.η{\displaystyle {\boldsymbol {\eta }}}بينما يتم تعريف التوزيعات الاحتمالية المسبقة المترافقة عادةً على المعلمة الفعليةθ.{\displaystyle {\boldsymbol {\theta }}.}

تقدير غير متحيز

إذا كان الاحتمالz|η∼هـηzو1(η)و0(z){\displaystyle z|\eta \sim e^{\eta z}f_{1}(\eta )f_{0}(z)}إذا كانت عائلة أسية، فإن المقدر غير المتحيز لـη{\displaystyle \eta }يكون-ددzln⁡و0(z){\displaystyle -{\frac {d}{dz}}\ln f_{0}(z)}[ 17 ]​

اختبار الفرضيات: الاختبارات الأكثر قوة بشكل موحد

تتمتع عائلة التوزيعات الأسية ذات المعامل الواحد بنسبة احتمالية رتيبة غير متناقصة في الإحصائية الكافية T ( x ) ، بشرط أن تكون η ( θ ) غير متناقصة. ونتيجة لذلك، يوجد اختبار ذو قوة موحدة لاختبار الفرضية H₀ : θ ≥ θ₀ مقابل H₁ : θ < θ₀ .

النماذج الخطية المعممة

تُشكّل العائلات الأسية أساس دوال التوزيع المستخدمة في النماذج الخطية المعممة (GLM)، وهي فئة من النماذج تشمل العديد من نماذج الانحدار الشائعة الاستخدام في الإحصاء. ومن الأمثلة على ذلك الانحدار اللوجستي باستخدام عائلة التوزيع الثنائي وانحدار بواسون .

انظر أيضاً

الحواشي

  1. ↑ على سبيل المثال، تشمل عائلة التوزيعات الطبيعية التوزيع الطبيعي القياسي N (0، 1) بمتوسط ​​0 وتباين 1، بالإضافة إلى توزيعات طبيعية أخرى بمتوسط ​​وتباين مختلفين.
  2. ↑ غالبًا ما تُستخدم "دالة التقسيم" في الإحصاء كمرادف لـ "عامل التطبيع".
  3. ↑ غالبًا ما لا تكون هذه التوزيعات نفسها عائلات أسية. ومن الأمثلة الشائعة على العائلات غير الأسية الناشئة عن العائلات الأسية: توزيع t للطالب ، وتوزيع بيتا ذي الحدين، وتوزيع ديريشلي متعدد الحدود .

مراجع

الاقتباسات

  1. ↑ كوبيرمان، م. (1958). "احتمالات الفرضيات وإحصاءات المعلومات في أخذ العينات من مجتمعات ذات توزيع أسي" . حوليات الإحصاء الرياضي . 9 (2): 571-575 . doi : 10.1214/aoms/1177706633 . JSTOR 2237349 . 
  2. ↑ أندرسن، إيرلينغ (سبتمبر 1970). "الكفاية والعائلات الأسية لفضاءات العينة المنفصلة". مجلة الجمعية الإحصائية الأمريكية . 65 (331) . مجلة الجمعية الإحصائية الأمريكية: 1248-1255 . doi : 10.2307/2284291 . JSTOR 2284291. MR 0268992 .  
  3. ↑ بيتمان، إي .؛ ويشارت، ج. (1936). "الإحصاءات الكافية والدقة الجوهرية". وقائع الجمعية الفلسفية في كامبريدج الرياضية . 32 (4): 567-579 . Bibcode : 1936PCPS...32..567P . doi : 10.1017/S0305004100019307 . S2CID 120708376 . 
  4. ^ دارمويس، ج. (1935). "Sur les lois de probabilites تقدير شامل". سي آر أكاد. الخيال العلمي. باريس (بالفرنسية). 200 : 1265 – 1266.
  5. ↑ كوبمان، ب. (1936). "حول التوزيع الذي يقبل إحصائية كافية" . معاملات الجمعية الرياضية الأمريكية . 39 (3). الجمعية الرياضية الأمريكية : 399-409 . doi : 10.2307/1989758 . JSTOR 1989758. MR 1501854 .  
  6. ↑ "العائلات الأسية العامة" . www.randomservices.org . تم الاطلاع عليه بتاريخ 30 أغسطس 2022 .
  7. ↑ أبراموفيتش وريتوف (2013). النظرية الإحصائية: مقدمة موجزة . تشابمان وهول. ISBN 978-1439851845.
  8. ↑ بلي، ديفيد. "الاستدلال التبايني" (ملف PDF) . جامعة برينستون.
  9. ↑ كاسيلا، جورج (2002). الاستدلال الإحصائي . روجر ل. بيرغر ( الطبعة الثانية). أستراليا: تومسون ليرنينج. النظرية 6.2.25. ISBN  0-534-24312-6. OCLC 46538638 . 
  10. ↑ براون، لورانس د. (1986). أساسيات العائلات الأسية الإحصائية : مع تطبيقات في نظرية القرار الإحصائي . هايوارد، كاليفورنيا: معهد الإحصاء الرياضي. النظرية 2.12. ISBN  0-940600-10-2. OCLC 15986663 . 
  11. ↑ كينر، روبرت و. (2010). الإحصاء النظري : مواضيع لدورة أساسية . نيويورك. ص 47، مثال 3.12. ISBN   978-0-387-93839-4. OCLC 676700036 . {{cite book}}: CS1 maint: موقع الناشر مفقود ( رابط )
  12. ↑ نيلسن، فرانك؛ غارسيا، فينسنت (2009). "العائلات الأسية الإحصائية: ملخص مع بطاقات تعليمية". arXiv : 0911.4863 [ cs.LG ].
  13. ↑ فان غارديرين، كيس جان (1997). "النماذج الأسية المنحنية في الاقتصاد القياسي". النظرية الاقتصادية القياسية . 13 (6): 771-790 . doi : 10.1017/S0266466600006253 . S2CID 122742807 . 
  14. ↑ Nielsen & Nock 2010 , 4. Bregman Divergences and Relative Entropy of Exponential Families.
  15. ↑ بارندورف-نيلسن 1978 ، 9.1 الازدواجية المحدبة والعائلات الأسية.
  16. ↑ ستريمر، ك. (2026). من الفيزياء إلى الإحصاء: طريق بسيط إلى العائلات الأسية عبر أقصى إنتروبيا. ArXiv:2604.22752. https://arxiv.org/abs/2604.22752
  17. ↑ إيفرون، برادلي (ديسمبر 2011). "صيغة تويدي وانحياز الاختيار" . مجلة الجمعية الإحصائية الأمريكية . 106 (496): 1602-1614 . doi : 10.1198/jasa.2011.tm11181 . ISSN 0162-1459 . PMC 3325056. PMID 22505788 .   

مصادر

  • بارندورف-نيلسن، أولي (1978). المعلومات والعائلات الأسية في النظرية الإحصائية . سلسلة وايلي في الاحتمالات والإحصاء الرياضي. تشيتشستر: جون وايلي وأولاده المحدودة. 238 صفحة  + 9 صفحات تمهيدية. ISBN 0-471-99545-2MR 0489333​​ 
    • أُعيد طبعه بعنوان: بارندورف-نيلسن، أولي (2014). المعلومات والعائلات الأسية في النظرية الإحصائية . جون وايلي وأولاده المحدودة. doi : 10.1002/9781118857281 . ISBN 978-111885750-2.
  • نيلسن، فرانك؛ غارسيا، فينسنت (2009). "العائلات الأسية الإحصائية: ملخص مع بطاقات تعليمية". arXiv : 0911.4863 . Bibcode : 2009arXiv0911.4863N .
  • نيلسن، فرانك؛ نوك، ريتشارد (2010). الإنتروبيا والإنتروبيات المتقاطعة للعائلات الأسية (ملف PDF) . المؤتمر الدولي لمعالجة الصور التابع لمعهد مهندسي الكهرباء والإلكترونيات. doi : 10.1109/ICIP.2010.5652054 . مؤرشف من النسخة الأصلية (ملف PDF) بتاريخ 31 مارس 2019.

للمزيد من القراءة

  • فارماير، لودفيج؛ توتز، ج. (1994). النمذجة الإحصائية متعددة المتغيرات القائمة على النماذج الخطية المعممة . سبرينغر. الصفحات 18-22 ، 345-349 . ISBN  0-387-94233-5.
  • كينر، روبرت و. (2006). الإحصاء النظري: موضوعات لدورة أساسية . سبرينغر. الصفحات 27-28 ، 32-33 . ISBN  978-0-387-93838-7.
  • ليمان، إل. كاسيلا، ج. (1998). نظرية تقدير النقاط (الطبعة الثانية  ). ثانية. 1.5. رقم ISBN 0-387-98502-6.