Truncated normal distribution

📅 آخر تحديث: ٣ أغسطس ٢٠٢٦
✍️ نُشر في: ٣ أغسطس ٢٠٢٦
📷 يحتوي على 46 صور
الموسوعة الحرة

In probability and statistics, the truncated normal distribution is the probability distribution derived from that of a normally distributed random variable by bounding the random variable from either below or above (or both). The truncated normal distribution has wide applications in statistics and econometrics.

Definitions

Suppose X{\displaystyle X} has a normal distribution with mean μ{\displaystyle \mu } and variance σ2{\displaystyle \sigma ^{2}} and lies within the interval (a,b),with−∞≤a<b≤∞{\displaystyle (a,b),{\text{مع}}\;-\infty \leq a<b\leq \infty }. Then X{\displaystyle X} conditional on a<X<b{\displaystyle a<X<b} has a truncated normal distribution.

Its probability density function, f{\displaystyle f}, for a≤x≤b{\displaystyle a\leq x\leq b}, is given by

f(x;μ,σ,a,b)=1σφ(x−μσ)Φ(b−μσ)−Φ(a−μσ){\displaystyle f(x;\mu ,\sigma ,a,b)={\frac {1}{\sigma }}\,{\frac {\varphi ({\frac {x-\mu }{\sigma }})}{\Phi ({\frac {b-\mu }{\sigma }})-\Phi ({\frac {a-\mu }{\sigma }})}}}

and by f=0{\displaystyle f=0} otherwise.

Here, φ(ξ)=12πexp⁡(−12ξ2){\displaystyle \varphi (\xi )={\frac {1}{\sqrt {2\pi }}}\exp \left(-{\frac {1}{2}}\xi ^{2}\right)} is the probability density function of the standard normal distribution and Φ(⋅){\displaystyle \Phi (\cdot )} is its cumulative distribution functionΦ(x)=12(1+erf⁡(x/2)).{\displaystyle \Phi (x)={\frac {1}{2}}\left(1+\operatorname {erf} (x/{\sqrt {2}})\right).} By definition, if b=∞{\displaystyle b=\infty }, then Φ(b−μσ)=1{\displaystyle \Phi \left({\tfrac {b-\mu }{\sigma }}\right)=1}, and similarly, if a=−∞{\displaystyle a=-\infty }, then Φ(a−μσ)=0{\displaystyle \Phi \left({\tfrac {a-\mu }{\sigma }}\right)=0}.

The above formulae show that when −∞<a<b<+∞{\displaystyle -\infty <a<b<+\infty } the scale parameter σ2{\displaystyle \sigma ^{2}} of the truncated normal distribution is allowed to assume negative values. The parameter σ{\displaystyle \sigma } is in this case imaginary, but the function f{\displaystyle f} is nevertheless real, positive, and normalizable. The scale parameter σ2{\displaystyle \sigma ^{2}} of the untruncated normal distribution must be positive because the distribution would not be normalizable otherwise. The doubly truncated normal distribution, on the other hand, can in principle have a negative scale parameter (which is different from the variance, see summary formulae), because no such integrability problems arise on a bounded domain. In this case the distribution cannot be interpreted as an untruncated normal conditional on a<X<b{\displaystyle a<X<b}, of course, but can still be interpreted as a maximum-entropy distribution with first and second moments as constraints, and has an additional peculiar feature: it presents two local maxima instead of one, located at x=a{\displaystyle x=a} and x=b{\displaystyle x=b}.

Properties

The truncated normal is one of two possible maximum entropy probability distributions for a fixed mean and variance constrained to the interval [a,b], the other being the truncated U.[2] Truncated normals with fixed support form an exponential family. Nielsen[3] reported closed-form formula for calculating the Kullback-Leibler divergence and the Bhattacharyya distance between two truncated normal distributions with the support of the first distribution nested into the support of the second distribution.

Moments

If the random variable has been truncated only from below, some probability mass has been shifted to higher values, giving a first-order stochastically dominating distribution and hence increasing the mean to a value higher than the mean μ{\displaystyle \mu }من التوزيع الطبيعي الأصلي. وبالمثل، إذا تم اقتطاع المتغير العشوائي من الأعلى فقط، فإن متوسط ​​التوزيع المقتطع يكون أقل منμ.{\displaystyle \mu .}

بغض النظر عما إذا كان المتغير العشوائي محدودًا من الأعلى أو من الأسفل أو كليهما، فإن عملية القطع هي انكماش يحافظ على المتوسط ​​مصحوبًا بانزياح صلب يغير المتوسط، وبالتالي فإن تباين التوزيع المقطوع يكون أقل من التباين.σ2{\displaystyle \sigma ^{2}}من التوزيع الطبيعي الأصلي.

الاقتطاع من الجانبين

المصدر: [ 4 ]

يتركα=(أ-μ)/σ{\displaystyle \alpha =(a-\mu )/\sigma }وβ=(ب-μ)/σ{\displaystyle \beta =(b-\mu )/\sigma }. ثم: هـ⁡(X|أ<X<ب)=μ-σφ(β)-φ(α)Φ(β)-Φ(α){\displaystyle \operatorname {E} (X\mid a<X<b)=\mu -\sigma {\frac {\varphi (\beta )-\varphi (\alpha )}{\Phi (\beta )-\Phi (\alpha )}}} و متغير⁡(X|أ<X<ب)=σ2[1-βφ(β)-αφ(α)Φ(β)-Φ(α)-(φ(β)-φ(α)Φ(β)-Φ(α))2]{\displaystyle \operatorname {Var} (X\mid a<X<b)=\sigma ^{2}\left[1-{\frac {\beta \varphi (\beta )-\alpha \varphi (\alpha )}{\Phi (\beta )-\Phi (\alpha )}}-\left({\frac {\varphi (\beta )-\varphi (\alpha) )}{\Phi (\beta )-\Phi (\alpha )}}\right)^{2}\right]}

يجب توخي الحذر في التقييم العددي لهذه الصيغ، إذ يمكن أن يؤدي ذلك إلى إلغاء كارثي عندما تكون الفترة[أ،ب]{\displaystyle [a,b]}لم يشملμ{\displaystyle \mu }توجد طرق أفضل لإعادة كتابتها تتجنب هذه المشكلة. [ 5 ]

اقتطاع من جانب واحد (للذيل السفلي)

المصادر: [ 6 ] [ 7 ]

في هذه الحالةب=∞،φ(β)=0،Φ(β)=1،{\displaystyle \;b=\infty ,\;\varphi (\beta )=0,\;\Phi (\beta )=1,}ثم

هـ⁡(X|X>أ)=μ+σφ(α)/Z،{\displaystyle \operatorname {E} (X\mid X>a)=\mu +\sigma \varphi (\alpha )/Z,\!}

و

متغير⁡(X|X>أ)=σ2[1+αφ(α)/Z-(φ(α)/Z)2]،{\displaystyle \operatorname {Var} (X\mid X>a)=\sigma ^{2}[1+\alpha \varphi (\alpha )/Z-(\varphi (\alpha )/Z)^{2}],}

أينZ=1-Φ(α).{\displaystyle Z=1-\Phi (\alpha ).}

اقتطاع من جانب واحد (للذيل العلوي)

في هذه الحالةأ=α=-∞،φ(α)=0،Φ(α)=0،{\displaystyle \;a=\alpha =-\infty ,\;\varphi (\alpha )=0,\;\Phi (\alpha )=0,}ثم

هـ⁡(X|X<ب)=μ-σφ(β)Φ(β)،{\displaystyle \operatorname {E} (X\mid X<b)=\mu -\sigma {\frac {\varphi (\beta )}{\Phi (\beta )}},}متغير⁡(X|X<ب)=σ2[1-βφ(β)Φ(β)-(φ(β)Φ(β))2].{\displaystyle \operatorname {Var} (X\mid X<b)=\sigma ^{2}\left[1-\beta {\frac {\varphi (\beta )}{\Phi (\beta )}}-\left({\frac {\varphi (\beta )}{\Phi (\beta )}}\right)^{2}\right].}

قدّم بار وشيريل (1999) صيغةً أبسط لتباين عمليات القطع أحادية الجانب. صيغتهما مُشتقة من دالة التوزيع التراكمي لكاي تربيع، المُطبقة في مكتبات البرامج القياسية. كما قدّم بيبو وماثيو (2009) صيغًا لفترات الثقة (المُعمّمة) حول العزوم المقطوعة.

صيغة تكرارية

أما بالنسبة للحالة غير المقتطعة، فهناك صيغة تكرارية للعزوم المقتطعة. [ 8 ]

على وجه الخصوص، بالنسبة لـن≥0{\displaystyle n\geq 0}لدينا

هـ⁡[(x-μσ)ن+2]=αن+1φ(α)-βن+1φ(β)Φ(β)-Φ(α)+(ن+1)هـ⁡[(x-μσ)ن].{\displaystyle \operatorname {E} \left[\left({\frac {x-\mu }{\sigma }}\right)^{n+2}\right]={\frac {\alpha ^{n+1}\varphi (\alpha )-\beta ^{n+1}\varphi (\beta )}{\Phi (\beta )-\Phi (\alpha )}}+(n+1)\operatorname {E} \left[\left({\frac {x-\mu }{\sigma }}\right)^{n}\right].}

دليل

بتغيير المتغيراتξ=(x-μ)/σ{\displaystyle \xi =(x-\mu )/\sigma }، يحصل المرء هـ⁡[(x-μσ)ن+2]=∫αβξن+2φ(ξ)Φ(β)-Φ(α)دξ.{\displaystyle \operatorname {E} \left[\left({\frac {x-\mu }{\sigma }}\right)^{n+2}\right]=\int _{\alpha }^{\beta }{\frac {\xi ^{n+2}\varphi (\xi )}{\Phi (\beta )-\Phi (\alpha )}}d\xi .} استخدامφ′(ξ)=-ξφ(ξ)،{\displaystyle \varphi '(\xi )=-\xi \varphi (\xi ),}التكامل بالتجزئة ينتج هـ⁡[(x-μσ)ن+2]=[-ξن+1φ(ξ)Φ(β)-Φ(α)]αβ+(ن+1)∫αβξنφ(ξ)Φ(β)-Φ(α)دξ،{\displaystyle \operatorname {E} \left[\left({\frac {x-\mu }{\sigma }}\right)^{n+2}\right]=\left[{\frac {-\xi ^{n+1}\varphi (\xi )}{\Phi (\beta )-\Phi (\alpha )}}\right]_{\alpha }^{\beta }+(n+1)\int _{\alpha }^{\beta }{\frac {\xi ^{n}\varphi (\xi )}{\Phi (\beta )-\Phi (\alpha )}}d\xi ,} وهذا يعطي المعادلة المطلوب إثباتها.

متعدد المتغيرات

يُعد حساب لحظات التوزيع الطبيعي المقطوع متعدد المتغيرات أكثر صعوبة.

توليد القيم من التوزيع الطبيعي المقتطع

متغير عشوائيx{\displaystyle x}يُعرَّف بأنه x=Φ-1(Φ(α)+يو⋅(Φ(β)-Φ(α)))σ+μ{\displaystyle x=\Phi ^{-1}(\Phi (\alpha )+U\cdot (\Phi (\beta )-\Phi (\alpha )))\sigma +\mu } معΦ{\displaystyle \Phi }دالة التوزيع التراكمي للتوزيع الطبيعي المراد أخذ العينات منه (أي بمتوسط ​​وتباين صحيحين) وΦ-1{\displaystyle \Phi ^{-1}}وعكسه،يو{\displaystyle U}رقم عشوائي منتظم(0،1){\displaystyle (0,1)}، يتبع التوزيع المقتطع إلى النطاق(أ،ب){\displaystyle (a,b)}هذه ببساطة طريقة التحويل العكسي لمحاكاة المتغيرات العشوائية. ورغم أنها من أبسط الطرق، إلا أنها قد تفشل عند أخذ عينات من ذيل التوزيع الطبيعي، [ 9 ] أو تكون بطيئة للغاية. [ 10 ] لذا، عمليًا، يجب البحث عن طرق محاكاة بديلة.

يعتمد أحد مولدات التوزيع الطبيعي المقتطع (المُنفذ في Matlab و R (لغة البرمجة) باسم trandn.R ) على فكرة القبول والرفض التي طرحها مارساجليا. [ 11 ] على الرغم من أن معدل قبول مارساجليا (1964) أقل قليلاً من معدل قبول روبرت (1995) ، إلا أن طريقة مارساجليا عادةً ما تكون أسرع، [ 10 ] لأنها لا تتطلب التقييم العددي المكلف للدالة الأسية.

لمزيد من المعلومات حول محاكاة سحب عينة من التوزيع الطبيعي المقتطع، انظر روبرت (1995) ، ولينش (2007 ، القسم 8.1.3 (الصفحات 200-206)) ، وديفروي (1986) . تحتوي حزمة MSM في لغة R على دالة rtnorm لحساب عمليات السحب من التوزيع الطبيعي المقتطع. كما تحتوي حزمة truncnorm في لغة R على دوال لسحب عينات من التوزيع الطبيعي المقتطع.

اقترح شوبان (2011) ( arXiv ) خوارزمية مستوحاة من خوارزمية الزقورة لمارساجليا وتسانغ (1984، 2000)، والتي تُعتبر عادةً أسرع خوارزمية لأخذ عينات غاوسية، وهي قريبة جدًا من خوارزمية أهرنز (1995). تتوفر تطبيقات هذه الخوارزمية بلغات C و C++ و Matlab و Python .

يُعدّ أخذ العينات من التوزيع الطبيعي المقتطع متعدد المتغيرات أكثر صعوبةً بكثير. [ 12 ] ولا يُمكن إجراء محاكاة دقيقة أو مثالية إلا في حالة اقتطاع التوزيع الطبيعي إلى منطقة متعددة الأوجه. [ 12 ] [ 13 ] وفي حالات أكثر عمومية، قدّم داميان ووالكر (2001) منهجية عامة لأخذ عينات من الكثافات المقتطعة ضمن إطار أخذ عينات جيبس . تُدخل خوارزميتهم متغيرًا كامنًا واحدًا، وهي، ضمن إطار أخذ عينات جيبس، أكثر كفاءةً حسابيةً من خوارزمية روبرت (1995) .

انظر أيضاً

ملحوظات

  1. ^ “المحاضرة الرابعة: الاختيار” (PDF) . web.ist.utl.pt . المعهد العالي التقني . 11 نوفمبر 2002. ص.  1 . تم الاسترجاع 14 يوليو 2015 .
  2. ↑ داوسون، د.؛ وراغ، أ. (سبتمبر 1973). "توزيعات أقصى إنتروبيا ذات العزوم الأولى والثانية المحددة (مراسلات)". معاملات IEEE في نظرية المعلومات . 19 (5): 689-693 . doi : 10.1109/TIT.1973.1055060 . ISSN 1557-9654 . 
  3. ↑ فرانك نيلسن (2022). "الاختلافات الإحصائية بين كثافات العائلات الأسية المقتطعة ذات الدعم المتداخل: اختلافات بريغمان وجينسن الثنائية" . إنتروبي . 24 ( 3). MDPI: 421. Bibcode : 2022Entrp..24..421N . doi : 10.3390/e24030421 . PMC 8947456. PMID 35327931 .  
  4. ↑ جونسون، نورمان لويد؛ كوتز، صموئيل؛ بالاكريشنان، ن. (1994). التوزيعات أحادية المتغير المستمرة . المجلد 1 ( الطبعة الثانية). نيويورك: وايلي. القسم 10.1. ISBN   0-471-58495-9. OCLC 29428092 . 
  5. ↑ فرنانديز دي كوسيو دياز، خورخي (2017-12-06)، TruncatedNormal.jl: حساب المتوسط ​​والتباين للتوزيع الطبيعي المقطوع أحادي المتغير (يعمل بعيدًا عن الذروة) ، تم الاطلاع عليه بتاريخ 2017-12-06
  6. ↑ غرين، ويليام هـ. (2003). التحليل الاقتصادي القياسي ( الطبعة الخامسة). برنتيس هول. ISBN  978-0-13-066189-0.
  7. ↑ ديل كاستيلو، جوان (مارس 1994). "التوزيع الطبيعي المقطوع أحاديًا: عائلة أسية غير حادة" (ملف PDF) . حوليات معهد الإحصاء الرياضي . 46 (1): 57-66 . doi : 10.1007/BF00773592 .
  8. ↑ وثيقة من إعداد إريك أورجبين، " https://people.smp.uq.edu.au/YoniNazarathy/teaching_projects/studentWork/EricOrjebin_TruncatedNormalMoments.pdf "
  9. ↑ كروس، د.ب .؛ تايمر، ت.؛ بوتيف، ز.إ. (2011). دليل طرق مونت كارلو . جون وايلي وأولاده.
  10. 1 2 بوتيف، زي؛ ليكويير، ب. (2017). "محاكاة من التوزيع الطبيعي المقتطع إلى فاصل في الذيل". المؤتمر الدولي العاشر لجمعية تقييم الأداء (EAI) حول منهجيات وأدوات تقييم الأداء . 25-28 أكتوبر 2016، تاورمينا، إيطاليا: ACM. الصفحات 23-29 . doi : 10.4108/eai.25-10-2016.2266879 . ISBN  978-1-63190-141-6.{{cite conference}}: CS1 maint: location ( link )
  11. ↑ مارساجليا، جورج (1964). "توليد متغير من ذيل التوزيع الطبيعي". تكنومتركس . 6 (1): 101-102 . doi : 10.2307/1266749 . JSTOR 1266749 . 
  12. 1 2 بوتيف، زي (2016). "القانون الطبيعي في ظل القيود الخطية: المحاكاة والتقدير عبر الميلان المصغر الأقصى". مجلة الجمعية الإحصائية الملكية، السلسلة ب . 79 : 125-148 . arXiv : 1603.04166 . doi : 10.1111/rssb.12162 . S2CID 88515228 . 
  13. ↑ بوتيف، زدرافكو وليكويير، بيير (2018). "الفصل 8: المحاكاة من ذيل التوزيع الطبيعي أحادي المتغير ومتعدد المتغيرات". في: بوليافيتو، أنطونيو (محرر). نمذجة الأنظمة: المنهجيات والأدوات. ابتكارات EAI/Springer في الاتصالات والحوسبة . سبرينغر، تشام. ص 115-132 . doi : 10.1007/978-3-319-92378-9_8 . ISBN  978-3-319-92377-2. S2CID 125554530 . 

مراجع

  • بوتيف، زدرافكو وليكويير، بيير (2018). "الفصل 8: المحاكاة من ذيل التوزيع الطبيعي أحادي المتغير ومتعدد المتغيرات". في: بوليافيتو، أنطونيو (محرر). نمذجة الأنظمة: المنهجيات والأدوات . ابتكارات EAI/Springer في الاتصالات والحوسبة. سبرينغر، تشام. الصفحات 115-132 . doi : 10.1007/978-3-319-92378-9_8 . ISBN  978-3-319-92377-2. S2CID 125554530 . 
  • ديفروي، لوك (1986). توليد المتغيرات العشوائية غير المنتظمة (ملف PDF) . نيويورك: سبرينغر-فيرلاغ. مؤرشف من النسخة الأصلية (ملف PDF) بتاريخ 18 أغسطس 2014. تم الاطلاع عليه بتاريخ 12 أبريل 2012 .
  • غرين، ويليام هـ. (2003). التحليل الاقتصادي القياسي (الطبعة الخامسة) . برنتيس هول. ISBN 978-0-13-066189-0.
  • نورمان ل. جونسون وصموئيل كوتز (1970). التوزيعات أحادية المتغير المستمرة-1 ، الفصل 13. جون وايلي وأولاده.
  • لينش، سكوت (2007). مقدمة في الإحصاء البايزي التطبيقي والتقدير لعلماء الاجتماع . نيويورك: سبرينغر. ISBN 978-1-4419-2434-6.
  • روبرت، كريستيان ب. (1995). "محاكاة المتغيرات الطبيعية المقتطعة". الإحصاء والحوسبة . 5 (2): 121-125 . arXiv : 0907.4010 . doi : 10.1007/BF00143942 . S2CID 15943491 . 
  • بار، دونالد ر.؛ شيريل، إي. تود (1999). "المتوسط ​​والتباين للتوزيعات الطبيعية المقتطعة". الإحصائي الأمريكي . 53 (4): 357-361 . doi : 10.1080/00031305.1999.10474490 .
  • بيبو، إيونوت؛ ماثيو، توماس (2009). "فترات الثقة للعزوم المحدودة والعزوم المقتطعة في النماذج الطبيعية واللوغاريتمية الطبيعية". رسائل الإحصاء والاحتمالات . 79 (3): 375-380 . doi : 10.1016/j.spl.2008.09.006 .
  • داميان، بول؛ ووكر، ستيفن ج. (2001). "أخذ عينات من كثافات التوزيع الطبيعي المقتطع، وبيتا، وجاما". مجلة الإحصاءات الحاسوبية والرسومية . 10 (2): 206-215 . doi : 10.1198/10618600152627906 . S2CID 123156320 . 
  • شوبان، نيكولاس (1 أبريل 2011). "محاكاة سريعة لتوزيعات غاوسية مقطوعة" . الإحصاء والحوسبة . 21 (2): 275-288 . arXiv : 1201.6140 . doi : 10.1007/s11222-009-9168-1 . ISSN 1573-1375 . 
  • بوركاردت، جون. "التوزيع الطبيعي المقتطع" (ملف PDF) . موقع قسم الحوسبة العلمية . جامعة ولاية فلوريدا . تاريخ الاسترجاع: 15 فبراير 2018 .