تقدير غير متحيز للانحراف المعياري

عندما يكون المتغير العشوائي موزعًا توزيعًا طبيعيًا ، يوجد تصحيح طفيف لإزالة التحيز. لاستنتاج هذا التصحيح، لاحظ أنه بالنسبة للمتغير X الموزع توزيعًا طبيعيًا ، تنص نظرية كوكران على ما يلي:${\displaystyle (n-1)s^{2}/\sigma ^{2}}$يتبع توزيع مربع كاي مع${\displaystyle n-1}$درجات الحرية ، وبالتالي جذرها التربيعي،${\displaystyle {\sqrt {n-1}}s/\sigma }$له توزيع كاي مع${\displaystyle n-1}$درجات الحرية. وبالتالي، بحساب القيمة المتوقعة لهذا التعبير الأخير وإعادة ترتيب الثوابت،

${\displaystyle \operatorname {E} [s]=c_{4}(n)\sigma }$

حيث عامل التصحيح${\displaystyle c_{4}(n)}$هو المتوسط ​​المقياسي لتوزيع كاي مع${\displaystyle n-1}$درجات الحرية،${\displaystyle \mu _{1}/{\sqrt {n-1}}}$يعتمد هذا على حجم العينة n، ويتم تقديمه على النحو التالي: ^{[ 1 ] [ 2 ]}

${\displaystyle c_{4}(n)={\sqrt {\frac {2}{n-1}}}{\frac {\Gamma \left({\frac {n}{2}}\right)}{\Gamma \left({\frac {n-1}{2}}\right)}}=1-{\frac {1}{4n}}-{\frac {7}{32n^{2}}}-{\frac {19}{128n^{3}}}+O(n^{-4})}$

حيث Γ(·) هي دالة غاما . ويمكن الحصول على مُقدِّر غير متحيز لـ σ عن طريق القسمة${\displaystyle s}$بواسطة${\displaystyle c_{4}(n)}$. مثل${\displaystyle n}$كلما كبرت القيمة، اقتربت من 1، وحتى بالنسبة للقيم الأصغر، يكون التصحيح طفيفًا. يوضح الشكل رسمًا بيانيًا لـ${\displaystyle c_{4}(n)}$مقارنة بحجم العينة. يوضح الجدول أدناه القيم العددية لـ${\displaystyle c_{4}(n)}$والتعبيرات الجبرية لبعض قيم${\displaystyle n}$; يمكن العثور على جداول أكثر اكتمالاً في معظم الكتب المدرسية ^{[ 3 ] : 968 [ 4 ]} حول مراقبة الجودة الإحصائية .

حجم العينة	تعبير عن${\displaystyle c_{4}}$	القيمة العددية
2	${\displaystyle {\sqrt {\frac {2}{\pi }}}}$	0.7978845608
3	${\displaystyle {\frac {\sqrt {\pi }}{2}}}$	0.8862269255
4	${\displaystyle 2{\sqrt {\frac {2}{3\pi }}}}$	0.9213177319
5	${\displaystyle {\frac {3}{4}}{\sqrt {\frac {\pi }{2}}}}$	0.9399856030
6	${\displaystyle {\frac {8}{3}}{\sqrt {\frac {2}{5\pi }}}}$	0.9515328619
7	${\displaystyle {\frac {5{\sqrt {3\pi }}}{16}}}$	0.9593687891
8	${\displaystyle {\frac {16}{5}}{\sqrt {\frac {2}{7\pi }}}}$	0.9650304561
9	${\displaystyle {\frac {35{\sqrt {\pi }}}{64}}}$	0.9693106998
10	${\displaystyle {\frac {128}{105}}{\sqrt {\frac {2}{\pi }}}}$	0.9726592741
100		0.9974779761
1000		0.9997497811
10000		0.9999749978
2k	${\displaystyle {\sqrt {\frac {2}{\pi (2k-1)}}}{\frac {2^{2k-2}(k-1)!^{2}}{(2k-2)!}}}$
2k+1	${\displaystyle {\sqrt {\frac {\pi }{k}}}{\frac {(2k-1)!}{2^{2k-1}(k-1)!^{2}}}}$

من المهم أن نضع في اعتبارنا أن هذا التصحيح لا يُنتج إلا مُقدِّرًا غير متحيز لمتغير عشوائي X ذي توزيع طبيعي ومستقل . وعندما يتحقق هذا الشرط، نحصل على نتيجة أخرى تتعلق بـ s تتضمن${\displaystyle c_{4}(n)}$هل الخطأ المعياري لـ s هو ^{[ 3 ] : 139 [ 5 ]}${\displaystyle \sigma {\sqrt {1-c_{4}^{2}}}}$بينما الخطأ المعياري للمُقدِّر غير المتحيز هو${\displaystyle \sigma {\sqrt {c_{4}^{-2}-1}}.}$

إذا بدت عملية حساب الدالة c ₄ ( n ) صعبة للغاية، فهناك قاعدة بسيطة ^{[ 6 ]} لأخذ المُقدِّر

${\displaystyle {\hat {\sigma }}={\sqrt {{\frac {1}{n-1.5}}\sum _{i=1}^{n}(x_{i}-{\overline {x}})^{2}}}}$

تختلف هذه الصيغة عن الصيغة المألوفة لـ ^s² فقط بوجود n − 1.5 بدلاً من n − 1 في المقام. هذه الصيغة تقريبية فقط؛ في الواقع،

${\displaystyle \operatorname {E} \left[{\hat {\sigma }}\right]=\sigma \cdot \left(1+{\frac {1}{16n^{2}}}+{\frac {3}{16n^{3}}}+O(n^{-4})\right).}$

التحيز صغير نسبيًا: على سبيل المثال، لـ${\displaystyle n=3}$وهي تساوي 2.3%، و${\displaystyle n=9}$يبلغ التحيز بالفعل 0.1%.

يمكن حساب تقريب أدق باستخدام مقام ^{[ 2 ]}

${\displaystyle k=n-1.5+{\frac {1}{8(n-1)}},}$

وهو ما يقارب الصيغة الدقيقة للمقام ^{[ 7 ] [ 6 ]}

${\displaystyle k=2{\Biggl (}{\frac {\Gamma \left({\frac {n}{2}}\right)}{\Gamma \left({\frac {n-1}{2}}\right)}}{\Biggr )}^{2}.}$

في الحالات التي تُنمذج فيها البيانات المستقلة إحصائيًا بواسطة عائلة توزيعات بارامترية غير التوزيع الطبيعي ، فإن الانحراف المعياري للمجتمع، إن وُجد، سيكون دالةً لمعاملات النموذج. أحد الأساليب العامة للتقدير هو أسلوب الإمكان الأقصى . بدلاً من ذلك، قد يكون من الممكن استخدام نظرية راو-بلاك ويل لإيجاد تقدير جيد للانحراف المعياري. في كلتا الحالتين، لا تكون التقديرات المُتحصل عليها عادةً غير متحيزة. نظريًا، قد يكون من الممكن الحصول على تعديلات نظرية تؤدي إلى تقديرات غير متحيزة، ولكن على عكس تلك الخاصة بالتوزيع الطبيعي، فإن هذه التعديلات تعتمد عادةً على المعاملات المُقدَّرة.

إذا كان المطلوب هو تقليل التحيز في الانحراف المعياري المُقدَّر، بدلاً من إزالته تماماً، فهناك نهجان عمليان متاحان، وكلاهما في سياق إعادة التوزيع . وهما: إعادة التوزيع العشوائي (Jackknifing) وإعادة التوزيع العشوائي (Bootstrap ). ويمكن تطبيق كليهما إما على التقديرات البارامترية للانحراف المعياري أو على الانحراف المعياري للعينة.

بالنسبة للتوزيعات غير الطبيعية، تكون الصيغة التقريبية (حتى O ( n ⁻¹ ) حدًا) للمُقدِّر غير المتحيز للانحراف المعياري كما يلي:

${\displaystyle {\hat {\sigma }}={\sqrt {{\frac {1}{n-1.5-{\tfrac {1}{4}}\gamma _{2}}}\sum _{i=1}^{n}\left(x_{i}-{\overline {x}}\right)^{2}}},}$

حيث يرمز γ _{2 إلى} التفرطح الزائد للسكان . قد يكون التفرطح الزائد معروفًا مسبقًا لبعض التوزيعات، أو يتم تقديره من البيانات.

لتوضيح حجم الانحياز في الانحراف المعياري، لنفترض مجموعة بيانات تتكون من قراءات متسلسلة من جهاز يستخدم مرشحًا رقميًا محددًا، ومن المعروف أن دالة الارتباط الذاتي (ACF) الخاصة به تُعطى بواسطة

${\displaystyle \rho _{k}=(1-\alpha )^{k}}$

حيث α هو معامل المرشح، ويتراوح بين الصفر والواحد. وبالتالي، فإن دالة الارتباط الذاتي موجبة ومتناقصة هندسيًا.

يوضح الشكل نسبة الانحراف المعياري المُقدَّر إلى قيمته المعروفة (والتي يمكن حسابها تحليليًا لهذا المرشح الرقمي)، وذلك لعدة قيم لـ α كدالة لحجم العينة n . ويؤدي تغيير α إلى تغيير نسبة تقليل التباين للمرشح، والتي من المعروف أنها

${\displaystyle {\rm {VRR}}={\frac {\alpha }{2-\alpha }}}$

بحيث تؤدي القيم الأصغر لـ α إلى تقليل التباين بشكل أكبر، أو ما يُعرف بـ "التنعيم". ويُشار إلى الانحياز بقيم على المحور الرأسي تختلف عن الواحد؛ أي أنه في حال عدم وجود انحياز، ستكون نسبة الانحراف المعياري المُقدَّر إلى الانحراف المعياري المعروف مساوية للواحد. ومن الواضح أنه بالنسبة لأحجام العينات الصغيرة، قد يكون هناك انحياز كبير (بمعامل اثنين أو أكثر).

غالباً ما يكون من المهم تقدير التباين أو الانحراف المعياري للمتوسط ​​المُقدَّر بدلاً من تباين المجتمع الإحصائي. عندما تكون البيانات مرتبطة ذاتياً، فإن هذا يؤثر بشكل مباشر على التباين النظري لمتوسط ​​العينة، وهو ^{[ 10 ]}

${\displaystyle {\rm {Var}}\left[{\overline {x}}\right]={\frac {\sigma ^{2}}{n}}\left[1+2\sum _{k=1}^{n-1}{\left(1-{\frac {k}{n}}\right)\rho _{k}}\right].}$

يمكن تقدير تباين متوسط ​​العينة بالتعويض بقيمة تقديرية لـ σ² ^. ويمكن الحصول على إحدى هذه التقديرات من معادلة E[s² ^] المذكورة أعلاه. لنُعرّف أولًا الثوابت التالية، بافتراض معرفة دالة الارتباط الذاتي (ACF):

${\displaystyle \gamma _{1}:=1-{\frac {2}{n-1}}\sum _{k=1}^{n-1}\left(1-{\frac {k}{n}}\right)\rho _{k}={\frac {n-\gamma _{2}}{n-1}}}$

${\displaystyle \gamma _{2}:=1+\qquad 2\,\sum _{k=1}^{n-1}\left(1-{\frac {k}{n}}\right)\rho _{k}=n-(n-1)\gamma _{1}}$

لهذا السبب.

${\displaystyle {\rm {E}}\left[s^{2}\right]=\sigma ^{2}\gamma _{1}\Rightarrow {\rm {E}}\left[{\frac {s^{2}}{\gamma _{1}}}\right]=\sigma ^{2}}$

وهذا يعني أن القيمة المتوقعة للكمية التي يتم الحصول عليها بقسمة تباين العينة المرصود على عامل التصحيح${\displaystyle \gamma _{1}}$يُعطي تقديرًا غير متحيز للتباين. وبالمثل، بإعادة كتابة التعبير أعلاه لتباين المتوسط،

${\displaystyle {\rm {Var}}\left[{\overline {x}}\right]={\frac {\sigma ^{2}}{n}}\gamma _{2}}$

واستبدال التقدير بـ${\displaystyle \sigma ^{2}}$يعطي ^{[ 11 ]}

${\displaystyle {\rm {Var}}\left[{\overline {x}}\right]={\rm {E}}\left[{\frac {s^{2}}{\gamma _{1}}}\cdot {\frac {\gamma _{2}}{n}}\right]={\rm {E}}\left[{\frac {s^{2}}{n}}\cdot {\frac {n-1}{{\frac {n}{\gamma _{2}}}-1}}\right]}$

وهو مُقدِّر غير متحيز لتباين المتوسط ​​بدلالة تباين العينة المرصود والكميات المعروفة. إذا كانت الارتباطات الذاتية${\displaystyle \rho _{k}}$إذا كانت القيمتان متطابقتين وتساويان صفرًا، فإن هذا التعبير يختزل إلى النتيجة المعروفة لتباين المتوسط ​​للبيانات المستقلة. ويكمن تأثير عامل التوقع في هذه التعبيرات في أن المساواة تتحقق في المتوسط ​​(أي في المتوسط ​​الحسابي).

بما أن التعبيرات المذكورة أعلاه تتضمن تباين المجتمع، وتقديرًا لمتوسط ​​ذلك المجتمع، فمن المنطقي ببساطة أخذ الجذر التربيعي لهذه التعبيرات للحصول على تقديرات غير متحيزة للانحرافات المعيارية المقابلة. ومع ذلك، بما أن التوقعات عبارة عن أعداد صحيحة،

${\displaystyle {\rm {E}}[s]\neq {\sqrt {{\rm {E}}\left[s^{2}\right]}}\neq \sigma {\sqrt {\gamma _{1}}}}$

بدلاً من ذلك، افترض وجود دالة θ بحيث يمكن كتابة مقدر غير متحيز للانحراف المعياري على النحو التالي

${\displaystyle {\rm {E}}[s]=\sigma \theta {\sqrt {\gamma _{1}}}\Rightarrow {\hat {\sigma }}={\frac {s}{\theta {\sqrt {\gamma _{1}}}}}}$

وتعتمد قيمة θ على حجم العينة n ودالة الارتباط الذاتي _{( ACF )} . في حالة البيانات الموزعة توزيعًا طبيعيًا ومستقلًا (NID)، يكون الجذر التربيعي للعدد واحدًا، وتكون θ هي دالة c⁴ المذكورة في القسم الأول أعلاه. وكما هو الحال مع c⁴ ، تقترب θ من الواحد مع ازدياد حجم العينة (كما هو الحال مع _γ⁻ ) .

يمكن إثبات ذلك من خلال نمذجة المحاكاة، وذلك بتجاهل θ (أي اعتبارها تساوي واحدًا) واستخدام

${\displaystyle {\rm {E}}[s]\approx \sigma {\sqrt {\gamma _{1}}}\Rightarrow {\hat {\sigma }}\approx {\frac {s}{\sqrt {\gamma _{1}}}}}$

يزيل هذا الأسلوب معظم التحيز الناتج عن الارتباط الذاتي، مما يجعله مُقدِّرًا مُخفَّض التحيز، وليس مُقدِّرًا غير متحيز. في تطبيقات القياس العملية، قد يكون هذا الانخفاض في التحيز كبيرًا ومفيدًا، حتى مع بقاء قدر ضئيل نسبيًا من التحيز. الشكل أعلاه، الذي يُظهر مثالًا على التحيز في الانحراف المعياري مقابل حجم العينة، مبني على هذا التقريب؛ سيكون التحيز الفعلي أكبر قليلًا مما هو موضح في تلك الرسوم البيانية نظرًا لعدم تضمين تحيز التحويل θ فيها.

يُعطى التباين غير المتحيز للمتوسط ​​بدلالة تباين المجتمع ودالة الارتباط الذاتي بالصيغة التالية:

${\displaystyle {\rm {Var}}\left[{\overline {x}}\right]={\frac {\sigma ^{2}}{n}}\gamma _{2}}$

وبما أنه لا توجد قيم متوقعة هنا، ففي هذه الحالة يمكن أخذ الجذر التربيعي، بحيث

${\displaystyle \sigma _{\overline {x}}={\frac {\sigma }{\sqrt {n}}}{\sqrt {\gamma _{2}}}}$

باستخدام صيغة التقدير غير المتحيزة أعلاه لـ σ ، سيكون تقدير الانحراف المعياري للمتوسط ​​هو

${\displaystyle {\hat {\sigma }}_{\overline {x}}={\frac {s}{\theta {\sqrt {n}}}}{\frac {\sqrt {\gamma _{2}}}{\sqrt {\gamma _{1}}}}}$

إذا كانت البيانات من نوع NID، بحيث يختفي ACF، فإن هذا يختزل إلى

${\displaystyle {\hat {\sigma }}_{\overline {x}}={\frac {s}{c_{4}{\sqrt {n}}}}}$

في حالة وجود دالة ارتباط ذاتي غير صفرية، فإن تجاهل الدالة θ كما في السابق يؤدي إلى مُقدِّر الانحياز المُخفَّض

${\displaystyle {\hat {\sigma }}_{\overline {x}}\approx {\frac {s}{\sqrt {n}}}{\frac {\sqrt {\gamma _{2}}}{\sqrt {\gamma _{1}}}}={\frac {s}{\sqrt {n}}}{\sqrt {\frac {n-1}{{\frac {n}{\gamma _{2}}}-1}}}}$

والذي يمكن إثباته مرة أخرى لإزالة أغلبية مفيدة من التحيز.