الكفاءة (الإحصاءات)

لنفترض أن { Pθ _| θ ∈ Θ } نموذجٌ بارامتري، وأن X = ( X1 _, … , Xn ₎ هي البيانات المأخوذة من هذا النموذج. ليكن T = T ( X ) مُقدِّرًا للمعامل θ . إذا كان هذا المُقدِّر غير متحيز (أي E[ T ] = θ )، فإن متباينة كرامر-راو تنص على أن تباين هذا المُقدِّر محدود من الأسفل.

${\displaystyle \operatorname {var} [\,T\,]\ \geq \ {\mathcal {I}}_{\theta }^{-1},}$

أين${\displaystyle \scriptstyle {\mathcal {I}}_{\theta }}$هي مصفوفة معلومات فيشر للنموذج عند النقطة θ . بشكل عام، يقيس التباين درجة تشتت المتغير العشوائي حول متوسطه. وبالتالي، فإن المقدرات ذات التباينات الصغيرة تكون أكثر تركيزًا، وتقدر المعلمات بدقة أكبر. نقول إن المقدر هو مقدر فعال للعينات المحدودة (من فئة المقدرات غير المتحيزة) إذا وصل إلى الحد الأدنى في متباينة كرامر-راو المذكورة أعلاه، لجميع θ ∈ Θ . المقدرات الفعالة هي دائمًا مقدرات غير متحيزة ذات تباين أدنى . ومع ذلك، فإن العكس غير صحيح: توجد مسائل تقدير نقطي يكون فيها المقدر غير المتحيز ذو التباين الأدنى غير فعال. ^{[ 6 ]}

تاريخياً، كانت كفاءة العينة المحدودة معياراً مبكراً للأمثلية. ومع ذلك، فإن لهذا المعيار بعض القيود:

• تُعدّ المُقدِّرات الفعّالة ذات العينات المحدودة نادرة للغاية. في الواقع، لقد ثبت أن التقدير الفعّال ممكن فقط في عائلة أسية ، وفقط بالنسبة للمعاملات الطبيعية لتلك العائلة. ^{[ 7 ]}
• يُقتصر مفهوم الكفاءة هذا أحيانًا على فئة المُقدِّرات غير المتحيزة . (غالبًا لا يكون كذلك. ^{[ 8 ]} ) ولأنه لا توجد أسباب نظرية وجيهة تشترط أن تكون المُقدِّرات غير متحيزة، فإن هذا التقييد غير عملي. في الواقع، إذا استخدمنا متوسط ​​مربع الخطأ كمعيار للاختيار، فإن العديد من المُقدِّرات المتحيزة ستتفوق بشكل طفيف على أفضل المُقدِّرات غير المتحيزة. على سبيل المثال، في الإحصاءات متعددة المتغيرات ذات الأبعاد الثلاثة أو أكثر، فإن مُقدِّر المتوسط ​​غير المتحيز، وهو متوسط ​​العينة ، غير مقبول : بغض النظر عن النتيجة، فإن أداءه أسوأ من مُقدِّر جيمس-شتاين ، على سبيل المثال .
• تعتمد كفاءة العينة المحدودة على التباين، كمعيار يُحكم به على المُقدِّرات. ويتمثل النهج الأكثر عمومية في استخدام دوال خسارة غير تربيعية، وفي هذه الحالة لا يمكن صياغة كفاءة العينة المحدودة.

على سبيل المثال، من بين النماذج التي يتم مواجهتها في الممارسة العملية، توجد تقديرات فعالة لما يلي: المتوسط ​​μ للتوزيع الطبيعي (ولكن ليس التباين σ ² )، والمعلمة λ لتوزيع بواسون ، والاحتمال p في التوزيع ذي الحدين أو متعدد الحدود .

لنفترض نموذج التوزيع الطبيعي بمتوسط ​​مجهول وتباين معلوم: { P _θ = N ( θ , σ ² ) | θ ∈ R }. تتكون البيانات من n مشاهدة مستقلة ومتطابقة التوزيع من هذا النموذج: X = ( x ₁ , …, x _n ) . نقدر المعلمة θ باستخدام متوسط ​​العينة لجميع المشاهدات.

${\displaystyle T(X)={\frac {1}{n}}\sum _{i=1}^{n}x_{i}\ .}$

يمتلك هذا المُقدِّر متوسطًا θ وتباينًا σ² ^/ n ، وهو ما يساوي مقلوب معلومات فيشر من العينة. وبالتالي، يُعد متوسط ​​العينة مُقدِّرًا فعالًا للعينات المحدودة لمتوسط ​​التوزيع الطبيعي.

لنفترض عينة بحجم${\displaystyle N}$مأخوذة من توزيع طبيعي متوسط${\displaystyle \mu }$وتباين الوحدة ، أي${\displaystyle X_{n}\sim {\mathcal {N}}(\mu ,1).}$

متوسط ​​العينة ،${\displaystyle {\overline {X}}}$، من العينة${\displaystyle X_{1},X_{2},\ldots ,X_{N}}$، كما هو مُعرَّف

${\displaystyle {\overline {X}}={\frac {1}{N}}\sum _{n=1}^{N}X_{n}\sim {\mathcal {N}}\left(\mu ,{\frac {1}{N}}\right).}$

إن تباين المتوسط، 1/ N (مربع الخطأ المعياري ) يساوي مقلوب معلومات فيشر من العينة، وبالتالي، وفقًا لمتباينة كرامر-راو ، فإن متوسط ​​العينة فعال بمعنى أن كفاءته تساوي واحدًا (100٪).

والآن، لننظر إلى الوسيط العيني ،${\displaystyle {\widetilde {X}}}$هذا مُقدِّر غير متحيز ومتسق لـ${\displaystyle \mu }$. للأحجام الكبيرة${\displaystyle N}$يتوزع الوسيط في العينة توزيعًا طبيعيًا تقريبًا بمتوسط${\displaystyle \mu }$والتباين${\displaystyle {\pi }/{2N},}$^{[ 10 ]}

${\displaystyle {\widetilde {X}}\sim {\mathcal {N}}\left(\mu ,{\frac {\pi }{2N}}\right).}$

كفاءة الوسيط للأحجام الكبيرة${\displaystyle N}$وبالتالي

${\displaystyle e\left({\widetilde {X}}\right)=\left({\frac {1}{N}}\right)\left({\frac {\pi }{2N}}\right)^{-1}=2/\pi \approx 0.64.}$

بمعنى آخر، سيكون التباين النسبي للوسيط هو${\displaystyle \pi /2\approx 1.57}$أو بنسبة 57% أكبر من تباين المتوسط ​​- سيكون الخطأ المعياري للوسيط أكبر بنسبة 25% من الخطأ المعياري للوسيط. ^{[ 11 ]}

لاحظ أن هذه هي الكفاءة التقاربية - أي الكفاءة في حالة تقارب حجم العينة${\displaystyle N}$يؤول إلى اللانهاية. بالنسبة للقيم المحدودة لـ${\displaystyle N,}$الكفاءة أعلى من ذلك (على سبيل المثال، حجم العينة 3 يعطي كفاءة تبلغ حوالي 74٪).

وبالتالي، يُعدّ المتوسط ​​الحسابي للعينة أكثر كفاءة من الوسيط في هذا المثال. مع ذلك، قد توجد معايير أخرى يتفوق فيها الوسيط. على سبيل المثال، يتميز الوسيط بمقاومته العالية للقيم المتطرفة ، لذا إذا كان نموذج التوزيع الطبيعي غير دقيق أو تقريبي، فقد يكون لاستخدام الوسيط مزايا (انظر الإحصاءات القوية ).

عند تقدير متوسط ​​المتغيرات غير المرتبطة والمتطابقة التوزيع، يمكننا الاستفادة من حقيقة أن تباين المجموع يساوي مجموع التباينات . في هذه الحالة، يمكن تعريف الكفاءة بأنها مربع معامل التباين ، أي ^{[ 13 ].}

${\displaystyle e\equiv \left({\frac {\sigma }{\mu }}\right)^{2}}$

وبالتالي، يمكن تفسير الكفاءة النسبية لمقدرين من هذا النوع على أنها حجم العينة النسبي المطلوب لأحدهما لتحقيق دقة الآخر. البرهان:

${\displaystyle {\frac {e_{1}}{e_{2}}}={\frac {s_{1}^{2}}{s_{2}^{2}}}.}$

الآن لأن${\displaystyle s_{1}^{2}=n_{1}\sigma ^{2},\,s_{2}^{2}=n_{2}\sigma ^{2}}$لدينا${\displaystyle {\frac {e_{1}}{e_{2}}}={\frac {n_{1}}{n_{2}}}}$لذا فإن الكفاءة النسبية تعبر عن حجم العينة النسبي للمقدر الأول اللازم لمطابقة تباين المقدر الثاني.

على الرغم من أن الكفاءة سمة مرغوبة في المُقدِّر، إلا أنه يجب موازنتها مع اعتبارات أخرى، فالمُقدِّر الكفء لبعض التوزيعات قد يكون غير كفء لتوزيعات أخرى. والأهم من ذلك، أن المُقدِّرات الكفءة للبيانات النظيفة من توزيع بسيط، كالتوزيع الطبيعي (المتماثل، أحادي المنوال، وذو الذيول الرفيعة)، قد لا تكون قوية في مواجهة تلوث القيم الشاذة، وقد تكون غير كفءة للتوزيعات الأكثر تعقيدًا. في الإحصاء القوي ، تُعطى أهمية أكبر للمتانة وقابلية التطبيق على نطاق واسع من التوزيعات، بدلًا من الكفاءة على توزيع واحد. تُعد مُقدِّرات M فئة عامة من المُقدِّرات التي تستند إلى هذه الاعتبارات. يمكن تصميمها لتحقيق كل من المتانة والكفاءة النسبية العالية، وإن كانت قد تكون أقل كفاءة من المُقدِّرات التقليدية في بعض الحالات. مع ذلك، قد تكون معقدة حسابيًا للغاية.

يُعدّ مُقدِّرات L بديلاً أكثر تقليدية ، وهي إحصاءات بسيطة للغاية يسهل حسابها وتفسيرها، وفي كثير من الحالات تكون قوية، وغالبًا ما تكون فعّالة بما يكفي للتقديرات الأولية. انظر تطبيقات مُقدِّرات L لمزيد من التفاصيل. وقد نُوقشت الإحصاءات غير الفعّالة بهذا المعنى بالتفصيل في كتاب "النواة الذرية" لـ آر دي إيفانز، الذي كُتب قبل ظهور الحواسيب، عندما كان تقدير حتى المتوسط ​​الحسابي لسلسلة مُرتبة من القياسات بكفاءة أمرًا شاقًا. ^{[ 14 ]}