اختبار G

يمكننا استخلاص قيمة اختبار G من اختبار نسبة الاحتمالية اللوغاريتمية حيث يكون النموذج الأساسي نموذجًا متعدد الحدود .

لنفترض أن لدينا عينة${\displaystyle O=(O_{1},\ldots ,O_{m})}$حيث كل${\displaystyle O_{i}}$هو عدد المرات التي يكون فيها كائن من النوع${\displaystyle i}$لوحظ ذلك. علاوة على ذلك، دع${\displaystyle N=\sum _{i=1}^{m}O_{i}}$ليكن العدد الإجمالي للمشاهدات. إذا افترضنا أن النموذج الأساسي متعدد الحدود، فإن إحصائية الاختبار تُعرَّف بـ

${\displaystyle \ln \left({\frac {L({\tilde {p}}|O)}{L({\hat {p}}|O)}}\right)=\ln \left({\frac {\prod _{i=1}^{m}{\tilde {p}}_{i}^{O_{i}}}{\prod _{i=1}^{m}{\hat {p}}_{i}^{O_{i}}}}\right),}$

أين${\displaystyle {\tilde {p}}=({\tilde {p}}_{1},\ldots ,{\tilde {p}}_{m})}$هي الفرضية الصفرية و${\displaystyle {\hat {p}}=({\hat {p}}_{1},\ldots ,{\hat {p}}_{m})}$يمثل تقدير الاحتمال الأقصى (MLE) للمعلمات بالنظر إلى البيانات. تذكر أنه بالنسبة للنموذج متعدد الحدود، فإن تقدير الاحتمال الأقصى لـ${\displaystyle {\hat {p}}_{i}}$بفرض أن بعض البيانات معطاة بواسطة

${\displaystyle {\hat {p}}_{i}={\frac {O_{i}}{N}}\,.}$

علاوة على ذلك، يمكننا تمثيل كل معلمة من معلمات الفرضية الصفرية${\displaystyle {\tilde {p}}_{i}}$مثل

${\displaystyle {\tilde {p}}_{i}={\frac {E_{i}}{N}}\,,}$

أين${\displaystyle E_{i}}$هو العدد المتوقع للكائنات من النوع${\displaystyle i}$في ظل الفرضية الصفرية. وبالتالي، من خلال استبدال تمثيلات${\displaystyle {\tilde {p}}_{i}}$و${\displaystyle {\hat {p}}_{i}}$في نسبة الاحتمالية اللوغاريتمية، تتبسط المعادلة إلى

${\displaystyle \ln \left({\frac {L({\tilde {p}}|O)}{L({\hat {p}}|O)}}\right)=\ln \left(\prod _{i=1}^{m}\left({\frac {E_{i}}{O_{i}}}\right)^{O_{i}}\right)=\sum _{i=1}^{m}O_{i}\ln \left({\frac {E_{i}}{O_{i}}}\right)}$

وأخيرًا، اضرب في عامل من${\displaystyle -2}$(يُستخدم لجعل صيغة اختبار G مكافئة تقاربياً لإحصائيات اختبار مربع كاي لبيرسون ) لتحقيق الشكل

${\displaystyle G=-2\sum _{i=1}^{m}O_{i}\ln \left({\frac {E_{i}}{O_{i}}}\right)=2\sum _{i=1}^{m}O_{i}\ln \left({\frac {O_{i}}{E_{i}}}\right)}$

يمكن للمرء أن يتخيل ذلك بشكل استدلالي${\displaystyle O_{i}}$باعتبارها دالة متصلة وتقترب من الصفر، وفي هذه الحالة${\displaystyle O_{i}\ln O_{i}\to 0}$ويمكن ببساطة حذف الحدود التي لا تحتوي على أي مشاهدات. ومع ذلك، يجب أن يكون العدد المتوقع في كل خلية أكبر من الصفر تمامًا لكل خلية (${\displaystyle E_{i}>0}$للجميع${\displaystyle i}$) لتطبيق الطريقة.

إن اختبارات مربع كاي الشائعة الاستخدام لتقييم مدى ملاءمة البيانات للتوزيع وللاستقلال في جداول التوافق هي في الواقع تقريبات لنسبة الاحتمال اللوغاريتمي التي تستند إليها اختبارات G. ^{[ 5 ]}

الصيغة العامة لإحصائية اختبار مربع كاي لبيرسون هي

${\displaystyle \chi ^{2}=\sum _{i}{\frac {\left(O_{i}-E_{i}\right)^{2}}{E_{i}}}.}$

يتم الحصول على تقريب إحصائيات اختبار G بواسطة إحصائيات اختبار مربع كاي عن طريق توسيع تايلور من الدرجة الثانية للوغاريتم الطبيعي حول 1 (انظر الاشتقاق أدناه). لدينا${\displaystyle G\approx \chi ^{2}}$عندما تكون الأعداد المرصودة${\displaystyle O_{i}}$تقترب من الأعداد المتوقعة${\displaystyle E_{i}}$لكن عندما يكون هذا الاختلاف كبيرًا، يبدأ تقريب إحصائية اختبار مربع كاي بالتلاشي. في هذه الحالة، يكون تأثير القيم المتطرفة في البيانات أكثر وضوحًا، وهذا ما يفسر فشل اختبارات مربع كاي في الحالات التي تكون فيها البيانات قليلة.

بالنسبة للعينات ذات الحجم المعقول، سيؤدي اختبار G واختبار مربع كاي إلى نفس النتائج. ومع ذلك، فإن تقريب اختبار G لتوزيع مربع كاي النظري أفضل من تقريب اختبار مربع كاي لبيرسون . ^{[ 6 ]} في الحالات التي${\displaystyle O_{i}>2\cdot E_{i}}$في بعض حالات الخلايا، يكون اختبار G دائمًا أفضل من اختبار مربع كاي.

لاختبار مدى ملاءمة البيانات، يُعد اختبار G أكثر كفاءة بشكل كبير من اختبار مربع كاي وفقًا لمفهوم بهادور، لكن الاختبارين متساويان في الكفاءة وفقًا لمفهوم بيتمان أو وفقًا لمفهوم هودجز وليمان. ^{[ 7 ] [ 8 ]}

تتناسب إحصائية اختبار G مع تباعد كولباك -لايبير للتوزيع النظري${\displaystyle {\tilde {p}}=({\tilde {p}}_{1},\ldots ,{\tilde {p}}_{m})}$فرضية العدم من التوزيع التجريبي${\displaystyle {\hat {p}}=({\hat {p}}_{1},\ldots ,{\hat {p}}_{m})}$من البيانات المرصودة:

${\displaystyle {\begin{aligned}G&=2\sum _{i}{O_{i}\cdot \ln \left({\frac {O_{i}}{E_{i}}}\right)}=2N\sum _{i}{{\hat {p}}_{i}\cdot \ln \left({\frac {{\hat {p}}_{i}}{{\tilde {p}}_{i}}}\right)}\\&=2N\,D_{\mathrm {KL} }({\hat {p}}\|{\tilde {p}}),\end{aligned}}}$

أين${\displaystyle N}$يمثل العدد الإجمالي للملاحظات و${\displaystyle {\tilde {p}}_{i}={\tfrac {E_{i}}{N}}}$و${\displaystyle {\hat {p}}_{i}={\tfrac {O_{i}}{N}}}$هي الاحتمالات النظرية والتجريبية لأشياء من النوع${\displaystyle i}$، على التوالى.

لتحليل جداول الطوارئ ، يمكن أيضًا التعبير عن قيمة إحصائيات اختبار G من حيث المعلومات المتبادلة .

في هذه الحالة، الكائنات ذات الأنواع ثنائية الأبعاد${\displaystyle (i,j)}$يتم أخذها في الاعتبار. لنفترض${\displaystyle O_{ij}}$ليكن عدد الكائنات من النوع${\displaystyle (i,j)}$، أي،${\displaystyle O_{ij}}$هو المدخل في جدول الطوارئ في الصف${\displaystyle i}$والعمود${\displaystyle j}$. تعيين

${\displaystyle N=\sum _{ij}O_{ij},\qquad {\hat {p}}_{ij}={\frac {O_{ij}}{N}}\,,\qquad {\hat {p}}_{i\bullet }={\frac {\sum _{j}O_{ij}}{N}}\,,\qquad {\hat {p}}_{\bullet j}={\frac {\sum _{i}O_{ij}}{N}}\,.}$

ثم العدد المتوقع المقدر للكائنات من النوع${\displaystyle (i,j)}$بافتراض أن الاستقلال معطى بواسطة

${\displaystyle E_{ij}=N{\hat {p}}_{i\bullet }{\hat {p}}_{\bullet j}.}$

وأخيرًا، تُعطى إحصائية اختبار G في هذه الحالة بواسطة

${\displaystyle G=2\sum _{ij}O_{ij}\ln \left({\frac {O_{ij}}{E_{ij}}}\right)}$

يترك${\displaystyle X,Y}$لتكن متغيرات عشوائية ذات توزيع مشترك معطى بالتوزيع التجريبي${\displaystyle {\hat {p}}_{ij}}$من جدول الطوارئ، أي

${\displaystyle P(X=i,Y=j)={\hat {p}}_{ij},\qquad P(X=i)={\hat {p}}_{i\bullet },\qquad P(Y=j)={\hat {p}}_{\bullet j}.}$

ثم يمكن التعبير عن إحصائيات اختبار G بعدة أشكال بديلة:

${\displaystyle {\begin{aligned}G&=2N\cdot \sum _{ij}{{\hat {p}}_{ij}\left(\ln({\hat {p}}_{ij})-\ln({\hat {p}}_{i\bullet })-\ln({\hat {p}}_{\bullet j})\right)}\\&=2N\cdot {\Bigl (}H(X)+H(Y)-H(X,Y){\Bigr )}\\&=2N\cdot \operatorname {MI} (X,Y),\end{aligned}}}$

حيث الإنتروبيا${\displaystyle H(X)}$و${\displaystyle H(Y)}$يتم تقديمها

${\displaystyle H(X)=-\sum _{i}{\hat {p}}_{i\bullet }\ln({\hat {p}}_{i\bullet }),\qquad H(Y)=-\sum _{j}{\hat {p}}_{\bullet j}\ln({\hat {p}}_{\bullet j})}$

والإنتروبيا المشتركة${\displaystyle H(X,Y)}$يُعطى بواسطة

${\displaystyle H(X,Y)=-\sum _{ij}{\hat {p}}_{ij}\ln({\hat {p}}_{ij})}$

والمعلومات المتبادلة لـ${\displaystyle X}$و${\displaystyle Y}$يكون

${\displaystyle \operatorname {MI} (X,Y)=H(X)+H(Y)-H(X,Y).}$

يمكن أيضًا إثبات أن ترجيح تردد المستند العكسي، الشائع استخدامه في استرجاع النصوص، هو تقريب لـ G، وينطبق عندما يكون مجموع صفوف الاستعلام أصغر بكثير من مجموع صفوف بقية المجموعة النصية. وبالمثل، فإن نتيجة الاستدلال البايزي المطبق على اختيار توزيع متعدد الحدود واحد لجميع صفوف جدول التوافق مجتمعة، مقابل البديل الأكثر عمومية المتمثل في توزيع متعدد الحدود منفصل لكل صف، تُنتج نتائج مشابهة جدًا لإحصائية اختبار G.