القيم التنبؤية الإيجابية والسلبية

القيم التنبؤية الإيجابية والسلبية
القيم التنبؤية الإيجابية والسلبية - 2

القيمة التنبؤية الإيجابية ( PPV) والقيمة التنبؤية السلبية ( NPV ) هما نسبتا النتائج الإيجابية والسلبية في الإحصاءات والاختبارات التشخيصية ، والتي تُمثل نتائج إيجابية وسلبية حقيقية على التوالي. [ 1 ] تُشير PPV وNPV إلى أداء الاختبار التشخيصي أو أي مقياس إحصائي آخر. ويمكن تفسير ارتفاع قيمة PPV على أنه مؤشر على دقة هذا المقياس الإحصائي. ولا تُعتبر PPV وNPV خاصتين بالاختبار نفسه (كما هو الحال مع معدل الإيجابية الحقيقية ومعدل السلبية الحقيقية )، بل تعتمدان أيضًا على مدى انتشار المرض . [ 2 ] ويمكن اشتقاق كل من PPV وNPV باستخدام نظرية بايز .

على الرغم من استخدامهما أحيانًا بشكل مترادف، فإن القيمة التنبؤية الإيجابية تشير عمومًا إلى ما يتم تحديده بواسطة مجموعات الضبط، بينما يشير احتمال ما بعد الاختبار إلى احتمال حدوث الحالة لدى فرد معين. ومع ذلك، إذا كان احتمال ما قبل الاختبار للفرد للإصابة بالحالة المستهدفة هو نفسه معدل انتشارها في مجموعة الضبط المستخدمة لتحديد القيمة التنبؤية الإيجابية، فإن القيمتين متساويتان عدديًا.

في مجال استرجاع المعلومات ، غالباً ما يطلق على إحصائية القيمة التنبؤية الإيجابية اسم الدقة .

تعريف

القيمة التنبؤية الإيجابية (PPV)

تُعرَّف القيمة التنبؤية الإيجابية (PPV)، أو الدقة ، على النحو التالي:

نظام الدفع مقابل المشاهدة=عدد النتائج الإيجابية الحقيقيةعدد النتائج الإيجابية الحقيقية+عدد النتائج الإيجابية الخاطئة=عدد النتائج الإيجابية الحقيقيةعدد المكالمات الإيجابية{\displaystyle {\text{PPV}}={\frac {\text{عدد النتائج الإيجابية الصحيحة}}{{\text{عدد النتائج الإيجابية الصحيحة}}+{\text{عدد النتائج الإيجابية الخاطئة}}}}={\frac {\text{عدد النتائج الإيجابية الصحيحة}}{\text{عدد المكالمات الإيجابية}}}}

حيث يُعرَّف " النتيجة الإيجابية الحقيقية " بأنها نتيجة إيجابية للاختبار، وتكون نتيجة الشخص الخاضع للفحص إيجابية وفقًا للمعيار الذهبي ، بينما يُعرَّف " النتيجة الإيجابية الكاذبة " بأنها نتيجة إيجابية للاختبار، وتكون نتيجة الشخص الخاضع للفحص سلبية وفقًا للمعيار الذهبي. القيمة المثالية للقيمة التنبؤية الإيجابية، في حالة الاختبار المثالي، هي 1 (100%)، وأسوأ قيمة ممكنة هي الصفر.

يمكن أيضًا حساب القيمة التنبؤية الإيجابية من الحساسية والنوعية وانتشار الحالة :

نظام الدفع مقابل المشاهدة=حساسية×انتشارحساسية×انتشار+(1-الخصوصية)×(1-انتشار){\displaystyle {\text{PPV}}={\frac {{\text{الحساسية}}\times {\text{الانتشار}}}{{\text{الحساسية}}\times {\text{الانتشار}}+(1-{\text{النوعية}})\times (1-{\text{الانتشار}})}}}

انظر نظرية بايز

مكمل القيمة التنبؤية الإيجابية هو معدل الاكتشاف الخاطئ (FDR):

فرانكلين روزفلت=1-نظام الدفع مقابل المشاهدة=عدد النتائج الإيجابية الخاطئةعدد النتائج الإيجابية الحقيقية+عدد النتائج الإيجابية الخاطئة=عدد النتائج الإيجابية الخاطئةعدد المكالمات الإيجابية{\displaystyle {\text{FDR}}=1-{\text{PPV}}={\frac {\text{عدد النتائج الإيجابية الخاطئة}}{{\text{عدد النتائج الإيجابية الصحيحة}}+{\text{عدد النتائج الإيجابية الخاطئة}}}}={\frac {\text{عدد النتائج الإيجابية الخاطئة}}{\text{عدد المكالمات الإيجابية}}}}

القيمة التنبؤية السلبية (NPV)

تُعرَّف القيمة التنبؤية السلبية على النحو التالي:

صافي القيمة الحالية=عدد النتائج السلبية الحقيقيةعدد النتائج السلبية الحقيقية+عدد النتائج السلبية الخاطئة=عدد النتائج السلبية الحقيقيةعدد المكالمات السلبية{\displaystyle {\text{NPV}}={\frac {\text{عدد النتائج السلبية الصحيحة}}{{\text{عدد النتائج السلبية الصحيحة}}+{\text{عدد النتائج السلبية الخاطئة}}}}={\frac {\text{عدد النتائج السلبية الصحيحة}}{\text{عدد المكالمات السلبية}}}}

حيث يُعرَّف " النتيجة السلبية الحقيقية " بأنها نتيجة سلبية للاختبار، وتكون نتيجة الشخص الخاضع للاختبار سلبية وفقًا للمعيار الذهبي، بينما يُعرَّف " النتيجة السلبية الخاطئة " بأنها نتيجة سلبية للاختبار، وتكون نتيجة الشخص الخاضع للاختبار إيجابية وفقًا للمعيار الذهبي. في حالة الاختبار المثالي، أي الذي لا يُظهر أي نتائج سلبية خاطئة، تكون قيمة صافي القيمة الحالية 1 (100%)، وفي حالة الاختبار الذي لا يُظهر أي نتائج سلبية حقيقية، تكون قيمة صافي القيمة الحالية صفرًا.

يمكن أيضًا حساب القيمة التنبؤية السلبية من الحساسية والنوعية والانتشار :

صافي القيمة الحالية=الخصوصية×(1-انتشار)الخصوصية×(1-انتشار)+(1-حساسية)×انتشار{\displaystyle {\text{NPV}}={\frac {{\text{النوعية}}\times (1-{\text{الانتشار}})}{{\text{النوعية}}\times (1-{\text{الانتشار}})+(1-{\text{الحساسية}})\times {\text{الانتشار}}}}}
صافي القيمة الحالية=تيشمالتيشمال+Fشمال{\displaystyle {\text{NPV}}={\frac {TN}{TN+FN}}}

مكمل صافي القيمة الحالية هومعدل الإغفال الخاطئ (FOR):

ل=1-صافي القيمة الحالية=عدد النتائج السلبية الخاطئةعدد النتائج السلبية الحقيقية+عدد النتائج السلبية الخاطئة=عدد النتائج السلبية الخاطئةعدد المكالمات السلبية{\displaystyle {\text{FOR}}=1-{\text{NPV}}={\frac {\text{Number of false negatives}}{{\text{Number of true negatives}}+{\text{Number of false negatives}}}}={\frac {\text{Number of false negatives}}{\text{Number of negative calls}}}}

على الرغم من استخدامهما أحيانًا بشكل مترادف، فإن القيمة التنبؤية السلبية تشير عمومًا إلى ما يتم تحديده بواسطة مجموعات الضبط، بينما يشير احتمال ما بعد الاختبار السلبي إلى احتمال خاص بفرد معين. ومع ذلك، إذا كان احتمال ما قبل الاختبار للفرد للإصابة بالحالة المستهدفة هو نفسه معدل انتشارها في مجموعة الضبط المستخدمة لتحديد القيمة التنبؤية السلبية، فإنهما متساويان عدديًا.

علاقة

يوضح الرسم التخطيطي التالي كيفية ارتباط القيمة التنبؤية الإيجابية والقيمة التنبؤية السلبية والحساسية والنوعية .

الحالة المتوقعةالمصادر: [ 3 ] [ 4 ] [ 5 ] [ 6 ] [ 7 ] [ 8 ] [ 9 ] [ 10 ]
إجمالي عدد السكان = P + Nنتيجة إيجابية متوقعةالنتيجة المتوقعة سلبيةمستوى المعلومات ، مستوى معلومات وكيل المراهنات (BM) = TPR + TNR − 1عتبة الانتشار ( PT) =TPR × FPR − FPR / TPR − FPR
الحالة الفعلية
موجب حقيقي (P) [ أ ]إيجابي حقيقي (TP)، تم تسجيله [ ب ]النتيجة السلبية الخاطئة ، الخطأ، التقليل من شأن المشكلةمعدل الإيجابية الحقيقية (TPR)، الاستدعاء ، الحساسية (SEN)، احتمال الكشف  ، معدل  الإصابة ، القدرة  = TP / P = 1 − FNRمعدل النتائج السلبية الكاذبة (FNR)، معدل الخطأ  من النوع الثاني [ c ] = FN / P = 1 − TPR
السالب الحقيقي (N) [ d ]إيجابي كاذب ، إنذار كاذب، مبالغة في التقديرسلبي حقيقي (TN)، رفض صحيح [ هـ ]معدل الإنذار الكاذب (FPR)، احتمال  الإنذار  الكاذب  ، خطأ النوع الأول الناتج [ f ] = FP / N = 1 − TNRمعدل السلبية الحقيقية (TNR)، والنوعية (SPC)، والانتقائية = TN / N = 1 − FPR
الانتشار = P / P + Nالقيمة التنبؤية الإيجابية (PPV)، الدقة = TP / TP + FP = 1 − FDRمعدل الإغفال الخاطئ (FOR) = FN / TN + FN = 1 − NPVنسبة الاحتمالية الإيجابية (LR+) = TPR / FPRنسبة الاحتمالية السلبية (LR−) = FNR / TNR
الدقة (ACC) = TP + TN / P + Nمعدل الاكتشاف الخاطئ (FDR) = FP / TP + FP = 1 − PPVالقيمة التنبؤية السلبية (NPV) = TN / TN + FN = 1 − FORالتمييز (MK)، دلتا P ( Δ p) = PPV + NPV − 1نسبة احتمالات التشخيص ( DOR ) = LR + / LR− = TP × TN / FP × FN
الدقة المتوازنة (BA) = TPR + TNR / 2النتيجة F1 = 2 PPV × TPR / PPV + TPR = 2 TP / 2 TP + FP + FNمؤشر فولكس-مالوز (FM) = PPV × TPRمعامل ارتباط فاي أو ماثيوز (MCC) = معدل الإيجابية الحقيقية × معدل السلبية الحقيقية × القيمة التنبؤية الإيجابية × القيمة التنبؤية السلبية - معدل السلبية الكاذبة × معدل الإيجابية الكاذبة × معدل الإيجابية الكاذبة × معدل الاكتشاف الخاطئدرجة التهديد (TS)، مؤشر النجاح الحرج (CSI)، مؤشر جاكارد = TP / TP + FN + FP
  1. عدد الحالات الإيجابية الحقيقية في البيانات
  2. نتيجة اختبار تشير بشكل صحيح إلى وجود حالة أو سمة معينة
  3. خطأ من النوع الثاني: نتيجة اختبار تشير خطأً إلى غياب شرط أو سمة معينة.
  4. عدد الحالات السلبية الحقيقية في البيانات
  5. نتيجة اختبار تشير بشكل صحيح إلى عدم وجود حالة أو سمة معينة
  6. خطأ من النوع الأول: نتيجة اختبار تشير بشكل خاطئ إلى وجود شرط أو سمة معينة.

تجدر الإشارة إلى أن القيم التنبؤية الإيجابية والسلبية لا يمكن تقديرها إلا باستخدام بيانات من دراسة مقطعية أو دراسة سكانية أخرى يمكن من خلالها الحصول على تقديرات انتشار صحيحة . في المقابل، يمكن تقدير الحساسية والنوعية من دراسات الحالات والشواهد .

مثال عملي

لنفترض أن اختبار فحص الدم الخفي في البراز (FOB) يُستخدم في 2030 شخصًا للبحث عن سرطان الأمعاء:

نتيجة اختبار فحص الدم الخفي في البراز
إجمالي عدد السكان = 2030نتيجة الاختبار إيجابيةنتيجة الاختبار سلبيةالدقة (ACC)
= (TP + TN) / عدد السكان = (20 + 1820) / 2030 90.64%
الدرجة F 1
= 2 × الدقة × الاستدعاء / الدقة + الاستدعاء 0.174
مرضى سرطان الأمعاء (كما تم تأكيده بالتنظير الداخلي )الحالة الفعلية إيجابية (AP) = 30 (2030 × 1.48%)النتيجة الإيجابية الحقيقية (TP) = 20(2030 × 1.48% × 67%)النتيجة السلبية الخاطئة (FN) = 10(2030 × 1.48% × (100% - 67%) )معدل الإيجابية الحقيقية (TPR)، الاستدعاء ، الحساسية
= TP / AP = 20 / 30 66.7%
معدل النتائج السلبية الكاذبة (FNR)،  معدل الخطأ
= FN / AP = 10 / 30 33.3%
الحالة السلبية الفعلية (AN) = 2000 (2030 × (100% - 1.48%) )النتائج الإيجابية الخاطئة (FP) = 180(2030 × (100% - 1.48%) × (100% - 91%) )النتيجة السلبية الحقيقية (TN) = 1820(2030 × (100% - 1.48%) × 91%)معدل الإيجابية الكاذبة (FPR)، والنتائج المترتبة ، واحتمالية الإنذار الكاذب
= FP / AN = 180 / 2000 = 9.0%
النوعية ، الانتقائية، معدل السلبية الحقيقية (TNR)
= TN / AN = 1820 / 2000 = 91%
انتشار
= AP / عدد السكان = 30 / 2030 1.48%
القيمة التنبؤية الإيجابية (PPV)، الدقة
= TP / (TP + FP) = 20 / (20 + 180) = 10%
معدل الإغفال الخاطئ (FOR)
= الجبهة الوطنية / (الجبهة الوطنية + TN) = 10 / (10 + 1820) 0.55%
نسبة الاحتمالية الإيجابية (LR+)
= معدل الإيجابية الحقيقية / معدل الإيجابية الخاطئة = (20 / 30) / (180 / 2000) 7.41
نسبة الاحتمالية السلبية (LR )
= FNR / TNR = (10 / 30) / (1820 / 2000) 0.366
معدل الاكتشاف الخاطئ (FDR)
= FP / (TP + FP) = 180 / (20 + 180) = 90.0%
القيمة التنبؤية السلبية (NPV)
= TN / (FN + TN) = 1820 / (10 + 1820) 99.45%
نسبة احتمالات التشخيص (DOR)
= LR + / LR 20.2

تشير القيمة التنبؤية الإيجابية المنخفضة (PPV  =  10%) إلى أن العديد من النتائج الإيجابية لهذا الفحص هي نتائج إيجابية خاطئة. لذا، من الضروري إجراء فحص أكثر موثوقية بعد أي نتيجة إيجابية للحصول على تقييم أدق لوجود السرطان. مع ذلك، قد يكون هذا الفحص مفيدًا إذا كان غير مكلف وسهل الاستخدام. تكمن قوة فحص الدم الخفي في البراز في قيمته التنبؤية السلبية، والتي إذا كانت سلبية لدى الشخص، فإنها تمنحنا ثقة عالية بصحة النتيجة السلبية.

مشاكل

عوامل فردية أخرى

تجدر الإشارة إلى أن القيمة التنبؤية الإيجابية (PPV) ليست خاصية جوهرية للاختبار، بل تعتمد أيضًا على مدى انتشار المرض. [ 2 ] ونظرًا للتأثير الكبير لمدى الانتشار على القيم التنبؤية، فقد اقتُرح نهج معياري، حيث تُعدّل القيمة التنبؤية الإيجابية (PPV) لتتوافق مع انتشار المرض بنسبة 50%. [ 11 ] تتناسب القيمة التنبؤية الإيجابية (PPV) طرديًا مع مدى انتشار المرض أو الحالة. في المثال السابق، إذا كانت المجموعة التي خضعت للاختبار تضم نسبة أعلى من المصابين بسرطان الأمعاء، فمن المرجح أن تكون القيمة التنبؤية الإيجابية (PPV) أعلى والقيمة التنبؤية السلبية (NPV) أقل. أما إذا كان جميع أفراد المجموعة مصابين بسرطان الأمعاء، فستكون القيمة التنبؤية الإيجابية (PPV) 100% والقيمة التنبؤية السلبية (NPV) 0%.

للتغلب على هذه المشكلة، لا يُستخدم كل من القيمة التنبؤية السلبية (NPV) والقيمة التنبؤية الإيجابية (PPV) إلا إذا كانت نسبة عدد المرضى في مجموعة المرض إلى عدد المرضى في مجموعة الضبط السليمة، المستخدمة لحساب NPV وPPV، تُعادل معدل انتشار الأمراض في المجتمع المدروس، أو، في حالة مقارنة مجموعتين من الأمراض، إذا كانت نسبة عدد المرضى في المجموعة الأولى إلى عدد المرضى في المجموعة الثانية تُعادل نسبة انتشار المرضين المدروسين. وإلا، فإن نسب الاحتمال الإيجابية والسلبية أكثر دقة من NPV وPPV، لأن نسب الاحتمال لا تعتمد على معدل الانتشار.

عندما يكون لدى الفرد الخاضع للاختبار احتمال قبل الاختبار للإصابة بحالة معينة يختلف عن احتمال مجموعات الضبط المستخدمة لتحديد القيمة التنبؤية الإيجابية والسلبية، يتم عادةً التمييز بين القيمتين التنبؤيتين الإيجابية والسلبية من جهة، واحتمالات ما بعد الاختبار الإيجابية والسلبية من جهة أخرى، حيث تشير القيمتان التنبؤيتان الإيجابية والسلبية إلى تلك التي تم تحديدها بواسطة مجموعات الضبط، بينما تشير احتمالات ما بعد الاختبار إلى تلك الخاصة بالفرد الخاضع للاختبار (كما تم تقديرها، على سبيل المثال، باستخدام نسب الاحتمال ). ويُفضل في مثل هذه الحالات دراسة مجموعة كبيرة من الأفراد المتكافئين، وذلك لتحديد قيم تنبؤية إيجابية وسلبية منفصلة لاستخدام الاختبار مع هؤلاء الأفراد.

التحديث البايزي

تُفرض نظرية بايز قيودًا جوهرية على دقة اختبارات الفحص، وذلك تبعًا لانتشار المرض أو احتمالية الإصابة قبل الاختبار. وقد ثبت أن نظام الاختبار يمكنه تحمل انخفاضات كبيرة في الانتشار، حتى نقطة محددة جيدًا تُعرف بعتبة الانتشار ، والتي دونها تنخفض موثوقية اختبار الفحص الإيجابي بشكل حاد. ومع ذلك، أظهر بالايلا وآخرون [ 12 ] أن الاختبار المتسلسل يتغلب على قيود بايز المذكورة آنفًا، وبالتالي يُحسّن موثوقية اختبارات الفحص. وللحصول على قيمة تنبؤية إيجابية مرغوبةρ{\displaystyle \rho }، أينρ<1{\displaystyle \rho <1}، الذي يقترب من قيمة ثابتةك{\displaystyle k}عدد تكرارات الاختبار الإيجابيةنأنا{\displaystyle n_{i}}المطلوب هو:

نأنا=ليمكρln[ك(ϕ-1)ϕ(ك-1)]ln[أ1-ب]{\displaystyle n_{i}=\lim _{k\to \rho }\left\lceil {\frac {\ln \left[{\frac {k(\phi -1)}{\phi (k-1)}}\right]}{\ln \left[{\frac {a}{1-b}}\right]}}\right\rceil }

أين

  • ρ{\displaystyle \rho }هو نظام الدفع مقابل المشاهدة المطلوب
  • نأنا{\displaystyle n_{i}}هو عدد تكرارات الاختبار اللازمة لتحقيقρ{\displaystyle \rho }
  • أ{\displaystyle a}الحساسية
  • ب{\displaystyle b}هي الخصوصية
  • ϕ{\displaystyle \phi }انتشار المرض

تجدر الإشارة إلى أن مقام المعادلة أعلاه هو اللوغاريتم الطبيعي لنسبة الاحتمال الموجب (LR+). كما تجدر الإشارة إلى أن أحد الافتراضات الأساسية هو استقلالية الاختبارات. وكما ذكر بالايلا وآخرون [ 12 ] ، فإن تكرار الاختبار نفسه قد يُخلّ بهذا الافتراض، وفي الواقع، "إن الطريقة الأكثر طبيعية وموثوقية لتعزيز القيمة التنبؤية الموجبة هي، عند توفرها، استخدام اختبار مختلف تمامًا بمعايير مختلفة بعد الحصول على نتيجة إيجابية أولية." [ 12 ]

ظروف مستهدفة مختلفة

تُستخدم القيمة التنبؤية الإيجابية (PPV) للإشارة إلى احتمالية إصابة المريض بالمرض المحدد في حال كانت نتيجة الاختبار إيجابية. مع ذلك، قد يكون للمرض أكثر من سبب، وقد لا يؤدي أي سبب محتمل بمفرده إلى ظهور المرض الظاهر لدى المريض. هناك احتمال للخلط بين الحالات المستهدفة ذات الصلة في قيمتي PPV وNPV، كأن يُفسر اختبار PPV أو NPV على أنه إصابة بالمرض، بينما تشير هذه القيمة في الواقع إلى الاستعداد للإصابة به فقط. [ 13 ]

من الأمثلة على ذلك مسحة الحلق الميكروبيولوجية المستخدمة مع المرضى الذين يعانون من التهاب الحلق . عادةً ما تشير المنشورات التي تُحدد القيمة التنبؤية الإيجابية لمسحة الحلق إلى احتمالية وجود هذه البكتيريا في الحلق، وليس إلى إصابة المريض بالمرض نتيجةً لهذه البكتيريا. لو كان وجود هذه البكتيريا يؤدي دائمًا إلى التهاب الحلق، لكانت القيمة التنبؤية الإيجابية مفيدة للغاية. مع ذلك، قد تستوطن البكتيريا الأفراد بطريقة غير ضارة ولا تُسبب عدوى أو مرضًا. التهاب الحلق الذي يصيب هؤلاء الأفراد يكون سببه عوامل أخرى مثل الفيروسات. في هذه الحالة، يُمثل المعيار الذهبي المُستخدم في دراسة التقييم وجود البكتيريا فقط (التي قد تكون غير ضارة) وليس وجود التهاب حلق بكتيري مُسبب. يمكن إثبات أن هذه المشكلة ستؤثر على القيمة التنبؤية الإيجابية أكثر بكثير من تأثيرها على القيمة التنبؤية السلبية. [ 14 ] لتقييم الاختبارات التشخيصية التي ينظر فيها المعيار الذهبي فقط إلى الأسباب المحتملة للمرض، يمكن استخدام امتداد للقيمة التنبؤية يُسمى القيمة التنبؤية السببية . [ 13 ] [ 15 ]

انظر أيضاً

مراجع

  1. ↑ فليتشر ، روبرت هـ. فليتشر؛ سوزان و. (2005). علم الأوبئة السريري  : الأساسيات (  الطبعة الرابعة). بالتيمور، ماريلاند: ليبينكوت ويليامز وويلكنز. ص 45. ISBN  0-7817-5215-9.{{cite book}}: صيانة CS1: أسماء متعددة: قائمة المؤلفين ( رابط )
  2. 1 2 ألتمان، دي جي؛ بلاند، جي إم (1994). "الاختبارات التشخيصية 2: القيم التنبؤية" . المجلة الطبية البريطانية . 309 (6947): 102. doi : 10.1136/bmj.309.6947.102 . PMC 2540558. PMID 8038641 .  
  3. فوسيت، توم (2006). "مقدمة في تحليل منحنى ROC" (ملف PDF) . رسائل التعرف على الأنماط . 27 (8): 861-874 . doi : 10.1016/j.patrec.2005.10.010 . S2CID 2027090 . 
  4. بروفوست، فوستر؛ توم فاوست (2013-08-01). "علم البيانات للأعمال: ما تحتاج إلى معرفته حول استخراج البيانات والتفكير التحليلي للبيانات" . أورايلي ميديا، إنك .
  5. باورز، ديفيد إم دبليو (2011). "التقييم: من الدقة والاستدعاء ومقياس F إلى منحنى ROC والمعلوماتية والتمييز والارتباط" . مجلة تقنيات التعلم الآلي . 2 (1): 37-63 .
  6. تينغ، كاي مينغ (2011). ساموت، كلود؛ ويب، جيفري آي. (محرران). موسوعة تعلم الآلة . سبرينغر. doi : 10.1007/978-0-387-30164-8 . ISBN 978-0-387-30164-8.
  7. بروكس، هارولد؛ براون، بارب؛ إيبرت، بيث؛ فيرو، كريس؛ جوليف، إيان؛ كوه، تيه-يونغ؛ روبير، بول؛ ستيفنسون، ديفيد (26 يناير 2015). "الفريق العامل المشترك بين برنامج أبحاث الطقس العالمي (WWRP) وبرنامج أبحاث الأرصاد الجوية الوطنية (WGNE) المعني بأبحاث التحقق من التنبؤات" . التعاون من أجل أبحاث الطقس والمناخ الأسترالية . المنظمة العالمية للأرصاد الجوية . تاريخ الاسترجاع: 17 يوليو 2019 .
  8. شيكو د، جورمان ج (يناير 2020). "مزايا معامل ارتباط ماثيوز (MCC) مقارنةً بدرجة F1 ودقة تقييم التصنيف الثنائي" . بي إم سي جينوميكس . 21 (1): 6-1–6-13. doi : 10.1186/s12864-019-6413-7 . PMC 6941312. PMID 31898477 .  
  9. شيكو د، تويتش ن، جورمان ج (فبراير 2021). "معامل ارتباط ماثيوز (MCC) أكثر موثوقية من دقة التوازن، ومعلومات وكيل المراهنات، والتمييز في تقييم مصفوفة الارتباك ثنائية الفئة" . BioData Mining . 14 (13): 13. doi : 10.1186/s13040-021-00244-z . PMC 7863449. PMID 33541410 .  
  10. ثروت أ. (أغسطس 2018). "أساليب تقييم التصنيف" . الحوسبة التطبيقية والمعلوماتية . 17 : 168-192 . doi : 10.1016/j.aci.2018.08.003 .
  11. هيستون، توماس ف. (2011). "توحيد القيم التنبؤية في أبحاث التصوير التشخيصي" (ملف PDF) . مجلة التصوير بالرنين المغناطيسي . 33 (2): 505، رد المؤلف 506-507. doi : 10.1002/jmri.22466 . PMID 21274995 . 
  12. 1 2 3 جاك بالايلا. التحديث البايزي والاختبار التسلسلي: التغلب على القيود الاستدلالية لاختبارات الفحص. BMC Med Inform Decis Mak 22، 6 (2022). https://doi.org/10.1186/s12911-021-01738-w
  13. 1 2 غونارسون، روني ك.؛ لانكي، جان (2002). "القيمة التنبؤية للاختبارات التشخيصية الميكروبيولوجية في حال وجود حاملين بدون أعراض" . الإحصاء في الطب . 21 (12): 1773-1785 . doi : 10.1002/sim.1119 . PMID 12111911. S2CID 26163122 .  
  14. أوردا، أولريش؛ غونارسون، روني ك؛ أوردا، سابين؛ فيتزجيرالد، مارك؛ روف، جيفري؛ دارغان، آنا (2016). "القيمة التنبؤية المسببة للمرض لاختبار مناعي سريع للكشف عن مستضد المكورات العقدية من المجموعة أ من مسحات الحلق لدى المرضى الذين يعانون من التهاب الحلق" (ملف PDF) . المجلة الدولية للأمراض المعدية . 45 (أبريل): 32-35 . doi : 10.1016/j.ijid.2016.02.002 . PMID 26873279 . 
  15. غونارسون، روني ك. "حاسبة القيمة الحالية للجهد" . شبكة العلوم التلفزيونية .