موثوقية التقييم بين المقيمين

يُعدّ احتمال الاتفاق المشترك أبسط المقاييس وأقلها دقة. ويُقدّر كنسبة مئوية لحالات اتفاق المُقيّمين في نظام تقييم اسمي أو تصنيفي. ولا يأخذ هذا المقياس في الحسبان احتمالية حدوث الاتفاق صدفةً. ويُثار تساؤل حول ضرورة "تصحيح" الاتفاق الصدفي؛ إذ يرى البعض أنه في جميع الأحوال، ينبغي أن يستند أي تعديل من هذا القبيل إلى نموذج واضح لكيفية تأثير الصدفة والخطأ على قرارات المُقيّمين. ^{[ 3 ]}

عندما يكون عدد الفئات المستخدمة قليلاً (مثلاً فئتين أو ثلاث)، يزداد احتمال اتفاق مُقيِّمَين بالصدفة البحتة بشكل كبير. ويعود ذلك إلى أن كلا المُقيِّمَين مُلزمان بالتقيد بالعدد المحدود من الخيارات المتاحة، مما يؤثر على معدل الاتفاق الإجمالي، وليس بالضرورة على ميلهما إلى الاتفاق "الذاتي" (يُعتبر الاتفاق "ذاتيًا" إذا لم يكن ناتجًا عن الصدفة).

لذا، سيظل احتمال الاتفاق المشترك مرتفعًا حتى في غياب أي اتفاق "جوهري" بين المُقيّمين. ومن المتوقع أن يكون معامل موثوقية التقييم بين المُقيّمين (أ) قريبًا من الصفر عند غياب الاتفاق "الجوهري"، و(ب) أن يزداد مع تحسن معدل الاتفاق "الجوهري". تحقق معظم معاملات الاتفاق المصححة للصدفة الهدف الأول. مع ذلك، لا تحقق العديد من المقاييس المصححة للصدفة المعروفة الهدف الثاني. ^{[ 4 ]}

كابا هي طريقة لقياس الاتفاق أو الموثوقية، وتصحح مدى احتمالية اتفاق التقييمات بالصدفة. كابا كوهين ^{[ 5 ]،} الذي يعمل مع مُقيِّمين اثنين، وكابا فليس ^{[ 6 ]،} وهو تعديل يعمل مع أي عدد ثابت من المُقيِّمين، يُحسِّنان من الاحتمالية المشتركة من خلال أخذهما في الاعتبار مقدار الاتفاق الذي يُتوقع حدوثه بالصدفة. كانت النسخ الأصلية تعاني من نفس مشكلة الاحتمالية المشتركة ، حيث تعامل البيانات على أنها اسمية وتفترض أن التقييمات لا تتبع ترتيبًا طبيعيًا؛ فإذا كانت البيانات في الواقع تحمل رتبة (مستوى قياس ترتيبي)، فإن هذه المعلومة لا تُؤخذ في الاعتبار بشكل كامل في القياسات.

تضمنت التوسعات اللاحقة لهذا النهج إصداراتٍ قادرة على التعامل مع "الدرجات الجزئية" والمقاييس الترتيبية. ^{[ 7 ]} تتقارب هذه التوسعات مع عائلة معاملات الارتباط داخل الفئة (ICCs)، مما يوفر طريقةً مترابطةً من الناحية المفاهيمية لتقدير الموثوقية لكل مستوى من مستويات القياس، بدءًا من الاسمي (كابا) إلى الترتيبي (كابا الترتيبي أو ICC - بافتراضات موسعّة) إلى الفاصل الزمني (ICC، أو كابا الترتيبي - بمعاملة مقياس الفاصل الزمني كمقياس ترتيبي)، والنسبة (ICCs). كما توجد متغيراتٌ أخرى تُعنى بدراسة مدى اتفاق المُقيّمين على مجموعة من البنود (على سبيل المثال، هل يتفق مُقابلان على درجات الاكتئاب لجميع البنود في نفس المقابلة شبه المنظمة لحالة واحدة؟)، بالإضافة إلى اتفاق المُقيّمين على الحالات (على سبيل المثال، ما مدى اتفاق مُقيّمين أو أكثر حول تشخيص الاكتئاب لـ 30 حالة، نعم/لا - متغير اسمي).

يشبه معامل كابا معامل الارتباط في أنه لا يمكن أن يتجاوز +1.0 أو يقل عن -1.0. ولأنه يُستخدم كمقياس للاتفاق، فمن المتوقع أن تكون القيم موجبة فقط في معظم الحالات؛ بينما تشير القيم السالبة إلى اختلاف منهجي. ولا يمكن أن يحقق معامل كابا قيمًا عالية جدًا إلا عندما يكون الاتفاق جيدًا ويكون معدل الحالة المستهدفة قريبًا من 50% (لأنه يتضمن المعدل الأساسي في حساب الاحتمالات المشتركة). وقد قدم العديد من الخبراء "قواعد عامة" لتفسير مستوى الاتفاق، يتفق الكثير منها في جوهرها على الرغم من اختلاف الصياغة. ^{[ 8 ] [ 9 ] [ 10 ] [ 11 ]}

إما بيرسون​${\displaystyle r}$، أو معامل ارتباط كيندال (τ) ، أو معامل ارتباط سبيرمان (Spearman 's)${\displaystyle \rho }$ يمكن استخدام هذه الطريقة لقياس الارتباط الثنائي بين المُقيِّمين باستخدام مقياس مُرتب. يفترض بيرسون أن مقياس التقييم متصل، بينما تفترض إحصائيات كيندال وسبيرمان أنه ترتيبي فقط. إذا تمت ملاحظة أكثر من مُقيِّمين، فيمكن حساب متوسط ​​مستوى الاتفاق للمجموعة كمتوسط ​​لـ${\displaystyle r}$، τ ، أو${\displaystyle \rho }$القيم من كل زوج محتمل من المقيمين.

إحدى طرق إجراء اختبارات الموثوقية هي استخدام معامل الارتباط داخل الفئة (ICC). ^{[ 12 ]} يوجد عدة أنواع من هذا المعامل، ويُعرَّف أحدها بأنه "نسبة تباين الملاحظة الناتج عن التباين بين الأفراد في الدرجات الحقيقية". ^{[ 13 ]} يتراوح معامل الارتباط داخل الفئة بين 0.0 و1.0 (كان أحد التعريفات المبكرة له يتراوح بين -1 و+1). يكون معامل الارتباط داخل الفئة مرتفعًا عندما يكون التباين ضئيلًا بين الدرجات التي يمنحها المُقيِّمون لكل بند، على سبيل المثال، إذا منح جميع المُقيِّمين نفس الدرجات أو درجات متقاربة لكل بند. يُعد معامل الارتباط داخل الفئة تحسينًا لمعامل بيرسون.${\displaystyle r}$وسبيرمان${\displaystyle \rho }$، حيث يأخذ في الاعتبار الاختلافات في التقييمات للقطاعات الفردية، إلى جانب الارتباط بين المقيمين.

ثمة طريقة أخرى لتقييم الاتفاق (مفيدة عند وجود مُقيِّمين اثنين فقط ومقياس متصل) وهي حساب الفروق بين كل زوج من ملاحظات المُقيِّمين. يُطلق على متوسط ​​هذه الفروق اسم الانحياز ، بينما تُسمى الفترة المرجعية (المتوسط  ​​±  1.96  × الانحراف المعياري ) حدود الاتفاق . تُتيح حدود الاتفاق فهمًا أفضل لمدى تأثير التباين العشوائي على التقييمات. 

إذا كان المُقيّمون يميلون إلى الاتفاق، فإن الفروقات بين ملاحظاتهم ستكون قريبة من الصفر. أما إذا كان أحد المُقيّمين يُقيّم عادةً أعلى أو أقل من الآخر بمقدار ثابت، فسيكون الانحياز مختلفًا عن الصفر. وإذا كان المُقيّمون يميلون إلى الاختلاف، ولكن دون نمط ثابت لتقييم أحدهما أعلى من الآخر، فسيكون المتوسط ​​قريبًا من الصفر. ويمكن حساب حدود الثقة (عادةً 95%) لكل من الانحياز وحدود الاتفاق.

توجد عدة صيغ يمكن استخدامها لحساب حدود الاتفاق. الصيغة البسيطة، التي وردت في الفقرة السابقة وتعمل بشكل جيد مع حجم عينة أكبر من 60، ^{[ 14 ]} هي

${\displaystyle {\bar {x}}\pm 1.96s}$

بالنسبة لأحجام العينات الصغيرة، هناك تبسيط شائع آخر ^{[ 15 ]} وهو

${\displaystyle {\bar {x}}\pm 2s}$

ومع ذلك، فإن الصيغة الأكثر دقة (والتي تنطبق على جميع أحجام العينات) ^{[ 14 ]} هي

${\displaystyle {\bar {x}}\pm t_{0.05,n-1}s{\sqrt {1+{\frac {1}{n}}}}}$

قام بلاند وألتمان ^{[ 15 ]} بتطوير هذه الفكرة من خلال رسم بياني يوضح الفرق بين كل نقطة، ومتوسط ​​الفرق، وحدود الاتفاق على المحور الرأسي مقابل متوسط ​​التقييمين على المحور الأفقي. يُظهر مخطط بلاند-ألتمان الناتج ليس فقط درجة الاتفاق الإجمالية، بل أيضًا ما إذا كان الاتفاق مرتبطًا بالقيمة الأساسية للعنصر. على سبيل المثال، قد يتفق مُقيِّمان بشكل كبير في تقدير حجم العناصر الصغيرة، لكنهما يختلفان حول العناصر الأكبر حجمًا.

عند مقارنة طريقتين للقياس، لا يقتصر الأمر على تقدير كلٍّ من الانحياز وحدود الاتفاق بينهما (اتفاق المُقيِّمين)، بل يشمل أيضًا تقييم هذه الخصائص لكل طريقة على حدة. قد يكون الاتفاق بين الطريقتين ضعيفًا لمجرد أن إحداهما تتمتع بحدود اتفاق واسعة بينما الأخرى بحدود ضيقة. في هذه الحالة، تكون الطريقة ذات حدود الاتفاق الضيقة أفضل من الناحية الإحصائية، بينما قد تُغيِّر اعتبارات عملية أو غيرها هذا التقييم. أما تحديد ما يُعتبر حدود اتفاق ضيقة أو واسعة، أو انحيازًا كبيرًا أو صغيرًا، فهو مسألة تقييم عملي في كل حالة.

يُعدّ معامل ألفا لكريبندورف ^{[ 16 ] [ 17 ]} إحصائية متعددة الاستخدامات تُقيّم مدى الاتفاق بين المراقبين الذين يصنفون أو يقيمون أو يقيسون مجموعة معينة من الأشياء بناءً على قيم متغير ما. وهو يُعمّم العديد من معاملات الاتفاق المتخصصة من خلال قبول أي عدد من المراقبين، كما أنه قابل للتطبيق على مستويات القياس الاسمية والترتيبية والفترية والنسبية، وقادر على التعامل مع البيانات المفقودة ، ويتم تصحيحه لأحجام العينات الصغيرة.

ظهرت ألفا في تحليل المحتوى حيث يتم تصنيف الوحدات النصية بواسطة مرمزين مدربين وتستخدم في الاستشارات وأبحاث المسح حيث يقوم الخبراء بترميز بيانات المقابلات المفتوحة إلى مصطلحات قابلة للتحليل، وفي القياس النفسي حيث يتم اختبار السمات الفردية بطرق متعددة، وفي الدراسات القائمة على الملاحظة حيث يتم تسجيل الأحداث غير المنظمة لتحليلها لاحقًا، وفي اللغويات الحاسوبية حيث يتم شرح النصوص لمختلف الصفات النحوية والدلالية.