مقاييس التقييم (استرجاع المعلومات)

معدل التخلي عن الجلسة هو نسبة جلسات البحث التي لا تؤدي إلى نقرة.

نسبة النقر إلى الظهور (CTR) هي نسبة المستخدمين الذين ينقرون على رابط معين إلى إجمالي عدد المستخدمين الذين يشاهدون صفحة أو بريدًا إلكترونيًا أو إعلانًا. وتُستخدم عادةً لقياس نجاح حملة إعلانية عبر الإنترنت لموقع ويب معين، بالإضافة إلى فعالية حملات البريد الإلكتروني. ^{[ 6 ]}

يقيس معدل نجاح الجلسة نسبة جلسات المستخدمين التي تؤدي إلى نجاح. غالبًا ما يعتمد تعريف "النجاح" على السياق، ولكن في مجال البحث، يُقاس النجاح عادةً باستخدام مدة بقاء المستخدم كعامل أساسي إلى جانب تفاعل المستخدم الثانوي، على سبيل المثال، يُعتبر نسخ المستخدم لعنوان URL للنتيجة نتيجة ناجحة، وكذلك النسخ واللصق من المقتطف.

معدل النتائج الصفرية ( ZRR ) هو نسبة صفحات نتائج محركات البحث (SERPs) التي لم تُظهر أي نتائج. يشير هذا المقياس إما إلى مشكلة في استرجاع البيانات، أو إلى أن المعلومات التي يتم البحث عنها غير موجودة في الفهرس.

الدقة هي نسبة المستندات المسترجعة ذات الصلة باحتياجات المستخدم من المعلومات.

${\displaystyle {\mbox{precision}}={\frac {|\{{\mbox{relevant documents}}\}\cap \{{\mbox{retrieved documents}}\}|}{|\{{\mbox{retrieved documents}}\}|}}}$

في التصنيف الثنائي ، تُشابه الدقة القيمة التنبؤية الإيجابية . تأخذ الدقة جميع المستندات المسترجعة في الحسبان. ويمكن أيضًا تقييمها بالنظر فقط إلى أفضل النتائج التي يُرجعها النظام باستخدام Precision@k .

تجدر الإشارة إلى أن معنى واستخدام "الدقة" في مجال استرجاع المعلومات يختلف عن تعريف الدقة والضبط في فروع أخرى من العلوم والإحصاء .

الاسترجاع هو نسبة المستندات ذات الصلة بالاستعلام التي يتم استرجاعها بنجاح.

${\displaystyle {\mbox{recall}}={\frac {|\{{\mbox{relevant documents}}\}\cap \{{\mbox{retrieved documents}}\}|}{|\{{\mbox{relevant documents}}\}|}}}$

في التصنيف الثنائي، يُطلق على الاستدعاء غالبًا اسم الحساسية . لذا يمكن اعتباره احتمال استرجاع مستند ذي صلة بواسطة الاستعلام .

من السهل تحقيق استرجاع بنسبة 100% عن طريق إرجاع جميع المستندات استجابةً لأي استعلام. لذا، فإن الاسترجاع وحده لا يكفي، بل يجب قياس عدد المستندات غير ذات الصلة أيضًا، على سبيل المثال عن طريق حساب الدقة.

نسبة المستندات غير ذات الصلة التي يتم استرجاعها، من إجمالي المستندات غير ذات الصلة المتاحة:

${\displaystyle {\mbox{fall-out}}={\frac {|\{{\mbox{المستندات غير ذات الصلة}}\}\cap \{{\mbox{المستندات المسترجعة}}\}|}{|\{{\mbox{المستندات غير ذات الصلة}}\}|}}}$

في التصنيف الثنائي، يُعدّ التسرب عكس الخصوصية ، وهو يساوي${\displaystyle (1-{\mbox{التحديد}})}$ويمكن النظر إليه على أنه احتمال استرجاع مستند غير ذي صلة بواسطة الاستعلام .

من السهل تحقيق نسبة فشل 0% عن طريق إرجاع صفر من المستندات استجابةً لأي استعلام.

المتوسط ​​التوافقي المرجح للدقة والاستدعاء، أو مقياس F التقليدي أو درجة F المتوازنة هو:

${\displaystyle F={\frac {2\cdot \mathrm {precision} \cdot \mathrm {recall} }{(\mathrm {precision} +\mathrm {recall} )}}}$

يُعرف هذا أيضًا باسم${\displaystyle F_{1}}$القياس، لأن الاستدعاء والدقة متساويان في الأهمية.

الصيغة العامة للأعداد الحقيقية غير السالبة${\displaystyle \beta }$يكون:

${\displaystyle F_{\beta }={\frac {(1+\beta ^{2})\cdot (\mathrm {precision} \cdot \mathrm {recall} )}{(\beta ^{2}\cdot \mathrm {precision} +\mathrm {recall} )}}\,}$

هناك مقياسان آخران شائعا الاستخدام من مقاييس F وهما:${\displaystyle F_{2}}$المقياس، الذي يزن البيانات ويتذكر ضعف ما يتذكره المقياس الدقيق، و${\displaystyle F_{0.5}}$مقياس يعطي وزناً للدقة ضعف وزن الاستدعاء.

تم اشتقاق مقياس F بواسطة فان ريسبرجن (1979) بحيث${\displaystyle F_{\beta }}$"يقيس مدى فعالية عملية الاسترجاع بالنسبة للمستخدم الذي يقوم بإرفاق${\displaystyle \beta }$"يُعدّ التذكّر أكثر أهمية من الدقة". وهو يستند إلى مقياس فعالية فان ريسبرجن${\displaystyle E=1-{\frac {1}{{\frac {\alpha }{P}}+{\frac {1-\alpha }{R}}}}}$علاقتهما هي:

${\displaystyle F_{\beta }=1-E}$أين${\displaystyle \alpha ={\frac {1}{1+\beta ^{2}}}}$

بما أن مقياس F يجمع المعلومات من كل من الدقة والاستدعاء، فهو طريقة لتمثيل الأداء العام دون عرض رقمين.

الدقة والاستدعاء مقياسان أحاديان يعتمدان على قائمة المستندات الكاملة التي يُرجعها النظام. بالنسبة للأنظمة التي تُرجع تسلسلًا مُرتبًا من المستندات، يُستحسن أيضًا مراعاة ترتيب عرض هذه المستندات. من خلال حساب الدقة والاستدعاء عند كل موضع في التسلسل المُرتب للمستندات، يُمكن رسم منحنى الدقة والاستدعاء، حيث تُمثل الدقة${\displaystyle p(r)}$كدالة للاستدعاء${\displaystyle r}$. تحسب الدقة المتوسطة القيمة المتوسطة لـ${\displaystyle p(r)}$خلال الفترة من${\displaystyle r=0}$ل${\displaystyle r=1}$: ^{[ 7 ]}

${\displaystyle \operatorname {AveP} =\int _{0}^{1}p(r)dr}$

هذه هي المساحة تحت منحنى الدقة والاستدعاء. ويتم استبدال هذا التكامل عمليًا بمجموع محدود على كل موضع في التسلسل المصنف للمستندات:

${\displaystyle \operatorname {AveP} =\sum _{k=1}^{n}P(k)\Delta r(k)}$

أين${\displaystyle k}$يمثل هذا الترتيب في تسلسل المستندات المسترجعة،${\displaystyle n}$هو عدد المستندات المسترجعة،${\displaystyle P(k)}$الدقة عند القطع${\displaystyle k}$في القائمة، و${\displaystyle \Delta r(k)}$هل التغيير في استدعاء العناصر${\displaystyle k-1}$ل${\displaystyle k}$[ ^{7 ]​}

هذا المجموع المحدود يعادل ما يلي:

${\displaystyle \operatorname {AveP} ={\frac {\sum _{k=1}^{n}P(k)\times \operatorname {rel} (k)}{\mbox{total number of relevant documents}}}\!}$

أين${\displaystyle \operatorname {rel} (k)}$هي دالة مؤشر تساوي 1 إذا كان العنصر في المرتبة${\displaystyle k}$^{[ 8} ] يُشير هذا إلى مستند ذي صلة، وإلا يُشير إلى صفر. ^{[ 8 ]} لاحظ أن المتوسط ​​يُحسب على المستندات ذات الصلة ضمن أفضل k مستند تم استرجاعها، وأن المستندات ذات الصلة التي لم يتم استرجاعها تحصل على درجة دقة تساوي صفرًا.

يختار بعض المؤلفين الاستقراء${\displaystyle p(r)}$وظيفة لتقليل تأثير "التموجات" في المنحنى. ^{[ 9 ] [ 10 ]} على سبيل المثال، في تحدي PASCAL Visual Object Classes (وهو معيار قياسي لاكتشاف الكائنات في رؤية الحاسوب) حتى عام 2010 ^{[ 11 ]،} تم حساب متوسط ​​الدقة عن طريق حساب متوسط ​​الدقة على مجموعة من مستويات الاستدعاء المتباعدة بالتساوي {0، 0.1، 0.2، ... 1.0}: ^{[ 9 ] [ 10 ]}

${\displaystyle \operatorname {AveP} ={\frac {1}{11}}\sum _{r\in \{0,0.1,\ldots ,1.0\}}p_{\operatorname {interp} }(r)}$

أين${\displaystyle p_{\operatorname {interp} }(r)}$هي دقة مُستكمَلة تأخذ أقصى دقة على جميع عمليات الاستدعاء الأكبر من${\displaystyle r}$:

${\displaystyle p_{\operatorname {interp} }(r)=\operatorname {max} _{{\tilde {r}}:{\tilde {r}}\geq r}p({\tilde {r}})}$.

البديل هو اشتقاق تحليلي${\displaystyle p(r)}$تعتمد هذه الوظيفة على افتراض توزيع بارامتري معين لقيم القرار الأساسية. على سبيل المثال، يمكن الحصول على منحنى دقة-استدعاء ثنائي طبيعي بافتراض أن قيم القرار في كلا الفئتين تتبع توزيعًا غاوسيًا. ^{[ 12 ]}

يُعطى الحد الأدنى لمتوسط ​​الاحتمالية الممكنة لمهمة تصنيف معينة بالصيغة التالية:

${\displaystyle {\frac {1}{n_{pos}}}\sum _{k=1}^{n_{pos}}{\frac {k}{k+n_{neg}}}}$^{[ 13 ]}

في مجال استرجاع المعلومات الحديث (على نطاق الويب)، لم يعد الاستدعاء مقياسًا ذا جدوى، إذ تحتوي العديد من الاستعلامات على آلاف المستندات ذات الصلة، وقلة من المستخدمين مهتمون بقراءتها جميعًا. لا تزال دقة الوصول إلى k مستند (P@k) مقياسًا مفيدًا (على سبيل المثال، P@10 أو "الدقة عند 10" تشير إلى عدد النتائج ذات الصلة ضمن أفضل 10 مستندات مسترجعة)، لكنها لا تأخذ في الحسبان مواقع المستندات ذات الصلة ضمن أفضل k مستند. ^{[ 14 ]} ومن أوجه القصور الأخرى أنه في استعلام يحتوي على عدد أقل من k من النتائج ذات الصلة، حتى النظام المثالي سيحصل على درجة أقل من 1. ^{[ 15 ]} من الأسهل حساب الدرجة يدويًا، إذ يكفي فحص أفضل k نتيجة فقط لتحديد مدى صلتها بالموضوع.

تتطلب دقة R معرفة جميع المستندات ذات الصلة بالاستعلام. عدد المستندات ذات الصلة،${\displaystyle R}$تُستخدم قيمة R كحد فاصل للحساب، وتختلف هذه القيمة من استعلام لآخر. على سبيل المثال، إذا كان هناك 15 مستندًا ذا صلة بكلمة "أحمر" في مجموعة بيانات (R=15)، فإن دقة R لكلمة "أحمر" تنظر إلى أفضل 15 مستندًا يتم إرجاعها، وتحسب عدد المستندات ذات الصلة.${\displaystyle r}$ويحول ذلك إلى نسبة أهمية:${\displaystyle r/R=r/15}$[ ^{16 ]​}

لاحظ أن دقة R تعادل الدقة عند${\displaystyle R}$الموضع رقم (P@)${\displaystyle R}$) والاستدعاء في${\displaystyle R}$الموضع رقم -th. ^{[ 15 ]}

من الناحية التجريبية، غالباً ما يكون هذا المقياس مرتبطاً ارتباطاً وثيقاً بمتوسط ​​الدقة. ^{[ 15 ]}

متوسط ​​الدقة (MAP) لمجموعة من الاستعلامات هو متوسط ​​درجات الدقة لكل استعلام.

${\displaystyle \operatorname {MAP} ={\frac {\sum _{q=1}^{Q}\operatorname {AveP(q)} }{Q}}\!}$

حيث Q هو عدد الاستعلامات.

تستخدم خوارزمية DCG مقياسًا متدرجًا لأهمية المستندات من مجموعة النتائج لتقييم فائدة المستند، أو مدى استفادة المستخدم منه، بناءً على موقعه في قائمة النتائج. تقوم فكرة DCG على أن المستندات ذات الصلة العالية التي تظهر في أسفل قائمة نتائج البحث يجب معاقبتها، حيث يتم تخفيض قيمة الأهمية المتدرجة بشكل لوغاريتمي يتناسب مع موقع النتيجة. ^{[ 17 ]}

تراكمت نقاط DCG في رتبة معينة${\displaystyle p}$يُعرَّف على النحو التالي:

${\displaystyle \mathrm {DCG_{p}} =\sum _{i=1}^{p}{\frac {rel_{i}}{\log _{2}(i+1)}}.}$

بما أن حجم مجموعة النتائج قد يختلف بين الاستعلامات أو الأنظمة المختلفة، فإن النسخة المعيارية من DCG تستخدم DCG مثاليًا لمقارنة الأداء. ولتحقيق هذه الغاية، تقوم بفرز مستندات قائمة النتائج حسب الصلة، مما ينتج عنه DCG مثالي في الموضع p (${\displaystyle IDCG_{p}}$، مما يؤدي إلى توحيد النتيجة:

${\displaystyle \mathrm {nDCG_{p}} ={\frac {DCG_{p}}{IDCG{p}}}.}$

يمكن حساب متوسط ​​قيم nDCG لجميع الاستعلامات للحصول على مقياس لأداء خوارزمية الترتيب. لاحظ أنه في خوارزمية ترتيب مثالية، فإن${\displaystyle DCG_{p}}$سيكون الأمر مماثلاً لـ${\displaystyle IDCG_{p}}$ينتج عن ذلك قيمة nDCG تساوي 1.0. جميع حسابات nDCG هي قيم نسبية في الفترة من 0.0 إلى 1.0، وبالتالي فهي قابلة للمقارنة بين الاستعلامات. ^{[ 18 ]}

• متوسط ​​الرتبة المتبادلة
• bpref - مقياس قائم على التجميع لعدد المستندات ذات الصلة التي يتم ترتيبها قبل المستندات غير ذات الصلة ^{[ 16 ]}
• GMAP - المتوسط ​​الهندسي للدقة المتوسطة (لكل موضوع) ^{[ 16 ]}
• التدابير القائمة على الصلة الهامشية وتنوع الوثائق - انظر الصلة (استرجاع المعلومات) §  المشاكل والبدائل
• مقاييس كل من الصلة والمصداقية (للأخبار المزيفة في نتائج البحث) ^{[ 19 ]}
• معدل الإصابة

تتضمن طرق عرض أداء استرجاع المعلومات ما يلي:

• الرسوم البيانية التي ترسم الدقة على محور واحد والاستدعاء على المحور الآخر ^{[ 16 ]}
• الرسوم البيانية لمتوسط ​​الدقة عبر مواضيع مختلفة ^{[ 16 ]}
• منحنى خصائص تشغيل المستقبل (منحنى ROC)
• مصفوفة الارتباك

يقيس معدل استخدام نظام البحث عدد الاستعلامات التي تُجرى عليه شهريًا/يوميًا/ساعيًا/دقيقيًا/ثانيًا. ويمكن استخدامه لتشخيص أي ارتفاع مفاجئ في الاستعلامات، أو ببساطة كمعيار أساسي للمقارنة مع مقاييس أخرى، مثل زمن استجابة الاستعلام. فعلى سبيل المثال، قد يُستخدم ارتفاع حركة الاستعلامات لتفسير ارتفاع زمن استجابة الاستعلام.