معدل الخطأ البايزي

في التصنيف الإحصائي ، يُعد معدل خطأ بايز أقل معدل خطأ ممكن لأي مصنف لنتيجة عشوائية (إلى إحدى فئتين، على سبيل المثال)، وهو مماثل للخطأ غير القابل للاختزال. ^{[ 1 ] [ 2 ]}

توجد عدة طرق لتقدير معدل خطأ بايز. تسعى إحدى الطرق إلى الحصول على حدود تحليلية تعتمد بطبيعتها على معلمات التوزيع، وبالتالي يصعب تقديرها. وتركز طريقة أخرى على كثافات الفئات، بينما تجمع طريقة ثالثة بين مختلف المصنفات وتقارن بينها. ^{[ 2 ]}

يُستخدم معدل خطأ بايز بشكل مهم في دراسة الأنماط وتقنيات التعلم الآلي . ^{[ 3 ]}

يعرّفها مهري ورستم زاده وتالوالكر على أنها

بافتراض التوزيع${\displaystyle {\mathcal {D}}}$زيادة${\displaystyle {\mathcal {X}}\times {\mathcal {Y}}}$خطأ بايز${\displaystyle R^{*}}$يُعرَّف بأنه الحد الأدنى للأخطاء التي تحققها الدوال القابلة للقياس${\displaystyle h:{\mathcal {X}}\to {\mathcal {Y}}}$:

$${\displaystyle R^{*}=\inf \limits _{h:h{\text{ measurable}}}R(h)}$$

الفرضية h التي يكون فيها R(h) = R ^* تسمى فرضية بايز أو مصنف بايز .

في مجال التعلم الآلي وتصنيف الأنماط، يمكن تقسيم تصنيفات مجموعة من المشاهدات العشوائية إلى فئتين أو أكثر. تُسمى كل مشاهدة " حالة" ، والفئة التي تنتمي إليها تُسمى " التصنيف" . معدل خطأ بايز لتوزيع البيانات هو احتمال تصنيف حالة ما بشكل خاطئ بواسطة مصنف يعرف احتمالات الفئات الحقيقية بناءً على المتغيرات التنبؤية.

بالنسبة لمصنف متعدد الفئات ، يمكن حساب خطأ التنبؤ المتوقع على النحو التالي: ^{[ 3 ]}

$${\displaystyle EPE=E_{x}[\sum _{k=1}^{K}L(C_{k},{\hat {C}}(x))P(C_{k}|x)]}$$

أين${\displaystyle x}$هذا هو المثال،${\displaystyle E[]}$القيمة المتوقعة،${\displaystyle C_{k}}$هي فئة يتم تصنيف الكائن ضمنها،${\displaystyle P(C_{k}|x)}$الاحتمال الشرطي للعلامة${\displaystyle k}$على سبيل المثال${\displaystyle x}$، و${\displaystyle L()}$دالة الخسارة 0-1 :

$${\displaystyle L(x,y)=1-\delta _{x,y}={\begin{cases}0&{\text{إذا كان }}x=y\\1&{\text{إذا كان }}x\neq y\end{cases}},}$$ أين${\displaystyle \delta _{x,y}}$هي دلتا كرونكر .

عندما يعرف المتعلم الاحتمال الشرطي، فإن أحد الحلول هو:

$${\displaystyle {\hat {C}}_{B}(x)=\arg \max _{k\in \{1...K\}}P(C_{k}|X=x)}$$

يُعرف هذا الحل باسم مصنف بايز.

يُطلق على خطأ التنبؤ المتوقع المقابل اسم معدل خطأ بايز:

$${\displaystyle BE=E_{x}[\sum _{k=1}^{K}L(C_{k},{\hat {C}}_{B}(x))P(C_{k}|x)]=E_{x}[\sum _{k=1,\ C_{k}\neq {\hat {C}}_ {B}(x)}^{K}P(C_{k}|x)]=E_{x[1-P({\hat {C}}_{B}(x)|x)],}$$

حيث يمكن حذف المجموع في الخطوة الأخيرة نظرًا لأخذ حدث العداد في الاعتبار. وبحسب تعريف مصنف بايز، فإنه يُعظّم${\displaystyle P({\hat {C}}_{B}(x)|x)}$وبالتالي، يقلل من خطأ بايز BE.

يكون خطأ بايز غير صفري إذا لم تكن تصنيفات البيانات حتمية، أي إذا كان هناك احتمال غير صفري لانتماء حالة معينة إلى أكثر من فئة واحدة. ^{[ 4 ]} في سياق الانحدار مع الخطأ التربيعي، يكون خطأ بايز مساويًا لتباين الضوضاء. ^{[ 3 ]}

يمكن العثور على الدليل على أن معدل خطأ بايز هو بالفعل الحد الأدنى الممكن وأن مصنف بايز هو الأمثل، معًا على صفحة ويكيبيديا الخاصة بمصنف بايز .

تستخدم قاعدة التعويض تقديرًا للاحتمالية اللاحقة${\displaystyle \eta }$لتكوين قاعدة تصنيف. بالنظر إلى تقدير${\displaystyle {\tilde {\eta }}}$، معدل خطأ بايز الزائد للمصنف المرتبط به محدود من الأعلى بما يلي:

$${\displaystyle 2\mathbb {E} [|\eta (X)-{\tilde {\eta }}(X)|].}$$

ولتوضيح ذلك، لاحظ أن خطأ بايز الزائد يساوي صفرًا عندما تتفق المصنفات، ويساوي${\displaystyle 2|\eta (X)-1/2|}$حيث يختلفون. لتشكيل الرابط، لاحظ أن${\displaystyle {\tilde {\eta }}}$على الأقل بقدر ما${\displaystyle 1/2}$عندما يختلف المصنفون.

• مصنف بايز الساذج