التصنيف الاحتمالي

في مجال تعلم الآلة ، المصنف الاحتمالي هو مصنف قادر على التنبؤ، بناءً على مُدخلات معينة، بتوزيع احتمالي لمجموعة من الفئات، بدلاً من مجرد إخراج الفئة الأكثر ترجيحًا التي ينبغي أن ينتمي إليها المُدخل. توفر المصنفات الاحتمالية تصنيفًا مفيدًا بحد ذاته ^{[ 1 ]} أو عند دمج المصنفات في مجموعات .

بشكل رسمي، المصنف "العادي" هو قاعدة أو دالة تقوم بتعيين تصنيف ŷ لعينة x :

${\displaystyle {\hat {y}}=f(x)}$

تأتي العينات من مجموعة X (على سبيل المثال، مجموعة جميع المستندات ، أو مجموعة جميع الصور )، بينما تشكل تصنيفات الفئات مجموعة محدودة Y محددة مسبقًا قبل التدريب.

تُعمم المصنفات الاحتمالية هذا المفهوم للمصنفات: فبدلاً من كونها دوال، فهي عبارة عن توزيعات شرطية.${\displaystyle \Pr(Y\vert X)}$بمعنى أنه بالنسبة لـ${\displaystyle x\in X}$إنهم يخصصون احتمالات للجميع${\displaystyle y\in Y}$(ومجموع هذه الاحتمالات يساوي واحدًا). ​​يمكن بعد ذلك إجراء التصنيف "الصعب" باستخدام قاعدة القرار المثلى ^{[ 2 ] : 39-40}

${\displaystyle {\hat {y}}=\operatorname {\arg \max } _{y}\Pr(Y=y\vert X)}$

أو باللغة الإنجليزية، الفئة المتوقعة هي تلك التي لديها أعلى احتمال.

تُعرف المصنفات الاحتمالية الثنائية أيضاً بنماذج الانحدار الثنائي في الإحصاء . وفي الاقتصاد القياسي ، يُطلق على التصنيف الاحتمالي عموماً اسم الاختيار المنفصل .

بعض نماذج التصنيف، مثل بايز الساذج والانحدار اللوجستي والشبكات العصبية متعددة الطبقات (عند تدريبها باستخدام دالة خسارة مناسبة )، هي نماذج احتمالية بطبيعتها. أما نماذج أخرى، مثل آلات المتجهات الداعمة، فهي ليست كذلك، ولكن توجد طرق لتحويلها إلى مصنفات احتمالية.

بعض النماذج، مثل الانحدار اللوجستي ، يتم تدريبها بشكل مشروط: فهي تعمل على تحسين الاحتمالية الشرطية${\displaystyle \Pr(Y\vert X)}$مباشرةً على مجموعة التدريب (انظر تقليل المخاطر التجريبية ). أما المصنفات الأخرى، مثل بايز الساذج ، فتُدرَّب بطريقة توليدية : عند وقت التدريب، يكون التوزيع الشرطي للفئة${\displaystyle \Pr(X\vert Y)}$والفئة السابقة${\displaystyle \Pr(Y)}$يتم العثور عليها، والتوزيع الشرطي${\displaystyle \Pr(Y\vert X)}$يتم اشتقاقها باستخدام قاعدة بايز . ^{[ 2 ] : 43}

ليست جميع نماذج التصنيف احتمالية بطبيعتها، وبعض النماذج الاحتمالية، ولا سيما مصنفات بايز البسيطة، وأشجار القرار ، وطرق التعزيز ، تُنتج توزيعات احتمالية مشوهة للفئات. ^{[ 3 ]} في حالة أشجار القرار، حيث Pr( y | x ) هي نسبة عينات التدريب التي تحمل التصنيف y في الورقة التي ينتهي إليها x ، تنشأ هذه التشوهات لأن خوارزميات التعلم مثل C4.5 أو CART تهدف صراحةً إلى إنتاج أوراق متجانسة (مما يُعطي احتمالات قريبة من الصفر أو الواحد، وبالتالي تحيزًا عاليًا ) مع استخدام عدد قليل من العينات لتقدير النسبة ذات الصلة ( تباين عالٍ ). ^{[ 4 ]}

يمكن تقييم المعايرة باستخدام مخطط المعايرة (يُسمى أيضًا مخطط الموثوقية ). ^{[ 3 ] [ 5 ]} يُظهر مخطط المعايرة نسبة العناصر في كل فئة لنطاقات الاحتمالية أو الدرجة المتوقعة (مثل توزيع الاحتمالية المشوه أو "المسافة الموقعة إلى المستوى الفائق" في آلة المتجهات الداعمة). تشير الانحرافات عن دالة التطابق إلى مُصنِّف غير مُعاير بشكل جيد، حيث لا يمكن استخدام الاحتمالات أو الدرجات المتوقعة كاحتمالات. في هذه الحالة، يمكن استخدام طريقة لتحويل هذه الدرجات إلى احتمالات عضوية فئة مُعايرة بشكل صحيح.

في حالة البيانات الثنائية ، يتمثل النهج الشائع في تطبيق مقياس بلات ، الذي يتعلم نموذج انحدار لوجستي على الدرجات. ^{[ 6 ]} ويُعدّ استخدام الانحدار المتساوي التوتر ^{[ 7 ]} طريقة بديلة تتفوق عمومًا على طريقة بلات عند توفر بيانات تدريب كافية. ^{[ 3 ]}

في حالة التصنيف المتعدد ، يمكن استخدام اختزال إلى مهام ثنائية، متبوعًا بمعايرة أحادية المتغير باستخدام خوارزمية كما هو موضح أعلاه، ثم تطبيق خوارزمية الاقتران الزوجي لهاستي وتيبشيراني. ^{[ 8 ]}

تُسمى الطريقة المستخدمة لتخصيص درجات لأزواج من الاحتمالات المتوقعة والنتائج الفعلية المنفصلة، ​​بحيث يمكن مقارنة طرق التنبؤ المختلفة، بقاعدة التقييم . تُستخدم قواعد التقييم لمقارنة الاحتمال المتوقع بالنتائج المرصودة، وتشمل على سبيل المثال: خسارة اللوغاريتم ، ودرجة براير ، ودرجة الاحتمالية المرتبة المستمرة ، وغيرها.

قد تختلف جوانب محددة مثل الدقة والمعايرة والحدة أو التشتت من مصنف احتمالي إلى آخر، ويمكن دراستها بشكل خاص.

تهدف مقاييس أخطاء المعايرة إلى تحديد مدى دقة معايرة مخرجات المصنف الاحتمالي . وكما أوضح فيليب داويد ، "يكون المتنبئ دقيق المعايرة إذا كانت نسبة الأحداث التي يُسند إليها احتمالًا بنسبة 30%، على سبيل المثال، هي 30% على المدى الطويل". ^{[ 9 ]} يُعد مقياس خطأ المعايرة المتوقع (ECE) من الأعمال الأساسية في مجال قياس خطأ المعايرة. ^{[ 10 ]} وتقترح أعمال أحدث صيغًا بديلة لمقياس ECE تعالج القيود التي قد تنشأ عندما تركز درجات المصنف على مجموعة فرعية ضيقة من النطاق [0،1]، بما في ذلك خطأ المعايرة التكيفي (ACE) ^{[ 11 ]} وخطأ المعايرة القائم على الاختبار (TCE). ^{[ 12 ]}

• MoRPE ^{[ 13 ]} هو مصنف احتمالي قابل للتدريب يستخدم الانحدار المتساوي لمعايرة الاحتمالات. يحل هذا المصنف حالة التصنيف المتعدد عن طريق اختزالها إلى مهام ثنائية. وهو نوع من آلات النواة التي تستخدم نواة متعددة الحدود غير متجانسة.