المصنف الخطي

في مجال تعلم الآلة ، يُصدر المصنف الخطي قرار تصنيف لكل عنصر بناءً على توليفة خطية من خصائصه . ويمكن تعريفه ببساطة بأنه المصنف الذي تكون حدود قراره خطية . تُجدي هذه المصنفات نفعًا في حل المشكلات العملية، مثل تصنيف المستندات ، وبشكل أعم في المشكلات التي تتضمن العديد من المتغيرات ( الخصائص )، حيث تصل إلى مستويات دقة تُضاهي المصنفات غير الخطية، مع تقليل وقت التدريب والاستخدام. ^{[ 1 ]}

إذا كان متجه الميزات المدخلة للمصنف متجهًا حقيقيًا${\displaystyle {\vec {x}}}$إذن، تكون النتيجة النهائية هي

${\displaystyle y=f({\vec {w}}\cdot {\vec {x}})=f\left(\sum _{j}w_{j}x_{j}\right),}$

أين${\displaystyle {\vec {w}}}$يمثل متجهًا حقيقيًا للأوزان، و f دالة تحول حاصل الضرب الداخلي للمتجهين إلى الناتج المطلوب. (بمعنى آخر،${\displaystyle {\vec {w}}}$هو شكل واحد أو تحويل وظيفي خطي${\displaystyle {\vec {x}}}$على R. ) متجه الوزن${\displaystyle {\vec {w}}}$يتم تعلمها من مجموعة من عينات التدريب المصنفة. غالبًا ما تكون f دالة عتبة ، والتي تحدد جميع قيم${\displaystyle {\vec {w}}\cdot {\vec {x}}}$تُصنّف القيم التي تتجاوز عتبة معينة ضمن الفئة الأولى، بينما تُصنّف جميع القيم الأخرى ضمن الفئة الثانية؛ على سبيل المثال،

${\displaystyle f(\mathbf {x} )={\begin{cases}1&{\text{if}}\ \mathbf {w} ^{T}\cdot \mathbf {x} >\theta ,\\0&{\text{خلاف ذلك}}\end{cases}}}$

يشير الحرف T العلوي إلى عملية النقل و${\displaystyle \theta }$يمثل عتبة عددية. قد تعطي دالة f الأكثر تعقيدًا احتمال انتماء عنصر ما إلى فئة معينة.

بالنسبة لمشكلة التصنيف الثنائي، يمكن للمرء أن يتصور عملية المصنف الخطي على أنها تقسيم مساحة إدخال عالية الأبعاد باستخدام مستوى فائق : يتم تصنيف جميع النقاط على جانب واحد من المستوى الفائق على أنها "نعم"، بينما يتم تصنيف النقاط الأخرى على أنها "لا".

يُستخدم المصنف الخطي غالبًا في الحالات التي تكون فيها سرعة التصنيف مهمة، لأنه غالبًا ما يكون أسرع مصنف، خاصة عندما${\displaystyle {\vec {x}}}$تكون البيانات متفرقة. كذلك، غالبًا ما تعمل المصنفات الخطية بشكل جيد للغاية عندما يكون عدد الأبعاد في${\displaystyle {\vec {x}}}$كبير، كما هو الحال في تصنيف المستندات ، حيث يكون كل عنصر في${\displaystyle {\vec {x}}}$يمثل عادةً عدد مرات ظهور كلمة ما في المستند (انظر مصفوفة المصطلحات في المستند ). في مثل هذه الحالات، يجب أن يكون المصنف مُنظَّمًا بشكل جيد .

توجد فئتان رئيسيتان من الطرق لتحديد معلمات المصنف الخطي${\displaystyle {\vec {w}}}$يمكن أن تكون هذه النماذج توليدية وتمييزية . ^{[ 2 ] [ 3 ]} تُنمذج طرق النموذج الأول التوزيع الاحتمالي المشترك ، بينما تُنمذج طرق النموذج الثاني دوال الكثافة الشرطية .${\displaystyle P({\rm {class}}|{\vec {x}})}$ومن أمثلة هذه الخوارزميات ما يلي:

• تحليل التمييز الخطي (LDA) - يفترض نماذج الكثافة الشرطية الغاوسية
• مصنف بايز الساذج مع نماذج أحداث برنولي متعددة الحدود أو متعددة المتغيرات.

تتضمن المجموعة الثانية من الأساليب نماذج تمييزية ، تسعى إلى تعظيم جودة المخرجات على مجموعة التدريب . ويمكن لحدود إضافية في دالة تكلفة التدريب أن تُسهّل عملية تنظيم النموذج النهائي. ومن أمثلة التدريب التمييزي للمصنفات الخطية ما يلي:

• الانحدار اللوجستي - تقدير الاحتمال الأقصى لـ${\displaystyle {\vec {w}}}$بافتراض أن مجموعة التدريب المرصودة تم إنشاؤها بواسطة نموذج ذي الحدين يعتمد على مخرجات المصنف.
• البيرسيبترون - خوارزمية تحاول إصلاح جميع الأخطاء التي تمت مواجهتها في مجموعة التدريب
• تحليل التمييز الخطي لفيشر - خوارزمية (تختلف عن "LDA") تعمل على زيادة نسبة التشتت بين الفئات إلى التشتت داخل الفئات، دون أي افتراضات أخرى. وهي في جوهرها طريقة لتقليل الأبعاد في التصنيف الثنائي. ^{[ 4 ]}
• آلة المتجهات الداعمة - خوارزمية تعمل على زيادة الهامش بين مستوى القرار الفائق والأمثلة في مجموعة التدريب.

ملاحظة: على الرغم من اسمها، لا تنتمي خوارزمية LDA إلى فئة النماذج التمييزية في هذا التصنيف. مع ذلك، يصبح اسمها منطقيًا عند مقارنتها بخوارزمية تقليل الأبعاد الخطية الرئيسية الأخرى : تحليل المكونات الرئيسية (PCA). تُعدّ LDA خوارزمية تعلّم مُشرف تستخدم تصنيفات البيانات، بينما تُعدّ PCA خوارزمية تعلّم غير مُشرف تتجاهل هذه التصنيفات. باختصار، يُعدّ الاسم نتاجًا تاريخيًا. ^{[ 5 ]}

غالباً ما يحقق التدريب التمييزي دقة أعلى من نمذجة دوال الكثافة الشرطية . ومع ذلك، فإن التعامل مع البيانات المفقودة يكون أسهل في كثير من الأحيان باستخدام نماذج الكثافة الشرطية .

يمكن تحويل جميع خوارزميات التصنيف الخطي المذكورة أعلاه إلى خوارزميات غير خطية تعمل على فضاء إدخال مختلف.${\displaystyle \varphi ({\vec {x}})}$باستخدام خدعة النواة .

• الانتشار العكسي
• الانحدار الخطي
• بيرسون
• المصنف التربيعي
• آلات المتجهات الداعمة
• التصفية (خوارزمية)

1. يانغ، واي.، وليو، إكس.، "إعادة النظر في تصنيف النصوص"، وقائع مؤتمر ACM SIGIR، الصفحات  42-49، (1999). ورقة بحثية على موقع citeseer
2. آر. هيربريتش، "مصنفات النواة التعليمية: النظرية والخوارزميات"، مطبعة معهد ماساتشوستس للتكنولوجيا، (2001). ISBN 0-262-08306-X