التصنيف الإحصائي

عندما يتم إجراء التصنيف بواسطة جهاز كمبيوتر، تُستخدم الأساليب الإحصائية عادةً لتطوير الخوارزمية.

غالبًا ما تُحلل الملاحظات الفردية إلى مجموعة من الخصائص القابلة للقياس الكمي، والمعروفة بمتغيرات تفسيرية أو سمات . قد تكون هذه الخصائص تصنيفية (مثل "A" أو "B" أو "AB" أو "O" لفصيلة الدم )، أو ترتيبية (مثل "كبير" أو "متوسط" أو "صغير")، أو عددية صحيحة (مثل عدد مرات تكرار كلمة معينة في بريد إلكتروني )، أو حقيقية (مثل قياس ضغط الدم ). وتعمل مصنفات أخرى بمقارنة الملاحظات بالملاحظات السابقة باستخدام دالة تشابه أو مسافة .

تُعرف الخوارزمية التي تُنفذ التصنيف، وخاصة في تطبيق عملي، باسم المصنف . ويشير مصطلح "المصنف" أحيانًا إلى الدالة الرياضية التي تُنفذها خوارزمية التصنيف، والتي تربط بيانات الإدخال بفئة معينة.

تتنوع المصطلحات المستخدمة في مختلف المجالات. ففي الإحصاء ، حيث يُستخدم الانحدار اللوجستي أو ما شابهه في التصنيف، تُسمى خصائص المشاهدات بالمتغيرات التفسيرية (أو المتغيرات المستقلة ، أو المتغيرات المُفسِّرة، إلخ)، وتُعرف الفئات المراد التنبؤ بها بالنتائج، والتي تُعتبر قيمًا محتملة للمتغير التابع . أما في التعلّم الآلي ، فتُعرف المشاهدات عادةً بالحالات ، وتُسمى المتغيرات التفسيرية بالميزات (مُجمَّعة في متجه الميزات )، وتُسمى الفئات المحتملة المراد التنبؤ بها بالفئات . وقد تستخدم مجالات أخرى مصطلحات مختلفة، ففي علم البيئة المجتمعية مثلاً ، يشير مصطلح "التصنيف" عادةً إلى تحليل التجميع .

يُعدّ التصنيف والتجميع مثالين على مشكلة أعمّ تُعرف باسم التعرّف على الأنماط ، وهي إسناد قيمة مُخرَجة إلى قيمة مُدخَلة مُعطاة. ومن الأمثلة الأخرى: الانحدار ، الذي يُسند قيمة حقيقية مُخرَجة لكل مُدخَل؛ وتصنيف التسلسلات ، الذي يُسند فئة لكل عنصر من عناصر تسلسل القيم (على سبيل المثال، تحديد أجزاء الكلام ، الذي يُسند جزءًا من الكلام لكل كلمة في جملة مُدخَلة)؛ والتحليل النحوي ، الذي يُسند شجرة تحليل نحوي إلى جملة مُدخَلة، تصف بنيتها النحوية ؛ إلخ.

يُعدّ التصنيف الاحتمالي أحد فروع التصنيف الشائعة . تستخدم خوارزميات هذا النوع الاستدلال الإحصائي لإيجاد أفضل فئة لحالة معينة. على عكس الخوارزميات الأخرى التي تُخرج ببساطة فئة "أفضل"، تُخرج الخوارزميات الاحتمالية احتمال انتماء الحالة إلى كل فئة من الفئات الممكنة. وعادةً ما تُختار أفضل فئة بناءً على أعلى احتمال. مع ذلك، تتمتع هذه الخوارزمية بمزايا عديدة مقارنةً بالمصنفات غير الاحتمالية.

• يمكنه إخراج قيمة ثقة مرتبطة باختياره (بشكل عام، يُعرف المصنف الذي يمكنه القيام بذلك باسم المصنف المرجح بالثقة ).
• وبالمثل، يمكنها الامتناع عندما تكون ثقتها في اختيار أي ناتج معين منخفضة للغاية.
• بسبب الاحتمالات التي يتم توليدها، يمكن دمج المصنفات الاحتمالية بشكل أكثر فعالية في مهام التعلم الآلي الأكبر، بطريقة تتجنب جزئيًا أو كليًا مشكلة انتشار الخطأ .

أجرى فيشر أعمالًا مبكرة في مجال التصنيف الإحصائي ، ^{[ 1 ] [ 2 ]} في سياق مسائل المجموعتين، مما أدى إلى دالة التمييز الخطي لفيشر كقاعدة لتخصيص مجموعة لملاحظة جديدة. ^{[ 3 ]} افترضت هذه الأعمال المبكرة أن قيم البيانات داخل كل من المجموعتين تتبع التوزيع الطبيعي متعدد المتغيرات . كما تم النظر في توسيع هذا السياق نفسه ليشمل أكثر من مجموعتين مع فرض قيد يتمثل في أن تكون قاعدة التصنيف خطية . ^{[ 3 ] [ 4 ]} سمحت الأعمال اللاحقة المتعلقة بالتوزيع الطبيعي متعدد المتغيرات بأن يكون المصنف غير خطي : ^{​​[ 5 ]} حيث يمكن اشتقاق العديد من قواعد التصنيف بناءً على تعديلات مختلفة لمسافة ماهالانوبيس ، مع تخصيص ملاحظة جديدة للمجموعة التي يكون مركزها هو الأقل مسافة معدلة من الملاحظة.

بخلاف الإجراءات التكرارية، توفر إجراءات التصنيف البايزية طريقة طبيعية لمراعاة أي معلومات متاحة حول الأحجام النسبية للمجموعات المختلفة ضمن المجتمع الإحصائي ككل. ^{[ 6 ]} تميل الإجراءات البايزية إلى أن تكون مكلفة حسابيًا، وفي الأيام التي سبقت تطوير حسابات مونت كارلو لسلسلة ماركوف ، تم ابتكار تقريبات لقواعد التجميع البايزية. ^{[ 7 ]}

تتضمن بعض الإجراءات البايزية حساب احتمالات الانتماء إلى المجموعة : توفر هذه النتائج معلومات أكثر من مجرد إسناد تسمية مجموعة واحدة لكل ملاحظة جديدة.

يمكن اعتبار التصنيف مشكلتين منفصلتين: التصنيف الثنائي والتصنيف متعدد الفئات . في التصنيف الثنائي، وهو المهمة الأكثر وضوحًا، يقتصر الأمر على فئتين فقط، بينما يتضمن التصنيف متعدد الفئات إسناد عنصر إلى إحدى الفئات المتعددة. ^{[ 8 ]} ونظرًا لتطوير العديد من طرق التصنيف خصيصًا للتصنيف الثنائي، غالبًا ما يتطلب التصنيف متعدد الفئات استخدامًا مشتركًا لعدة مصنفات ثنائية.

تصف معظم الخوارزميات حالةً فرديةً يُراد التنبؤ بفئتها باستخدام متجه خصائص يتضمن سمات فردية قابلة للقياس لهذه الحالة. تُسمى كل سمة "ميزة" ، وتُعرف في الإحصاء أيضًا بالمتغير التفسيري (أو المتغير المستقل ، مع العلم أن الميزات قد تكون مستقلة إحصائيًا أو لا ). قد تكون الميزات ثنائية (مثل "تشغيل" أو "إيقاف")؛ أو تصنيفية (مثل "A" أو "B" أو "AB" أو "O" لفصيلة الدم )؛ أو ترتيبية (مثل "كبير" أو "متوسط" أو "صغير")؛ أو عددية صحيحة (مثل عدد مرات تكرار كلمة معينة في بريد إلكتروني)؛ أو عددية حقيقية (مثل قياس ضغط الدم). إذا كانت الحالة صورة، فقد تتوافق قيم الميزات مع وحدات البكسل في الصورة؛ وإذا كانت الحالة نصًا، فقد تكون قيم الميزات هي ترددات تكرار كلمات مختلفة. بعض الخوارزميات تعمل فقط من حيث البيانات المنفصلة وتتطلب تقسيم البيانات ذات القيم الحقيقية أو الصحيحة إلى مجموعات (على سبيل المثال أقل من 5، بين 5 و 10، أو أكبر من 10).

يمكن صياغة عدد كبير من خوارزميات التصنيف باستخدام دالة خطية تُخصص درجة لكل فئة ممكنة k ، وذلك بدمج متجه خصائص الحالة مع متجه الأوزان باستخدام الضرب النقطي . الفئة المتوقعة هي تلك التي حصلت على أعلى درجة. يُعرف هذا النوع من دوال التقييم بدالة التنبؤ الخطية ، وله الشكل العام التالي: $${\displaystyle \operatorname {score} (\mathbf {X} _{i},k)={\boldsymbol {\beta }}_{k}\cdot \mathbf {X} _{i},}$$ حيث _يمثل Xᵢ متجه الخصائص للمثال i ، _و βᵏ متجه الأوزان المقابل للفئة k ، وscore( Xᵢ _, k ) الدرجة المرتبطة بتخصيص المثال i للفئة k . في نظرية الاختيار المنفصل ، حيث تمثل الأمثلة الأشخاص وتمثل الفئات الخيارات، تُعتبر الدرجة هي المنفعة المرتبطة باختيار الشخص i للفئة k .

تُعرف الخوارزميات ذات هذا الإعداد الأساسي باسم المصنفات الخطية . ما يميزها هو إجراء تحديد (تدريب) الأوزان/المعاملات المثلى وطريقة تفسير النتيجة.

ومن أمثلة هذه الخوارزميات ما يلي:

• الانحدار اللوجستي – نموذج إحصائي لمتغير تابع ثنائي 
  • الانحدار اللوجستي متعدد الحدود – الانحدار لأكثر من نتيجتين منفصلتين 
• انحدار بروبيت – انحدار إحصائي حيث لا يمكن للمتغير التابع إلا أن يأخذ قيمتين. صفحات تعرض أوصافًا مختصرة لأهداف إعادة التوجيه 
• خوارزمية البيرسيبترون​
• آلة المتجهات الداعمة – مجموعة من الأساليب للتعلم الإحصائي الخاضع للإشراف 
• تحليل التمييز الخطي – طريقة تستخدم في الإحصاء، والتعرف على الأنماط، ومجالات أخرى 

بما أنه لا يوجد شكل تصنيف واحد مناسب لجميع مجموعات البيانات، فقد تم تطوير مجموعة كبيرة من خوارزميات التصنيف. ومن أكثرها استخدامًا ما يلي: ^{[ 9 ]}

• الشبكات العصبية الاصطناعية – نموذج حسابي يُستخدم في التعلم الآلي. صفحات تعرض أوصافًا مختصرة لأهداف إعادة التوجيه. 
• التعزيز (التعلم الآلي) – أسلوب التعلم الجماعي 
• الغابة العشوائية – أساليب التعلم الآلي الجماعية القائمة على الأشجار 
• البرمجة الجينية – تطوير برامج حاسوبية باستخدام تقنيات مماثلة للعمليات الجينية الطبيعية 
  • برمجة التعبير الجيني – الخوارزمية التطورية 
  • برمجة متعددة التعبيرات
  • البرمجة الجينية الخطية
• تقدير النواة – مفهوم في الإحصاء صفحات تعرض أوصافًا موجزة لأهداف إعادة التوجيه 
  • خوارزمية أقرب جار k – طريقة تصنيف غير بارامترية. صفحات تعرض أوصافًا مختصرة لأهداف إعادة التوجيه. 
• تعلم تكميم المتجهات
• المصنف الخطي – التصنيف الإحصائي في التعلم الآلي 
  • التمييز الخطي لفيشر – طريقة تُستخدم في الإحصاء، والتعرف على الأنماط، ومجالات أخرى. صفحات تعرض أوصافًا موجزة لأهداف إعادة التوجيه 
  • الانحدار اللوجستي – نموذج إحصائي لمتغير تابع ثنائي 
  • مصنف بايز الساذج – خوارزمية التصنيف الاحتمالي 
  • بيرسيبترون – خوارزمية للتعلم الخاضع للإشراف للمصنفات الثنائية 
• المصنف التربيعي – مصنف إحصائي في مجال تعلم الآلة 
• آلة المتجهات الداعمة – مجموعة من الأساليب للتعلم الإحصائي الخاضع للإشراف 
  • آلة المتجهات الداعمة للمربعات الصغرى

غالباً ما يتم اختيار الخوارزميات المختلفة الممكنة بناءً على التقييم الكمي للدقة .

للتصنيف تطبيقات عديدة. في بعض هذه التطبيقات، يُستخدم كإجراء لاستخراج البيانات ، بينما في تطبيقات أخرى يتم إجراء نمذجة إحصائية أكثر تفصيلاً.

• التصنيف البيولوجي – علم تحديد ووصف وتعريف وتسمية مجموعات الكائنات الحية 
• القياسات الحيوية – مقاييس متعلقة بالخصائص البشرية. صفحات تعرض أوصافًا موجزة لتحديد أهداف إعادة التوجيه. 
• الرؤية الحاسوبية – استخلاص المعلومات المحوسبة من الصور 
  • تحليل الصور الطبية والتصوير الطبي – تقنية وعملية إنشاء تمثيلات مرئية للجزء الداخلي من الجسم 
  • التعرف الضوئي على الأحرف – التعرف الحاسوبي على النصوص المرئية 
  • تتبع الفيديو – تحديد موقع جسم متحرك من خلال تحليل إطارات الفيديو 
• التقييم الائتماني – تعبير رقمي يمثل الجدارة الائتمانية للشخص. صفحات تعرض أوصافًا مختصرة لأهداف إعادة التوجيه. 
• تصنيف المستندات – عملية تصنيف المستندات 
• اكتشاف الأدوية وتطويرها – عملية طرح دواء صيدلاني جديد في السوق 
  • علم السموم الجيني
  • العلاقة الكمية بين التركيب والنشاط – صفحات نموذج كيميائي تنبؤي تعرض أوصافًا موجزة للأهداف المُعاد توجيهها 
• الإحصاء الجغرافي – فرع من فروع الإحصاء يركز على مجموعات البيانات المكانية 
• التعرف على الكتابة اليدوية - قدرة الحاسوب على استقبال وتفسير المدخلات المكتوبة بخط اليد بشكل مفهوم 
• محركات البحث على الإنترنت
• تصنيف المصفوفات الدقيقة
• التعرف على الأنماط – التعرف الآلي على الأنماط والانتظامات في البيانات 
• نظام التوصية – نظام للتنبؤ بتفضيلات المستخدمين 
• التعرف على الكلام – التحويل التلقائي للغة المنطوقة إلى نص 
• معالجة اللغة الطبيعية الإحصائية – معالجة اللغة الطبيعية بواسطة الحاسوب. صفحات تعرض أوصافًا مختصرة لأهداف إعادة التوجيه.