التصنيف الإحصائي

عندما يتم إجراء التصنيف بواسطة جهاز كمبيوتر، تُستخدم الأساليب الإحصائية عادةً لتطوير الخوارزمية.

غالبًا ما تُحلل الملاحظات الفردية إلى مجموعة من الخصائص القابلة للقياس الكمي، والمعروفة بمتغيرات تفسيرية أو سمات . قد تكون هذه الخصائص تصنيفية (مثل "A" أو "B" أو "AB" أو "O" لفصيلة الدم )، أو ترتيبية (مثل "كبير" أو "متوسط" أو "صغير")، أو عددية صحيحة (مثل عدد مرات تكرار كلمة معينة في بريد إلكتروني )، أو حقيقية (مثل قياس ضغط الدم ). وتعمل مصنفات أخرى بمقارنة الملاحظات بالملاحظات السابقة باستخدام دالة تشابه أو مسافة .

تُعرف الخوارزمية التي تُنفذ التصنيف، وخاصة في تطبيق عملي، باسم المصنف . ويشير مصطلح "المصنف" أحيانًا إلى الدالة الرياضية التي تُنفذها خوارزمية التصنيف، والتي تربط بيانات الإدخال بفئة معينة.

تتنوع المصطلحات المستخدمة في مختلف المجالات. ففي الإحصاء ، حيث يُستخدم الانحدار اللوجستي أو ما شابهه في التصنيف، تُسمى خصائص المشاهدات بالمتغيرات التفسيرية (أو المتغيرات المستقلة ، أو المتغيرات المُفسِّرة، إلخ)، وتُعرف الفئات المراد التنبؤ بها بالنتائج، والتي تُعتبر قيمًا محتملة للمتغير التابع . أما في التعلّم الآلي ، فتُعرف المشاهدات عادةً بالحالات ، وتُسمى المتغيرات التفسيرية بالميزات (مُجمَّعة في متجه الميزات )، وتُسمى الفئات المحتملة المراد التنبؤ بها بالفئات . وقد تستخدم مجالات أخرى مصطلحات مختلفة، ففي علم البيئة المجتمعية مثلاً ، يشير مصطلح "التصنيف" عادةً إلى تحليل التجميع .

يُعدّ التصنيف والتجميع مثالين على مشكلة أعمّ تُعرف باسم التعرّف على الأنماط ، وهي إسناد قيمة مُخرَجة إلى قيمة مُدخَلة مُعطاة. ومن الأمثلة الأخرى: الانحدار ، الذي يُسند قيمة حقيقية مُخرَجة لكل مُدخَل؛ وتصنيف التسلسلات ، الذي يُسند فئة لكل عنصر من عناصر تسلسل القيم (على سبيل المثال، تحديد أجزاء الكلام ، الذي يُسند جزءًا من الكلام لكل كلمة في جملة مُدخَلة)؛ والتحليل النحوي ، الذي يُسند شجرة تحليل نحوي إلى جملة مُدخَلة، تصف بنيتها النحوية ؛ إلخ.

يُعدّ التصنيف الاحتمالي أحد فروع التصنيف الشائعة . تستخدم خوارزميات هذا النوع الاستدلال الإحصائي لإيجاد أفضل فئة لحالة معينة. على عكس الخوارزميات الأخرى التي تُخرج ببساطة فئة "أفضل"، تُخرج الخوارزميات الاحتمالية احتمال انتماء الحالة إلى كل فئة من الفئات الممكنة. وعادةً ما تُختار أفضل فئة بناءً على أعلى احتمال. مع ذلك، تتمتع هذه الخوارزمية بمزايا عديدة مقارنةً بالمصنفات غير الاحتمالية.

• يمكنه إخراج قيمة ثقة مرتبطة باختياره (بشكل عام، يُعرف المصنف الذي يمكنه القيام بذلك باسم المصنف المرجح بالثقة ).
• وبالمثل، يمكنها الامتناع عندما تكون ثقتها في اختيار أي ناتج معين منخفضة للغاية.
• بسبب الاحتمالات التي يتم توليدها، يمكن دمج المصنفات الاحتمالية بشكل أكثر فعالية في مهام التعلم الآلي الأكبر، بطريقة تتجنب جزئيًا أو كليًا مشكلة انتشار الخطأ .

Early work on statistical classification was undertaken by Fisher,^[1][2] in the context of two-group problems, leading to Fisher's linear discriminant function as the rule for assigning a group to a new observation.^[3] This early work assumed that data-values within each of the two groups had a multivariate normal distribution. The extension of this same context to more than two groups has also been considered with a restriction imposed that the classification rule should be linear.^[3][4] Later work for the multivariate normal distribution allowed the classifier to be nonlinear:^[5] several classification rules can be derived based on different adjustments of the Mahalanobis distance, with a new observation being assigned to the group whose centre has the lowest adjusted distance from the observation.

Unlike frequentist procedures, Bayesian classification procedures provide a natural way of taking into account any available information about the relative sizes of the different groups within the overall population.^[6] Bayesian procedures tend to be computationally expensive and, in the days before Markov chain Monte Carlo computations were developed, approximations for Bayesian clustering rules were devised.^[7]

Some Bayesian procedures involve the calculation of group-membership probabilities: these provide a more informative outcome than a simple attribution of a single group-label to each new observation.

Classification can be thought of as two separate problems – binary classification and multiclass classification. In binary classification, a better understood task, only two classes are involved, whereas multiclass classification involves assigning an object to one of several classes.^[8] Since many classification methods have been developed specifically for binary classification, multiclass classification often requires the combined use of multiple binary classifiers.

تصف معظم الخوارزميات حالةً فرديةً يُراد التنبؤ بفئتها باستخدام متجه خصائص يتضمن سمات فردية قابلة للقياس لهذه الحالة. تُسمى كل سمة "ميزة" ، وتُعرف في الإحصاء أيضًا بالمتغير التفسيري (أو المتغير المستقل ، مع العلم أن الميزات قد تكون مستقلة إحصائيًا أو لا ). قد تكون الميزات ثنائية (مثل "تشغيل" أو "إيقاف")؛ أو تصنيفية (مثل "A" أو "B" أو "AB" أو "O" لفصيلة الدم )؛ أو ترتيبية (مثل "كبير" أو "متوسط" أو "صغير")؛ أو عددية صحيحة (مثل عدد مرات تكرار كلمة معينة في بريد إلكتروني)؛ أو عددية حقيقية (مثل قياس ضغط الدم). إذا كانت الحالة صورة، فقد تتوافق قيم الميزات مع وحدات البكسل في الصورة؛ وإذا كانت الحالة نصًا، فقد تكون قيم الميزات هي ترددات تكرار كلمات مختلفة. بعض الخوارزميات تعمل فقط من حيث البيانات المنفصلة وتتطلب تقسيم البيانات ذات القيم الحقيقية أو الصحيحة إلى مجموعات (على سبيل المثال أقل من 5، بين 5 و 10، أو أكبر من 10).

يمكن صياغة عدد كبير من خوارزميات التصنيف باستخدام دالة خطية تُخصص درجة لكل فئة ممكنة k ، وذلك بدمج متجه خصائص الحالة مع متجه الأوزان باستخدام الضرب النقطي . الفئة المتوقعة هي تلك التي حصلت على أعلى درجة. يُعرف هذا النوع من دوال التقييم بدالة التنبؤ الخطية ، وله الشكل العام التالي: $${\displaystyle \operatorname {score} (\mathbf {X} _{i},k)={\boldsymbol {\beta }}_{k}\cdot \mathbf {X} _{i},}$$ حيث _يمثل Xᵢ متجه الخصائص للمثال i ، _و βᵏ متجه الأوزان المقابل للفئة k ، وscore( Xᵢ _, k ) الدرجة المرتبطة بتخصيص المثال i للفئة k . في نظرية الاختيار المنفصل ، حيث تمثل الأمثلة الأشخاص وتمثل الفئات الخيارات، تُعتبر الدرجة هي المنفعة المرتبطة باختيار الشخص i للفئة k .

تُعرف الخوارزميات ذات هذا الإعداد الأساسي باسم المصنفات الخطية . ما يميزها هو إجراء تحديد (تدريب) الأوزان/المعاملات المثلى وطريقة تفسير النتيجة.

ومن أمثلة هذه الخوارزميات ما يلي:

• الانحدار اللوجستي – نموذج إحصائي لمتغير تابع ثنائي 
  • الانحدار اللوجستي متعدد الحدود – الانحدار لأكثر من نتيجتين منفصلتين 
• انحدار بروبيت – انحدار إحصائي حيث لا يمكن للمتغير التابع إلا أن يأخذ قيمتين. صفحات تعرض أوصافًا مختصرة لأهداف إعادة التوجيه 
• خوارزمية البيرسيبترون​
• آلة المتجهات الداعمة – مجموعة من الأساليب للتعلم الإحصائي الخاضع للإشراف 
• تحليل التمييز الخطي – طريقة تستخدم في الإحصاء، والتعرف على الأنماط، ومجالات أخرى 

بما أنه لا يوجد شكل تصنيف واحد مناسب لجميع مجموعات البيانات، فقد تم تطوير مجموعة كبيرة من خوارزميات التصنيف. ومن أكثرها استخدامًا ما يلي: ^{[ 9 ]}

• الشبكات العصبية الاصطناعية – نموذج حسابي يُستخدم في التعلم الآلي. صفحات تعرض أوصافًا مختصرة لأهداف إعادة التوجيه. 
• التعزيز (التعلم الآلي) – أسلوب التعلم الجماعي 
• الغابة العشوائية – أساليب التعلم الآلي الجماعية القائمة على الأشجار 
• البرمجة الجينية – تطوير برامج حاسوبية باستخدام تقنيات مماثلة للعمليات الجينية الطبيعية 
  • برمجة التعبير الجيني – الخوارزمية التطورية 
  • برمجة متعددة التعبيرات
  • البرمجة الجينية الخطية
• تقدير النواة – مفهوم في الإحصاء صفحات تعرض أوصافًا موجزة لأهداف إعادة التوجيه 
  • خوارزمية أقرب جار k – طريقة تصنيف غير بارامترية. صفحات تعرض أوصافًا مختصرة لأهداف إعادة التوجيه. 
• تعلم تكميم المتجهات
• المصنف الخطي – التصنيف الإحصائي في التعلم الآلي 
  • التمييز الخطي لفيشر – طريقة تُستخدم في الإحصاء، والتعرف على الأنماط، ومجالات أخرى. صفحات تعرض أوصافًا موجزة لأهداف إعادة التوجيه 
  • الانحدار اللوجستي – نموذج إحصائي لمتغير تابع ثنائي 
  • مصنف بايز الساذج – خوارزمية تصنيف احتمالية 
  • بيرسيبترون – خوارزمية للتعلم الخاضع للإشراف للمصنفات الثنائية 
• المصنف التربيعي – مصنف إحصائي في مجال تعلم الآلة 
• آلة المتجهات الداعمة – مجموعة من الأساليب للتعلم الإحصائي الخاضع للإشراف 
  • آلة المتجهات الداعمة للمربعات الصغرى

غالباً ما يتم اختيار الخوارزميات المختلفة الممكنة بناءً على التقييم الكمي للدقة .

للتصنيف تطبيقات عديدة. في بعض هذه التطبيقات، يُستخدم كإجراء لاستخراج البيانات ، بينما في تطبيقات أخرى يتم إجراء نمذجة إحصائية أكثر تفصيلاً.

• التصنيف البيولوجي – علم تحديد ووصف وتعريف وتسمية مجموعات الكائنات الحية 
• القياسات الحيوية – مقاييس متعلقة بالخصائص البشرية. صفحات تعرض أوصافًا موجزة لتحديد أهداف إعادة التوجيه. 
• Computer vision – Computerized information extraction from images
  • Medical image analysis and medical imaging – Technique and process of creating visual representations of the interior of a body
  • Optical character recognition – Computer recognition of visual text
  • Video tracking – Locating a moving object by analyzing frames of a video
• Credit scoring – Numerical expression representing a person's creditworthinessPages displaying short descriptions of redirect targets
• Document classification – Process of categorizing documents
• Drug discovery and development – Process of bringing a new pharmaceutical drug to the market
  • Toxicogenomics
  • Quantitative structure-activity relationship – Predictive chemical modelPages displaying short descriptions of redirect targets
• Geostatistics – Branch of statistics focusing on spatial data sets
• Handwriting recognition – Ability of a computer to receive and interpret intelligible handwritten input
• Internet search engines
• Micro-array classification
• Pattern recognition – Automated recognition of patterns and regularities in data
• Recommender system – System to predict users' preferences
• Speech recognition – Automatic conversion of spoken language into text
• Statistical natural language processing – Processing of natural language by a computerPages displaying short descriptions of redirect targets