تحليل التمييز الخطي

يُعد تحليل التمييز الخطي ( LDA )، أو تحليل التمييز الطبيعي ( NDA )، أو تحليل المتغيرات الكنسية ( CVA )، أو تحليل دالة التمييز، تعميمًا لتحليل التمييز الخطي لفيشر ، وهو أسلوب يُستخدم في الإحصاء ومجالات أخرى، لإيجاد توليفة خطية من السمات التي تميز أو تفصل بين فئتين أو أكثر من الكائنات أو الأحداث. ويمكن استخدام هذه التوليفة كمصنف خطي ، أو، وهو الأكثر شيوعًا، لتقليل الأبعاد قبل التصنيف اللاحق .

يرتبط تحليل التمييز الخطي (LDA) ارتباطًا وثيقًا بتحليل التباين (ANOVA) وتحليل الانحدار ، حيث يسعى كلاهما إلى التعبير عن متغير تابع واحد كمزيج خطي من سمات أو قياسات أخرى. ^{[ 2 ] [ 3 ]} ومع ذلك، يستخدم تحليل التباين متغيرات مستقلة فئوية ومتغير تابع مستمر ، بينما يستخدم تحليل التمييز متغيرات مستقلة مستمرة ومتغير تابع فئوي ( أي تصنيف الفئة). ^{[ 4 ]} يُعدّ كل من الانحدار اللوجستي وانحدار بروبيت أقرب إلى تحليل التمييز الخطي من تحليل التباين، إذ يُفسّران أيضًا متغيرًا فئويًا بقيم متغيرات مستقلة مستمرة. تُفضّل هذه الطرق الأخرى في التطبيقات التي لا يكون من المعقول فيها افتراض أن المتغيرات المستقلة تتبع التوزيع الطبيعي ، وهو افتراض أساسي في طريقة تحليل التمييز الخطي.

يرتبط تحليل التمييز الخطي (LDA) ارتباطًا وثيقًا بتحليل المكونات الرئيسية (PCA) والتحليل العاملي ، إذ يبحث كلاهما عن توليفات خطية من المتغيرات تُفسر البيانات على أفضل وجه. ^{[ 5 ]} يسعى تحليل التمييز الخطي صراحةً إلى نمذجة الفرق بين فئات البيانات. في المقابل، لا يأخذ تحليل المكونات الرئيسية في الحسبان أي اختلاف في الفئة، بينما يبني التحليل العاملي توليفات السمات بناءً على أوجه التشابه لا الاختلافات. كما يختلف تحليل التمييز عن التحليل العاملي في كونه ليس أسلوبًا يعتمد على الترابط، إذ يجب التمييز بين المتغيرات المستقلة والمتغيرات التابعة (وتُسمى أيضًا متغيرات المعيار).

تُجدي تقنية تحليل التمييز الخطي (LDA) نفعًا عندما تكون القياسات التي تُجرى على المتغيرات المستقلة لكل مشاهدة كميات متصلة. أما عند التعامل مع المتغيرات المستقلة الفئوية، فإن التقنية المكافئة هي تحليل التمييز التوافقي. ^{[ 6 ] [ 7 ]}

يُستخدم تحليل التمييز عندما تكون المجموعات معروفة مسبقًا (على عكس تحليل التجميع ). يجب أن يكون لكل حالة درجة على مقياس تنبؤ كمي واحد أو أكثر، ودرجة على مقياس المجموعة. ^{[ 8 ]} ببساطة، تحليل دالة التمييز هو تصنيف - أي عملية توزيع الأشياء في مجموعات أو فئات أو تصنيفات من النوع نفسه.

طُوِّر تحليل التمييز الثنائي الأصلي على يد السير رونالد فيشر عام 1936. ^{[ 9 ]} وهو يختلف عن تحليل التباين الأحادي (ANOVA ) أو تحليل التباين المتعدد ( MANOVA )، الذي يُستخدم للتنبؤ بمتغير تابع واحد (ANOVA) أو عدة متغيرات تابعة مستمرة (MANOVA) باستخدام متغير فئوي مستقل واحد أو أكثر. يُعد تحليل دالة التمييز مفيدًا في تحديد ما إذا كانت مجموعة من المتغيرات فعالة في التنبؤ بانتماء الفئة. ^{[ 10 ]}

لنفترض مجموعة من الملاحظات${\displaystyle {\vec {x}}}$(وتسمى أيضًا الميزات أو السمات أو المتغيرات أو القياسات) لكل عينة من كائن أو حدث ذي فئة معروفة${\displaystyle y}$تُسمى هذه المجموعة من العينات مجموعة التدريب في سياق التعلم الخاضع للإشراف . وتتمثل مشكلة التصنيف حينها في إيجاد مُتنبئ جيد للفئة.${\displaystyle y}$لأي عينة من نفس التوزيع (ليس بالضرورة من مجموعة التدريب) بالنظر فقط إلى الملاحظة${\displaystyle {\vec {x}}}$[ ^{11 ] : 338​}

تعالج طريقة تحليل التمييز الخطي (LDA) المشكلة بافتراض أن دوال كثافة الاحتمال الشرطي${\displaystyle p({\vec {x}}|y=0)}$و${\displaystyle p({\vec {x}}|y=1)}$كلاهما يمثل التوزيع الطبيعي بمعاملات المتوسط ​​والتباين${\displaystyle \left({\vec {\mu }}_{0},\Sigma _{0}\right)}$و${\displaystyle \left({\vec {\mu }}_{1},\Sigma _{1}\right)}$على التوالي. وبناءً على هذا الافتراض، فإن الحل الأمثل وفقًا لنظرية بايز هو التنبؤ بأن النقاط تنتمي إلى الفئة الثانية إذا كان لوغاريتم نسب الاحتمالية أكبر من عتبة معينة T، بحيث:

${\displaystyle {\frac {1}{2}}({\vec {x}}-{\vec {\mu }}_{0})^{\mathrm {T} }\Sigma _{0}^{-1}({\vec {x}}-{\vec {\mu }}_{0})+{\frac {1}{2}}\ln |\Sigma _{0}|-{\frac {1}{2}}({\vec {x}}-{\vec {\mu }}_{1})^{\mathrm {T} }\Sigma _{1}^{-1}({\vec {x}}-{\vec {\mu }}_{1})-{\frac {1}{2}}\ln |\Sigma _{1}|\ >\ T}$

وبدون أي افتراضات أخرى، يُشار إلى المصنف الناتج باسم تحليل التمييز التربيعي (QDA).

بدلاً من ذلك، يفترض تحليل التمييز الخطي (LDA) افتراضًا إضافيًا مبسطًا وهو تجانس التباين ( أي أن تباينات الفئات متطابقة، لذلك${\displaystyle \Sigma _{0}=\Sigma _{1}=\Sigma }$) وأنّ التغايرات لها رتبة كاملة. في هذه الحالة، يتم إلغاء عدة حدود:

${\displaystyle {\vec {x}}^{\mathrm {T} }\Sigma _{0}^{-1}{\vec {x}}={\vec {x}}^{\mathrm {T} }\Sigma _{1}^{-1}{\vec {x}}}$

${\displaystyle {\vec {x}}^{\mathrm {T} }{\Sigma _{i}}^{-1}{\vec {\mu }}_{i}={{\vec {\mu }}_{i}}^{\mathrm {T} }{\Sigma _{i}}^{-1}{\vec {x}}}$ لأن كلا الجانبين كميتان قياسيتان وقابلتان للتبديل بالنسبة لبعضهما البعض (${\displaystyle \Sigma _{i}}$( هرمسي )

ويصبح معيار القرار المذكور أعلاه عتبةً على حاصل الضرب النقطي

${\displaystyle {\vec {w}}^{\mathrm {T} }{\vec {x}}>c}$

بالنسبة لثابت عتبة ما c ، حيث

${\displaystyle {\vec {w}}=\Sigma ^{-1}({\vec {\mu }}_{1}-{\vec {\mu }}_{0})}$

${\displaystyle c={\frac {1}{2}}\,{\vec {w}}^{\mathrm {T} }({\vec {\mu }}_{1}+{\vec {\mu }}_{0})}$

هذا يعني أن معيار المدخل${\displaystyle {\vec {x}}}$التواجد في فصل دراسي${\displaystyle y}$هو مجرد دالة لهذا التركيب الخطي للملاحظات المعروفة.

من المفيد غالبًا النظر إلى هذه النتيجة من منظور هندسي: معيار المدخلات${\displaystyle {\vec {x}}}$التواجد في فصل دراسي${\displaystyle y}$هي وظيفة خالصة لإسقاط نقطة الفضاء متعدد الأبعاد${\displaystyle {\vec {x}}}$متجه${\displaystyle {\vec {w}}}$(وبالتالي، فإننا نأخذ اتجاهه فقط في الاعتبار). بعبارة أخرى، تنتمي الملاحظة إلى${\displaystyle y}$إذا كان ذلك متوافقا${\displaystyle {\vec {x}}}$يقع على جانب معين من مستوى فائق عمودي على${\displaystyle {\vec {w}}}$يتم تحديد موقع المستوى بواسطة العتبة${\displaystyle c}$.

تتشابه افتراضات تحليل التمييز مع افتراضات تحليل التباين متعدد المتغيرات (MANOVA). ويُعدّ هذا التحليل حساسًا للغاية للقيم المتطرفة، ويجب أن يكون حجم أصغر مجموعة أكبر من عدد المتغيرات التنبؤية. ^{[ 8 ]}

• التوزيع الطبيعي متعدد المتغيرات : المتغيرات المستقلة تتبع التوزيع الطبيعي لكل مستوى من مستويات متغير التجميع. ^{[ 10 ] [ 8 ]}
• تجانس التباين/التغاير ( تجانس التباين ): تكون التباينات بين متغيرات المجموعة متساوية عبر مستويات المتنبئات. يمكن اختبار ذلك باستخدام إحصائية بوكس ​​إم . ^{[ 10 ]} ومع ذلك، فقد اقتُرح استخدام تحليل التمييز الخطي عندما تكون التغايرات متساوية، واستخدام تحليل التمييز التربيعي عندما لا تكون التغايرات متساوية. ^{[ 8 ]}
• الاستقلالية : يُفترض أن المشاركين تم اختيارهم عشوائياً، وأن درجة المشارك في متغير ما مستقلة عن درجات جميع المشاركين الآخرين في نفس المتغير. ^{[ 10 ] [ 8 ]}

لقد أشير إلى أن تحليل التمييز يتمتع بمتانة نسبية تجاه الانتهاكات الطفيفة لهذه الافتراضات، ^{[ 12 ]} كما ثبت أيضاً أن تحليل التمييز قد يظل موثوقاً عند استخدام المتغيرات الثنائية (حيث غالباً ما يتم انتهاك التوزيع الطبيعي متعدد المتغيرات). ^{[ 13 ]}

يعمل تحليل التمييز عن طريق إنشاء توليفة خطية واحدة أو أكثر من المتغيرات التنبؤية، مما يُنشئ متغيرًا كامنًا جديدًا لكل دالة. تُسمى هذه الدوال بالدوال التمييزية. عدد الدوال الممكنة هو إما${\displaystyle N_{g}-1}$أين${\displaystyle N_{g}}$= عدد المجموعات، أو${\displaystyle p}$(عدد المتغيرات التنبؤية)، أيهما أقل. تُعظّم الدالة الأولى الفروق بين المجموعات على تلك الدالة. تُعظّم الدالة الثانية الفروق على تلك الدالة، ولكن يجب ألا تكون مرتبطة بالدالة السابقة. ويستمر هذا مع الدوال اللاحقة بشرط ألا تكون الدالة الجديدة مرتبطة بأي من الدوال السابقة.

المجموعة المعطاة${\displaystyle j}$، مع ${\displaystyle \mathbb {R} _{j}}$ في مجموعات فضاء العينة، توجد قاعدة تمييز بحيث إذا${\displaystyle x\in \mathbb {R} _{j}}$، ثم${\displaystyle x\in j}$وبالتالي، يحدد التحليل التمييزي المناطق "الجيدة" لـ ${\displaystyle \mathbb {R} _{j}}$لتقليل خطأ التصنيف، مما يؤدي بالتالي إلى نسبة عالية من التصنيف الصحيح في جدول التصنيف. ^{[ 14 ]}

يتم إعطاء كل دالة درجة تمييز لتحديد مدى قدرتها على التنبؤ بموقع المجموعة.

• معاملات الارتباط البنيوي: الارتباط بين كل متغير تنبؤي ودرجة التمييز لكل دالة. هذا ارتباط من الرتبة الصفرية (أي غير مصحح للمتغيرات التنبؤية الأخرى). ^{[ 15 ]}
• المعاملات المعيارية: وزن كل متغير تنبؤي في التركيبة الخطية التي تمثل دالة التمييز. وكما هو الحال في معادلة الانحدار، فإن هذه المعاملات جزئية (أي مصححة وفقًا للمتغيرات التنبؤية الأخرى). وتشير إلى المساهمة الفريدة لكل متغير تنبؤي في تحديد المجموعة.
• الدوال عند مراكز المجموعات: تُعطى متوسطات درجات التمييز لكل متغير تجميع لكل دالة. كلما تباعدت المتوسطات، قلّ الخطأ في التصنيف.

• أقصى احتمال : يُعيّن${\displaystyle x}$إلى المجموعة التي تزيد من كثافة السكان (المجموعة). ^{[ 16 ]}
• قاعدة بايز للتمييز: تُعيّن${\displaystyle x}$إلى المجموعة التي تحقق أقصى قدر من${\displaystyle \pi _{i}f_{i}(x)}$، حيث يمثل π _i الاحتمال المسبق لهذا التصنيف، و${\displaystyle f_{i}(x)}$يمثل الكثافة السكانية. ^{[ 16 ]}
• قاعدة التمييز الخطي لفيشر : تعمل على زيادة النسبة بين مجموع المربعات _بين المجموعات ومجموع المربعات _{داخل المجموعة} ، وتجد توليفة خطية من المتغيرات التنبؤية للتنبؤ بالمجموعة. ^{[ 16 ]}

القيمة الذاتية في تحليل التمييز هي الجذر المميز لكل دالة. وهي مؤشر على مدى قدرة تلك الدالة على التمييز بين المجموعات، فكلما زادت القيمة الذاتية، كان التمييز أفضل. ^{[ 8 ]} مع ذلك، ينبغي تفسير ذلك بحذر، إذ لا يوجد حد أعلى للقيم الذاتية. ^{[ 10 ] [ 8 ]} يمكن اعتبار القيمة الذاتية نسبةً إلى مجموع مربعات التباين بين المجموعات (SS _{between ) ومجموع مربعات التباين داخل المجموعات (} SS _within ) ، كما هو الحال في تحليل التباين (ANOVA) عندما يكون المتغير التابع هو دالة التمييز، والمجموعات هي مستويات المتغير المستقل ( IV) . ^{[ 10 ]} هذا يعني أن أكبر قيمة ذاتية ترتبط بالدالة الأولى، وثاني أكبر قيمة ترتبط بالدالة الثانية، وهكذا.

يقترح البعض استخدام القيم الذاتية كمقاييس لحجم التأثير ، إلا أن هذا الاقتراح غير مدعوم عمومًا. ^{[ 10 ]} وبدلًا من ذلك، يُعدّ معامل الارتباط الكنسي المقياس المُفضّل لحجم التأثير. وهو مشابه للقيمة الذاتية، ولكنه الجذر التربيعي لنسبة مجموع مربعات التباين بين المجموعات _إلى مجموع مربعات التباين _الكلي . وهو يُمثّل الارتباط بين المجموعات والدالة. ^{[ 10 ]} ومن المقاييس الشائعة الأخرى لحجم التأثير النسبة المئوية للتباين لكل دالة. ويتم حسابها كما يلي:${\displaystyle \left({\frac {\lambda _{x}}{\sum _{i}\lambda _{i}}}\right)\times 100}$أين${\displaystyle \lambda _{x}}$هي القيمة الذاتية للدالة و${\displaystyle \sum _{i}\lambda _{i}}$يمثل مجموع جميع القيم الذاتية. وهذا يدل على مدى قوة التنبؤ لتلك الدالة تحديدًا مقارنةً بالدوال الأخرى. ^{[ 10 ]} يمكن أيضًا تحليل النسبة المئوية للتصنيف الصحيح كحجم تأثير. يمكن لقيمة كابا وصف ذلك مع تصحيح احتمالية الاتفاق العشوائي. ^{[ 10 ]} تعمل قيمة كابا على توحيد البيانات عبر جميع الفئات بدلًا من التحيز بسبب وجود فئات ذات أداء جيد أو ضعيف بشكل ملحوظ. ^{[ 17 ]}

يُحدد تحليل التمييز الكنسي (CDA) المحاور ( k  −  1 إحداثيات كنسية ، حيث k هو عدد الفئات) التي تفصل الفئات على أفضل وجه. هذه الدوال الخطية غير مترابطة، وتُحدد فعليًا فضاءً أمثلًا k  −  1 عبر سحابة البيانات ذات الأبعاد n ، والذي يفصل (إسقاطات) المجموعات k في ذلك الفضاء على أفضل وجه. انظر " تحليل التمييز الخطي متعدد الفئات " لمزيد من التفاصيل أدناه.

نظراً لأن تحليل التمييز الخطي (LDA) يستخدم المتغيرات الكنسية، فقد كان يُشار إليه في البداية غالباً باسم "طريقة المتغيرات الكنسية" ^{[ 18 ]} أو تحليل المتغيرات الكنسية (CVA). ^{[ 19 ]}

غالبًا ما يتم استخدام مصطلحي التمييز الخطي لفيشر و LDA بشكل متبادل، على الرغم من أن مقالة فيشر الأصلية ^{[ 2 ]} تصف في الواقع تمييزًا مختلفًا قليلاً، والذي لا يفترض بعض افتراضات LDA مثل الفئات الموزعة بشكل طبيعي أو تباينات الفئات المتساوية .

لنفترض أن فئتين من المشاهدات لهما متوسطات${\displaystyle {\vec {\mu }}_{0},{\vec {\mu }}_{1}}$والتباينات المشتركة${\displaystyle \Sigma _{0},\Sigma _{1}}$ثم التركيبة الخطية للميزات${\displaystyle {\vec {w}}^{\mathrm {T} }{\vec {x}}}$سيكون لديه الوسائل${\displaystyle {\vec {w}}^{\mathrm {T} }{\vec {\mu }}_{i}}$والتباينات​${\displaystyle {\vec {w}}^{\mathrm {T} }\Sigma _{i}{\vec {w}}}$ل${\displaystyle i=0,1}$عرّف فيشر الفصل بين هذين التوزيعين بأنه نسبة التباين بين الفئات إلى التباين داخل الفئات:

${\displaystyle S={\frac {\sigma _{\text{between}}^{2}}{\sigma _{\text{within}}^{2}}}={\frac {({\vec {w}}\cdot {\vec {\mu }}_{1}-{\vec {w}}\cdot {\vec {\mu }}_{0})^{2}}{{\vec {w}}^{\mathrm {T} }\Sigma _{1}{\vec {w}}+{\vec {w}}^{\mathrm {T} }\Sigma _{0}{\vec {w}}}}={\frac {({\vec {w}}\cdot ({\vec {\mu }}_{1}-{\vec {\mu }}_{0}))^{2}}{{\vec {w}}^{\mathrm {T} }(\Sigma _{0}+\Sigma _{1}){\vec {w}}}}}$

يُعد هذا المقياس، بمعنى ما، مقياسًا لنسبة الإشارة إلى الضوضاء في تصنيف الفئات. ويمكن إثبات أن أقصى فصل يحدث عندما

${\displaystyle {\vec {w}}\propto (\Sigma _{0}+\Sigma _{1})^{-1}({\vec {\mu }}_{1}-{\vec {\mu }}_{0})}$

عندما يتم استيفاء افتراضات LDA، فإن المعادلة أعلاه تعادل LDA.

تأكد من ملاحظة أن المتجه${\displaystyle {\vec {w}}}$هو العمودي على المستوى الفائق المميز . على سبيل المثال، في مسألة ثنائية الأبعاد، يكون الخط الذي يفصل المجموعتين على أفضل وجه عموديًا على${\displaystyle {\vec {w}}}$.

بشكل عام، يتم إسقاط نقاط البيانات المراد تمييزها على${\displaystyle {\vec {w}}}$ثم يتم اختيار العتبة التي تفصل البيانات على أفضل وجه من خلال تحليل التوزيع أحادي البعد. لا توجد قاعدة عامة لاختيار العتبة. مع ذلك، إذا أظهرت إسقاطات النقاط من كلا الفئتين توزيعات متقاربة، فإن الخيار الأمثل هو المستوى الفاصل بين إسقاطات المتوسطين.${\displaystyle {\vec {w}}\cdot {\vec {\mu }}_{0}}$و${\displaystyle {\vec {w}}\cdot {\vec {\mu }}_{1}}$في هذه الحالة، يكون المعامل c في حالة العتبة${\displaystyle {\vec {w}}\cdot {\vec {x}}>c}$يمكن العثور عليه بشكل صريح:

${\displaystyle c={\vec {w}}\cdot {\frac {1}{2}}({\vec {\mu }}_{0}+{\vec {\mu }}_{1})={\frac {1}{2}}{\vec {\mu }}_{1}^{\mathrm {T} }\Sigma _{1}^{-1}{\vec {\mu }}_{1}-{\frac {1}{2}}{\vec {\mu }}_{0}^{\mathrm {T} }\Sigma _{0}^{-1}{\vec {\mu }}_{0}}$.

ترتبط طريقة أوتسو بالتمييز الخطي لفيشر، وقد تم إنشاؤها لتحويل الرسم البياني للبكسلات في صورة رمادية إلى ثنائي عن طريق اختيار عتبة الأسود/الأبيض المثلى التي تقلل من التباين داخل الفئة وتزيد من التباين بين الفئات داخل/بين درجات الرمادي المخصصة لفئات البكسل الأسود والأبيض.

في حالة وجود أكثر من فئتين، يمكن توسيع التحليل المستخدم في اشتقاق مميز فيشر لإيجاد فضاء جزئي يبدو أنه يحتوي على جميع تباينات الفئات. ^{[ 20 ]} يعود هذا التعميم إلى سي آر راو . ^{[ 21 ]} لنفترض أن لكل فئة من الفئات C متوسطًا${\displaystyle \mu _{i}}$ونفس التغاير${\displaystyle \Sigma }$ثم يمكن تعريف التشتت بين تباين الفئات من خلال التباين المشترك لمتوسطات الفئات.

${\displaystyle \Sigma _{b}={\frac {1}{C}}\sum _{i=1}^{C}(\mu _{i}-\mu )(\mu _{i}-\mu )^{\mathrm {T} }}$

أين${\displaystyle \mu }$هو متوسط ​​متوسطات الفئات. فصل الفئات في اتجاه${\displaystyle {\vec {w}}}$في هذه الحالة سيتم تقديمها بواسطة

${\displaystyle S={\frac {{\vec {w}}^{\mathrm {T} }\Sigma _{b}{\vec {w}}}{{\vec {w}}^{\mathrm {T} }\Sigma {\vec {w}}}}}$

هذا يعني أنه عندما${\displaystyle {\vec {w}}}$هو متجه ذاتي لـ${\displaystyle \Sigma ^{-1}\Sigma _{b}}$ستكون المسافة الفاصلة مساوية للقيمة الذاتية المقابلة .

لو${\displaystyle \Sigma ^{-1}\Sigma _{b}}$إذا كانت قابلة للتقطير، فإن التباين بين الميزات سيُحتوى في الفضاء الفرعي الذي تمتد عليه المتجهات الذاتية المقابلة لأكبر C  −  1 قيمة ذاتية (لأن${\displaystyle \Sigma _{b}}$(رتبتها C  −  1 على الأكثر). تُستخدم هذه المتجهات الذاتية بشكل أساسي في تقليل الميزات، كما هو الحال في تحليل المكونات الرئيسية (PCA). تميل المتجهات الذاتية المقابلة للقيم الذاتية الأصغر إلى أن تكون حساسة للغاية للاختيار الدقيق لبيانات التدريب، وغالبًا ما يكون من الضروري استخدام التنظيم كما هو موضح في القسم التالي.

إذا لزم التصنيف، فبدلاً من تقليل الأبعاد ، تتوفر عدة تقنيات بديلة. على سبيل المثال، يمكن تقسيم الفئات، واستخدام مُصنِّف فيشر القياسي أو تحليل التمييز الخطي (LDA) لتصنيف كل قسم. ومن الأمثلة الشائعة على ذلك "فئة واحدة مقابل البقية"، حيث تُوضع نقاط فئة واحدة في مجموعة، وبقية النقاط في مجموعة أخرى، ثم يُطبَّق تحليل التمييز الخطي. ينتج عن ذلك C من المصنفات، التي تُدمج نتائجها. وهناك طريقة شائعة أخرى هي التصنيف الثنائي، حيث يُنشأ مصنف جديد لكل زوج من الفئات (ليصبح المجموع C ( C  -  1)/2 من المصنفات)، ثم تُدمج المصنفات الفردية للحصول على التصنيف النهائي.

يتطلب التطبيق النموذجي لتقنية تحليل التمييز الخطي (LDA) توفر جميع العينات مسبقًا. مع ذلك، توجد حالات لا تتوفر فيها مجموعة البيانات كاملة، وتُلاحظ بيانات الإدخال كتدفق مستمر. في هذه الحالة، يُفضّل أن تتمتع عملية استخلاص ميزات LDA بالقدرة على تحديث الميزات المحسوبة من خلال ملاحظة العينات الجديدة دون الحاجة إلى تشغيل الخوارزمية على مجموعة البيانات بأكملها. على سبيل المثال، في العديد من التطبيقات الآنية، مثل الروبوتات المتنقلة أو التعرف على الوجوه عبر الإنترنت، من المهم تحديث ميزات LDA المستخرجة فور توفر ملاحظات جديدة. تُعد خوارزمية LDA التزايدية إحدى تقنيات استخلاص ميزات LDA التي تُحدّث هذه الميزات بمجرد ملاحظة عينات جديدة ، وقد دُرست هذه الفكرة على نطاق واسع خلال العقدين الماضيين. ^{[ 22 ]} اقترح تشاتيرجي ورويتشودري خوارزمية LDA تزايدية ذاتية التنظيم لتحديث ميزات LDA. ^{[ 23 ]} في دراسة أخرى، اقترح ديمير وأوزمحمد خوارزميات تعلم محلية عبر الإنترنت لتحديث خصائص تحليل التمييز الخطي (LDA) تدريجيًا باستخدام تصحيح الأخطاء وقواعد التعلم الهيبية. ^{[ 24 ]} لاحقًا، اشتق علياري وآخرون خوارزميات تزايدية سريعة لتحديث خصائص تحليل التمييز الخطي (LDA) من خلال مراقبة العينات الجديدة. ^{[ 22 ]}

عمليًا، لا تُعرف المتوسطات والتباينات المشتركة للفئات. مع ذلك، يمكن تقديرها من مجموعة التدريب. يمكن استخدام تقدير الاحتمال الأقصى أو تقدير الاحتمال اللاحق الأقصى بدلًا من القيمة الدقيقة في المعادلات المذكورة أعلاه. على الرغم من أن تقديرات التباين المشترك قد تُعتبر مثالية من وجهة نظر معينة، إلا أن هذا لا يعني أن المُميّز الناتج عن استبدال هذه القيم هو الأمثل بأي حال من الأحوال، حتى لو كان افتراض توزيع الفئات توزيعًا طبيعيًا صحيحًا.

تظهر صعوبة أخرى عند تطبيق تحليل التمييز الخطي (LDA) ومميز فيشر على البيانات الحقيقية عندما يتجاوز عدد قياسات كل عينة (أي بُعد كل متجه بيانات) عدد العينات في كل فئة. ^{[ 5 ]} في هذه الحالة، لا تتمتع تقديرات التغاير برتبة كاملة، وبالتالي لا يمكن عكسها. هناك عدة طرق للتعامل مع هذه المشكلة. إحداها هي استخدام معكوس زائف بدلاً من معكوس المصفوفة المعتاد في الصيغ المذكورة أعلاه. مع ذلك، يمكن تحقيق استقرار عددي أفضل عن طريق إسقاط المسألة أولاً على الفضاء الجزئي الممتد بواسطة${\displaystyle \Sigma _{b}}$[ ^{25 ] تتمثل} إحدى الاستراتيجيات الأخرى للتعامل مع حجم العينة الصغير في استخدام مُقدِّر انكماش مصفوفة التغاير، والذي يمكن التعبير عنه رياضيًا على النحو التالي:

${\displaystyle \Sigma =(1-\lambda )\Sigma +\lambda I\,}$

أين${\displaystyle I}$هي مصفوفة الوحدة، و${\displaystyle \lambda }$يمثل معامل شدة الانكماش أو معامل التنظيم . ويؤدي هذا إلى إطار عمل تحليل التمييز المنظم ^{[ 26 ]} أو تحليل التمييز بالانكماش. ^{[ 27 ]}

كذلك، في كثير من الحالات العملية، لا تُعدّ المُميّزات الخطية مناسبة. يُمكن توسيع نطاق تحليل التمييز الخطي (LDA) ومُميّز فيشر لاستخدامهما في التصنيف غير الخطي عبر حيلة النواة . هنا، تُحوّل المشاهدات الأصلية فعليًا إلى فضاء غير خطي ذي أبعاد أعلى. وبالتالي، يُصبح التصنيف الخطي في هذا الفضاء غير الخطي مُكافئًا للتصنيف غير الخطي في الفضاء الأصلي. المثال الأكثر شيوعًا على ذلك هو مُميّز فيشر باستخدام النواة .

يمكن تعميم تحليل التمييز الخطي (LDA) ليشمل تحليل التمييز المتعدد ، حيث يصبح c متغيرًا فئويًا له N حالة ممكنة، بدلًا من حالتين فقط. وبالمثل، إذا كانت الكثافات الشرطية للفئات${\displaystyle p({\vec {x}}\mid c=i)}$إذا كانت التوزيعات طبيعية ذات تباينات مشتركة، فإن الإحصائية الكافية لـ${\displaystyle P(c\mid {\vec {x}})}$تمثل هذه القيم قيم N إسقاطًا، وهي الفضاء الجزئي الممتد بواسطة N متوسطًا، والمسقط خطيًا بواسطة مصفوفة التغاير العكسية. يمكن إيجاد هذه الإسقاطات بحل مسألة القيم الذاتية المعممة ، حيث يمثل البسط مصفوفة التغاير المتكونة من اعتبار المتوسطات عينات، ويمثل المقام مصفوفة التغاير المشتركة. راجع " تحليل التمييز الخطي متعدد الفئات " أعلاه لمزيد من التفاصيل.

بالإضافة إلى الأمثلة الواردة أدناه، يتم تطبيق LDA في تحديد المواقع وإدارة المنتجات .

يُشبه تحليل التمييز إلى حد كبير الانحدار اللوجستي ، ويمكن استخدام كليهما للإجابة عن نفس الأسئلة البحثية. ^{[ 10 ]} لا يتطلب الانحدار اللوجستي نفس القدر من الافتراضات والقيود التي يتطلبها تحليل التمييز. ومع ذلك، عندما تتحقق افتراضات تحليل التمييز، يكون أكثر فعالية من الانحدار اللوجستي. ^{[ 36 ]} على عكس الانحدار اللوجستي، يمكن استخدام تحليل التمييز مع أحجام عينات صغيرة. وقد ثبت أنه عندما تتساوى أحجام العينات، ويتحقق تجانس التباين/التغاير، يكون تحليل التمييز أكثر دقة. ^{[ 8 ]} على الرغم من كل هذه المزايا، أصبح الانحدار اللوجستي هو الخيار الشائع، نظرًا لأن افتراضات تحليل التمييز نادرًا ما تتحقق. ^{[ 9 ] [ 8 ]}

تؤدي الشذوذات الهندسية في الأبعاد العليا إلى ما يُعرف بـ"لعنة الأبعاد" . ومع ذلك، يُمكن للاستغلال الأمثل لظاهرة تركيز القياس أن يُسهّل الحساب. ^{[ 37 ]} وقد سلّط دونوهو وتانر الضوء على حالة مهمة من هذه الظاهرة: إذا كانت العينة ذات أبعاد عالية، فإنه يُمكن فصل كل نقطة عن بقية العينة بواسطة متباينة خطية، باحتمالية عالية، حتى بالنسبة للعينات الكبيرة أُسّيًا. ^{[ 38 ]} يُمكن اختيار هذه المتباينات الخطية في الصيغة القياسية (فيشر) للمُميّز الخطي لمجموعة واسعة من توزيعات الاحتمال. ^{[ 39 ]} على وجه الخصوص، تم إثبات هذه النظريات لتوزيعات لوغاريتمية مقعرة، بما في ذلك التوزيع الطبيعي متعدد الأبعاد (يستند الإثبات إلى متباينات التركيز للقياسات اللوغاريتمية المقعرة ^{[ 40 ]} )، ولقياسات الضرب على مكعب متعدد الأبعاد (تم إثبات ذلك باستخدام متباينة تركيز تالاغراند لفضاءات احتمال الضرب). إن فصل البيانات بواسطة المميزات الخطية الكلاسيكية يبسط مشكلة تصحيح الأخطاء لأنظمة الذكاء الاصطناعي في الأبعاد العالية. ^{[ 41 ]}

• استخراج البيانات
• التعلم باستخدام شجرة القرار
• تحليل العوامل
• تحليل التمييز باستخدام نواة فيشر
• لوجيت ( للانحدار اللوجستي )
• الانحدار الخطي
• تحليل التمييز المتعدد
• التحجيم متعدد الأبعاد
• التعرف على الأنماط
• انحدار التفضيل
• المصنف التربيعي
• التصنيف الإحصائي

• دودا، ر.و.؛ هارت، ب.إ.؛ ستورك، د.هـ. (2000). تصنيف الأنماط (  الطبعة الثانية). وايلي إنترساينس. ISBN 978-0-471-05669-0MR 1802993​​ 
• هيلبي، جيه إم (2009). نماذج الانحدار اللوجستي . تشابمان آند هول/سي آر سي برس. رقم ISBN 978-1-4200-7575-5.
• ميكا، س.؛ وآخرون  (1999). "تحليل التمييز لفيشر باستخدام النوى". الشبكات العصبية لمعالجة الإشارات 9: وقائع ورشة عمل جمعية معالجة الإشارات التابعة لمعهد مهندسي الكهرباء والإلكترونيات لعام 1999 (رقم التصنيف 98TH8468) . الصفحات 41-48 . CiteSeerX 10.1.1.35.9904 . doi : 10.1109/NNSP.1999.788121 . ISBN   978-0-7803-5673-3. S2CID 8473401 . 
• مكفارلاند، إتش. ريتشارد؛ دونالد، سانت بي. ريتشاردز (2001). "احتمالات التصنيف الخاطئ الدقيقة لدوال التمييز التربيعي الطبيعي المُدخلة. الجزء الأول: حالة تساوي المتوسطات" . مجلة التحليل متعدد المتغيرات . 77 (1): 21-53 . doi : 10.1006/jmva.2000.1924 .
• ماكفارلاند، إتش. ريتشارد؛ دونالد، سانت بي. ريتشاردز (2002). "احتمالات التصنيف الخاطئ الدقيقة لدوال التمييز التربيعي الطبيعي المُدخلة. الجزء الثاني: الحالة غير المتجانسة" . مجلة التحليل متعدد المتغيرات . 82 (2): 299-330 . doi : 10.1006/jmva.2001.2034 .
• حقيقيات، م.؛ عبد المطلب، م.؛ الحلبي، و. (2016). "تحليل الارتباط التمييزي: دمج الميزات في الوقت الحقيقي للتعرف البيومتري متعدد الوسائط" . معاملات IEEE في الطب الشرعي وأمن المعلومات . 11 (9): 1984-1996 . doi : 10.1109/TIFS.2016.2569061 . S2CID 15624506 . 

• تحليل الارتباط التمييزي (DCA) لمقال هاغايغات (انظر أعلاه)
• تحتوي مكتبة ALGLIB على تطبيق LDA مفتوح المصدر بلغات C# / C++ / Pascal / VBA.
• تطبيق تحليل التمييز الكامن (LDA) في بايثون - تطبيق تحليل التمييز الكامن (LDA) في بايثون
• شرح برنامج LDA باستخدام برنامج MS Excel
• الإحصاءات الطبية الحيوية. تحليل التمييز
• StatQuest: شرح واضح لتحليل التمييز الخطي (LDA) على يوتيوب
• ملاحظات الدورة، تحليل الدالة التمييزية، بقلم جي. ديفيد غارسون، جامعة ولاية كارولينا الشمالية
• شرح تحليل التمييز في مايكروسوفت إكسل من إعداد كاردي تكنومو
• ملاحظات الدورة، تحليل الدالة التمييزية، ديفيد دبليو. ستوكبرغر، جامعة ولاية ميسوري. مؤرشفة بتاريخ 3 مارس 2016 على موقع Wayback Machine.
• تحليل الدالة التمييزية (DA) من إعداد جون بولسن وآرون فرينش، جامعة ولاية سان فرانسيسكو. مؤرشف بتاريخ 15 ديسمبر 2011 على موقع Wayback Machine.