التجميع القائم على النموذج

في الإحصاء ، يُعرف تحليل التجميع بأنه عملية تصنيف خوارزمية للعناصر إلى مجموعات متجانسة بناءً على القياسات العددية. يعتمد التجميع القائم على النموذج ^{[ 1 ]} على نموذج إحصائي للبيانات، وعادةً ما يكون نموذجًا مختلطًا . يتميز هذا الأسلوب بعدة مزايا، منها توفير أساس إحصائي متين للتجميع، وإمكانية اختيار عدد المجموعات، واختيار أفضل نموذج للتجميع، وتقييم عدم اليقين في عملية التجميع، وتحديد القيم الشاذة التي لا تنتمي إلى أي مجموعة.

لنفترض أنه لكل من${\displaystyle n}$الملاحظات التي لدينا بيانات عنها ${\displaystyle d}$المتغيرات، المشار إليها بـ${\displaystyle y_{i}=(y_{i,1},\ldots ,y_{i,d})}$ للمراقبة${\displaystyle i}$ثم يعبر التجميع القائم على النموذج عن دالة كثافة الاحتمال لـ ${\displaystyle y_{i}}$كمزيج محدود، أو متوسط ​​مرجح لـ ${\displaystyle G}$دوال كثافة الاحتمال للمكونات :

${\displaystyle p(y_{i})=\sum _{g=1}^{G}\tau _{g}f_{g}(y_{i}\mid \theta _{g}),}$

أين${\displaystyle f_{g}}$هي دالة كثافة احتمالية ذات معامل${\displaystyle \theta _{g}}$،${\displaystyle \tau _{g}}$يمثل احتمال الخليط المقابل حيث${\displaystyle \sum _{g=1}^{G}\tau _{g}=1}$ثم في أبسط أشكالها، ينظر التجميع القائم على النموذج إلى كل مكون من مكونات نموذج الخليط على أنه مجموعة، ويقدر معلمات النموذج، ويخصص كل ملاحظة لمجموعة تتوافق مع مكون الخليط الأكثر احتمالاً.

نموذج خليط غاوسي بسيط

بالنسبة للبيانات ذات الأبعاد العالية،${\displaystyle d}$يتطلب استخدام مصفوفة تباين كاملة لكل مكون من مكونات الخليط تقدير العديد من المعلمات، مما قد يؤدي إلى فقدان الدقة والتعميم وقابلية التفسير. لذا، يشيع استخدام مصفوفات تباين للمكونات أكثر اقتصادًا، مستغلةً تفسيرها الهندسي. تكون التجمعات الغاوسية بيضاوية الشكل، حيث يُحدد حجمها وشكلها واتجاهها بواسطة مصفوفة التباين. لننظر في تحليل القيم الذاتية لمصفوفة ما.

${\displaystyle \Sigma _{g}=\lambda _{g}D_{g}A_{g}D_{g}^{T},}$

أين${\displaystyle D_{g}}$هي مصفوفة المتجهات الذاتية لـ ${\displaystyle \Sigma _{g}}$، ${\displaystyle A_{g}={\mbox{diag}}\{A_{1,g},\ldots ,A_{d,g}\}}$ هي مصفوفة قطرية تتناسب عناصرها مع القيم الذاتية لـ${\displaystyle \Sigma _{g}}$بالترتيب التنازلي، و${\displaystyle \lambda _{g}}$هو ثابت التناسب المرتبط. إذن${\displaystyle \lambda _{g}}$يتحكم في حجم الشكل الإهليلجي، ${\displaystyle A_{g}}$شكله، و${\displaystyle D_{g}}$اتجاهها. ^{[ 6 ] [ 7 ]}

يمكن تقييد حجم وشكل واتجاه كل مجموعة من المجموعات بحيث تكون متساوية (E) أو السماح لها بالتغير (V)؛ كما يمكن أن يكون الاتجاه كرويًا، مع قيم ذاتية متطابقة (I). ينتج عن ذلك 14 نموذجًا محتملاً للتجميع، موضحة في هذا الجدول:

تمثيلات بسيطة لمصفوفة التغاير${\displaystyle \Sigma _{g}}$ مع عدد من المعلمات عندما${\displaystyle G=4}$و${\displaystyle d=9}$

نموذج	وصف	# حدود
EII	كروي، متساوي الحجم	1
السابع	كروي، حجم متغير	9
معهد إدنبرة للهندسة	قطري، حجم وشكل متساويان	4
VEI	قطري، شكل متساوي	12
إيفي	قطري، متساوي الحجم، شكل متغير	28
VVI	قطري، حجم وشكل متفاوت	36
إيييي	متساوي	10
VEE	شكل واتجاه متساويان	18
حواء	حجم واتجاه متساويان	34
VVE	التوجه المتساوي	42
EEV	حجم وشكل متساويان	58
VEV	شكل متساوي	66
EVV	حجم متساوٍ	82
VVV	متفاوت	90

يتضح أن العديد من هذه النماذج أكثر اقتصادًا، حيث تحتوي على عدد أقل بكثير من المعلمات مقارنةً بالنموذج غير المقيد الذي يحتوي على 90 معلمة عندما ${\displaystyle G=4}$و${\displaystyle d=9}$.

تتوافق العديد من هذه النماذج مع أساليب التجميع الاستدلالية المعروفة. على سبيل المثال، يُعادل تجميع k-means تقدير نموذج تجميع EII باستخدام خوارزمية التصنيف EM. ^{[ 8 ]} يمكن استخدام معيار معلومات بايز ( BIC) لاختيار أفضل نموذج تجميع، بالإضافة إلى عدد المجموعات. كما يمكن استخدامه كأساس لطريقة اختيار المتغيرات في نموذج التجميع، مع استبعاد المتغيرات غير المفيدة للتجميع. ^{[ 9 ] [ 10 ]}

طُوِّرت طرقٌ مختلفةٌ للتجميع العنقودي تعتمد على نموذج غاوسي، بهدف معالجة البيانات عالية الأبعاد. وتشمل هذه الطرق طريقة pgmm ^{[ 11 ]} ، التي تعتمد على نموذج مزيج محللات العوامل، وطريقة HDclassif، التي تعتمد على فكرة تجميع الفضاءات الفرعية ^{[ 12 ] .}

يُوسّع إطار عمل مزيج الخبراء نطاق التجميع القائم على النموذج ليشمل المتغيرات المصاحبة. ^{[ 13 ] [ 14 ]}

نوضح الطريقة باستخدام مجموعة بيانات تتكون من ثلاثة قياسات (الجلوكوز، والأنسولين، وسكر الدم تحت الجلد) على 145 شخصًا بهدف تشخيص داء السكري ونوعه. ^{[ 15 ]} تم تصنيف الأشخاص سريريًا إلى ثلاث مجموعات: طبيعي، وداء السكري الكيميائي، وداء السكري الظاهر، ولكننا نستخدم هذه المعلومات فقط لتقييم طرق التجميع، وليس لتصنيف الأشخاص.

يُظهر مخطط BIC قيم BIC لكل تركيبة من عدد المجموعات،${\displaystyle G}$ونموذج التجميع من الجدول. كل منحنى يمثل نموذج تجميع مختلف. يُفضل معيار BIC ثلاث مجموعات، وهو ما يتوافق مع التقييم السريري. كما يُفضل نموذج التغاير غير المقيد، VVV. يتوافق هذا النموذج مع البيانات بشكل جيد، لأن المرضى الأصحاء لديهم قيم منخفضة لكل من sspg والأنسولين، بينما تكون توزيعات مجموعتي السكري الكيميائي والظاهر مُستطيلة، ولكن في اتجاهات مختلفة. وبالتالي، فإن أحجام وأشكال واتجاهات المجموعات الثلاث مختلفة بشكل واضح، ولذلك يُعد النموذج غير المقيد مناسبًا، كما تم اختياره بواسطة طريقة التجميع القائمة على النموذج.

يُظهر مخطط التصنيف تصنيف العينات باستخدام التجميع القائم على النموذج. كان التصنيف دقيقًا للغاية، حيث بلغت نسبة الخطأ 12% وفقًا للتصنيف السريري. أما طرق التجميع الأخرى المعروفة، فقد كان أداؤها أسوأ بنسبة خطأ أعلى، مثل التجميع أحادي الارتباط (46%)، والتجميع متوسط ​​الارتباط (30%)، والتجميع كامل الارتباط ( 30%)، والتجميع باستخدام خوارزمية k-means (28%).

في التجميع، تُعرَّف القيمة الشاذة بأنها نقطة بيانات لا تنتمي إلى أي من المجموعات. إحدى طرق نمذجة القيم الشاذة في التجميع القائم على النماذج هي إضافة مكون خليط إضافي شديد التشتت، على سبيل المثال، بتوزيع منتظم. ^{[ 6 ] [ 16 ]} وثمة نهج آخر يتمثل في استبدال كثافات التوزيع الطبيعي متعدد المتغيرات بـ${\displaystyle t}$التوزيعات، ^{[ 17 ]} مع فكرة أن الذيول الطويلة لـ ${\displaystyle t}$يضمن توزيع t-distribution متانة النموذج في مواجهة القيم المتطرفة. مع ذلك، فهو ليس متينًا في حالة انهيار النموذج. ^{[ 18 ]} أما النهج الثالث فهو "tclust" أو نهج تقليم البيانات ^{[ 19 ]} الذي يستبعد الملاحظات المصنفة كقيم متطرفة عند تقدير معلمات النموذج.

أحيانًا، تنحرف مجموعة أو أكثر انحرافًا كبيرًا عن التوزيع الطبيعي. إذا تمّت ملاءمة مزيج غاوسي لهذه البيانات، فغالبًا ما يتم تمثيل المجموعة غير الغاوسية بشدة بعدة مكونات من المزيج بدلًا من مكون واحد. في هذه الحالة، يمكن استخدام دمج المجموعات لإيجاد تصنيف أفضل. ^{[ 20 ]} ثمة نهج آخر يتمثل في استخدام مزيج من كثافات المكونات المعقدة لتمثيل المجموعات غير الغاوسية. ^{[ 21 ] [ 22 ]}

تتوفر معظم برامج التجميع القائمة على النماذج على شكل حزمة R متاحة للعموم ومجانًا . وقد أُدرج العديد منها في قسم "عرض المهام" على موقع CRAN حول تحليل التجميع ونماذج الخلط المحدود. ^{[ 34 ]} وتُعد حزمة mclust الأكثر استخدامًا من بين هذه الحزم ، ^{[ 35 ] [ 36 ]} حيث تُستخدم لتجميع البيانات المتصلة، وقد تم تنزيلها أكثر من 8 ملايين مرة. ^{[ 37 ]}

تقوم حزمة poLCA ^{[ 38 ]} بتجميع البيانات الفئوية باستخدام نموذج الفئة الكامنة . أما حزمة clustMD [ ^{25 ] فتقوم} بتجميع البيانات المختلطة، بما في ذلك المتغيرات المستمرة والثنائية والترتيبية والاسمية.

تُجري حزمة flexmix ^{[ 39 ]} عملية التجميع العنقودي القائم على النموذج لمجموعة من توزيعات المكونات. بينما تستطيع حزمة mixtools ^{[ 40 ]} تجميع أنواع مختلفة من البيانات. وتُطبّق كلتا الحزمتين flexmix و mixtools التجميع العنقودي القائم على النموذج مع المتغيرات المصاحبة.

تم اختراع التجميع القائم على النموذج لأول مرة في عام 1950 بواسطة بول لازارسفيلد لتجميع البيانات المنفصلة متعددة المتغيرات، في شكل نموذج الفئة الكامنة . ^{[ 41 ]}

في عام ١٩٥٩، ألقى لازارسفيلد محاضرةً حول تحليل البنية الكامنة في جامعة كاليفورنيا، بيركلي، حيث كان جون إتش. وولف طالب ماجستير. دفع هذا وولف إلى التفكير في كيفية تطبيق الأمر نفسه على البيانات المتصلة، وفي عام ١٩٦٥، قام بذلك، مقترحًا نموذج خليط غاوسي للتجميع. ^{[ ٤٢ ] [ ٤٣ ]} كما أنتج أول برنامج لتقدير هذا النموذج، أطلق عليه اسم NORMIX. وكان داي (١٩٦٩)، الذي عمل بشكل مستقل، أول من نشر مقالًا في مجلة علمية حول هذا النهج. ^{[ ٤٤ ]} ومع ذلك، يُنسب الفضل إلى وولف باعتباره مخترع التجميع القائم على النموذج للبيانات المتصلة.

طوّر مورتاغ ورافتر (1984) طريقةً للتجميع العنقودي تعتمد على نموذج تحليل القيم الذاتية لمصفوفات التغاير للمكونات. ^{[ 45 ]} وكان كتاب ماكلاكلان وباسفورد (1988) أول كتاب يتناول هذا النهج، مما ساهم في تطوير المنهجية وإثارة الاهتمام بها. ^{[ 46 ]} صاغ بانفيلد ورافتر (1993) مصطلح "التجميع العنقودي القائم على النموذج"، وقدّما مجموعة النماذج المُقتصدة، ووصفا معيارًا معلوماتيًا لاختيار عدد العناقيد، واقترحا النموذج الموحد للقيم الشاذة، وقدّما برنامج mclust . ^{[ 6 ]} بيّن سيليو وغوفيرت (1995) كيفية إجراء تقدير الاحتمال الأقصى للنماذج. ^{[ 7 ]} وهكذا، بحلول عام 1995، كانت المكونات الأساسية للمنهجية قد اكتملت، مما مهّد الطريق لتطوير واسع النطاق منذ ذلك الحين.

• سكروكا، ل.؛ فرالي، س.؛ مورفي، ت.ب.؛ رافتري، أ.إ. (2023). التجميع والتصنيف وتقدير الكثافة باستخدام نموذج mclust في لغة R. تشابمان آند هول/سي آر سي برس. ISBN 978-1-032-23495-3.
• بوفيرون، سي.؛ سيليو، جي.؛ مورفي، تي بي؛ رافتري، إيه إي (2019). التجميع والتصنيف القائم على النماذج لعلوم البيانات: مع تطبيقات في لغة البرمجة R. مطبعة جامعة كامبريدج. ISBN 978-1-108-49420-5.

تحميل مجاني: https://math.univ-cotedazur.fr/~cbouveyr/MBCbook/

• سيليو، جي؛ فروويرث-شنايتر، إس؛ روبرت، سي بي (2018). دليل تحليل المخاليط . تشابمان آند هول/سي آر سي برس. رقم ISBN 978-0-367-73206-6.
• ماكنيكولاس، بي دي (2016). التجميع العنقودي القائم على نموذج الخليط . تشابمان آند هول/سي آر سي برس. رقم ISBN 978-0-367-73695-8.
• هينينغ، سي.؛ ميليا، إم.؛ مورتاغ، إف.؛ روكي، آر. (2015). دليل تحليل التجميع . تشابمان آند هول/سي آر سي برس. ISBN 978-1-4665-5188-6.
• مينجرسن، ك. ل.؛ روبرت، س. ب.؛ تيتيرنجتون، د. م. (2011). المخاليط: التقدير والتطبيقات . وايلي. ISBN 978-1-119-99389-6.
• ماكلاكلان، جي جي؛ بيل، دي. (2000). نماذج الخلط المحدود . وايلي-إنترساينس. ISBN 978-0-471-00626-8.