تحليل التجميع

الموسوعة الحرة
نتيجة تحليل التجميع موضحة بتلوين المربعات إلى ثلاث مجموعات

يُعدّ تحليل التجميع ، أو التجميع العنقودي ، أسلوبًا لتحليل البيانات يهدف إلى تقسيم مجموعة من العناصر إلى مجموعات، بحيث تُظهر العناصر داخل المجموعة الواحدة (التي تُسمى عنقودًا ) تشابهًا أكبر فيما بينها (بمعنى محدد يُحدده المحلل) مقارنةً بتشابهها مع العناصر في مجموعات أخرى (عناقيد). وهو مهمة رئيسية في تحليل البيانات الاستكشافي ، وأسلوب شائع في التحليل الإحصائي للبيانات ، ويُستخدم في العديد من المجالات، بما في ذلك التعرف على الأنماط ، وتحليل الصور ، واسترجاع المعلومات ، والمعلوماتية الحيوية ، وضغط البيانات ، ورسومات الحاسوب ، والتعلم الآلي .

يشير تحليل التجميع إلى مجموعة من الخوارزميات والمهام، وليس إلى خوارزمية محددة . ويمكن تحقيقه باستخدام خوارزميات متنوعة تختلف اختلافًا كبيرًا في فهمها لمفهوم التجميع وكيفية إيجاده بكفاءة. تشمل المفاهيم الشائعة للتجميع مجموعات ذات مسافات قصيرة بين أعضائها، ومناطق كثيفة في فضاء البيانات، وفترات زمنية، أو توزيعات إحصائية معينة . لذا، يمكن صياغة التجميع كمسألة تحسين متعددة الأهداف . وتعتمد خوارزمية التجميع المناسبة وإعدادات المعلمات (بما في ذلك معلمات مثل دالة المسافة المستخدمة، وعتبة الكثافة، وعدد المجموعات المتوقعة) على مجموعة البيانات الفردية والاستخدام المقصود للنتائج. لا يُعد تحليل التجميع مهمة تلقائية، بل هو عملية تكرارية لاكتشاف المعرفة أو تحسين تفاعلي متعدد الأهداف، ينطوي على التجربة والخطأ. وغالبًا ما يكون من الضروري تعديل معالجة البيانات المسبقة ومعلمات النموذج حتى تحقق النتيجة الخصائص المطلوبة.

إلى جانب مصطلح التجميع ، توجد عدة مصطلحات ذات معانٍ مشابهة، منها التصنيف الآلي ، والتصنيف العددي ، وعلم النبات (من اليونانية : βότρυς بمعنى " عنب " )، والتحليل النمطي ، واكتشاف المجتمعات . وتكمن الاختلافات الدقيقة غالبًا في استخدام النتائج: فبينما تُعدّ المجموعات الناتجة هي محور الاهتمام في استخراج البيانات، فإنّ القدرة التمييزية الناتجة هي ما يهم في التصنيف الآلي.

نشأ تحليل التجميع في علم الإنسان بواسطة درايفر وكروبر في عام 1932 [ 1 ] وتم تقديمه إلى علم النفس بواسطة جوزيف زوبين في عام 1938 [ 2 ] وروبرت ترايون في عام 1939 [ 3 ] واستخدمه كاتيل بشكل مشهور بدءًا من عام 1943 [ 4 ] لتصنيف نظرية السمات في علم نفس الشخصية .

تعريف

لا يمكن تعريف مفهوم "المجموعة" بدقة، وهذا أحد أسباب وجود العديد من خوارزميات التجميع. [ 5 ] هناك قاسم مشترك: مجموعة من عناصر البيانات. مع ذلك، يستخدم الباحثون نماذج تجميع مختلفة، ولكل نموذج منها خوارزمية مختلفة. يتباين مفهوم المجموعة، كما تحدده الخوارزميات المختلفة، تبايناً كبيراً في خصائصه. يُعد فهم "نماذج التجميع" هذه أساسياً لفهم الاختلافات بين الخوارزميات المختلفة. تشمل نماذج التجميع النموذجية ما يلي:

  • نماذج الاتصال : على سبيل المثال،التجميع الهرميببناء نماذج تعتمد على اتصال المسافة.
  • نموذج المركز : على سبيل المثال،خوارزمية k-meansكل مجموعة بواسطة متجه متوسط ​​واحد.
  • نماذج التوزيع : يتم نمذجة المجموعات باستخدام التوزيعات الإحصائية، مثلالتوزيعات الطبيعية متعددة المتغيراتالمستخدمة بواسطةخوارزمية التوقع والتعظيم.
  • نماذج الكثافة : على سبيل المثال،DBSCANوOPTICSوHDBSCANتُعرّف المجموعات على أنها مناطق كثيفة متصلة في مساحة البيانات.
  • نموذج الفضاء الفرعي s: فيالتجميع الثنائي(المعروف أيضًا باسم التجميع المشترك أو التجميع ثنائي الوضع)، يتم نمذجة المجموعات باستخدام أعضاء المجموعة والسمات ذات الصلة.
  • نماذج المجموعات : بعض الخوارزميات لا تقدم نموذجًا دقيقًا لنتائجها، بل تقدم فقط معلومات التجميع.
  • في نماذج الرسم البياني :الزمرة، أي مجموعة فرعية من العقد فيالرسم البيانيبحيث تكون كل عقدتين في هذه المجموعة متصلة بحافة، نموذجًا أوليًا للتجمع. وتُعرف حالات تخفيف شرط الاتصال الكامل (حيث يمكن أن يكون جزء من الحواف مفقودًا) باسم الزمر شبه الكاملة، كما هو الحال فيخوارزمية التجميع HCS.
  • نماذج الرسوم البيانية الموقعة : لكل مسار في الرسم البياني الموقع إشارة ناتجة عن حاصل ضرب إشارات الحواف. وبناءً على افتراضات نظرية التوازن ، قد تتغير إشارات الحواف مما يؤدي إلى رسم بياني متشعب. أما "بديهية التجميع" الأضعف (لا توجد دورة تحتوي على حافة سالبة واحدة فقط) فتؤدي إلى نتائج تتضمن أكثر من مجموعتين، أو رسوم بيانية فرعية ذات حواف موجبة فقط. [ 6 ]
  • النماذج العصبية : إن أشهرشبكة عصبيةغير خاضعة للإشراف هيالخريطة ذاتية التنظيم، ويمكن عادةً وصف هذه النماذج بأنها مشابهة لواحد أو أكثر من النماذج المذكورة أعلاه، بما في ذلك نماذج الفضاء الفرعي عندما تنفذ الشبكات العصبية شكلاً من أشكالتحليل المكونات الرئيسيةأوتحليل المكونات المستقلة.

التجميع هو في الأساس مجموعة من هذه المجموعات، وعادةً ما تحتوي على جميع العناصر في مجموعة البيانات. بالإضافة إلى ذلك، قد يحدد التجميع العلاقة بين المجموعات، على سبيل المثال، تسلسل هرمي للمجموعات المتداخلة. يمكن تمييز التجميعات بشكل عام كما يلي:

  • التجميع الصلب : ينتمي كل عنصر إلى مجموعة أو لا ينتمي إليها
  • التجميع المرن (أيضًا:التجميع الضبابي ): ينتمي كل عنصر إلى كل مجموعة بدرجة معينة (على سبيل المثال، احتمال الانتماء إلى المجموعة).

كما توجد فروق أدق ممكنة، على سبيل المثال:

  • التجميع بالتقسيم الصارم : ينتمي كل عنصر إلى مجموعة واحدة فقط
  • التجميع التقسيمي الصارم مع القيم الشاذة : يمكن أن تنتمي الكائنات أيضًا إلى أي مجموعة؛ وفي هذه الحالة تُعتبرقيمًا شاذة.
  • التجميع المتداخل (يُعرف أيضًا باسم:التجميع البديل،التجميع متعدد الرؤى): قد تنتمي الكائنات إلى أكثر من مجموعة واحدة؛ وعادةً ما يتضمن ذلك مجموعات صلبة
  • التجميع الهرمي : الكائنات التي تنتمي إلى مجموعة فرعية تنتمي أيضًا إلى المجموعة الأصلية
  • التجميع في الفضاءات الفرعية : على الرغم من وجود تجميع متداخل، إلا أنه ضمن فضاء فرعي محدد بشكل فريد، لا يُتوقع أن تتداخل المجموعات.

الخوارزميات

مقارنة بصرية لخوارزميات التجميع المختلفة على مجموعات بيانات ثنائية الأبعاد بسيطة

كما ذُكر أعلاه، يمكن تصنيف خوارزميات التجميع بناءً على نموذج التجميع الخاص بها. سيقتصر هذا العرض على أبرز الأمثلة فقط، إذ يُحتمل وجود أكثر من 100 خوارزمية تجميع منشورة. لا تُقدم جميعها نماذج لمجموعاتها، وبالتالي يصعب تصنيفها. يمكن الاطلاع على شرحٍ مُفصّل للخوارزميات في ويكيبيديا ضمن قائمة خوارزميات الإحصاء .

لا توجد خوارزمية تجميع "صحيحة" موضوعيًا، ولكن كما ذُكر سابقًا، "التجميع مسألة نسبية". [ 5 ] في الواقع، يُظهر النهج البديهي للتجميع أنه من المستحيل لأي طريقة تجميع أن تُحقق ثلاث خصائص أساسية في آنٍ واحد: ثبات المقياس (تبقى النتائج دون تغيير عند تغيير مقياس المسافات تناسبيًا)، والثراء (إمكانية تحقيق جميع التقسيمات الممكنة للبيانات)، والاتساق بين المسافات وبنية التجميع. [ 7 ] غالبًا ما يتطلب اختيار خوارزمية التجميع الأنسب لمشكلة معينة إجراء تجارب، ما لم يكن هناك سبب رياضي لتفضيل نموذج تجميع على آخر. فالخوارزمية المصممة لنوع معين من النماذج ستفشل عمومًا على مجموعة بيانات تحتوي على نوع مختلف جذريًا من النماذج. [ 5 ] على سبيل المثال، لا تستطيع خوارزمية k-means إيجاد التجمعات غير المحدبة. [ 5 ] تفترض معظم طرق التجميع التقليدية أن التجمعات تتخذ شكلًا كرويًا أو بيضاويًا أو محدبًا. [ 8 ]

التجميع القائم على الاتصال (التجميع الهرمي)

يعتمد التجميع القائم على الاتصال، والمعروف أيضًا بالتجميع الهرمي ، على فكرة أن الكائنات ترتبط بالكائنات القريبة منها أكثر من ارتباطها بالكائنات البعيدة. تُشكّل هذه الخوارزميات مجموعات من خلال ربط الكائنات بناءً على المسافة بينها. ويمكن فهم المجموعة من حيث أقصى مسافة مطلوبة لربط عناصرها.

تظهر تجمعات عنقودية مختلفة عند عتبات مسافة مختلفة. يمكن تمثيل هذه التجمعات بيانيًا باستخدام مخطط شجري ، وهو رسم بياني يشبه الشجرة يوضح كيفية اندماج العناقيد مع ازدياد المسافة. وهذا ما يفسر مصطلح " التجميع الهرمي ": فبدلًا من إنتاج قسم واحد لمجموعة البيانات، تبني الخوارزمية تسلسلًا هرميًا من العناقيد التي تندمج عند مسافات مختلفة. في المخطط الشجري، يُظهر المحور الرأسي المسافة التي تندمج عندها العناقيد، بينما يُرتب المحور الأفقي العناصر بحيث تظهر العناقيد كفروع متصلة.

التجميع القائم على الاتصال هو مجموعة من الأساليب التي تختلف في كيفية حساب المسافات بين المجموعات. بالإضافة إلى اختيار دالة المسافة ، يجب على المستخدم أيضًا تحديد معيار الربط ، الذي يحدد كيفية حساب المسافة بين المجموعات. تشمل معايير الربط الشائعة التجميع أحادي الربط (أقصر مسافة بين النقاط)، والتجميع كامل الربط (أقصى مسافة)، و UPGMA أو WPGMA (متوسط ​​الربط بناءً على متوسط ​​المسافات). يمكن أن يكون التجميع الهرمي إما تجميعيًا (يبدأ بالعناصر الفردية ويدمجها) أو تقسيميًا (يبدأ بمجموعة البيانات الكاملة ويقسمها).

في التجميع الهرمي التراكمي، تسير الخوارزمية عادةً على النحو التالي:

  1. ابدأ بكل نقطة بيانات كمجموعة مستقلة.
  2. حدد أقرب مجموعتين بناءً على مقياس المسافة المختار.
  3. قم بدمجها في مجموعة واحدة.
  4. أعد حساب المسافات بين المجموعة الجديدة والمجموعات المتبقية باستخدام معيار الربط المحدد.
  5. كرر العملية حتى يتم دمج جميع نقاط البيانات في مجموعة واحدة. [ 9 ]

تُنتج هذه العملية تسلسلاً هرمياً كاملاً للتجمعات الممكنة بدلاً من نتيجة نهائية واحدة. ويمكن الحصول على تجمع محدد باختيار مستوى قطع في مخطط التفرع، والذي يحدد عدد التجمعات المتكونة.

لا تُنتج هذه الطرق تقسيمًا فريدًا لمجموعة البيانات، بل تُنتج تسلسلًا هرميًا يتعين على المستخدم من خلاله اختيار المجموعات المناسبة. كما أنها حساسة للقيم الشاذة، التي قد تظهر كمجموعات منفصلة أو تتسبب في اندماج مجموعات أخرى. يُعرف هذا التأثير، خاصةً في التجميع أحادي الارتباط ، باسم "ظاهرة التسلسل". في الحالة العامة، يكون التعقيديا(ن3){\displaystyle {\mathcal {O}}(n^{3})}للتجميع التراكمي ويا(2ن-1){\displaystyle {\mathcal {O}}(2^{n-1})}بالنسبة للتجميع التقسيمي ، [ 10 ] مما يجعلها مكلفة حسابيًا لمجموعات البيانات الكبيرة. في بعض الحالات الخاصة، توجد طرق أكثر كفاءة (مع تعقيديا(ن2){\displaystyle {\mathcal {O}}(n^{2})}) معروفة، مثل SLINK [ 11 ] للربط الفردي و CLINK [ 12 ] للتجميع الكامل للربط.

التجميع القائم على المركز

في التجميع العنقودي القائم على المركز، يُمثَّل كل عنقود بمتجه مركزي، ليس بالضرورة أن يكون عنصرًا من مجموعة البيانات. عندما يكون عدد العناقيد ثابتًا عند k ، يُعرَّف التجميع العنقودي k -means رسميًا كمسألة تحسين: إيجاد مراكز العناقيد k وتعيين العناصر لأقرب مركز عنقود، بحيث يتم تقليل مربعات المسافات من العنقود.

من المعروف أن مسألة التحسين نفسها من المسائل الصعبة حسابيًا (NP-hard )، ولذلك فإن النهج الشائع هو البحث عن حلول تقريبية فقط. ومن أشهر الطرق التقريبية خوارزمية لويد [ 13 ] ، والتي يُشار إليها غالبًا باسم " خوارزمية k-means " (مع أن خوارزمية أخرى هي التي أطلقت هذا الاسم ). إلا أنها لا تجد سوى الحل الأمثل المحلي ، وعادةً ما تُشغَّل عدة مرات باستخدام قيم ابتدائية عشوائية مختلفة. تتضمن متغيرات خوارزمية k -means تحسينات مثل اختيار أفضل نتيجة من عدة عمليات تشغيل، بالإضافة إلى تقييد مراكز التجميع بعناصر مجموعة البيانات ( k -medoids )، واختيار الوسائط ( k -medians clustering )، واختيار المراكز الأولية بشكل أقل عشوائية ( k -means++ )، أو السماح بتعيين مجموعات ضبابي ( fuzzy c-means ).

تتطلب معظم خوارزميات التجميع من نوع k -means تحديد عدد المجموعات ( k ) مسبقًا، وهو ما يُعدّ أحد أبرز عيوب هذه الخوارزميات. علاوة على ذلك، تُفضّل هذه الخوارزميات المجموعات ذات الأحجام المتقاربة، حيث تُخصّص كل عنصر لأقرب مركز، مما يؤدي غالبًا إلى حدود غير دقيقة للمجموعات. ويعود ذلك أساسًا إلى أن الخوارزمية تُحسّن مراكز المجموعات، لا حدودها. تتضمن خطوات خوارزمية التجميع القائمة على المركز ما يلي:

  1. اختر k مجموعة متميزة عشوائياً. هذه هي المراكز الأولية التي سيتم تحسينها.
  2. لنفترض مجموعة من المشاهدات ( x1 , x2 , ..., xn ) . خصص لكل مشاهدة المركز الذي لها أصغر مسافة إقليدية تربيعية . ينتج عن ذلك k مجموعة متميزة، تحتوي كل منها على مشاهدات فريدة .
  3. إعادة حساب المراكز (انظر التجميع k -means ).
  4. اخرج من البرنامج إذا كانت مراكز الثقل الجديدة مكافئة لمراكز الثقل في التكرار السابق. وإلا، فكرر الخوارزمية، لأن مراكز الثقل لم تتقارب بعد.

تتمتع خوارزمية K-means بعدد من الخصائص النظرية المهمة. أولًا، تقسم مساحة البيانات إلى بنية تُعرف باسم مخطط فورونوي . ثانيًا، تتشابه من حيث المفهوم مع تصنيف أقرب جار، ولذلك فهي شائعة في مجال تعلم الآلة . ثالثًا، يمكن اعتبارها شكلًا من أشكال التجميع القائم على النموذج، ويمكن اعتبار خوارزمية لويد شكلًا من أشكال خوارزمية التوقع والتعظيم لهذا النموذج، والتي سنناقشها لاحقًا.

يصف الكود الزائف التالي [ 14 ] الشكل القياسي للتحسين التكراري لخوارزمية k -means. تتناوب الخوارزمية بين خطوة التخصيص ، التي تُصنِّف كل نقطة بناءً على أقرب مركز لها، وخطوة التحديث ، التي تُعيد حساب كل مركز كمتوسط ​​للنقاط المُخصصة له. يُضمن التقارب في عدد محدود من التكرارات، على الرغم من أن النتيجة قد تكون حلاً أمثل محليًا .

المدخلات: مجموعة البياناتx1،...،xP{\displaystyle \mathbf {x} _{1},...,\mathbf {x} _{P}}، عمليات تهيئة لمراكز الثقلج1،...،جك{\displaystyle \mathbf {c} _{1},...,\mathbf {c} _{K}}الحد الأقصى لعدد التكراراتج{\displaystyle J} لج=1،...،ج{\displaystyle \,\,j=1,\ldots ,J} # مهام المجموعات لص=1،...،P{\displaystyle \,\,p=1,\ldots ,P}أص=أرجينينك=1،...،ك‖جك-xص‖2{\displaystyle a_{p}={\underset {k=1,\ldots ,K}{\mbox{argmin}}}\,\,\left\Vert \mathbf {c} _{k}-\mathbf {x} _{p}\right\Vert _{2}} # تحديث مواقع مركز الثقل لك=1،...،ك{\displaystyle \,\,k=1,\ldots ,K}دل Sك مجموعة نقاط الفهرس Xص المعين حاليًا في كتح تَجَمَّع{\displaystyle {\text{يرمز إلى }}S_{k}{\text{ بمجموعة فهارس النقاط }}X_{p}{\text{ المخصصة حاليًا للمجموعة }}k_{th}{\text{}}}تحديث جك عبر جك=1|Sك|∑ص∈Sكxص{\displaystyle {\text{تحديث }}c_{k}{\text{ عبر }}c_{k}={\frac {1}{\left|S_{k}\right|}}{\underset {p\in S_{k}}{\sum }}\mathbf {x} _{p}} تحديث تعيينات المجموعات باستخدام النهائي لص=1،...،P{\displaystyle \,\,p=1,\ldots ,P}أص=أرجينينك=1،...،ك‖جك-xص‖2{\displaystyle a_{p}={\underset {k=1,\ldots ,K}{\mbox{argmin}}}\,\,\left\Vert \mathbf {c} _{k}-\mathbf {x} _{p}\right\Vert _{2}}الناتج: المراكز المثلى والتخصيصات [ 14 ]

تُعدّ مسائل التجميع القائمة على مراكز التجميع، مثل خوارزمية k- means وخوارزمية k -medoids، حالات خاصة من مسألة تحديد مواقع المرافق المترية غير المقيدة بالسعة ، وهي مسألة أساسية في بحوث العمليات والهندسة الحسابية. في مسألة تحديد مواقع المرافق الأساسية (والتي تتضمن العديد من المتغيرات التي تُحاكي بيئات أكثر تعقيدًا)، تتمثل المهمة في إيجاد أفضل مواقع المستودعات لخدمة مجموعة معينة من المستهلكين على النحو الأمثل. يمكن اعتبار "المستودعات" مراكز تجميع، و"مواقع المستهلكين" البيانات المراد تجميعها. وهذا يُتيح تطبيق الحلول الخوارزمية المُطوّرة جيدًا من أدبيات تحديد مواقع المرافق على مسألة التجميع القائمة على مراكز التجميع قيد الدراسة.

التجميع القائم على النموذج

يُعدّ التجميع القائم على النماذج ، والذي يعتمد على نماذج التوزيع ، الإطارَ الأكثر ارتباطًا بالإحصاء في مجال التجميع . يُصوّر هذا النهج البيانات على أنها ناتجة عن مزيج من التوزيعات الاحتمالية. ويتميز بقدرته على تقديم إجابات إحصائية دقيقة لأسئلة مثل: كم عدد المجموعات؟ ما هي طريقة أو نموذج التجميع الأمثل؟ وكيف يمكن اكتشاف القيم الشاذة والتعامل معها؟

على الرغم من أن الأساس النظري لهذه الأساليب ممتاز، إلا أنها تعاني من مشكلة التخصيص الزائد للبيانات ما لم تُفرض قيود على تعقيد النموذج. عادةً ما يكون النموذج الأكثر تعقيدًا قادرًا على تفسير البيانات بشكل أفضل، مما يجعل اختيار تعقيد النموذج المناسب أمرًا صعبًا بطبيعته. تتضمن أساليب التجميع القياسية القائمة على النماذج نماذج أكثر اقتصادًا تعتمد على تحليل القيم الذاتية لمصفوفات التغاير، والتي توفر توازنًا بين التخصيص الزائد للبيانات ودقتها في تمثيلها.

إحدى الطرق البارزة تُعرف بنماذج خليط غاوسي (باستخدام خوارزمية التوقع والتعظيم ). في هذه الطريقة، تُنمذج مجموعة البيانات عادةً بعدد ثابت (لتجنب التوفيق الزائد) من التوزيعات الغاوسية التي تُهيأ عشوائيًا، وتُحسّن معاييرها بشكل تكراري لتحسين ملاءمتها لمجموعة البيانات. سيؤدي هذا إلى التقارب نحو قيمة مثلى محلية ، لذا قد تُنتج عمليات التشغيل المتعددة نتائج مختلفة. وللحصول على تجميع صلب، غالبًا ما تُنسب العناصر إلى التوزيع الغاوسي الذي يُرجح انتماؤها إليه؛ أما بالنسبة للتجميعات المرنة، فلا داعي لذلك.

تُنتج عمليات التجميع القائمة على التوزيع نماذج معقدة للمجموعات قادرة على رصد الارتباط والتبعية بين السمات. مع ذلك، تُلقي هذه الخوارزميات عبئًا إضافيًا على المستخدم: ففي العديد من مجموعات البيانات الحقيقية، قد لا يوجد نموذج رياضي مُحدد بدقة (على سبيل المثال، يُعد افتراض التوزيعات الغاوسية افتراضًا قويًا جدًا على البيانات).

التجميع القائم على الكثافة

في التجميع العنقودي القائم على الكثافة، [ 15 ] تُعرَّف العناقيد بأنها مناطق ذات كثافة أعلى من بقية مجموعة البيانات. أما العناصر الموجودة في المناطق المتفرقة - واللازمة لفصل العناقيد - فتُعتبر عادةً تشويشًا ونقاطًا حدودية.

تُعدّ خوارزمية DBSCAN [ 17 ] الطريقة الأكثر شيوعًا [ 16 ] للتجميع العنقودي القائم على الكثافة . وعلى عكس العديد من الطرق الأحدث، تتميز هذه الخوارزمية بنموذج عنقودي مُحدد جيدًا يُسمى "الوصول بالكثافة". وكما هو الحال في التجميع العنقودي القائم على الربط، تعتمد هذه الخوارزمية على ربط النقاط ضمن عتبات مسافة مُعينة. إلا أنها لا تربط إلا النقاط التي تُحقق معيار الكثافة، والذي يُعرَّف في صيغته الأصلية بأنه الحد الأدنى لعدد الكائنات الأخرى ضمن هذا النطاق. يتكون العنقود من جميع الكائنات المتصلة بالكثافة (والتي يُمكن أن تُشكل عنقودًا بأي شكل، على عكس العديد من الطرق الأخرى) بالإضافة إلى جميع الكائنات التي تقع ضمن نطاق هذه الكائنات. ومن الخصائص الأخرى المُثيرة للاهتمام في خوارزمية DBSCAN انخفاض تعقيدها نسبيًا - فهي تتطلب عددًا خطيًا من استعلامات النطاق على قاعدة البيانات - وأنها ستُحقق نفس النتائج تقريبًا (فهي حتمية بالنسبة لنقاط النواة والضوضاء، ولكن ليس بالنسبة لنقاط الحدود) في كل تشغيل، وبالتالي لا حاجة لتشغيلها عدة مرات. OPTICS [ 18 ] هو تعميم لـ DBSCAN يلغي الحاجة إلى اختيار قيمة مناسبة لمعامل المدىε{\displaystyle \varepsilon }وينتج عنه نتيجة هرمية مشابهة لتلك الخاصة بتجميع الروابط . يجمع DeLi-Clu، [ 19 ] Density-Link-Clustering بين أفكار من تجميع الروابط الفردية وOPTICS، مما يؤدي إلى التخلص منε{\displaystyle \varepsilon }تُعدّ خوارزمية HDBSCAN [ 20 ] امتدادًا لخوارزمية DBSCAN، حيث تُحوّلها إلى خوارزمية تجميع هرمي ، ثم تستخدم تقنية لاستخراج تجميع مسطح بناءً على استقرار المجموعات.

يتمثل العيب الرئيسي لخوارزميتي DBSCAN و OPTICS في اعتمادهما على انخفاض كثافة البيانات للكشف عن حدود التجمعات. فعلى سبيل المثال، في مجموعات البيانات التي تحتوي على توزيعات غاوسية متداخلة - وهو استخدام شائع في البيانات الاصطناعية - غالبًا ما تبدو حدود التجمعات التي تنتجها هذه الخوارزميات عشوائية، نظرًا لانخفاض كثافة التجمعات بشكل مستمر. أما في مجموعات البيانات التي تتكون من مزيج من التوزيعات الغاوسية، فإن أداء هذه الخوارزميات يكاد يكون دائمًا أقل من أداء طرق أخرى مثل تجميع EM، القادرة على نمذجة هذا النوع من البيانات بدقة.

خوارزمية إزاحة المتوسط ​​هي أسلوب تجميع بيانات يتم فيه نقل كل عنصر إلى المنطقة الأكثر كثافة في جواره، استنادًا إلى تقدير كثافة النواة . في النهاية، تتقارب العناصر نحو قيم قصوى محلية للكثافة. على غرار تجميع k-means، يمكن أن تُستخدم "نقاط الجذب الكثافية" هذه كممثلين لمجموعة البيانات، لكن خوارزمية إزاحة المتوسط ​​قادرة على اكتشاف تجمعات ذات أشكال عشوائية، على غرار خوارزمية DBSCAN. نظرًا لتكلفة الإجراء التكراري وتقدير الكثافة، فإن خوارزمية إزاحة المتوسط ​​عادةً ما تكون أبطأ من خوارزميتي DBSCAN أو k-means. إضافةً إلى ذلك، فإن قابلية تطبيق خوارزمية إزاحة المتوسط ​​على البيانات متعددة الأبعاد محدودة بسبب السلوك غير المنتظم لتقدير كثافة النواة، مما يؤدي إلى تجزئة زائدة لذيول التجمعات. [ 19 ]

التجميع القائم على الشبكة

تُستخدم تقنية التجميع الشبكي مع مجموعات البيانات متعددة الأبعاد . [ 21 ] في هذه التقنية، نُنشئ بنية شبكية، وتُجرى المقارنة على هذه الشبكات (المعروفة أيضًا بالخلايا). تتميز تقنية التجميع الشبكي بالسرعة وانخفاض التعقيد الحسابي. يوجد نوعان من طرق التجميع الشبكي: STING وCLIQUE. تتضمن خوارزمية التجميع الشبكي الخطوات التالية :

  1. قسّم مساحة البيانات إلى عدد محدود من الخلايا.
  2. اختر عشوائياً الخلية 'c'، حيث لا ينبغي المرور عبر الخلية 'c' مسبقاً.
  3. احسب كثافة المادة 'c'.
  4. إذا كانت كثافة 'c' أكبر من كثافة العتبة:
    1. قم بتحديد الخلية 'ج' كمجموعة جديدة.
    2. احسب كثافة جميع جيران النقطة 'c'.
    3. إذا كانت كثافة الخلية المجاورة أكبر من كثافة العتبة، فأضف الخلية إلى المجموعة وكرر الخطوتين 4.2 و 4.3 حتى لا يكون هناك جار بكثافة أكبر من كثافة العتبة.
  5. كرر الخطوات 2 و 3 و 4 حتى يتم اجتياز جميع الخلايا.
  6. قف.

البيانات الضخمة

مع تزايد الحاجة إلى معالجة البيانات الضخمة ، باتت الرغبة في التضحية بالمعنى الدلالي للمجموعات المُولَّدة مقابل الأداء أكثر أهمية. ولذلك، بُذلت جهودٌ حثيثة لتحسين أداء الخوارزميات الحالية. [ 22 ] [ 23 ] ومن بينها CLARANS [ 24 ] و BIRCH [ 25 ] . وقد أدى ذلك إلى تطوير أساليب التجميع المسبق، مثل تجميع كانوبي ، التي تُعالج مجموعات البيانات الضخمة بكفاءة، إلا أن "المجموعات" الناتجة ليست سوى تقسيم أولي تقريبي لمجموعة البيانات ، ليتم بعد ذلك تحليل هذه التقسيمات باستخدام أساليب أبطأ موجودة، مثل تجميع k-means .

تجميع الفضاء الفرعي

بالنسبة للبيانات عالية الأبعاد ، تفشل العديد من الطرق بسبب " لعنة الأبعاد" ، التي تجعل دوال المسافة المحددة غير فعالة في الفضاءات عالية الأبعاد. وقد أدى ذلك إلى ظهور خوارزميات تجميع البيانات عالية الأبعاد التي تركز على تجميع الفضاءات الفرعية (حيث تُستخدم بعض السمات فقط، وتتضمن نماذج التجميع السمات ذات الصلة بالمجموعة) وتجميع الارتباط الذي يبحث أيضًا عن مجموعات فضاءات فرعية مُدارة ("مرتبطة") يمكن نمذجتها من خلال تحديد ارتباط سماتها. [ 26 ] ومن أمثلة هذه الخوارزميات CLIQUE [ 27 ] و SUBCLU [ 28 ] .

تم تكييف الأفكار من طرق التجميع القائمة على الكثافة (وخاصة عائلة خوارزميات DBSCAN/OPTICS) لتجميع الفضاء الفرعي (HiSC، [ 29 ] التجميع الهرمي للفضاء الفرعي و DiSH [ 30 ] ) وتجميع الارتباط (HiCO، [ 31 ] التجميع الهرمي للارتباط، 4C [ 32 ] باستخدام "اتصال الارتباط" و ERiC [ 33 ] استكشاف مجموعات الارتباط الهرمية القائمة على الكثافة).

تم اقتراح العديد من أنظمة التجميع المختلفة القائمة على المعلومات المتبادلة . أحدها هو مقياس المعلومات المُعدَّل لمارينا ميلا ؛ [ 34 ] بينما يوفر نظام آخر التجميع الهرمي. [ 35 ] وباستخدام الخوارزميات الجينية، يمكن تحسين نطاق واسع من دوال التوافق المختلفة، بما في ذلك المعلومات المتبادلة. [ 36 ] كما أدى انتشار الاعتقاد ، وهو تطور حديث في علوم الحاسوب والفيزياء الإحصائية ، إلى ابتكار أنواع جديدة من خوارزميات التجميع. [ 37 ]

التقييم والتشخيص

يُعدّ تقييم (أو "التحقق من صحة") نتائج التجميع أمرًا بالغ الصعوبة، تمامًا كعملية التجميع نفسها. [ 38 ] تشمل الأساليب الشائعة التقييم " الداخلي "، حيث يُلخّص التجميع في درجة جودة واحدة، والتقييم " الخارجي "، حيث يُقارن التجميع بتصنيف "حقيقي" موجود، والتقييم " اليدوي " من قِبل خبير بشري، والتقييم " غير المباشر " من خلال تقييم جدوى التجميع في التطبيق المقصود. [ 39 ]

تعاني مقاييس التقييم الداخلي من مشكلة أنها تمثل دوالًا يمكن اعتبارها في حد ذاتها هدفًا للتجميع. على سبيل المثال، يمكن تجميع مجموعة البيانات باستخدام معامل سيلويت، إلا أنه لا توجد خوارزمية فعالة معروفة لهذا الغرض. باستخدام مثل هذا المقياس الداخلي للتقييم، تتم مقارنة مدى تشابه مسائل التحسين [ 39 ] ، وليس بالضرورة مدى فائدة التجميع.

يُعاني التقييم الخارجي من مشاكل مماثلة: فلو توفرت لدينا تصنيفات "حقيقية" كهذه، لما احتجنا إلى التجميع؛ وفي التطبيقات العملية، لا تتوفر لدينا عادةً مثل هذه التصنيفات. من جهة أخرى، لا تُمثل التصنيفات سوى تقسيم واحد مُحتمل لمجموعة البيانات، وهذا لا يعني بالضرورة عدم وجود تجميع مختلف، وربما أفضل.

لذا، لا يمكن لأي من هذين النهجين الحكم بشكل نهائي على الجودة الفعلية للتجميع، بل يتطلب ذلك تقييمًا بشريًا [ 39 ] ، وهو أمرٌ شخصي للغاية. ومع ذلك، يمكن أن تكون هذه الإحصاءات مفيدة جدًا في تحديد التجميعات غير الجيدة [ 40 ] ، ولكن لا ينبغي تجاهل التقييم البشري الشخصي [ 40 ] .

التقييم الداخلي

عندما يُقيّم ناتج التجميع بناءً على البيانات التي جُمعت نفسها، يُسمى ذلك التقييم الداخلي. عادةً ما تُعطي هذه الطرق أفضل درجة للخوارزمية التي تُنتج مجموعات ذات تشابه عالٍ داخل المجموعة الواحدة وتشابه منخفض بين المجموعات. من عيوب استخدام المعايير الداخلية في تقييم التجميع أن الدرجات العالية في مقياس داخلي لا تُؤدي بالضرورة إلى تطبيقات فعّالة لاسترجاع المعلومات. [ 41 ] إضافةً إلى ذلك، يكون هذا التقييم متحيزًا للخوارزميات التي تستخدم نموذج التجميع نفسه. على سبيل المثال، يُحسّن تجميع k-means المسافات بين الكائنات بشكل طبيعي، ومن المرجح أن يُبالغ معيار داخلي قائم على المسافة في تقييم التجميع الناتج.

لذا، تُعدّ مقاييس التقييم الداخلي الأنسب لفهم الحالات التي يتفوق فيها أداء خوارزمية ما على أخرى، ولكن هذا لا يعني بالضرورة أن إحدى الخوارزميات تُنتج نتائج أكثر دقة من الأخرى. [ 5 ] تعتمد دقة النتائج، كما يُقاس بها هذا المؤشر، على افتراض وجود هذا النوع من البنية في مجموعة البيانات. لا يُمكن لخوارزمية مُصممة لنوع مُعين من النماذج أن تُحقق نتائج جيدة إذا كانت مجموعة البيانات تحتوي على مجموعة نماذج مختلفة جذريًا، أو إذا كان التقييم يعتمد على معيار مختلف جذريًا. [ 5 ] على سبيل المثال، لا يُمكن لخوارزمية التجميع k-means إيجاد سوى مجموعات محدبة، وتفترض العديد من مؤشرات التقييم وجود مجموعات محدبة. في مجموعة بيانات تحتوي على مجموعات غير محدبة، لا يُعدّ استخدام خوارزمية k -means، ولا معيار تقييم يفترض التحدب، خيارًا سليمًا.

تعتمد العديد من مقاييس التقييم الداخلي على الحدس القائل بأن العناصر في المجموعة نفسها ينبغي أن تكون أكثر تشابهًا من العناصر في مجموعات مختلفة. [ 42 ] : 115-121 على سبيل المثال، يمكن استخدام الطرق التالية لتقييم جودة خوارزميات التجميع بناءً على معيار داخلي:

مؤشر ديفيز-بولدين

يمكن حساب مؤشر ديفيز-بولدين باستخدام الصيغة التالية :دب=1ن∑أنا=1نالأعلىج≠أنا(σأنا+σجد(جأنا،جج)){\displaystyle DB={\frac {1}{n}}\sum _{i=1}^{n}\max _{j\neq i}\left({\frac {\sigma _{i}+\sigma _{j}}{d(c_{i},c_{j})}}\right)} حيث n هو عدد المجموعات،جأنا{\displaystyle c_{i}}هو مركز المجموعةأنا{\displaystyle i}،σأنا{\displaystyle \sigma _{i}}هو متوسط ​​المسافة بين جميع العناصر في المجموعةأنا{\displaystyle i}إلى مركز الثقلجأنا{\displaystyle c_{i}}، ود(جأنا،جج){\displaystyle d(c_{i},c_{j})}المسافة بين مركزي الثقلجأنا{\displaystyle c_{i}}وجج{\displaystyle c_{j}}بما أن الخوارزميات التي تنتج مجموعات ذات مسافات منخفضة داخل المجموعة (تشابه عالٍ داخل المجموعة) ومسافات عالية بين المجموعات (تشابه منخفض بين المجموعات) سيكون لها مؤشر ديفيز-بولدين منخفض، فإن خوارزمية التجميع التي تنتج مجموعة من المجموعات ذات أصغر مؤشر ديفيز-بولدين تعتبر أفضل خوارزمية بناءً على هذا المعيار.

فهرس دان

يهدف مؤشر دان إلى تحديد التجمعات الكثيفة والمنفصلة جيدًا. ويُعرَّف بأنه النسبة بين أقصر مسافة بين التجمعات وأطول مسافة داخل التجمع الواحد. ويمكن حساب مؤشر دان لكل تقسيم للتجمعات باستخدام الصيغة التالية: [ 43 ]

د=مين1≤أنا<ج≤ند(أنا،ج)الأعلى1≤ك≤ند′(ك)،{\displaystyle D={\frac {\min _{1\leq i<j\leq n}d(i,j)}{\max _{1\leq k\leq n}d^{\prime }(k)}}\,,}

حيث يُمثل d ( i , j ) المسافة بين المجموعتين i و j ، بينما يقيس d '( k ) المسافة داخل المجموعة k . ويمكن قياس المسافة بين مجموعتين d ( i , j ) بأي عدد من مقاييس المسافة، مثل المسافة بين مركزي المجموعتين. وبالمثل، يمكن قياس المسافة داخل المجموعة d '( k ) بطرق متنوعة، مثل أقصى مسافة بين أي زوج من العناصر في المجموعة k . وبما أن المعيار الداخلي يبحث عن مجموعات ذات تشابه عالٍ داخل المجموعة وتشابه منخفض بين المجموعات، فإن الخوارزميات التي تُنتج مجموعات ذات مؤشر دان مرتفع تُعدّ أكثر ملاءمة. 

معامل الظل

يقارن معامل الصورة الظلية متوسط ​​المسافة بين العناصر في نفس المجموعة ومتوسط ​​المسافة بين العناصر في المجموعات الأخرى. تُعتبر العناصر ذات قيمة الصورة الظلية العالية مُجمّعة بشكل جيد، بينما قد تُعتبر العناصر ذات القيمة المنخفضة شاذة. يتوافق هذا المؤشر بشكل جيد مع خوارزمية التجميع k -means، ويُستخدم أيضًا لتحديد العدد الأمثل للمجموعات. [ 44 ]

المساحة تحت المنحنى للتجميع (AUCC)

تعتمد هذه المصفوفة على أزواج من العناصر: المسافة بين كل زوج كدالة تقييم، وتقسيم الأزواج إلى إيجابيات صحيحة، وسلبيات صحيحة، وسلبيات خاطئة، وسلبيات صحيحة، وذلك بالنظر إلى ما إذا كانت الأزواج تنتمي إلى نفس المجموعات أم لا. يستعير هذا المؤشر نفس خصائص مؤشر AUC في سيناريو التعلم الخاضع للإشراف، بما في ذلك القيمة المتوقعة البالغة 0.5 وإمكانية عرض النتائج بصريًا [ 45 ] .

التقييم الخارجي

في التقييم الخارجي، تُقيّم نتائج التجميع بناءً على بيانات لم تُستخدم في عملية التجميع، مثل تصنيفات الفئات المعروفة والمعايير الخارجية. تتكون هذه المعايير من مجموعة من العناصر المصنفة مسبقًا، وغالبًا ما يُنشئها خبراء بشريون. لذا، يمكن اعتبار مجموعات المعايير بمثابة معيار ذهبي للتقييم. [ 38 ] تقيس هذه الأنواع من أساليب التقييم مدى قرب التجميع من فئات المعايير المحددة مسبقًا. ومع ذلك، نوقش مؤخرًا ما إذا كان هذا كافيًا للبيانات الحقيقية، أم أنه يقتصر على مجموعات البيانات الاصطناعية ذات الحقيقة الأساسية الواقعية، نظرًا لأن الفئات قد تحتوي على بنية داخلية، وقد لا تسمح السمات الموجودة بفصل المجموعات، أو قد تحتوي الفئات على حالات شاذة . [ 46 ] بالإضافة إلى ذلك، من وجهة نظر اكتشاف المعرفة ، قد لا يكون استنساخ المعرفة المعروفة هو النتيجة المرجوة بالضرورة. [ 46 ] في حالة التجميع المقيد ، حيث تُستخدم المعلومات الوصفية (مثل تصنيفات الفئات) بالفعل في عملية التجميع، يصبح الاحتفاظ بالمعلومات لأغراض التقييم أمرًا بالغ الأهمية. [ 47 ]

تم تكييف عدد من المقاييس من متغيرات تُستخدم لتقييم مهام التصنيف. فبدلاً من حساب عدد المرات التي تم فيها تعيين فئة ما بشكل صحيح لنقطة بيانات واحدة (المعروفة بالإيجابيات الحقيقية )، تقيّم مقاييس عد الأزواج هذه ما إذا كان من المتوقع أن يكون كل زوج من نقاط البيانات الموجودة فعلاً في نفس المجموعة في نفس المجموعة. [ 38 ]

كما هو الحال مع التقييم الداخلي، توجد العديد من مقاييس التقييم الخارجي، [ 42 ] : 125-129 على سبيل المثال:

نقاء

النقاء هو مقياس لمدى احتواء المجموعات على فئة واحدة. [ 41 ] ويمكن حسابه كما يلي: لكل مجموعة، يتم حساب عدد نقاط البيانات من الفئة الأكثر شيوعًا في تلك المجموعة. ثم يُجمع عدد نقاط البيانات من جميع المجموعات ويُقسم على إجمالي عدد نقاط البيانات. وبصورة رسمية، بالنظر إلى مجموعة معينة من المجموعاتم{\displaystyle M}وبعض مجموعات الفصول الدراسيةد{\displaystyle D}، كلا التقسيمشمال{\displaystyle N}يمكن تعريف النقاء، بناءً على نقاط البيانات، على النحو التالي:

1شمال∑م∈مالأعلىد∈د|م∩د|{\displaystyle {\frac {1}{N}}\sum _{m\in M}\max _{d\in D}{|m\cap d|}}

لا يؤثر هذا المقياس سلبًا على وجود مجموعات كثيرة، بل على العكس، يُسهّل وجود المزيد من المجموعات الحصول على درجة نقاء عالية. ويمكن دائمًا الحصول على درجة نقاء تساوي 1 بوضع كل نقطة بيانات في مجموعة منفصلة. كما أن النقاء لا يُجدي نفعًا مع البيانات غير المتوازنة، حيث تُعطي حتى خوارزميات التجميع ذات الأداء الضعيف قيمة نقاء عالية. على سبيل المثال، إذا كانت مجموعة بيانات بحجم 1000 تتكون من فئتين، إحداهما تحتوي على 999 نقطة والأخرى على نقطة واحدة، فإن كل تقسيم ممكن سيتمتع بدرجة نقاء لا تقل عن 99.9%.

مؤشر راند

يحسب مؤشر راند [ 48 ] مدى تشابه المجموعات (التي تُرجعها خوارزمية التجميع) مع التصنيفات المعيارية. ويمكن حسابه باستخدام الصيغة التالية:

Rأنا=تيP+تيشمالتيP+FP+Fشمال+تيشمال{\displaystyle RI={\frac {TP+TN}{TP+FP+FN+TN}}}

أينتيP{\displaystyle TP}يمثل عدد النتائج الإيجابية الصحيحة،تيشمال{\displaystyle TN}هو عدد النتائج السلبية الصحيحة ،FP{\displaystyle FP}يمثل عدد النتائج الإيجابية الخاطئة ، وFشمال{\displaystyle FN}يمثل هذا العدد عدد النتائج السلبية الخاطئة . أما الحالات التي يتم حسابها هنا فهي عدد التعيينات الزوجية الصحيحة . أي،تيP{\displaystyle TP}يمثل عدد أزواج النقاط التي تتجمع معًا في التقسيم المتوقع وفي التقسيم الحقيقي،FP{\displaystyle FP}يمثل عدد أزواج النقاط التي تتجمع معًا في التقسيم المتوقع ولكن ليس في التقسيم الحقيقي، وهكذا. إذا كانت مجموعة البيانات بحجم N، فإنتيP+تيشمال+FP+Fشمال=(شمال2){\displaystyle TP+TN+FP+FN={\binom {N}{2}}}إحدى مشكلات مؤشر راند هي تساوي وزن النتائج الإيجابية الخاطئة والنتائج السلبية الخاطئة . قد تكون هذه سمة غير مرغوب فيها في بعض تطبيقات التجميع. يعالج مقياس F هذه المشكلة، وكذلك مؤشر راند المعدل المصحح للصدفة .

مقياس F

يمكن استخدام مقياس F لموازنة مساهمة النتائج السلبية الخاطئة عن طريق ترجيح الاستدعاء من خلال معلمةβ≥0{\displaystyle \beta \geq 0}. لنفترض أن الدقة والاستدعاء ( كلاهما مقياسان للتقييم الخارجي في حد ذاتهما) يتم تعريفهما على النحو التالي: P=تيPتيP+FP{\displaystyle P={\frac {TP}{TP+FP}}}R=تيPتيP+Fشمال{\displaystyle R={\frac {TP}{TP+FN}}} أينP{\displaystyle P}معدل الدقة وR{\displaystyle R}يمثل معدل الاستدعاء . يمكننا حساب مقياس F باستخدام الصيغة التالية: [ 41 ]Fβ=(β2+1)⋅P⋅Rβ2⋅P+R{\displaystyle F_{\beta }={\frac {(\beta ^{2}+1)\cdot P\cdot R}{\beta ^{2}\cdot P+R}}} متىβ=0{\displaystyle \beta =0}،F0=P{\displaystyle F_{0}=P}بمعنى آخر، لا يؤثر الاستدعاء على مقياس F عندماβ=0{\displaystyle \beta =0}وتزايدβ{\displaystyle \beta }يُخصص وزن متزايد للتذكر في مقياس F النهائي.تيشمال{\displaystyle TN}لا يؤخذ في الاعتبار ويمكن أن يتراوح من 0 فصاعدًا بلا حدود.

مؤشر جاكارد

يُستخدم مؤشر جاكارد لقياس التشابه بين مجموعتي بيانات. تتراوح قيمة مؤشر جاكارد بين 0 و1. يشير المؤشر 1 إلى أن مجموعتي البيانات متطابقتان، بينما يشير المؤشر 0 إلى عدم وجود عناصر مشتركة بينهما. يُعرَّف مؤشر جاكارد بالصيغة التالية: ج(أ،ب)=|أ∩ب||أ∪ب|=تيPتيP+FP+Fشمال{\displaystyle J(A,B)={\frac {|A\cap B|}{|A\cup B|}}={\frac {TP}{TP+FP+FN}}} هذا ببساطة هو عدد العناصر الفريدة المشتركة بين المجموعتين مقسومًا على إجمالي عدد العناصر الفريدة في كلتا المجموعتين. لاحظ أنتيشمال{\displaystyle TN}لا يؤخذ ذلك في الاعتبار.

مؤشر النرد

يضاعف مقياس النرد المتناظر الوزن علىتيP{\displaystyle TP}مع استمرار تجاهلتيشمال{\displaystyle TN}: دSج=2تيP2تيP+FP+Fشمال{\displaystyle DSC={\frac {2TP}{2TP+FP+FN}}}.

مؤشر فولكس-مالوز

يحسب مؤشر فولكس-مالوز [ 49 ] مدى التشابه بين المجموعات التي ينتجها خوارزمية التجميع والتصنيفات المرجعية. كلما ارتفعت قيمة مؤشر فولكس-مالوز، زاد التشابه بين المجموعات والتصنيفات المرجعية. ويمكن حسابه باستخدام الصيغة التالية: Fم=تيPتيP+FP⋅تيPتيP+Fشمال{\displaystyle FM={\sqrt {{\frac {TP}{TP+FP}}\cdot {\frac {TP}{TP+FN}}}}} أينتيP{\displaystyle TP}يمثل عدد النتائج الإيجابية الصحيحة ،FP{\displaystyle FP}يمثل عدد النتائج الإيجابية الخاطئة ، وFشمال{\displaystyle FN}يمثل عدد النتائج السلبية الخاطئة .Fم{\displaystyle FM}المؤشر هو المتوسط ​​الهندسي للدقة والاستدعاءP{\displaystyle P}وR{\displaystyle R}وبالتالي يُعرف أيضًا باسم مقياس G ، بينما مقياس F هو متوسطهما التوافقي. [ 50 ] [ 51 ] علاوة على ذلك، تُعرف الدقة والاستدعاء أيضًا باسم مؤشرات والاس.بأنا{\displaystyle B^{I}}وبأناأنا{\displaystyle B^{II}}[ 52 ] تتوافق النسخ المعيارية العشوائية للاستدعاء والدقة ومقياس G مع المعرفة والتمييز وارتباط ماثيوز وترتبط ارتباطًا وثيقًا بكابا . [ 53 ]

مؤشر كاي

مؤشر كاي [ 54 ] هو مؤشر تحقق خارجي يقيس نتائج التجميع باستخدام إحصائية مربع كاي . يُقيّم هذا المؤشر إيجابًا مدى تباعد التصنيفات بين المجموعات، أي أن كل مجموعة تحتوي على أقل عدد ممكن من التصنيفات المختلفة. كلما ارتفعت قيمة مؤشر كاي، زادت قوة العلاقة بين المجموعات الناتجة والتصنيف المستخدم.

المعلومات المتبادلة

المعلومات المتبادلة هي مقياس نظري للمعلومات يقيس مقدار المعلومات المشتركة بين التجميع والتصنيف المرجعي، ويمكنها الكشف عن تشابه غير خطي بين مجموعتين. المعلومات المتبادلة المعيارية هي مجموعة من المتغيرات المصححة للصدفة، والتي تتميز بانخفاض التحيز مع اختلاف عدد المجموعات. [ 38 ]

مصفوفة الارتباك

يمكن استخدام مصفوفة الارتباك لتصور نتائج خوارزمية التصنيف (أو التجميع) بسرعة. وهي توضح مدى اختلاف المجموعة عن المجموعة المعيارية الذهبية.

مقياس الصلاحية

مقياس الصلاحية (مقياس v المختصر) هو مقياس مشترك لتجانس واكتمال المجموعات [ 55 ]

ميل التكتل

قياس ميل البيانات للتكتل يعني قياس مدى وجود تكتلات في البيانات المراد تجميعها، ويمكن إجراؤه كاختبار أولي قبل البدء بعملية التجميع. إحدى طرق القيام بذلك هي مقارنة البيانات ببيانات عشوائية. في المتوسط، لا ينبغي أن تحتوي البيانات العشوائية على تكتلات .

توجد صيغ متعددة لإحصائية هوبكنز . [ 56 ] إحدى الصيغ النموذجية هي كما يلي. [ 57 ] ليكنX{\displaystyle X}لتكن مجموعةن{\displaystyle n}نقاط البيانات فيد{\displaystyle d}فضاء ذو ​​أبعاد. لنفترض عينة عشوائية (بدون إرجاع) منم≪ن{\displaystyle m\ll n}نقاط البيانات مع الأعضاءxأنا{\displaystyle x_{i}}قم أيضًا بإنشاء مجموعةY{\displaystyle Y}لم{\displaystyle m}نقاط بيانات موزعة عشوائياً وبشكل منتظم. الآن، عرّف مقياسين للمسافة،uأنا{\displaystyle u_{i}}أن تكون المسافةyأنا∈Y{\displaystyle y_{i}\in Y}من أقرب جيرانها في X وwأنا{\displaystyle w_{i}}أن تكون المسافةxأنا∈X{\displaystyle x_{i}\in X}من أقرب جار لها في X. ثم نُعرّف إحصائية هوبكنز على النحو التالي:
ح=∑أنا=1مuأناد∑أنا=1مuأناد+∑أنا=1مwأناد،{\displaystyle H={\frac {\sum _{i=1}^{m}{u_{i}^{d}}}{\sum _{i=1}^{m}{u_{i}^{d}}+\sum _{i=1}^{m}{w_{i}^{d}}}}\,,}
وفقًا لهذا التعريف، يجب أن تميل البيانات العشوائية المنتظمة إلى أن تكون لها قيم قريبة من 0.5، ويجب أن تميل البيانات المجمعة إلى أن تكون لها قيم أقرب إلى 1.
ومع ذلك، فإن البيانات التي تحتوي على توزيع غاوسي واحد فقط ستسجل أيضًا قيمة قريبة من 1، لأن هذه الإحصائية تقيس الانحراف عن التوزيع المنتظم ، وليس تعدد الأنماط ، مما يجعل هذه الإحصائية عديمة الفائدة إلى حد كبير في التطبيق (لأن البيانات الحقيقية لا تكون منتظمة على الإطلاق).

الأخلاق والإنصاف

مع تزايد استخدام الشركات والمؤسسات الحكومية لخوارزميات التجميع لتصنيف السكان وأتمتة القرارات باستخدام بيانات واقعية، تزايدت المخاوف بشأن التحيز الخوارزمي . ولأن التجميع شكل من أشكال التعلم غير الخاضع للإشراف ، فإنه يحدد أنماطًا ضمن البيانات الموجودة. وبالتالي، قد تعزز هذه النماذج، دون قصد، أوجه عدم المساواة التاريخية الموجودة أصلًا في مجموعات بيانات التدريب.

تعريفات الإنصاف في التجميع

يستحيل تحقيق العدالة في التعلم غير الخاضع للإشراف باستخدام بيانات من العالم الحقيقي، لعدم وجود طريقة موضوعية لتحديد ما هو "صحيح". ورغم أن خوارزميات التجميع رياضية بطبيعتها، إلا أنها عرضة للتحيزات المنهجية نظرًا لأن البيانات الأساسية تعكس تحيزات تاريخية واجتماعية. [ 58 ] واستجابةً لذلك، طور الباحثون أطر عمل "التجميع العادل"، مثل منهج فيرليت، الذي يضمن أن تحافظ كل مجموعة على تمثيل متوازن للفئات المحمية مقارنةً بالسكان عمومًا. [ 59 ]

التأثير غير المتناسب والوكلاء

بموجب المبدأ القانوني للأثر التمييزي ، تُعتبر العملية تمييزية إذا أسفرت عن نتائج سلبية غير متناسبة لفئة محمية، حتى لو كانت الخوارزمية محايدة ظاهريًا (أي أنها لا تستخدم صراحةً سمات مثل العرق أو الجنس). [ 60 ] غالبًا ما يحدث الظلم من خلال متغيرات بديلة . على سبيل المثال، حتى لو تم تجريد مجموعة البيانات من العرق، فقد تستخدم خوارزمية التجميع الرموز البريدية أو الخلفية التعليمية كسمات. ولأن هذه المتغيرات غالبًا ما تكون مرتبطة ارتباطًا وثيقًا بالوضع الاقتصادي والانتماء العرقي، فإن المجموعات الناتجة ستفصل الأفراد فعليًا بناءً على هذه الخصائص.

التأثيرات الواقعية

لقد أظهر تطبيق التجميع في العمل الشرطي التنبؤي كيف يمكن للتحيز التاريخي في البيانات أن يخلق حلقات تغذية راجعة.

  • دراسة حالة (شيكاغو)
    • استخدمت إدارة شرطة شيكاغو أسلوب التجميع في قائمة المشتبه بهم الاستراتيجية لتحديد الأفراد الذين يُحتمل تورطهم في جرائم مستقبلية. إلا أن دراسة أجريت عام ٢٠١٦ كشفت أن النموذج استهدف الأفراد بشكل أساسي بناءً على تعاملهم السابق مع الشرطة بدلاً من نشاطهم الإجرامي الفعلي، مما أثر بشكل غير متناسب على الأقليات دون خفض معدلات الجريمة. [ ٦١ ] ويعود ذلك إلى اعتماد النموذج على بيانات الشرطة، وبالتالي قدرته على التصنيف بناءً على نشاط الشرطة فقط وليس على الجريمة الفعلية.
  • التفاوتات الديموغرافية
    • أظهرت الأبحاث في مجال تجميع بيانات التعرف على الوجوه أن معدلات الخطأ أعلى بكثير لدى النساء والأشخاص ذوي البشرة الملونة. فعلى سبيل المثال، وجد مشروع "تدرجات الجنس" أن بعض أنظمة التصنيف القائمة على التجميع سجلت معدلات خطأ تصل إلى 34.7% لدى النساء ذوات البشرة الداكنة، مقارنةً بـ 0.8% لدى الرجال البيض. [ 62 ]

التطبيقات

يُستخدم تحليل التجميع لتحليل البيانات عبر مجموعة واسعة من المجالات.

العلوم الطبيعية

في العلوم الطبيعية ، تُستخدم تقنيات مثل التجميع الهرمي ، و k -means ، وتقليل الأبعاد ، وتحليل المكونات الرئيسية (PCA)، و t-SNE بشكل متكرر لفهم البيانات الكثيفة.

أربع طرق لتقليل الأبعاد تم تطبيقها على مجموعة بيانات النمط الجيني لـ Thousand Genomes، توضح كيف يمكن للتجميع أن يكشف عن بنية السكان من البيانات الجينية واسعة النطاق.

علم الأحياء ، وعلم الأحياء الحاسوبي ، والمعلوماتية الحيوية

الطب والبيانات الطبية

تم تطبيق التجميع على الملفات الطبية للمرضى لتحديد المجموعات الفرعية ذات الخصائص الصحية المتشابهة، مما يدعم مناهج الطب الدقيق .

علوم المناخ والأرض

رسم تخطيطي لإطار تحليل قائم على التجميع يتم تطبيقه على بيانات العلوم البيئية وعلوم الأرض.
  • الجيوكيمياء وجيولوجيا البترول
    • يساعد التجمع المكاني للخصائص الكيميائية عبر مواقع أخذ العينات المختلفة علماء الجيوكيمياء على تحديد مناطق التمعدن، وأعمدة التلوث، والحدود الجيولوجية. [ 68 ]

علوم البيانات والتكنولوجيا

في تطبيقات الحوسبة والتكنولوجيا، يُعدّ التجميع القوة الدافعة وراء التعلّم غير الموجّه في مجال التعلّم الآلي ، وهو مُدمج في أنظمة تتراوح من محركات البحث إلى منصات التوصية. تشمل الخوارزميات الشائعة في هذا المجال خوارزمية k -means ، و DBSCAN ، وخوارزمية إزاحة المتوسط ، والتجميع الطيفي ، والتي تُطبّق غالبًا بعد استخلاص الميزات أو تضمينها ، وهي خطوات تُحوّل البيانات الأولية، مثل النصوص والصور وسجلات المستشعرات، إلى فضاء متجهي قابل للتجميع بناءً على المسافة . [ 70 ]

سير عمل تجميعي للتعلم الآلي لإزالة التشويش التلقائي للصور، يوضح كيف يمكن للتجميع غير الخاضع للإشراف تسريع مسارات رؤية الكمبيوتر .

التعلم الآلي والتعرف على الأنماط

  • الكشف عن الحالات الشاذة
    • تُعرَّف الحالات الشاذة والقيم المتطرفة عادةً بناءً على بنية التجميع في مجموعة البيانات، حيث تُصنَّف النقاط التي تقع بعيدًا عن أي مجموعة مُحدَّدة على أنها غير عادية. وهذا ما يجعل التجميع عنصرًا أساسيًا في كشف الاختراقات ، وكشف الاحتيال ، ومراقبة الأعطال الصناعية.
  • طرق مونت كارلو لسلاسل ماركوف
    • يتم استخدام التجميع لتحديد وتوصيف القيم القصوى في التوزيع المستهدف، مما يدعم أخذ العينات بشكل أكثر كفاءة في الاستدلال الاحتمالي عالي الأبعاد.
  • الروبوتات الميدانية
    • تدعم خوارزميات التجميع الوعي الظرفي للروبوتات، مما يُمكّنها من تتبع الأشياء واكتشاف القيم الشاذة في تدفقات بيانات المستشعرات في الوقت الفعلي. [ 71 ]

تجميع المستندات والنصوص

تمثيل مرئي باستخدام خوارزمية t -SNE لتضمينات الكلمات من أدب القرن التاسع عشر. يعكس التقارب في الإسقاط ثنائي الأبعاد التشابه الدلالي - وهي خطوة تمهيدية شائعة لتجميع الوثائق.
  • ديف أوبس
    • تم استخدام التجميع لتحليل فعالية فرق DevOps ولتجميع مسارات النشر حسب خصائص الأداء. [ 73 ]

شبكة الإنترنت العالمية والشبكات

رسم بياني من NodeXL لنشاط تويتر خلال حركة "احتلوا وول ستريت". يكشف تجميع البيانات عن مجموعات فرعية متميزة من المحادثات ضمن الشبكة الأوسع.
  • تجميع نتائج البحث
    • يُمكن للتجميع أن يُنتج مجموعة نتائج بحث أكثر صلةً من قوائم الترتيب التقليدية، لا سيما عندما يكون مصطلح البحث غامضًا. [ 72 ] على سبيل المثال، كلمة "apple" التي قد تُشير إلى كلٍ من التفاح أو شركة Apple Inc. تقوم أدوات التجميع عبر الإنترنت، مثل Clusty، بتجميع النتائج وفقًا لمعانيها المُميزة، مما يسمح لخوارزمية الترتيب بإرجاع تغطية شاملة من خلال اختيار أفضل نتيجة من كل مجموعة.
  • تحسين الخرائط الانزلاقية
    • تستخدم منصات الخرائط، مثل خريطة الصور في فليكر ، تقنية التجميع لدمج العلامات القريبة عند مستويات التكبير المنخفضة. [ 74 ] وهذا يقلل من التشويش البصري ويحسن أداء العرض.
  • أنظمة التوصية
    • تستخدم أنظمة التوصية التجميع للتنبؤ بتفضيلات المستخدم غير المعروفة من خلال تحليل أذواق وأنشطة المستخدمين المتشابهين داخل نفس المجموعة.

إدارة الأعمال ، والاقتصاد ، والعلوم الاجتماعية

في مجال الأعمال والعلوم الاجتماعية، يتم تطبيق التجميع في أغلب الأحيان على بيانات المسح والمعاملات الجدولية، حيث يكون الهدف هو تقسيم السكان إلى مجموعات مستهلكين، أو إنشاء رؤى تحليلية مفصلة للسوق، أو توضيح تفضيلات الناخبين.

الأعمال والاقتصاد

  • تجميع سلع التسوق
    • تتيح خاصية التجميع تصنيف مجموعة واسعة من المنتجات المعروضة على الإنترنت إلى مجموعات من المنتجات الفريدة. على سبيل المثال، يمكن تجميع جميع المنتجات على موقع eBay في أقسام منتجات فريدة، مثل الأدوات المنزلية أو الملابس.

العلوم الاجتماعية

  • تحليل التسلسل في العلوم الاجتماعية
    • يُستخدم تحليل التجميع لتحديد الأنماط في مسارات الحياة الأسرية، والمسارات المهنية، والاستخدام اليومي أو الأسبوعي للوقت، مما ينتج عنه تصنيفات مسار الحياة التي تسلط الضوء على التراتبية الاجتماعية وعدم المساواة.
  • تحليل الجريمة
    • يمكن أن يساعد التجميع في تحديد المناطق التي تشهد ارتفاعًا في معدلات أنواع معينة من الجرائم. ومن خلال تحديد "البؤر الساخنة" التي وقعت فيها جرائم مماثلة على مر الزمن، تستطيع أجهزة إنفاذ القانون نشر مواردها بشكل أكثر استراتيجية. [ 77 ]
  • استخراج البيانات التعليمية
    • يُستخدم تحليل التجميع لتحديد مجموعات من المدارس أو الطلاب ذوي السمات الأكاديمية المتشابهة، مما يتيح التدخلات الموجهة وتوزيع الموارد بشكل أكثر إنصافًا. [ 78 ]
  • التصنيفات وبحوث الرأي
    • تستخدم مشاريع مثل تلك التي يقوم بها مركز بيو للأبحاث تحليل التجميع لتمييز أنماط الآراء والعادات والتركيبة السكانية من بيانات استطلاعات الرأي، مما يفيد في كل من التحليل السياسي والاتصالات الاستراتيجية.

انظر أيضاً

أنواع متخصصة من تحليل التجميع

التقنيات المستخدمة في تحليل التجميع

إسقاط البيانات ومعالجتها المسبقة

آخر

مراجع

  1. ↑ درايفر وكروبر (1932). "التعبير الكمي عن العلاقات الثقافية" . منشورات جامعة كاليفورنيا في علم الآثار والإثنولوجيا الأمريكية . التعبير الكمي عن العلاقات الثقافية. بيركلي، كاليفورنيا: مطبعة جامعة كاليفورنيا: 211-256 . مؤرشف من الأصل في 2020-12-06 . تم الاسترجاع في 2019-02-18 .
  2. ↑ زوبين، جوزيف (1938). "تقنية لقياس التوافق الفكري". مجلة علم النفس غير الطبيعي والاجتماعي . 33 (4): 508-516 . doi : 10.1037/h0055441 . ISSN 0096-851X . 
  3. ↑ ترايون، روبرت سي. (1939). تحليل التجميع: ملف الارتباط والتحليل الأرثومتري (العاملي) لعزل الوحدات في العقل والشخصية . إدواردز براذرز.
  4. ↑ كاتيل، آر بي (1943). "وصف الشخصية: السمات الأساسية المصنفة في مجموعات". مجلة علم النفس غير الطبيعي والاجتماعي . 38 (4): 476-506 . doi : 10.1037/h0054116 .
  5. 1 2 3 4 5 6 إستيفيل-كاسترو، فلاديمير (20 يونيو 2002). "لماذا هذا العدد الكبير من خوارزميات التجميع - ورقة موقف". نشرة ACM SIGKDD Explorations الإخبارية . 4 (1): 65-75 . doi : 10.1145/568574.568575 . S2CID 7329935 . 
  6. ↑ جيمس أ. ديفيس (مايو 1967) "التجميع والتوازن الهيكلي في الرسوم البيانية"، العلاقات الإنسانية 20: 181-187
  7. ↑ كلاينبرغ، جون (2002). نظرية استحالة التجميع (ملف PDF) . التطورات في أنظمة معالجة المعلومات العصبية. المجلد 15. مطبعة معهد ماساتشوستس للتكنولوجيا. 
  8. ↑ غاو، كارولين إكس؛ دواير، دومينيك؛ تشو، يي؛ سميث، كاثرين إل؛ دو، لان؛ فيليا، كيت إم؛ باير، جوانا؛ مينسينك، جانا إم؛ وانغ، تيريزا؛ بيرغماير، كريستوف؛ وود، ستيفن؛ كوتون، سو إم. (2023-09-01). "نظرة عامة على أساليب التجميع مع إرشادات للتطبيق في أبحاث الصحة النفسية" . أبحاث الطب النفسي . 327 115265. doi : 10.1016/j.psychres.2023.115265 . hdl : 10481/84538 . ISSN 0165-1781 . PMID 37348404 .  
  9. ↑ مورتاغ، فيون؛ كونتريراس، بيدرو (2012). "خوارزميات التجميع الهرمي: نظرة عامة". مجلة WIREs لاستخراج البيانات واكتشاف المعرفة . 2 (1): 86-97 . doi : 10.1002/widm.53 .
  10. ↑ إيفريت، برايان (2011). تحليل التجميع . تشيتشستر، غرب ساسكس، المملكة المتحدة: وايلي. ISBN 9780470749913.
  11. ↑ سيبسون، ر. (1973). "SLINK: خوارزمية فعّالة مثلى لطريقة التجميع أحادية الرابط" (ملف PDF) . مجلة الحاسوب . 16 (1). الجمعية البريطانية للحاسوب: 30-34 . doi : 10.1093/comjnl/16.1.30 .
  12. ↑ ديفايس، د. (1977). "خوارزمية فعالة لطريقة الربط الكامل". مجلة الحاسوب . 20 (4). الجمعية البريطانية للحاسوب: 364-366 . doi : 10.1093/comjnl/20.4.364 .
  13. ↑ لويد، س. (1982). "التكميم باستخدام طريقة المربعات الصغرى في PCM" . معاملات IEEE في نظرية المعلومات . 28 (2): 129-137 . Bibcode : 1982ITIT...28..129L . doi : 10.1109/TIT.1982.1056489 . S2CID 10833328 . 
  14. 1 2 "11.5 تجميع K-means" . kenndanielso.github.io . تم ​​الاسترجاع في 2026-04-20 .
  15. ^ كريجل، هانز بيتر ؛ كروجر، بير؛ ساندر، يورغ. زيميك، آرثر (2011). "التجميع على أساس الكثافة" . WIREs استخراج البيانات واكتشاف المعرفة . 1 (3): 231-240 . دوى : 10.1002/widm.30 . S2CID 36920706 . 
  16. ↑ بحث مايكروسوفت الأكاديمي: أكثر مقالات استخراج البيانات استشهادًا. مؤرشف في 21 أبريل 2010 على موقع Wayback Machine : يحتل DBSCAN المرتبة 24، عند الوصول إليه في: 18 أبريل 2010
  17. ↑ إستر، مارتن؛ كريغل، هانز-بيتر ؛ ساندر، يورغ؛ شو، شياووي (1996). "خوارزمية قائمة على الكثافة لاكتشاف التجمعات في قواعد البيانات المكانية الكبيرة مع وجود ضوضاء". في: سيموديس، إيفانجيلوس؛ هان، جياوي؛ فياض، أسامة م. (محررون). وقائع المؤتمر الدولي الثاني لاكتشاف المعرفة واستخراج البيانات (KDD-96) . مطبعة AAAI . الصفحات 226-231 . ISBN  1-57735-004-9.
  18. ↑ أنكرست، ميخائيل؛ برونينغ، ماركوس م.؛ كريغل، هانز-بيتر ؛ ساندر، يورغ (1999). "OPTICS: ترتيب النقاط لتحديد بنية التجميع". المؤتمر الدولي لإدارة البيانات ACM SIGMOD . مطبعة ACM . الصفحات 49-60 . CiteSeerX 10.1.1.129.6542 .  
  19. 1 2 أخترت، إي.؛ بوم، سي.؛ كروجر، ب. (2006). "DeLi-Clu: تعزيز المتانة والشمولية وسهولة الاستخدام وكفاءة التجميع الهرمي من خلال تصنيف أقرب زوج". التقدم في اكتشاف المعرفة واستخراج البيانات . سلسلة محاضرات في علوم الحاسوب. المجلد 3918. الصفحات 119-128 . CiteSeerX 10.1.1.64.1161 . doi : 10.1007/11731139_16 . ISBN    978-3-540-33206-0.
  20. ↑ كامبيلو، ريكاردو جيه جي بي؛ مولافي، داوود؛ ساندر، يورغ (2013). "التجميع القائم على الكثافة بناءً على تقديرات الكثافة الهرمية" . في: بي، جيان؛ تسينغ، فينسنت إس؛ كاو، لونغبينغ؛ موتودا، هيروشي؛ شو، غواندونغ (محررون). التطورات في اكتشاف المعرفة واستخراج البيانات . سلسلة محاضرات في علوم الحاسوب. المجلد 7819. برلين، هايدلبرغ: سبرينغر. الصفحات 160-172 . doi : 10.1007/978-3-642-37456-2_14 . ISBN   978-3-642-37456-2.
  21. ↑ أغاروال، شارو سي؛ ريدي، تشاندان ك. (محرران). تجميع البيانات : الخوارزميات والتطبيقات . ISBN  978-1-315-37351-5. OCLC 1110589522 . 
  22. ↑ سكولي، د. (2010). التجميع العنقودي على نطاق الويب باستخدام خوارزمية k-means . وقائع المؤتمر التاسع عشر للويب العالمي.
  23. ↑ هوانغ، ز. (1998). "توسيعات لخوارزمية k -means لتجميع مجموعات البيانات الكبيرة ذات القيم الفئوية". استخراج البيانات واكتشاف المعرفة . 2 (3): 283-304 . doi : 10.1023/A:1009769707641 . S2CID 11323096 . 
  24. ↑ ر. نغ وج. هان. "طريقة تجميع فعالة ومؤثرة لاستخراج البيانات المكانية". في: وقائع المؤتمر العشرين لقواعد البيانات الكبيرة جدًا، الصفحات 144-155، سانتياغو، تشيلي، 1994.
  25. ↑ تيان تشانغ، راغو راماكريشنان، ميرون ليفني. " طريقة فعالة لتجميع البيانات لقواعد البيانات الضخمة جدًا ". في: وقائع المؤتمر الدولي لإدارة البيانات، ACM SIGMOD، الصفحات 103-114.
  26. ↑ كريجل، هانز-بيتر ؛ كروجر، بير؛ زيمك، آرثر (يوليو 2012). "تجميع الفضاءات الفرعية". مراجعات وايلي متعددة التخصصات: استخراج البيانات واكتشاف المعرفة . 2 (4): 351-364 . doi : 10.1002/widm.1057 . S2CID 7241355 . 
  27. ↑ أغراوال، ر.؛ غيرك، ج.؛ غونوبولوس، د.؛ راغافان، ب. (2005). "التجميع التلقائي للفضاءات الفرعية للبيانات عالية الأبعاد". استخراج البيانات واكتشاف المعرفة . 11 : 5-33 . CiteSeerX 10.1.1.131.5152 . doi : 10.1007/s10618-005-1396-1 . S2CID 9289572 .  
  28. ↑ كارين كايلينج، هانز بيتر كريجل وبير كروجر. تجميع الفضاء الفرعي المتصل بالكثافة للبيانات عالية الأبعاد . في: وقائع المؤتمر الدولي لجمعية الرياضيات التطبيقية والصناعية حول استخراج البيانات (SDM'04) ، الصفحات 246-257، 2004.
  29. ^ أخترت ، إي. بوم، C.؛ كريجل، هـ.-ب. ; كروجر، P .؛ مولر جورمان، أنا؛ زيميك، أ. (2006). “العثور على التسلسلات الهرمية لمجموعات الفضاء الجزئي”. اكتشاف المعرفة في قواعد البيانات: PKDD 2006 . ملاحظات محاضرة في علوم الكمبيوتر. المجلد. 4213. الصفحات من 446 إلى 453. CiteSeerX 10.1.1.705.2956 . دوى : 10.1007/11871637_42 . رقم ISBN    978-3-540-45374-1.
  30. ↑ أختيرت، إي.؛ بوم، سي.؛ كريغل، إتش بي ؛ كروغر، بي.؛ مولر-غورمان، آي.؛ زيمك، إيه. (2007). "الكشف عن التسلسلات الهرمية لمجموعات الفضاء الفرعي وتصويرها". التطورات في قواعد البيانات: المفاهيم والأنظمة والتطبيقات . سلسلة محاضرات في علوم الحاسوب. المجلد 4443. الصفحات 152-163 . CiteSeerX 10.1.1.70.7843 . doi : 10.1007/978-3-540-71703-4_15 . ISBN    978-3-540-71702-7.
  31. ↑ أختيرت، إي.؛ بوم، سي.؛ كروجر، بي.؛ زيمك، أ. (2006). "استخراج التسلسلات الهرمية لمجموعات الارتباط". المؤتمر الدولي الثامن عشر لإدارة قواعد البيانات العلمية والإحصائية (SSDBM'06) . الصفحات 119-128 . CiteSeerX 10.1.1.707.7872 . doi : 10.1109/SSDBM.2006.35 . ISBN   978-0-7695-2590-7. S2CID 2679909 . 
  32. ↑ بوم، سي.؛ كايلينغ، ك.؛ كروغر، ب.؛ زيمك، أ. (2004). "حساب مجموعات الكائنات المترابطة". وقائع مؤتمر ACM SIGMOD الدولي لإدارة البيانات لعام 2004 - SIGMOD '04 . ص 455. CiteSeerX 10.1.1.5.1279 . doi : 10.1145/1007568.1007620 . ISBN   978-1581138597. S2CID 6411037 . 
  33. ↑ أختيرت، إي.؛ بوم، سي.؛ كريغل، إتش بي ؛ كروغر، بي.؛ زيمك، أ. (2007). "حول استكشاف العلاقات المعقدة لمجموعات الارتباط". المؤتمر الدولي التاسع عشر لإدارة قواعد البيانات العلمية والإحصائية (SSDBM 2007) . ص 7. CiteSeerX 10.1.1.71.5021 . doi : 10.1109/SSDBM.2007.21 . ISBN   978-0-7695-2868-7. S2CID 1554722 . 
  34. ↑ ميلا، مارينا (2003). "مقارنة التجميعات من خلال تباين المعلومات". نظرية التعلم وآلات النواة . سلسلة محاضرات في علوم الحاسوب. المجلد 2777. الصفحات 173-187 . doi : 10.1007/978-3-540-45167-9_14 . ISBN   978-3-540-40720-1.
  35. ↑ كراسكوف، ألكسندر؛ ستوغباور، هارالد؛ أندريهجاك، رالف ج.؛ غراسبرغر، بيتر (1 ديسمبر 2003). "التجميع الهرمي القائم على المعلومات المتبادلة". arXiv : q-bio/0311039 .
  36. ↑ أوفارث، ب. (18-23 يوليو 2010). "التجميع باستخدام خوارزمية جينية مع عامل طفرة متحيزة" . Wcci Cec . IEEE.
  37. ↑ فراي، بي جيه؛ ديوك، دي. (2007). "التجميع عن طريق تمرير الرسائل بين نقاط البيانات". مجلة ساينس . 315 (5814): 972-976 . رمز Bibcode : 2007Sci...315..972F . CiteSeerX 10.1.1.121.3145 . doi : 10.1126/ science.1136800 . PMID 17218491. S2CID 6502291 .   
  38. 1 2 3 4 بفيتزنر، داريوس؛ ليببراندت، ريتشارد؛ باورز، ديفيد (2009). "توصيف وتقييم مقاييس التشابه لأزواج من التجميعات". نظم المعرفة والمعلومات . 19 (3). سبرينغر: 361-394 . doi : 10.1007/s10115-008-0150-6 . S2CID 6935380 . 
  39. 1 2 3 فيلدمان، رونين؛ سانجر، جيمس (2007-01-01). دليل استخراج النصوص: مناهج متقدمة في تحليل البيانات غير المهيكلة . مطبعة جامعة كامبريدج. ISBN 978-0521836579. OCLC 915286380 . 
  40. 1 2 فايس، شولوم م.؛ إندورخيا، نيتين؛ تشانغ، تونغ؛ داميراو، فريد ج. (2005). استخراج النصوص: أساليب تنبؤية لتحليل المعلومات غير المهيكلة . سبرينغر. ISBN 978-0387954332. OCLC 803401334 . 
  41. 1 2 3 مانينغ، كريستوفر د.؛ راغافان، برابهاكار؛ شوتز ، هينريش (2008-07-07). مقدمة في استرجاع المعلومات . مطبعة جامعة كامبريدج. رقم ISBN 978-0-521-86571-5.
  42. 1 2 اكتشاف المعرفة في قواعد البيانات - الجزء الثالث - التجميع (ملف PDF) ، جامعة هايدلبرغ ، 2017{{citation}}: CS1 maint: موقع الناشر مفقود ( رابط )
  43. ↑ دان، ج. (1974). "المجموعات المنفصلة جيدًا والتقسيمات الضبابية المثلى". مجلة علم التحكم الآلي . 4 : 95-104 . doi : 10.1080/01969727408546059 .
  44. ↑ روسيو، بيتر ج. (1987). "الظلال: أداة بيانية مساعدة لتفسير وتحليل صحة تحليل التجميع". مجلة الرياضيات الحسابية والتطبيقية . 20 : 53-65 . doi : 10.1016/0377-0427(87)90125-7 .
  45. ↑ جاسكوفياك، بابلو أ.؛ كوستا، إيفان ج.؛ كامبيلو، ريكاردو ج. ج. ب. (2022-05-01). "المساحة تحت منحنى ROC كمقياس لجودة التجميع" . استخراج البيانات واكتشاف المعرفة . 36 (3): 1219-1245 . arXiv : 2009.02400 . doi : 10.1007/s10618-022-00829-0 . ISSN 1573-756X . 
  46. 1 2 فاربر، إينيس؛ غونيمان، ستيفان؛ كريغل، هانز-بيتر ؛ كروغر، بير؛ مولر، إيمانويل؛ شوبرت، إريك؛ سيدل، توماس؛ زيمك، آرثر (2010). "حول استخدام تصنيفات الفئات في تقييم التجميعات" (ملف PDF) . في: فيرن، شياولي ز.؛ ديفيدسون، إيان؛ داي، جينيفر (محررون). التجميع المتعدد: اكتشاف وتلخيص واستخدام التجميعات المتعددة . ACM SIGKDD .
  47. ↑ بورراجابي، م.؛ مولافي، د.؛ كامبيلو، ر. ج. ج. ب.؛ زيمك، أ .؛ ساندر، ج.؛ غوبل، ر. (2014). "اختيار النموذج للتجميع شبه الخاضع للإشراف". وقائع المؤتمر الدولي السابع عشر حول توسيع تكنولوجيا قواعد البيانات (EDBT) . ص 331-342 . doi : 10.5441/002/edbt.2014.31 . 
  48. ↑ راند، دبليو إم (1971). "معايير موضوعية لتقييم أساليب التجميع". مجلة الجمعية الإحصائية الأمريكية . 66 (336). الجمعية الإحصائية الأمريكية: 846-850 . arXiv : 1704.01036 . doi : 10.2307/2284239 . JSTOR 2284239 . 
  49. ↑ فولكس، إي بي؛ مالوز، سي إل (1983). "طريقة لمقارنة مجموعتين هرميتين". مجلة الجمعية الإحصائية الأمريكية . 78 (383): 553-569 . Bibcode : 1983JASA...78..553F . doi : 10.1080/01621459.1983.10478008 . JSTOR 2288117 . 
  50. ↑ باورز، ديفيد (2003). الاستدعاء والدقة مقابل المراهن . المؤتمر الدولي للعلوم المعرفية. ص 529-534 . 
  51. ↑ أرابي، ب. (1985). "مقارنة التقسيمات". مجلة التصنيف . 2 (1): 1985. doi : 10.1007/BF01908075 . S2CID 189915041 . 
  52. ↑ والاس، د. ل. (1983). "تعليق". مجلة الجمعية الإحصائية الأمريكية . 78 (383): 569-579 . doi : 10.1080/01621459.1983.10478009 .
  53. ↑ باورز، ديفيد (2012). مشكلة كابا . الفرع الأوروبي لرابطة اللغويات الحاسوبية. ص 345-355 . 
  54. ^ لونا روميرا، خوسيه ماريا. مارتينيز باليستيروس، ماريا؛ غارسيا جوتيريز، خورخي؛ ريكيلمي ، خوسيه سي. (يونيو 2019). "مؤشر صلاحية التجميع الخارجي يعتمد على الاختبار الإحصائي لمربع كاي" . علوم المعلومات . 487 : 1– 17. دوى : 10.1016/j.ins.2019.02.046 . اتش دي ال : 11441/132081 . S2CID 93003939 . 
  55. ↑ روزنبرغ، أندرو، وجوليا هيرشبرغ. "مقياس V: مقياس تقييم التجميع الخارجي القائم على الانتروبيا الشرطية." وقائع المؤتمر المشترك لعام 2007 حول الأساليب التجريبية في معالجة اللغة الطبيعية والتعلم الحاسوبي للغة الطبيعية (EMNLP-CoNLL). 2007. pdf
  56. ↑ هوبكنز، برايان؛ سكيلام، جون جوردون (1954). "طريقة جديدة لتحديد نوع توزيع الأفراد النباتية". حوليات علم النبات . 18 (2). حوليات علم النبات: 213-227 . doi : 10.1093/oxfordjournals.aob.a083391 .
  57. ↑ بانيرجي، أ. (2004). "التحقق من صحة المجموعات باستخدام إحصائية هوبكنز". المؤتمر الدولي لأنظمة المنطق الضبابي لعام 2004 (رقم تصنيف IEEE: 04CH37542) . المجلد 1. الصفحات 149-153 . doi : 10.1109/FUZZY.2004.1375706 . ISBN   978-0-7803-8353-1. S2CID 36701919 . 
  58. ↑ باروكاس، إس.، وسيلبست، إيه دي (2016). "التأثير المتباين للبيانات الضخمة". مجلة كاليفورنيا للقانون .
  59. ↑ Chierichetti, F., et al. (2017). "التجميع العادل من خلال Fairlets." وقائع المؤتمر الدولي الحادي والثلاثين حول أنظمة معالجة المعلومات العصبية (NIPS).
  60. ↑ فيلدمان، م.، وآخرون (2015). "التصديق على الأثر المتباين وإزالته". وقائع المؤتمر الدولي الحادي والعشرين لجمعية ACM SIGKDD .
  61. ↑ لوم، ك.، وإسحاق، و. (2016). "التنبؤ والخدمة؟ الشرطة التنبؤية والنشر الاستراتيجي." الأهمية، الجمعية الإحصائية الملكية .
  62. ↑ Buolamwini, J., & Gebru, T. (2018). "Gender Shades: Intersectional Curacy Disparities in Commercial Gender Classification." Proceedings of Machine Learning Research .
  63. ↑ جونسون، ستيفن سي. (1967-09-01). "مخططات التجميع الهرمي". مجلة القياس النفسي . 32 (3): 241-254 . doi : 10.1007/BF02289588 . ISSN 1860-0980 . PMID 5234703. S2CID 930698 .   
  64. ↑ هارتوف، إيريز؛ شامير، رون (31-12-2000). "خوارزمية تجميع تعتمد على اتصال الرسم البياني". رسائل معالجة المعلومات . 76 (4): 175-181 . doi : 10.1016/S0020-0190(00)00142-3 . ISSN 0020-0190 . 
  65. ↑ ريم، مايدو؛ ستورم، كريستيان إي في؛ سونهمر، إريك إل إل (14 ديسمبر 2001). "التجميع التلقائي للجينات المتماثلة والجينات المتشابهة من خلال مقارنات ثنائية بين الأنواع". مجلة البيولوجيا الجزيئية . 314 (5): 1041-1052 . doi : 10.1006/jmbi.2000.5197 . ISSN 0022-2836 . PMID 11743721 .  
  66. ↑ فيليبوفيتش، رومان؛ ريسنيك، سوزان م.؛ دافاتزيكوس، كريستوس (2011). " تحليل التجميع شبه الموجه لبيانات التصوير" . مجلة NeuroImage . 54 (3): 2185-2197 . doi : 10.1016/j.neuroimage.2010.09.074 . PMC 3008313. PMID 20933091 .  
  67. ↑ هوث، ر.؛ وآخرون (2008). "تصنيفات أنماط دوران الغلاف الجوي: التطورات الحديثة والتطبيقات" (ملف PDF) . حوليات أكاديمية نيويورك للعلوم . 1146 (1): 105-152 . Bibcode : 2008NYASA1146..105H . doi : 10.1196 /annals.1446.019 . PMID 19076414. S2CID 22655306 .   
  68. ↑ صادقي، بهنام (2025). "التجميع في علم البيانات الجغرافية: التعامل مع عدم اليقين لاختيار الطريقة الأكثر موثوقية" . مراجعات جيولوجيا الخامات . 282 .
  69. ↑ باساك، إس سي؛ ماغنوسون، في آر؛ نيمي، سي جيه؛ ريغال، آر آر (1988). "تحديد التشابه البنيوي للمواد الكيميائية باستخدام مؤشرات نظرية الرسم البياني" . الرياضيات التطبيقية المنفصلة. 19 ( 1-3 ) : 17-44 . doi : 10.1016/0166-218x(88)90004-2 .
  70. ↑ تجميع البيانات الكبيرة وعالية الأبعاد .
  71. ↑ بيولي، أ.؛ وآخرون . "تقدير حجم الحمولة في الوقت الحقيقي لآلة الحفر". المؤتمر الدولي لهندسة الروبوتات والأتمتة التابع لمعهد مهندسي الكهرباء والإلكترونيات . 2011 : 1571-1576 . 
  72. 1 2 دي ماركو، أنطونيو؛ نافيلي، روبرتو (2013). "تجميع وتنويع نتائج البحث على الويب باستخدام استقراء معاني الكلمات القائم على الرسوم البيانية". اللغويات الحاسوبية . 39 (3): 709-754 . doi : 10.1162/COLI_a_00148 . S2CID 1775181 . 
  73. ↑ تقرير حالة DevOps لعام 2022 (ملف PDF) (تقرير). قسم أبحاث وتقييم DevOps في Google Cloud (DORA). 29 سبتمبر 2022. الصفحات 8، 14، 74. 
  74. ↑ غروب، ماتياس؛ بورغاردت، ديرك. "الرسوم البيانية المصغرة: تصوير بيانات النقاط الفئوية من وسائل التواصل الاجتماعي القائمة على الموقع" . علم الخرائط والمعلومات الجغرافية . doi : 10.1080/15230406.2020.1733438 .
  75. ↑ أرنوت، روبرت د. (1980-11-01). "تحليل التجميع وحركة أسعار الأسهم المشتركة". مجلة المحللين الماليين . 36 (6): 56-62 . doi : 10.2469/faj.v36.n6.56 . ISSN 0015-198X . 
  76. ^ رويتر، توماس. دان، دانيال. "التحليل العنقودي في بحوث التسويق" . دليل أبحاث السوق . دوى : 10.1007/978-3-319-05542-8_11-1 .
  77. ↑ كيلر، فرناندو. "نهج مُحسَّن للتجميع باستخدام خوارزمية k-means لتحسين مواقع مرافق الشرطة الحضرية" . تحليلات القرار .
  78. ↑ "تقنية التصنيف ودمجها مع التجميع واستخراج قواعد الارتباط في استخراج البيانات التعليمية - دراسة استقصائية" .