التعلم متعدد الحالات

في مجال تعلم الآلة ، يُعدّ التعلم متعدد الحالات (MIL) نوعًا من أنواع التعلم الخاضع للإشراف . فبدلًا من تلقي مجموعة من الحالات المصنفة بشكل فردي ، يتلقى المتعلم مجموعة من الحقائب المصنفة ، تحتوي كل منها على العديد من الحالات. في حالة التصنيف الثنائي متعدد الحالات ، تُصنف الحقيبة على أنها سلبية إذا كانت جميع الحالات فيها سلبية. من ناحية أخرى، تُصنف الحقيبة على أنها إيجابية إذا كان هناك حالة واحدة على الأقل إيجابية فيها. من خلال مجموعة الحقائب المصنفة، يحاول المتعلم إما (أ) استنباط مفهوم يُصنّف الحالات الفردية بشكل صحيح، أو (ب) تعلم كيفية تصنيف الحقائب دون استنباط المفهوم.

يقدم بابينكو (2008) [ 1 ] مثالًا بسيطًا لـ MIL. تخيل عدة أشخاص، ولكل منهم سلسلة مفاتيح تحتوي على عدد قليل من المفاتيح. بعض هؤلاء الأشخاص قادرون على دخول غرفة معينة، والبعض الآخر غير قادر. تكمن المهمة في التنبؤ بما إذا كان مفتاح معين أو سلسلة مفاتيح معينة ستمكنك من دخول تلك الغرفة. لحل هذه المشكلة، نحتاج إلى إيجاد المفتاح المشترك بين جميع سلاسل المفاتيح "الإيجابية". إذا تمكنا من تحديد هذا المفتاح بدقة، فسنتمكن أيضًا من تصنيف سلسلة المفاتيح بأكملها بشكل صحيح - إيجابية إذا كانت تحتوي على المفتاح المطلوب، أو سلبية إذا لم تكن تحتوي عليه.

التعلم الآلي

اعتمادًا على نوع بيانات التدريب وتنوعها، يمكن تصنيف التعلم الآلي تقريبًا إلى ثلاثة أطر: التعلم الخاضع للإشراف، والتعلم غير الخاضع للإشراف، والتعلم المعزز. يندرج التعلم متعدد الحالات (MIL) ضمن إطار التعلم الخاضع للإشراف، حيث تحمل كل حالة تدريب تصنيفًا، إما قيمة منفصلة أو حقيقية. يعالج التعلم متعدد الحالات المشكلات المتعلقة بنقص المعلومات حول التصنيفات في مجموعات التدريب. وبشكل أدق، في التعلم متعدد الحالات، تتكون مجموعة التدريب من "مجموعات" مصنفة، كل منها عبارة عن مجموعة من الحالات غير المصنفة. تُصنف المجموعة تصنيفًا إيجابيًا إذا كانت إحدى حالاتها على الأقل موجبة، وتُصنف تصنيفًا سلبيًا إذا كانت جميع حالاتها سالبة. يهدف التعلم متعدد الحالات إلى التنبؤ بتصنيفات مجموعات جديدة لم يسبق رؤيتها.

تاريخ

كان كيلر وآخرون [ 2 ] أول من استكشف مجال التعلم متعدد الحالات (MIL) في أوائل التسعينيات. وقد طُرح مصطلح "التعلم متعدد الحالات" في منتصف التسعينيات من قِبل ديتريش وآخرون أثناء بحثهم في مشكلة التنبؤ بنشاط الأدوية [ 3 ] . حاولوا إنشاء نظام تعلم قادر على التنبؤ بما إذا كان جزيء جديد مؤهلًا لصنع دواء ما أم لا، وذلك من خلال تحليل مجموعة من الجزيئات المعروفة. يمكن أن تمتلك الجزيئات العديد من الحالات البديلة منخفضة الطاقة، ولكن حالة واحدة فقط، أو بعضها، مؤهلة لصنع دواء. نشأت المشكلة لأن العلماء لم يتمكنوا إلا من تحديد ما إذا كان الجزيء مؤهلًا أم لا، دون أن يتمكنوا من تحديد أي من حالاته منخفضة الطاقة مسؤولة عن ذلك تحديدًا.

كان أحد الحلول المقترحة لهذه المشكلة هو استخدام التعلم الخاضع للإشراف، واعتبار جميع الأشكال منخفضة الطاقة للجزيء المؤهل حالات تدريب إيجابية، بينما تُعتبر جميع الأشكال منخفضة الطاقة للجزيئات غير المؤهلة حالات سلبية. وقد أظهر ديتريش وآخرون أن هذه الطريقة ستؤدي إلى نسبة عالية من التشويش الإيجابي الخاطئ، نتيجةً لتصنيف جميع الأشكال منخفضة الطاقة بشكل خاطئ على أنها إيجابية، وبالتالي فهي غير مجدية. [ 3 ] تمثل نهجهم في اعتبار كل جزيء بمثابة مجموعة مصنفة، وجميع الأشكال البديلة منخفضة الطاقة لهذا الجزيء كحالات داخل هذه المجموعة، دون تصنيفات فردية. وبذلك، تم صياغة مفهوم التعلم متعدد الحالات.

يُعدّ خوارزمية المستطيل المتوازي المحاور (APR) حلاً لمشكلة التعلّم متعدد الحالات التي اقترحها ديتريش وآخرون. [ 3 ] تسعى هذه الخوارزمية إلى البحث عن مستطيلات متوازية المحاور مناسبة، يتم إنشاؤها من خلال دمج الميزات. وقد اختبروا الخوارزمية على مجموعة بيانات ماسك، [ 4 ] [ 5 ] وهي بيانات اختبارية ملموسة للتنبؤ بنشاط الأدوية، وتُعدّ المعيار الأكثر استخدامًا في التعلّم متعدد الحالات. حققت خوارزمية APR أفضل النتائج، ولكنها صُممت خصيصًا لبيانات ماسك.

لا تقتصر مشكلة التعلم متعدد الحالات على اكتشاف الأدوية فحسب. ففي عام ١٩٩٨، وجد مارون وراتان تطبيقًا آخر للتعلم متعدد الحالات في تصنيف المشاهد ضمن مجال رؤية الآلة، وصمما إطار عمل الكثافة المتنوعة. [ ٦ ] عند إعطاء صورة، تُعتبر الحالة صورة فرعية واحدة أو أكثر ذات حجم ثابت، وتُعتبر مجموعة الحالات الصورة بأكملها. تُصنف الصورة على أنها إيجابية إذا كانت تحتوي على المشهد المستهدف - شلال، على سبيل المثال - وسلبية في غير ذلك. يمكن استخدام التعلم متعدد الحالات لتعلم خصائص الصور الفرعية التي تميز المشهد المستهدف. ومنذ ذلك الحين، طُبقت هذه الأطر على نطاق واسع من التطبيقات، بدءًا من تعلم مفاهيم الصور وتصنيف النصوص، وصولًا إلى التنبؤ بسوق الأسهم.

أمثلة

لنأخذ تصنيف الصور كمثال (أموريس، 2013) . إذا أعطينا صورة، نريد تحديد فئتها المستهدفة بناءً على محتواها المرئي. على سبيل المثال، قد تكون الفئة المستهدفة "شاطئ"، حيث تحتوي الصورة على كل من "الرمل" و"الماء". في مصطلحات لغة المعلومات ، تُوصف الصورة بأنها حقيبة.X={X1،..،Xشمال}{\displaystyle X=\{X_{1},..,X_{N}\}}حيث كلXأنا{\displaystyle X_{i}}هو متجه الميزات (يسمى المثال ) المستخرج من المقابلأنا{\displaystyle i}المنطقة رقم - في الصورة وشمال{\displaystyle N}تمثل هذه المنطقة إجمالي المناطق (العناصر) التي تقسم الصورة. تُصنف الحقيبة على أنها إيجابية ("شاطئ") إذا كانت تحتوي على عناصر منطقة "الرمل" وعناصر منطقة "الماء".

أمثلة على المجالات التي يتم فيها تطبيق مبادئ MIL هي:

لقد عمل العديد من الباحثين على تكييف تقنيات التصنيف الكلاسيكية، مثل آلات المتجهات الداعمة أو التعزيز ، للعمل في سياق التعلم متعدد الحالات.

التعريفات

إذا كانت مساحة الحالاتX{\displaystyle {\mathcal {X}}}إذن، مجموعة الحقائب هي مجموعة الدوالشمالX={ب:Xشمال}{\displaystyle \mathbb {N} ^{\mathcal {X}}=\{B:{\mathcal {X}}\rightarrow \mathbb {N} \}}، وهو متماثل مع مجموعة المجموعات الفرعية المتعددة منX{\displaystyle {\mathcal {X}}}لكل حقيبةبشمالX{\displaystyle B\in \mathbb {N} ^{\mathcal {X}}}وفي كل حالةxX{\displaystyle x\in {\mathcal {X}}}،ب(x){\displaystyle B(x)}يُنظر إليه على أنه عدد المراتx{\displaystyle x}يحدث فيب{\displaystyle B}[ 8 ] ليكنY{\displaystyle {\mathcal {Y}}}إذا كان فضاء التصنيفات، فإن "مفهوم الحالات المتعددة" هو خريطةج:شمالXY{\displaystyle c:\mathbb {N} ^{\mathcal {X}}\rightarrow {\mathcal {Y}}}يهدف التعلم المعزز إلى تعلم هذا المفهوم. وسيركز الجزء المتبقي من المقال على التصنيف الثنائي ، حيثY={0،1}{\displaystyle {\mathcal {Y}}=\{0,1\}}.

الافتراضات

تعتمد معظم الدراسات في مجال التعلم متعدد الحالات، بما في ذلك الأبحاث المبكرة لديتريش وآخرون (1997) ومارون ولوزانو-بيريز (1997) [ 3 ] [ 9 على افتراض وجود علاقة بين الحالات داخل المجموعة وتصنيفها. ونظرًا لأهمية هذا الافتراض، يُطلق عليه غالبًا افتراض التعلم متعدد الحالات القياسي.

الافتراض المعياري

يفترض الافتراض القياسي كل حالة على حدةxX{\displaystyle x\in {\mathcal {X}}}أن يكون له ملصق مرتبط بهy{0،1}{\displaystyle y\in \{0,1\}}وهو أمرٌ مخفيٌّ عن المتعلّم. الزوج(x،y){\displaystyle (x,y)}يُطلق عليه اسم "مفهوم على مستوى المثال". تُعتبر الحقيبة الآن مجموعة متعددة من المفاهيم على مستوى المثال، وتُصنف على أنها إيجابية إذا كان لمثال واحد على الأقل منها تصنيف إيجابي، وسلبية إذا كانت جميع أمثلةها تحمل تصنيفات سلبية. رسميًا، ليكنب={(x1،y1)،...،(xن،yن)}{\displaystyle B=\{(x_{1},y_{1}),\ldots ,(x_{n},y_{n})\}}كن حقيبة. ملصقب{\displaystyle B}ثمج(ب)=1-أنا=1ن(1-yأنا){\displaystyle c(B)=1-\prod _{i=1}^{n}(1-y_{i})}يفترض نموذج المعلومات المتعددة القياسي عدم التناظر، ما يعني أنه إذا عُكست التسميات الموجبة والسالبة، فإن الافتراض يحمل معنى مختلفًا. لذلك، عند استخدام هذا الافتراض، يجب أن نحدد بوضوح أي تسمية يجب أن تكون موجبة.

قد يُنظر إلى الافتراض القياسي على أنه صارم للغاية، ولذلك حاول الباحثون في السنوات الأخيرة تخفيف هذا الموقف، مما أدى إلى ظهور افتراضات أخرى أكثر مرونة. [ 10 ] ويعود السبب في ذلك إلى الاعتقاد بأن افتراض MIL القياسي مناسب لمجموعة بيانات ماسك، ولكن نظرًا لإمكانية تطبيق MIL على العديد من المشكلات الأخرى، فمن المحتمل أن تكون بعض الافتراضات المختلفة أكثر ملاءمة. وانطلاقًا من هذه الفكرة، صاغ وايدمان [ 11 ] تسلسلًا هرميًا للافتراضات العامة القائمة على الحالات لـ MIL. ويتكون هذا التسلسل من افتراض MI القياسي وثلاثة أنواع من افتراضات MI العامة، كل منها أكثر عمومية من سابقه، بمعنى أنه يمكن الحصول على الأول كاختيار محدد لمعلمات الأخير، وهو الافتراض القياسي.{\displaystyle \subset }قائم على الحضور{\displaystyle \subset }قائم على العتبة{\displaystyle \subset }يعتمد هذا على افتراضات متعددة، حيث يُعدّ افتراض العدّ الأكثر عمومية، بينما يُعدّ الافتراض القياسي الأقل عمومية. (مع ذلك، تجدر الإشارة إلى أن أي مجموعة بيانات تستوفي افتراض العدّ تستوفي افتراض العتبة، والذي بدوره يستوفي افتراض الوجود، والذي بدوره يستوفي الافتراض القياسي. من هذا المنطلق، من الصحيح أيضًا القول بأن الافتراض القياسي هو الأضعف، وبالتالي الأكثر عمومية، وأن افتراض العدّ هو الأقوى، وبالتالي الأقل عمومية). من المتوقع أن يكون أداء الخوارزمية التي تحقق أداءً جيدًا في ظل أحد هذه الافتراضات على الأقل بنفس الجودة في ظل الافتراضات الأقل عمومية.

الافتراضات القائمة على الوجود، والعتبة، والعدد

يُعدّ افتراض الوجود تعميمًا للافتراض القياسي، حيث يجب أن تحتوي الحقيبة على جميع الحالات التي تنتمي إلى مجموعة من المفاهيم المطلوبة على مستوى الحالة حتى يتم تصنيفها على أنها إيجابية. رسميًا، لنفترضجRX×Y{\displaystyle C_{R}\subseteq {\mathcal {X}}\times {\mathcal {Y}}}لتكن مجموعة المفاهيم المطلوبة على مستوى المثال، ولتكن8(ب،جأنا){\displaystyle \#(B,c_{i})}يشير إلى عدد مرات مفهوم مستوى المثالجأنا{\displaystyle c_{i}}يحدث في الكيسب{\displaystyle B}. ثمج(ب)=18(ب،جأنا)1{\displaystyle c(B)=1\Leftrightarrow \#(B,c_{i})\geq 1}للجميعجأناجR{\displaystyle c_{i}\in C_{R}}لاحظ أنه من خلال أخذجR{\displaystyle C_{R}}لكي يحتوي على مفهوم واحد فقط على مستوى المثال، فإن الافتراض القائم على الوجود يختزل إلى الافتراض القياسي.

يأتي تعميم إضافي مع الافتراض القائم على العتبة، حيث يجب أن يظهر كل مفهوم مطلوب على مستوى المثال ليس مرة واحدة فقط في المجموعة، ولكن بعدد أدنى (عتبة) من المرات حتى يتم تصنيف المجموعة على أنها إيجابية. باستخدام الترميز أعلاه، لكل مفهوم مطلوب على مستوى المثالجأناجR{\displaystyle c_{i}\in C_{R}}يرتبط بعتبةلأناشمال{\displaystyle l_{i}\in \mathbb {N} }لحقيبةب{\displaystyle B}،ج(ب)=18(ب،جأنا)لأنا{\displaystyle c(B)=1\Leftrightarrow \#(B,c_{i})\geq l_{i}}للجميعجأناجR{\displaystyle c_{i}\in C_{R}}.

يُعدّ افتراض العدّ تعميمًا نهائيًا يفرض حدودًا دنيا وعليا لعدد مرات ظهور مفهوم مطلوب في مجموعة مصنفة إيجابيًا. كل مفهوم مطلوب على مستوى المثالجأناجR{\displaystyle c_{i}\in C_{R}}يتميز بعتبة أقللأناشمال{\displaystyle l_{i}\in \mathbb {N} }والعتبة العلياuأناشمال{\displaystyle u_{i}\in \mathbb {N} }معلأناuأنا{\displaystyle l_{i}\leq u_{i}}حقيبةب{\displaystyle B}يتم تصنيفها وفقًا لـج(ب)=1لأنا8(ب،جأنا)uأنا{\displaystyle c(B)=1\Leftrightarrow l_{i}\leq \#(B,c_{i})\leq u_{i}}للجميعجأناجR{\displaystyle c_{i}\in C_{R}}.

افتراض GMIL

يصف سكوت، وتشانغ، وبراون (2005) [ 12 ] تعميمًا آخر للنموذج القياسي، والذي يسمونه "التعلم المعمم متعدد الحالات" (GMIL). ويفترض نموذج GMIL وجود مجموعة من الحالات المطلوبة.سؤالX{\displaystyle Q\subseteq {\mathcal {X}}}حقيبةX{\displaystyle X}يُصنف على أنه إيجابي إذا احتوى على حالات قريبة بدرجة كافية من على الأقلر{\displaystyle r}من الحالات المطلوبةسؤال{\displaystyle Q}[ 12 ] في ظل هذا الشرط فقط، يكون افتراض GMIL مكافئًا للافتراض القائم على الوجود. [ 8 ] ومع ذلك ، يصف سكوت وآخرون تعميمًا إضافيًا حيث توجد مجموعة من نقاط الجذبسؤالX{\displaystyle Q\subseteq {\mathcal {X}}}ومجموعة من نقاط التنافرسؤال¯X{\displaystyle {\overline {Q}}\subseteq {\mathcal {X}}}تُصنّف الحقيبة على أنها إيجابية إذا وفقط إذا كانت تحتوي على حالات قريبة بدرجة كافية من على الأقلر{\displaystyle r}من نقاط الجذب السياحي، وهي قريبة بما يكفي من معظمs{\displaystyle s}من نقاط التنافر. [ 12 ] هذا الشرط أكثر عمومية من الشرط القائم على الوجود، على الرغم من أنه لا يندرج ضمن التسلسل الهرمي المذكور أعلاه.

الافتراض الجماعي

على عكس الافتراضات السابقة التي كانت تعتبر فيها الحقائب ثابتة، فإن الافتراض الجماعي ينظر إلى الحقيبة على أنها ثابتة.ب{\displaystyle B}كتوزيعص(x|ب){\displaystyle p(x|B)}على مدى الحالاتX{\displaystyle {\mathcal {X}}}وبالمثل، يمكن النظر إلى التصنيفات على أنها توزيع.ص(y|x){\displaystyle p(y|x)}على عدد من الحالات. والهدف من الخوارزمية التي تعمل وفقًا للافتراض الجماعي هو نمذجة التوزيع.ص(y|ب)=Xص(y|x)ص(x|ب)دx{\displaystyle p(y|B)=\int _{\mathcal {X}}p(y|x)p(x|B)dx}.

منذص(x|ب){\displaystyle p(x|B)}عادةً ما يُعتبر ثابتًا ولكنه غير معروف، لذا تركز الخوارزميات بدلاً من ذلك على حساب النسخة التجريبية:ص^(y|ب)=1نبأنا=1نبص(y|xأنا){\displaystyle {\widehat {p}}(y|B)={\frac {1}{n_{B}}}\sum _{i=1}^{n_{B}}p(y|x_{i})}، أيننب{\displaystyle n_{B}}عدد الحالات في الحقيبةب{\displaystyle B}. منذص(y|x){\displaystyle p(y|x)}يُفترض عادةً أن يكون ثابتًا ولكنه غير معروف، وتركز معظم الطرق القائمة على الافتراضات الجماعية على تعلم هذا التوزيع، كما هو الحال في نسخة الحالة الفردية. [ 8 ] [ 10 ]

بينما يفترض النموذج الجماعي أن لكل حالة أهمية متساوية، قام فولدز بتوسيع هذا النموذج ليشمل أوزان الحالات. وبالتالي، فإن النموذج الجماعي المرجح هو كالتالي:ص^(y|ب)=1wبأنا=1نبw(xأنا)ص(y|xأنا){\displaystyle {\widehat {p}}(y|B)={\frac {1}{w_{B}}}\sum _{i=1}^{n_{B}}w(x_{i})p(y|x_{i})}، أينw:XR+{\displaystyle w:{\mathcal {X}}\rightarrow \mathbb {R} ^{+}}هي دالة وزن على الحالات وwب=xبw(x){\displaystyle w_{B}=\sum _{x\in B}w(x)}[ 8 ]

الخوارزميات

إطار عمل MIL

يوجد نوعان رئيسيان من خوارزميات التعلم متعدد الحالات: الخوارزميات القائمة على الحالات والخوارزميات القائمة على البيانات الوصفية، أو الخوارزميات القائمة على التضمين. يشير مصطلح "الخوارزميات القائمة على الحالات" إلى أن الخوارزمية تحاول إيجاد مجموعة من الحالات التمثيلية بناءً على افتراض المعلومات المتبادلة، وتصنيف المجموعات المستقبلية من هذه الحالات التمثيلية. في المقابل، لا تفترض الخوارزميات القائمة على البيانات الوصفية أي علاقة بين الحالات وتصنيفات المجموعات، بل تحاول استخراج معلومات مستقلة عن الحالات (أو بيانات وصفية) حول المجموعات من أجل تعلم المفهوم. [ 10 ] للاطلاع على استعراض لبعض خوارزميات المعلومات المتبادلة الحديثة، انظر فولدز وفرانك. [ 8 ]

الخوارزميات القائمة على الحالات

كانت أولى خوارزميات المعلومات المتبادلة المقترحة عبارة عن مجموعة من خوارزميات "التمييز المتكرر" التي طورها ديتريش وآخرون، وخوارزمية الكثافة المتنوعة التي طورها مارون ولوزانو-بيريز. [ 3 ] [ 9 ] وقد عملت كلتا الخوارزميتين وفقًا للافتراض القياسي.

التمييز المتكرر

بشكل عام، تتكون جميع خوارزميات التمييز التكراري من مرحلتين. تتمثل المرحلة الأولى في إنشاء مستطيل متوازٍ للمحاور (APR) يحتوي على عنصر واحد على الأقل من كل مجموعة موجبة ولا يحتوي على أي عناصر من المجموعات السالبة. ويتم ذلك بشكل تكراري: بدءًا من عنصر عشوائي.x1ب1{\displaystyle x_{1}\in B_{1}}في حالة الحقيبة الإيجابية، يتم توسيع معدل النسبة السنوية إلى أصغر معدل نسبة سنوية يغطي أي حالةx2{\displaystyle x_{2}}في حقيبة إيجابية جديدةب2{\displaystyle B_{2}}تُكرر هذه العملية حتى يغطي معدل النسبة السنوية حالة واحدة على الأقل من كل مجموعة إيجابية. بعد ذلك، كل حالةxأنا{\displaystyle x_{i}}يُعطى العنصر الموجود في مجموعة النقاط السلبية (APR) "أهمية"، تُحدد عدد النقاط السلبية التي يُستبعدها من المجموعة عند إزالته. ثم يختار الخوارزمية العناصر التمثيلية المرشحة بترتيب تنازلي للأهمية، حتى لا يكون أي عنصر موجود في مجموعة النقاط السلبية موجودًا أيضًا في مجموعة النقاط السلبية. تُكرر الخوارزمية خطوات النمو واختيار العناصر التمثيلية هذه حتى الوصول إلى التقارب، حيث يُحدد حجم مجموعة النقاط السلبية في كل تكرار بناءً على العناصر التمثيلية المرشحة فقط.

بعد المرحلة الأولى، يُعتقد أن نسبة الاحتمالية المطلقة (APR) تقتصر على السمات التمثيلية فقط. أما المرحلة الثانية، فتُوسّع هذه النسبة المحددة كما يلي: يتم تحديد توزيع غاوسي مركزه كل سمة، ويتم رسم نسبة احتمالية مطلقة أكثر مرونة بحيث تقع الحالات الإيجابية خارج النسبة المحددة باحتمالية ثابتة. [ 4 ] على الرغم من أن تقنيات التمييز التكراري تعمل بشكل جيد مع الافتراض القياسي، إلا أنها لا تُعمّم بشكل جيد على افتراضات المعلومات المتبادلة الأخرى. [ 8 ]

كثافة متنوعة

في أبسط صورها، تفترض الكثافة المتنوعة (DD) وجود حالة تمثيلية واحدةت*{\displaystyle t^{*}}كمفهوم. يجب أن يكون هذا المثال التمثيلي "كثيفًا" بمعنى أنه أقرب بكثير إلى الأمثلة من الحقائب الإيجابية منه من الحقائب السلبية، وكذلك "متنوعًا" بمعنى أنه قريب من مثال واحد على الأقل من كل حقيبة إيجابية.

يتركب+={بأنا+}1م{\displaystyle {\mathcal {B}}^{+}=\{B_{i}^{+}\}_{1}^{m}}لتكن مجموعة الحقائب المصنفة بشكل إيجابي ولتكنب-={بأنا-}1ن{\displaystyle {\mathcal {B}}^{-}=\{B_{i}^{-}\}_{1}^{n}}إذا كانت مجموعة الحقائب المصنفة سلبًا هي ، فإن أفضل مرشح للمثال التمثيلي يُعطى بواسطةت^=argالأعلىتدد(ت){\displaystyle {\hat {t}}=\arg \max _{t}DD(t)}حيث الكثافة المتنوعةدد(ت)=Pر(ت|ب+،ب-)=argالأعلىتأنا=1مPر(ت|بأنا+)أنا=1نPر(ت|بأنا-){\displaystyle DD(t)=Pr\left(t|{\mathcal {B}}^{+},{\mathcal {B}}^{-}\right)=\arg \max _{t}\prod _{i=1}^{m}Pr\left(t|B_{i}^{+}\right)\prod _{i=1}^{n}Pr\left(t|B_{i}^{-}\right)}بافتراض أن الحقائب موزعة بشكل مستقل وفقًا للمفهومت*{\displaystyle t^{*}}تأجيربأناج{\displaystyle B_{ij}}إذا رمزنا للمثال j من الحقيبة i، فإن نموذج noisy-or يعطي:

Pر(ت|بأنا+)=1-ج(1-Pر(ت|بأناج+)){\displaystyle Pr(t|B_{i}^{+})=1-\prod _{j}\left(1-Pr\left(t|B_{ij}^{+}\right)\right)}
Pر(ت|بأنا-)=ج(1-Pر(ت|بأناج-)){\displaystyle Pr(t|B_{i}^{-})=\prod _{j}\left(1-Pr\left(t|B_{ij}^{-}\right)\right)}

P(ت|بأناج){\displaystyle P(t|B_{ij})}تُعتبر المسافة المُقاسةP(ت|بأناج)خبرة(-كsك2(xك-(بأناج)ك)2){\displaystyle P(t|B_{ij})\propto \exp \left(-\sum _{k}s_{k}^{2}\left(x_{k}-(B_{ij})_{k}\right)^{2}\right)}أينs=(sك){\displaystyle s=(s_{k})}يمثل متجه القياس. وبهذه الطريقة، إذا كان لكل حقيبة موجبة مثال قريب منت{\displaystyle t}، ثمPر(ت|بأنا+){\displaystyle Pr(t|B_{i}^{+})}سيكون مرتفعًا لكلأنا{\displaystyle i}لكن في حالة وجود أي حقيبة سلبيةبأنا-{\displaystyle B_{i}^{-}}يوجد مثال قريب منت{\displaystyle t}،Pر(ت|بأنا-){\displaystyle Pr(t|B_{i}^{-})}سيكون منخفضًا. لذا،دد(ت){\displaystyle DD(t)}تكون النسبة عالية فقط إذا كانت كل حقيبة إيجابية تحتوي على حالة قريبة منت{\displaystyle t}ولا توجد حالات سلبية قريبة منت{\displaystyle t}مفهوم المرشحت^{\displaystyle {\hat {t}}}يمكن الحصول على ذلك من خلال طرق التدرج. ويمكن بعد ذلك تصنيف الحقائب الجديدة عن طريق تقييم مدى قربها منت^{\displaystyle {\hat {t}}}[ 9 ] على الرغم من أن الكثافة المتنوعة قد تم اقتراحها في الأصل من قبل مارون وآخرون في عام 1998، إلا أن خوارزميات التعلم الآلي الأكثر حداثة تستخدم إطار عمل الكثافة المتنوعة، مثل EM-DD في عام 2001 [ 13 ] و DD-SVM في عام 2004 [ 14 ] وMILES في عام 2006 [ 8 ].

تم أيضًا تكييف عدد من الخوارزميات أحادية الحالة لتناسب سياقًا متعدد الحالات في ظل الافتراض القياسي، بما في ذلك

بعد عام 2000، حدث تحول عن الافتراض القياسي وتطوير خوارزميات مصممة لمعالجة الافتراضات الأكثر عمومية المذكورة أعلاه. [ 10 ]

  • يقترح وايدمان [ 11 ] خوارزمية تصنيف ثنائية المستوى (TLC) لتعلم المفاهيم بناءً على افتراض قائم على العد. تحاول الخطوة الأولى تعلم المفاهيم على مستوى المثال من خلال بناء شجرة قرار من كل مثال في كل مجموعة من مجموعات التدريب. ثم يتم ربط كل مجموعة بمتجه ميزات بناءً على عدد مرات ظهور كل مثال في شجرة القرار. في الخطوة الثانية، يتم تشغيل خوارزمية مثال واحد على متجهات الميزات لتعلم المفهوم.
  • اقترح سكوت وآخرون [ 12 ] خوارزمية، GMIL-1، لتعلم المفاهيم في ظل فرضية GMIL في عام 2005. تقوم خوارزمية GMIL-1 بحصر جميع المستطيلات المتوازية مع المحاور.{Rأنا}أناأنا{\displaystyle \{R_{i}\}_{i\in I}}في الفضاء الأصلي للحالات، ويُعرّف فضاءً جديدًا للميزات من المتجهات المنطقية. حقيبةب{\displaystyle B}يتم تحويلها إلى متجهب=(بأنا)أناأنا{\displaystyle \mathbf {b} =(b_{i})_{i\in I}}في هذا المجال الجديد للميزات، حيثبأنا=1{\displaystyle b_{i}=1}إذا كان معدل الفائدة السنويRأنا{\displaystyle R_{i}}أغطيةب{\displaystyle B}، وبأنا=0{\displaystyle b_{i}=0}وإلا، يمكن تطبيق خوارزمية الحالة الواحدة لتعلم المفهوم في فضاء الميزات الجديد هذا.

نظراً للأبعاد العالية لمساحة الميزات الجديدة وتكلفة حصر جميع نماذج APRs في مساحة الحالات الأصلية بشكل صريح، فإن GMIL-1 غير فعال من حيث الحساب والذاكرة. طُوِّر GMIL-2 كتحسين لـ GMIL-1 بهدف رفع كفاءته. يقوم GMIL-2 بمعالجة الحالات مسبقاً للعثور على مجموعة من الحالات التمثيلية المرشحة. ثم يقوم GMIL-2 بربط كل مجموعة بمتجه منطقي، كما في GMIL-1، ولكنه لا يأخذ في الاعتبار سوى نماذج APRs التي تتوافق مع مجموعات فرعية فريدة من الحالات التمثيلية المرشحة. هذا يقلل بشكل كبير من متطلبات الذاكرة والحساب. [ 8 ]

  • اقترح Xu (2003) [ 10 ] العديد من الخوارزميات القائمة على الانحدار اللوجستي وطرق التعزيز لتعلم المفاهيم في ظل الافتراض الجماعي.

الخوارزميات القائمة على البيانات الوصفية (أو القائمة على التضمين)

من خلال ربط كل مجموعة بيانات بمتجه خصائص البيانات الوصفية، تتيح الخوارزميات القائمة على البيانات الوصفية مرونة استخدام أي خوارزمية أحادية الحالة لأداء مهمة التصنيف الفعلية. تُدمج مجموعات البيانات اللاحقة ببساطة في فضاء خصائص البيانات الوصفية وتُصنف بواسطة المصنف المُختار. لذلك، ينصب تركيز الخوارزميات القائمة على البيانات الوصفية بشكل كبير على الخصائص أو نوع التضمين الذي يؤدي إلى تصنيف فعال. تجدر الإشارة إلى أن بعض الخوارزميات المذكورة سابقًا، مثل TLC وGMIL، يمكن اعتبارها قائمة على البيانات الوصفية.

  • يتمثل أحد الأساليب في اعتبار البيانات الوصفية لكل مجموعة بيانات عبارة عن مجموعة من الإحصائيات المتعلقة بالعناصر الموجودة في تلك المجموعة. تعتمد خوارزمية SimpleMI هذا الأسلوب، حيث تُعتبر البيانات الوصفية للمجموعة إحصائية موجزة بسيطة، مثل المتوسط ​​أو الحد الأدنى والحد الأقصى لكل متغير من متغيرات العناصر، وذلك على جميع العناصر الموجودة في المجموعة. توجد خوارزميات أخرى تستخدم إحصائيات أكثر تعقيدًا، ولكن أظهرت SimpleMI قدرة تنافسية مذهلة لعدد من مجموعات البيانات، على الرغم من بساطتها الظاهرية. [ 8 ]
  • ثمة نهج شائع آخر يتمثل في اعتبار هندسة الحقائب نفسها بيانات وصفية. هذا هو النهج الذي تتبعه خوارزميتا MIGraph وmiGraph، حيث تمثلان كل حقيبة كرسم بياني، وعقدهما هي العناصر الموجودة في الحقيبة. يوجد ضلع بين عقدتين إذا كانت المسافة (حتى مقياس معين في فضاء العناصر) بين العنصرين المتناظرين أقل من عتبة محددة. يتم التصنيف باستخدام آلة المتجهات الداعمة (SVM) مع نواة رسم بياني (تختلف MIGraph وmiGraph فقط في اختيار النواة). [ 8 ] وتتبع خوارزميتا MILES [ 19 ] وMInD [ 20 ] نهجًا مشابهًا. تمثل MILES الحقيبة بناءً على أوجه التشابه بينها وبين العناصر في مجموعة التدريب، بينما تمثل MInD الحقيبة بناءً على المسافات بينها وبين الحقائب الأخرى.
  • يمكن اعتبار تعديل خوارزمية أقرب الجيران k (kNN) خوارزميةً تعتمد على البيانات الوصفية الهندسية، على الرغم من أن الربط بين الحقائب وخصائص البيانات الوصفية ليس واضحًا. مع ذلك، من الضروري تحديد المقياس المستخدم لحساب المسافة بين الحقائب. يقترح وانغ وزوكر (2000) [ 21 ] مقياسي هاوسدورف (الأقصى والأدنى، على التوالي) للحقائب.أ{\displaystyle A}وب{\displaystyle B}:
ح(أ،ب)=الأعلى{الأعلىأمينبأ-ب،الأعلىبمينأأ-ب}{\displaystyle H(A,B)=\max \left\{\max _{A}\min _{B}\|a-b\|,\max _{B}\min _{A}\|a-b\|\right\}}
ح1(أ،ب)=مينأمينبأ-ب{\displaystyle h_{1}(A,B)=\min _{A}\min _{B}\|a-b\|}

إنهم يحددون نوعين مختلفين من kNN، وهما Bayesian-kNN و citation-kNN، باعتبارهما تعديلات لمشكلة أقرب جار التقليدية على إعداد الحالات المتعددة.

التعميمات

حتى الآن، تناولت هذه المقالة تعلم الحالات المتعددة حصراً في سياق المصنفات الثنائية. ومع ذلك، يمكن تطبيق تعميمات المصنفات الثنائية أحادية الحالة على حالة الحالات المتعددة.

  • أحد هذه التعميمات هو مشكلة التصنيفات المتعددة متعددة الحالات (MIML)، حيث يمكن الآن ربط كل مجموعة بأي مجموعة فرعية من فضاء التصنيفات. رسميًا، إذاX{\displaystyle {\mathcal {X}}}هي مساحة الميزات وY{\displaystyle {\mathcal {Y}}}مساحة التصنيفات، ومفهوم MIML هو خريطةج:شمالX2Y{\displaystyle c:\mathbb {N} ^{\mathcal {X}}\rightarrow 2^{\mathcal {Y}}}. يقترح تشو وتشانغ (2006) [ 22 ] حلاً لمشكلة MIML من خلال الاختزال إلى مشكلة متعددة الحالات أو متعددة المفاهيم.
  • من التعميمات الواضحة الأخرى الانحدار متعدد الحالات. هنا، ترتبط كل مجموعة برقم حقيقي واحد كما في الانحدار القياسي. وكما هو الحال في الافتراض القياسي، يفترض انحدار المعلومات المتبادلة وجود حالة واحدة في كل مجموعة، تُسمى "الحالة الأولية"، والتي تحدد تصنيف المجموعة (مع مراعاة التشويش). يتمثل الهدف الأمثل لانحدار المعلومات المتبادلة في إيجاد مستوى فائق يقلل من مربع خسارة الحالات الأولية في كل مجموعة، ولكن هذه الحالات الأولية مخفية. في الواقع، يُبين راي وبيج (2001) [ 23 ] أن إيجاد أفضل مستوى فائق يُناسب حالة واحدة من كل مجموعة أمرٌ غير عملي إذا كان عدد الحالات في كل مجموعة أقل من ثلاث، ولذلك طورا خوارزمية تقريبية. قد تُوفر العديد من الخوارزميات المُطورة لتصنيف المعلومات المتبادلة تقريبات جيدة لمشكلة انحدار المعلومات المتبادلة. [ 8 ]

انظر أيضاً

مراجع

  1. بابينكو، بوريس. "التعلم متعدد الحالات: الخوارزميات والتطبيقات." عرض المقالة PubMed/NCBI Google Scholar (2008).
  2. كيلر، جيمس د.، ديفيد إي. روميلهارت، ووي-خينغ ليو. التجزئة المتكاملة والتعرف على الأرقام المكتوبة بخط اليد. شركة تكنولوجيا الإلكترونيات الدقيقة والحاسوب، 1991.
  3. 1 2 3 4 5 ديتريش، توماس ج.، ريتشارد هـ. لاثروب، وتوماس لوزانو-بيريز. "حل مشكلة الحالات المتعددة باستخدام المستطيلات المتوازية المحاور." الذكاء الاصطناعي 89.1 (1997): 31-71.
  4. 1 2 سي. بليك، إي. كيو، وسي جيه ميرز. مستودع قواعد بيانات التعلم الآلي التابع لجامعة كاليفورنيا في إرفاين، قسم علوم المعلومات والحاسوب، جامعة كاليفورنيا، إرفاين، كاليفورنيا، 1998.
  5. ^ وانغ، وي هونغ؛ دو، يان يي؛ لي، تشو؛ فانغ، تشاو لين (2011). "تقييم الائتمان بناءً على برمجة التعبير الجيني واختيار النسيلة" . هندسة بروسيديا . 15 : 3759–3763 . دوى : 10.1016/j.proeng.2011.08.704 .
  6. أو. مارون وأ. ل. راتان. التعلم متعدد الحالات لتصنيف المشاهد الطبيعية. في وقائع المؤتمر الدولي الخامس عشر للتعلم الآلي، ماديسون، ويسكونسن، ص 341-349، 1998.
  7. منهاس، ف. و أ. أ.؛ بن حور، أ. (2012). "التعلم متعدد الحالات لمواقع ارتباط الكالمودولين" . المعلوماتية الحيوية . 28 (18): i416– i422. doi : 10.1093/bioinformatics/bts416 . PMC 3436843. PMID 22962461 .  
  8. 1 2 3 4 5 6 7 8 9 10 11 فولدز، جيمس، وإيبي فرانك. "مراجعة لافتراضات التعلم متعدد الحالات". مجلة هندسة المعرفة 25.01 (2010): 1-25.
  9. 1 2 3 مارون، أوديد، وتوماس لوزانو-بيريز. "إطار عمل للتعلم متعدد الحالات". التطورات في أنظمة معالجة المعلومات العصبية (1998): 570-576
  10. 1 2 3 4 5 Xu, X. التعلم الإحصائي في مسائل الحالات المتعددة. رسالة ماجستير، جامعة وايكاتو (2003).
  11. 1 2 ويدمان، نيلس ب. “تصنيف ذو مستويين للبيانات المعممة متعددة المثيلات.” ديس. جامعة ألبرت لودفيغ، 2003.
  12. 1 2 3 4 سكوت، ستيفن، جون تشانغ، وجوشوا براون. "حول التعلم المعمم متعدد الحالات." المجلة الدولية للذكاء الحسابي والتطبيقات 5.01 (2005): 21-35.
  13. تشانغ، تشي، وسالي أ. غولدمان . "EM-DD: تقنية محسّنة للتعلم متعدد الحالات". التطورات في أنظمة معالجة المعلومات العصبية. (2001): 1073-80
  14. تشين، ييكسين، وجيمس زد. وانغ. "تصنيف الصور عن طريق التعلم والاستدلال باستخدام المناطق." مجلة أبحاث تعلم الآلة 5 (2004): 913-939
  15. أندروز، ستيوارت، يوانيس تسوتشانتاريديس، وتوماس هوفمان. "آلات المتجهات الداعمة للتعلم متعدد الحالات". التطورات في أنظمة معالجة المعلومات العصبية (2003). الصفحات 561-658
  16. تشو، تشي-هوا، ومين-لينغ تشانغ. "الشبكات العصبية للتعلم متعدد الحالات". وقائع المؤتمر الدولي لتكنولوجيا المعلومات الذكية، بكين، الصين. (2002). ص 455-459
  17. بلوكيل، هندريك، ديفيد بيج، وأشوين سرينيفاسان. "تعلم الأشجار متعدد الحالات". وقائع المؤتمر الدولي الثاني والعشرين حول تعلم الآلة. ACM، 2005. الصفحات 57-64
  18. أوير، بيتر، ورونالد أورتنر. "نهج تعزيزي للتعلم متعدد الحالات". التعلم الآلي: المؤتمر الأوروبي للتعلم الآلي 2004. سبرينغر برلين هايدلبرغ، 2004. 63-74.
  19. تشين، ييكسين؛ بي، جينبو؛ وانغ، جيه زد (1 ديسمبر 2006). "MILES: التعلم متعدد الحالات عبر اختيار الحالات المضمنة". معاملات IEEE في تحليل الأنماط والذكاء الآلي . 28 (12): 1931-1947 . doi : 10.1109/TPAMI.2006.248 . ISSN 0162-8828 . PMID 17108368. S2CID 18137821 .   
  20. تشيبليجينا، فيرونيكا؛ تاكس، ديفيد إم جيه؛ لوغ، ماركو (2015-01-01). "التعلم متعدد الحالات باستخدام اختلافات الحقائب". التعرف على الأنماط . 48 (1): 264-275 . arXiv : 1309.5643 . Bibcode : 2015PatRe..48..264C . doi : 10.1016/j.patcog.2014.07.022 . S2CID 17606924 . 
  21. وانغ، جون، وجان-دانيال زوكر. "حل مشكلة الحالات المتعددة: نهج التعلم الكسول." المؤتمر الدولي للتعلم الآلي (2000): 1119-25
  22. تشو، تشي-هوا، ومين-لينغ تشانغ. "التعلم متعدد الحالات ومتعدد التصنيفات مع تطبيق على تصنيف المشاهد." التطورات في أنظمة معالجة المعلومات العصبية. 2006. ص 1609-1616
  23. راي، سوميا، وديفيد بيج. "الانحدار متعدد الحالات". المؤتمر الدولي للتعلم الآلي. المجلد 1. 2001. الصفحات 425-432

للمزيد من القراءة

تتضمن المراجعات الحديثة لأدبيات التثقيف الإعلامي ما يلي: