التعلم غير الخاضع للإشراف

خلال مرحلة التعلم، تحاول الشبكة غير الخاضعة للإشراف محاكاة البيانات المُعطاة لها، وتستخدم الخطأ في مخرجاتها المُحاكاة لتصحيح نفسها (أي تصحيح أوزانها وانحيازاتها). أحيانًا يُعبَّر عن الخطأ باحتمالية منخفضة لحدوث المخرجات الخاطئة، أو قد يُعبَّر عنه بحالة طاقة عالية غير مستقرة في الشبكة.

على عكس استخدام أساليب التعلم الخاضع للإشراف لخوارزمية الانتشار العكسي بشكل أساسي ، يستخدم التعلم غير الخاضع للإشراف أيضًا أساليب أخرى، منها: قاعدة هوبفيلد للتعلم، وقاعدة بولتزمان للتعلم، والتباعد التبايني ، وتقنية اليقظة والنوم ، والاستدلال التبايني ، وأقصى احتمال ، وأقصى احتمال لاحق ، وأخذ عينات جيبس ، وإعادة بناء الأخطاء بالانتشار العكسي أو إعادة تحديد معلمات الحالة المخفية. انظر الجدول أدناه لمزيد من التفاصيل.

دالة الطاقة هي مقياس كلي لحالة تنشيط الشبكة. في آلات بولتزمان، تؤدي دور دالة التكلفة. هذا التشبيه بالفيزياء مستوحى من تحليل لودفيج بولتزمان للطاقة الكلية للغاز انطلاقًا من الاحتمالات المجهرية لحركة الجسيمات.${\displaystyle p\propto e^{-E/kT}}$حيث k هو ثابت بولتزمان وT هي درجة الحرارة. في شبكة RBM، تكون العلاقة كما يلي:${\displaystyle p=e^{-E}/Z}$، ^{[ 5 ]} حيث${\displaystyle p}$و${\displaystyle E}$تختلف باختلاف كل نمط تنشيط ممكن و${\displaystyle \textstyle {Z=\sum _{\scriptstyle {\text{All Patterns}}}e^{-E({\text{pattern}})}}}$وبعبارة أدق،${\displaystyle p(a)=e^{-E(a)}/Z}$، أين${\displaystyle a}$هو نمط تنشيط لجميع الخلايا العصبية (المرئية والمخفية). ولذلك، تحمل بعض الشبكات العصبية المبكرة اسم آلة بولتزمان. ويطلق بول سمولينسكي على ذلك اسم${\displaystyle -E\,}$الانسجام . تسعى الشبكة إلى طاقة منخفضة، وهو ما يمثل انسجامًا عاليًا .

يُظهر هذا الجدول مخططات الاتصال لشبكات التعلم غير الخاضعة للإشراف المختلفة، وسيتم شرح تفاصيلها في قسم مقارنة الشبكات. تمثل الدوائر الخلايا العصبية، بينما تمثل الحواف بينها أوزان الاتصال. مع تغير تصميم الشبكة، تُضاف ميزات جديدة لتمكين قدرات جديدة، أو تُزال ميزات أخرى لتسريع عملية التعلم. على سبيل المثال، تتغير الخلايا العصبية بين حتمية (هوبفيلد) وعشوائية (بولتزمان) لضمان مخرجات قوية، وتُزال الأوزان داخل طبقة (RBM) لتسريع التعلم، أو يُسمح للاتصالات بأن تصبح غير متناظرة (هيلمهولتز).

هوبفيلد	بولتزمان	RBM	بولتزمان المكدس

هيلمهولتز	التشفير التلقائي	VAE

من بين الشبكات التي تحمل أسماء أشخاص، كان هوبفيلد الوحيد الذي عمل مباشرةً مع الشبكات العصبية. سبق بولتزمان وهيلمهولتز الشبكات العصبية الاصطناعية، لكن أعمالهما في الفيزياء وعلم وظائف الأعضاء ألهمت الأساليب التحليلية المستخدمة.

نسلط الضوء هنا على بعض خصائص شبكات مختارة. ترد تفاصيل كل منها في جدول المقارنة أدناه.

شبكة هوبفيلد

شبكات هوبفيلد مستوحاة من المغناطيسية الحديدية. يُمثل كل عصبون نطاقًا حديديًا بعزوم مغناطيسية ثنائية (أعلى وأسفل)، وتُمثل الوصلات العصبية تأثير النطاقات على بعضها البعض. تُمكّن الوصلات المتناظرة من صياغة طاقة شاملة. أثناء الاستدلال، تُحدّث الشبكة كل حالة باستخدام دالة التنشيط القياسية. تضمن الأوزان المتناظرة ودوال الطاقة الصحيحة التقارب نحو نمط تنشيط مستقر. يصعب تحليل الأوزان غير المتناظرة. تُستخدم شبكات هوبفيلد كذاكرة قابلة للعنونة بالمحتوى (CAM).

آلة بولتزمان

هذه شبكات هوبفيلد عشوائية. تُؤخذ قيمة حالتها من دالة كثافة الاحتمال هذه كما يلي: لنفترض أن عصبونًا ثنائيًا يُطلق إشارة باحتمال برنولي p(1) = 1/3 ويبقى عند p(0) = 2/3. يتم أخذ عينة منه عن طريق اختيار عدد عشوائي y موزع توزيعًا منتظمًا ، وإدخاله في دالة التوزيع التراكمي المعكوسة ، والتي هي في هذه الحالة دالة الخطوة ذات العتبة 2/3. الدالة المعكوسة = { 0 إذا كان x ≤ 2/3، 1 إذا كان x > 2/3 }.

شبكة سيجمويد بيليف

طُوِّرت هذه الشبكة من قِبَل رادفورد نيل عام ١٩٩٢، وهي تُطبِّق أفكارًا من النماذج البيانية الاحتمالية على الشبكات العصبية. ويكمن الاختلاف الرئيسي في أنَّ العُقد في النماذج البيانية لها معانٍ مُحدَّدة مُسبقًا، بينما تُحدَّد خصائص خلايا شبكة الاعتقاد بعد التدريب. الشبكة عبارة عن رسم بياني مُوجَّه غير دوري مُتصل بشكل متفرق، مُكوَّن من خلايا عصبية ثنائية عشوائية. وتستند قاعدة التعلُّم إلى مبدأ الاحتمال الأقصى على p(X): Δw _ij${\displaystyle \propto }$s _j * (s _i - p _i )، حيث p _i = 1 / ( 1 + e ^{المدخلات الموزونة إلى العصبون i} ). تمثل s _j التنشيطات من عينة غير متحيزة من التوزيع الاحتمالي اللاحق، وهذا يمثل إشكالية بسبب مشكلة "التفسير المُبهم" التي طرحها جوديا بيرل. تستخدم طرق بايز المتغيرة توزيعًا احتماليًا لاحقًا بديلًا وتتجاهل هذا التعقيد بشكل صارخ.

شبكة المعتقدات العميقة

هذه الشبكة، التي قدمها هينتون، هي مزيج بين شبكة بولتزمان المقيدة (RBM) وشبكة الاعتقاد السيجمويدي. تتكون الطبقتان العلويتان من شبكة بولتزمان المقيدة، بينما تشكل الطبقات اللاحقة شبكة اعتقاد سيجمويدي. يتم تدريبها باستخدام طريقة بولتزمان المقيدة المكدسة ، ثم يتم حذف أوزان التعرف أسفل الطبقة العليا من شبكة بولتزمان المقيدة. اعتبارًا من عام 2009، يبدو أن 3-4 طبقات هي العمق الأمثل. ^{[ 6 ]}

آلة هيلمهولتز

هذه بعض الأفكار المبكرة التي ألهمت تصميم المشفرات التلقائية المتغيرة. فهي تجمع شبكتين في شبكة واحدة: تعمل الأوزان الأمامية على التعرف، بينما تُنفذ الأوزان الخلفية عملية التخيل. ولعلها أول شبكة تجمع بين هاتين العمليتين. لم يعمل هيلمهولتز في مجال التعلم الآلي، لكنه ألهم فكرة "محرك الاستدلال الإحصائي الذي تتمثل وظيفته في استنتاج الأسباب المحتملة للمدخلات الحسية". ^{[ 7 ]} تُخرج الخلية العصبية الثنائية العشوائية احتمال أن تكون حالتها 0 أو 1. عادةً لا تُعتبر مدخلات البيانات طبقة، ولكن في نمط توليد آلة هيلمهولتز، تستقبل طبقة البيانات مدخلات من الطبقة الوسطى ولها أوزان منفصلة لهذا الغرض، لذا تُعتبر طبقة. ومن ثم، تتكون هذه الشبكة من 3 طبقات.

المشفر التلقائي المتغير

هذه النماذج مستوحاة من آلات هيلمهولتز، وتجمع بين الشبكات الاحتمالية والشبكات العصبية. المشفر التلقائي عبارة عن شبكة CAM ثلاثية الطبقات، حيث تمثل الطبقة الوسطى تمثيلاً داخلياً لأنماط الإدخال. شبكة التشفير العصبية هي توزيع احتمالي q _φ (z معطى x)، وشبكة فك التشفير هي p _θ (x معطى z). يُطلق على الأوزان اسم φ و θ بدلاً من W و V كما في هيلمهولتز، وهو اختلاف شكلي. يمكن أن تكون هاتان الشبكتان متصلتين بالكامل، أو تستخدمان مخطط شبكة عصبية آخر.

يُعد مبدأ دونالد هيب مثالًا كلاسيكيًا للتعلم غير الخاضع للإشراف في دراسة الشبكات العصبية ، حيث ينص على أن الخلايا العصبية التي تُطلق إشاراتها معًا تتصل ببعضها. ^{[ 8 ]} في التعلم الهيبي ، يتم تعزيز هذا الاتصال بغض النظر عن وجود خطأ، ولكنه يعتمد حصريًا على تزامن كمونات الفعل بين الخليتين العصبيتين. ^{[ 9 ]} يأخذ نموذج مشابه يُعدّل الأوزان المشبكية في الاعتبار الفترة الزمنية بين كمونات الفعل ( اللدونة المعتمدة على توقيت النبضات أو STDP). يُفترض أن التعلم الهيبي يُشكل أساسًا لمجموعة من الوظائف المعرفية، مثل التعرف على الأنماط والتعلم التجريبي.

من بين نماذج الشبكات العصبية ، تُستخدم خريطة التنظيم الذاتي (SOM) ونظرية الرنين التكيفي (ART) بشكل شائع في خوارزميات التعلم غير الخاضع للإشراف. تُعدّ خريطة التنظيم الذاتي تنظيمًا طوبوغرافيًا، حيث تمثل المواقع المتقاربة في الخريطة مدخلات ذات خصائص متشابهة. يسمح نموذج نظرية الرنين التكيفي بتغيير عدد المجموعات تبعًا لحجم المشكلة، ويتيح للمستخدم التحكم في درجة التشابه بين أعضاء المجموعات نفسها من خلال ثابت يُحدده المستخدم يُسمى مُعامل اليقظة. تُستخدم شبكات نظرية الرنين التكيفي في العديد من مهام التعرف على الأنماط، مثل التعرف التلقائي على الأهداف ومعالجة الإشارات الزلزالية. ^{[ 10 ]}

تتضمن بعض الخوارزميات الأكثر شيوعًا في التعلم غير الخاضع للإشراف ما يلي: (1) التجميع، (2) كشف الشذوذ، (3) أساليب تعلم نماذج المتغيرات الكامنة. يستخدم كل أسلوب عدة طرق كما يلي:

• تشمل أساليب التجميع ما يلي: التجميع الهرمي ، ^{[ 13 ]} وخوارزمية k-means ، ^{[ 14 ]} ونماذج الخليط ، والتجميع القائم على النموذج ، وخوارزمية DBSCAN ، وخوارزمية OPTICS
• تشمل أساليب الكشف عن الحالات الشاذة ما يلي : عامل الشذوذ المحلي ، وغابة العزل
• أساليب تعلم نماذج المتغيرات الكامنة مثل خوارزمية التوقع والتعظيم (EM)، وطريقة العزوم ، وتقنيات فصل الإشارات العمياء (تحليل المكونات الرئيسية، وتحليل المكونات المستقلة ، وتحليل المصفوفات غير السالبة ، وتحليل القيم المفردة ).

إحدى الطرق الإحصائية للتعلم غير الخاضع للإشراف هي طريقة العزوم . في هذه الطريقة، تُربط المعلمات المجهولة (المهمة) في النموذج بعزوم متغير عشوائي واحد أو أكثر، وبالتالي، يمكن تقدير هذه المعلمات المجهولة بمعرفة العزوم. تُقدّر العزوم عادةً تجريبيًا من عينات. العزوم الأساسية هي العزوم من الرتبة الأولى والثانية. بالنسبة لمتجه عشوائي، يُمثل العزم من الرتبة الأولى متجه المتوسط، بينما يُمثل العزم من الرتبة الثانية مصفوفة التباين (عندما يكون المتوسط ​​صفرًا). أما العزوم ذات الرتب الأعلى، فتُمثل عادةً باستخدام الموترات، وهي تعميم للمصفوفات ذات الرتب الأعلى على شكل مصفوفات متعددة الأبعاد.

على وجه الخصوص، أثبتت طريقة العزوم فعاليتها في تعلم معلمات نماذج المتغيرات الكامنة . نماذج المتغيرات الكامنة هي نماذج إحصائية، بالإضافة إلى المتغيرات المرصودة، توجد فيها مجموعة من المتغيرات الكامنة غير المرصودة. ومن الأمثلة العملية البارزة على نماذج المتغيرات الكامنة في التعلم الآلي نمذجة المواضيع ، وهي نموذج إحصائي لتوليد الكلمات (المتغيرات المرصودة) في المستند بناءً على موضوعه (المتغير الكامن). في نمذجة المواضيع، تُولّد الكلمات في المستند وفقًا لمعلمات إحصائية مختلفة عند تغيير موضوعه. وقد ثبت أن طريقة العزوم (تقنيات تحليل الموترات) تستعيد معلمات فئة واسعة من نماذج المتغيرات الكامنة بشكل متسق في ظل بعض الافتراضات. ^{[ 15 ]}

تُعدّ خوارزمية التوقع والتعظيم (EM) من أكثر الطرق العملية لتعلم نماذج المتغيرات الكامنة. مع ذلك، قد تتعثر في الحلول المثلى المحلية، ولا يُضمن تقاربها نحو القيم الحقيقية غير المعروفة لمعاملات النموذج. في المقابل، تضمن طريقة العزوم التقارب الشامل في ظل شروط معينة.