آلة بولتزمان المقيدة

آلة بولتزمان المقيدة ( RBM ) (وتسمى أيضًا نموذج شيرينغتون-كيركباتريك المقيد مع مجال خارجي أو نموذج إيزينغ-لينز-ليتل العشوائي المقيد ) هي شبكة عصبية اصطناعية توليدية عشوائية يمكنها تعلم توزيع احتمالي على مجموعة مدخلاتها. ^{[ 1 ]}

طُرحت نماذج بولتزمان المقيدة (RBMs) لأول مرة تحت اسم "هارمونيوم" من قِبل بول سمولينسكي عام 1986، ^{[ 2 ]} وبرزت بعد أن استخدم جيفري هينتون وزملاؤه خوارزميات التعلم السريع لها في منتصف العقد الأول من الألفية الثانية. وقد وُظِّفت نماذج بولتزمان المقيدة في مجالات عديدة، منها: تقليل الأبعاد ، ^{[ 3 ]} والتصنيف ، ^{[ 4 ]} والترشيح التعاوني ، ^{[ 5 ]} وتعلم الميزات ، ^{[ 6 ]} ونمذجة المواضيع ، ^{[ 7 ]} وعلم المناعة ، ^{[ 8 ]} وحتى ميكانيكا الكم متعددة الأجسام . ^{[ 9 ] [ 10 ] [ 11 ]}

يمكن تدريبهم إما بطرق خاضعة للإشراف أو غير خاضعة للإشراف ، وذلك حسب المهمة.

كما يوحي اسمها، فإن آلات بولتزمان المقيدة هي نوع من آلات بولتزمان ، مع وجود قيد يتمثل في أن خلاياها العصبية يجب أن تشكل رسمًا بيانيًا ثنائي الأجزاء :

• قد يكون هناك اتصال متناظر بين زوج من العقد من كل مجموعة من مجموعتي الوحدات (والتي يشار إليها عادةً باسم الوحدات "المرئية" و"المخفية" على التوالي)؛
• لا توجد روابط بين العقد داخل المجموعة.

على النقيض من ذلك، قد تحتوي آلات بولتزمان "غير المقيدة" على روابط بين الوحدات المخفية . يتيح هذا القيد خوارزميات تدريب أكثر كفاءة من تلك المتاحة للفئة العامة من آلات بولتزمان، ولا سيما خوارزمية التباعد التبايني القائمة على التدرج . ^{[ 12 ]}

يمكن أيضًا استخدام آلات بولتزمان المقيدة في شبكات التعلم العميق . على وجه الخصوص، يمكن تكوين شبكات الاعتقاد العميق عن طريق "تكديس" آلات بولتزمان المقيدة، مع إمكانية ضبط الشبكة العميقة الناتجة بدقة باستخدام خوارزمية التدرج الهبوطي وخوارزمية الانتشار العكسي . ^{[ 13 ]}

يحتوي النوع القياسي من RBM على وحدات مخفية ومرئية ذات قيم ثنائية ( منطقية )، ويتكون من مصفوفة من الأوزان${\displaystyle W}$من الحجم${\displaystyle m\times n}$كل عنصر من عناصر الوزن${\displaystyle (w_{i,j})}$يرتبط جزء من المصفوفة بالوصلة بين الوحدة المرئية (وحدة الإدخال).${\displaystyle v_{i}}$والوحدة المخفية${\displaystyle h_{j}}$بالإضافة إلى ذلك، توجد أوزان انحياز (إزاحات).${\displaystyle a_{i}}$ل${\displaystyle v_{i}}$و${\displaystyle b_{j}}$ل${\displaystyle h_{j}}$بمعلومية الأوزان والانحيازات، تُعرَّف طاقة التكوين (زوج من المتجهات المنطقية) ( v ، h ) على النحو التالي:

${\displaystyle E(v,h)=-\sum _{i}a_{i}v_{i}-\sum _{j}b_{j}h_{j}-\sum _{i}\sum _{j}v_{i}w_{i,j}h_{j}}$

أو، باستخدام تدوين المصفوفات،

${\displaystyle E(v,h)=-a^{\mathrm {T} }vb^{\mathrm {T} }hv^{\mathrm {T} }Wh.}$

تُشابه دالة الطاقة هذه دالة الطاقة في شبكة هوبفيلد . وكما هو الحال مع آلات بولتزمان العامة، يُعرَّف التوزيع الاحتمالي المشترك للمتجهات المرئية والمخفية بدلالة دالة الطاقة على النحو التالي، ^{[ 14 ]}

${\displaystyle P(v,h)={\frac {1}{Z}}e^{-E(v,h)}}$

أين${\displaystyle Z}$دالة التقسيم هي دالة معرفة على أنها مجموع${\displaystyle e^{-E(v,h)}}$على جميع التكوينات الممكنة، والتي يمكن تفسيرها على أنها ثابت توحيد لضمان أن مجموع الاحتمالات يساوي 1. الاحتمال الهامشي لمتجه مرئي هو مجموع${\displaystyle P(v,h)}$على جميع تكوينات الطبقة المخفية الممكنة، ^{[ 14 ]}

${\displaystyle P(v)={\frac {1}{Z}}\sum _{\{h\}}e^{-E(v,h)}}$،

والعكس صحيح. بما أن بنية الرسم البياني الأساسية لشبكة بولتزمان المقيدة ثنائية الأجزاء (أي لا توجد روابط داخل الطبقات)، فإن تنشيطات الوحدات المخفية مستقلة عن بعضها البعض عند معرفة تنشيطات الوحدات المرئية. وعلى العكس، فإن تنشيطات الوحدات المرئية مستقلة عن بعضها البعض عند معرفة تنشيطات الوحدات المخفية. ^{[ 12 ]} أي، بالنسبة لـ m وحدة مرئية و n وحدة مخفية، فإن الاحتمال الشرطي لتكوين الوحدات المرئية v ، عند معرفة تكوين الوحدات المخفية h ، هو

${\displaystyle P(v|h)=\prod _{i=1}^{m}P(v_{i}|h)}$.

وبالمقابل، فإن الاحتمال الشرطي لـ h بشرط v هو

${\displaystyle P(h|v)=\prod _{j=1}^{n}P(h_{j}|v)}$.

تُعطى احتمالات التنشيط الفردية بواسطة

${\displaystyle P(h_{j}=1|v)=\sigma \left(b_{j}+\sum _{i=1}^{m}w_{i,j}v_{i}\right)}$و${\displaystyle \,P(v_{i}=1|h)=\sigma \left(a_{i}+\sum _{j=1}^{n}w_{i,j}h_{j}\right)}$

أين${\displaystyle \sigma }$يشير إلى الدالة اللوجستية السينية .

يمكن أن تكون الوحدات المرئية لآلة بولتزمان المقيدة متعددة الحدود ، على الرغم من أن الوحدات المخفية تتبع توزيع برنولي . في هذه الحالة، يتم استبدال الدالة اللوجستية للوحدات المرئية بدالة سوفتماكس.

${\displaystyle P(v_{i}^{k}=1|h)={\frac {\exp(a_{i}^{k}+\Sigma _{j}W_{ij}^{k}h_{j})}{\Sigma _{k'=1}^{K}\exp(a_{i}^{k'}+\Sigma _{j}W_{ij}^{k'}h_{j})}}}$

حيث يمثل K عدد القيم المنفصلة التي تمتلكها القيم المرئية. وتُستخدم هذه القيم في نمذجة المواضيع، ^{[ 7 ]} وأنظمة التوصية . ^{[ 5 ]}

يتم تدريب آلات بولتزمان المقيدة على زيادة حاصل ضرب الاحتمالات المخصصة لمجموعة تدريب معينة.${\displaystyle V}$(مصفوفة، يُعامل كل صف منها كمتجه مرئي)${\displaystyle v}$)

${\displaystyle \arg \max _{W}\prod _{v\in V}P(v)}$

أو بعبارة أخرى، لزيادة احتمالية اللوغاريتم المتوقعة لعينة التدريب إلى أقصى حد${\displaystyle v}$تم اختيارهم عشوائياً من${\displaystyle V}$[ ^{15 ] [ 16 ]​}

${\displaystyle \arg \max _{W}\mathbb {E} \left[\log P(v)\right]}$

الخوارزمية الأكثر استخدامًا لتدريب نماذج بولتزمان المقيدة، أي لتحسين مصفوفة الأوزان${\displaystyle W}$تُعرف هذه الخوارزمية باسم خوارزمية التباعد التبايني (CD) التي ابتكرها هينتون ، وقد طُوّرت في الأصل لتدريب نماذج PoE ( ناتج الخبراء ). ^{[ 18 ] [ 19 ]} تُجري الخوارزمية عملية أخذ عينات جيبس ​​وتُستخدم داخل إجراء هبوط التدرج (على غرار طريقة استخدام الانتشار العكسي داخل هذا الإجراء عند تدريب الشبكات العصبية التغذية الأمامية) لحساب تحديث الأوزان.

يمكن تلخيص إجراء التباين التبايني الأساسي أحادي الخطوة (CD-1) لعينة واحدة على النحو التالي:

1. خذ عينة تدريبية v ، واحسب احتمالات الوحدات المخفية، ثم خذ عينة من متجه التنشيط المخفي h من توزيع الاحتمالات هذا.
2. احسب حاصل الضرب الخارجي لـ v و h وسم هذا التدرج الموجب .
3. انطلاقاً من h ، يتم أخذ عينة لإعادة بناء v' للوحدات المرئية، ثم يتم إعادة أخذ عينة من التنشيطات المخفية h' من هذه العينة. (خطوة أخذ عينات جيبس)
4. احسب حاصل الضرب الخارجي لـ v' و h' وسم هذا التدرج السالب .
5. لنقم بتحديث مصفوفة الأوزان${\displaystyle W}$ليكن التدرج الموجب ناقص التدرج السالب، مضروبًا في معدل تعلم معين:${\displaystyle \Delta W=\epsilon (vh^{\mathsf {T}}-v'h'^{\mathsf {T}})}$.
6. قم بتحديث الانحيازات a و b بشكل مماثل:${\displaystyle \Delta a=\epsilon (vv')}$،${\displaystyle \Delta b=\epsilon (hh')}$.

يمكن الاطلاع على الدليل العملي لتدريب قادة الأعمال القائمين على الأدلة، الذي كتبه هينتون، على صفحته الرئيسية. ^{[ 14 ]}

• يكمن الفرق بين آلات بولتزمان المقيدة المكدسة وآلات بولتزمان المقيدة (RBM) في أن الأخيرة تحتوي على روابط جانبية داخل الطبقة الواحدة، مما يجعل التحليل غير عملي. أما آلة بولتزمان المكدسة، فتتكون من شبكة غير خاضعة للإشراف مكونة من ثلاث طبقات ذات أوزان متناظرة، وطبقة عليا خاضعة للإشراف ومضبوطة بدقة للتعرف على ثلاث فئات.
• يُستخدم نموذج بولتزمان المكدس لفهم اللغات الطبيعية ، واسترجاع المستندات ، وتوليد الصور، والتصنيف. تُدرَّب هذه الوظائف باستخدام التدريب المسبق غير الخاضع للإشراف و/أو الضبط الدقيق الخاضع للإشراف. على عكس الطبقة العلوية المتناظرة غير الموجهة، يحتوي نموذج بولتزمان المقيد على طبقة غير متناظرة ثنائية الاتجاه للاتصال. يتكون اتصال بولتزمان المقيد من ثلاث طبقات بأوزان غير متناظرة، حيث تُدمج شبكتان في شبكة واحدة.
• تتشابه خوارزمية بولتزمان المكدسة مع خوارزمية بولتزمان المقيدة (RBM)، حيث أن العصبون في خوارزمية بولتزمان المكدسة هو عصبون هوبفيلد ثنائي عشوائي، وهو نفسه في خوارزمية بولتزمان المقيدة. وتُحسب الطاقة في كلتا الخوارزميتين (بولتزمان المقيدة وRBM) باستخدام مقياس جيبس ​​الاحتمالي.${\displaystyle E=-{\frac {1}{2}}\sum _{i,j}{w_{ij}{s_{i}}{s_{j}}}+\sum _{i}{\theta _{i}}{s_{i}}}$تتشابه عملية تدريب نموذج بولتزمان المقيد مع نموذج بولتزمان المقيد (RBM). يُدرّب نموذج بولتزمان المقيد طبقةً واحدةً في كل مرة، ويُقارب حالة التوازن من خلال تمريرة ثلاثية الأجزاء، دون استخدام الانتشار العكسي. يستخدم نموذج بولتزمان المقيد كلاً من التدريب الخاضع للإشراف والتدريب غير الخاضع للإشراف على نماذج بولتزمان المقيدة المختلفة للتدريب المسبق لأغراض التصنيف والتعرف. يعتمد التدريب على التباعد التبايني مع أخذ عينات جيبس: Δw_{_ij} = e*(p_{_ij} - p'_{_ij})
• تكمن قوة نموذج بولتزمان المقيد في أنه يُجري تحويلاً غير خطي، مما يسهل توسيعه، ويُمكنه من إنشاء طبقة هرمية من الميزات. أما نقطة ضعفه فتكمن في تعقيد حساباته للخلايا العصبية ذات القيم الصحيحة والحقيقية. كما أنه لا يتبع تدرج أي دالة، لذا فإن تقريب التباعد التبايني إلى أقصى احتمال يكون مرتجلاً. ^{[ 14 ]}

• فيشر، آسيا؛ إيجل، كريستيان (2012)، "مقدمة في آلات بولتزمان المقيدة"، التقدم في التعرف على الأنماط، وتحليل الصور، ورؤية الحاسوب، والتطبيقات ، سلسلة محاضرات في علوم الحاسوب، المجلد  7441، برلين، هايدلبرغ: سبرينغر برلين هايدلبرغ، الصفحات 14-36 ، doi : 10.1007/978-3-642-33275-3_2 ، ISBN  978-3-642-33274-6

• التشفير التلقائي
• آلة هيلمهولتز

• تشين، إدوين (18-07-2011). "مقدمة في آلات بولتزمان المقيدة" . مدونة إدوين تشين .
• نيكلسون، كريس؛ جيبسون، آدم. "دليل للمبتدئين في آلات بولتزمان المقيدة" . وثائق Deeplearning4j . مؤرشف من الأصل بتاريخ 11 فبراير 2017. تم الاطلاع عليه بتاريخ 15 نوفمبر 2018 .{{cite web}}: CS1 maint: bot: حالة عنوان URL الأصلي غير معروفة ( رابط )
• نيكلسون، كريس؛ جيبسون، آدم. "فهم نماذج بولتزمان المقيدة" . وثائق Deeplearning4j . مؤرشف من الأصل بتاريخ 20 سبتمبر 2016. تم الاطلاع عليه بتاريخ 29 ديسمبر 2014 .

• تطبيق بايثون لنموذج برنولي RBM ودليل تعليمي
• SimpleRBM عبارة عن كود RBM صغير جدًا (24 كيلوبايت) مفيد لك للتعرف على كيفية تعلم RBMs وعملها.
• تطبيق جوليا لآلات بولتزمان المقيدة: https://github.com/cossio/RestrictedBoltzmannMachines.jl