آلة التعلم المتطرفة

تُعدّ آلات التعلّم المتطرفة شبكات عصبية أمامية تُستخدم في التصنيف ، والانحدار ، والتجميع ، والتقريب المتفرق ، والضغط، وتعلّم الميزات ، وتتكون من طبقة واحدة أو عدة طبقات من العقد المخفية. يتطلب هذا النوع من الشبكات ضبط معلمات العقد المخفية (وليس فقط الأوزان التي تربط المدخلات بها). يمكن تعيين هذه العقد المخفية عشوائيًا دون تحديثها (أي أنها إسقاط عشوائي مع تحويلات غير خطية)، أو يمكن توريثها من العقد السابقة دون تغيير. في معظم الحالات، يتم تعلّم أوزان خرج العقد المخفية في خطوة واحدة، وهو ما يُعادل تعلّم نموذج خطي.

أطلق غوانغ بين هوانغ اسم "آلة التعلم المتطرفة" (ELM) على هذه النماذج، حيث اقترحها في الأصل للشبكات التي تحتوي على أي نوع من العقد المخفية غير الخطية المتصلة جزئيًا، بما في ذلك الخلايا العصبية البيولوجية وأنواع مختلفة من الدوال الرياضية الأساسية. ^{[ 1 ] [ 2 ]} تعود فكرة الشبكات العصبية الاصطناعية إلى فرانك روزنبلات ، الذي لم يكتفِ بنشر نموذج بيرسيبترون أحادي الطبقة عام 1958، ^{[ 3 ]} بل قدم أيضًا نموذج بيرسيبترون متعدد الطبقات بثلاث طبقات: طبقة إدخال، وطبقة مخفية ذات أوزان عشوائية لا تتعلم، وطبقة إخراج تتعلم. ^{[ 4 ]}

بحسب بعض الباحثين، تتميز هذه النماذج بقدرتها على تحقيق أداء تعميم جيد والتعلم أسرع بآلاف المرات من الشبكات المدربة باستخدام خوارزمية الانتشار العكسي . ^{[ 5 ]} كما تشير الدراسات إلى تفوق هذه النماذج على آلات المتجهات الداعمة في تطبيقات التصنيف والانحدار. ^{[ 6 ] [ 1 ] [ 7 ]}

خلال الفترة من 2001 إلى 2010، ركزت أبحاث خوارزمية التعلم المتطرف (ELM) بشكل أساسي على إطار التعلم الموحد للشبكات العصبية الأمامية ذات الطبقة المخفية الواحدة "المعممة" (SLFNs)، بما في ذلك على سبيل المثال لا الحصر الشبكات السينية، وشبكات RBF، وشبكات العتبة، ^{[ 8 ]} والشبكات المثلثية، وأنظمة الاستدلال الضبابي، ومتسلسلات فورييه، ^{[ 9 ] [ 10 ]} وتحويل لابلاس، وشبكات الموجات، ^{[ 11 ]} وغيرها. ومن الإنجازات الهامة التي تحققت في تلك السنوات إثبات قدرات التقريب والتصنيف الشاملة لخوارزمية ELM نظريًا. ^{[ 9 ] [ 12 ] [ 13 ]}

بين عامي 2010 و2015، امتدت أبحاث ELM لتشمل إطار التعلم الموحد لتعلم النواة، وSVM، وبعض أساليب تعلم الميزات الشائعة مثل تحليل المكونات الرئيسية (PCA) وتحليل المصفوفات غير السالبة (NMF). وقد تبين أن SVM يقدم حلولًا دون المستوى الأمثل مقارنةً بـ ELM، وأن ELM يوفر تعيين النواة ذي الصندوق الأبيض، والذي يتم تنفيذه من خلال تعيين الميزات العشوائية في ELM، بدلًا من نواة الصندوق الأسود المستخدمة في SVM. ويمكن اعتبار PCA وNMF حالتين خاصتين حيث تُستخدم العقد المخفية الخطية في ELM. ^{[ 14 ] [ 15 ]}

بين عامي 2015 و2017، ازداد التركيز على التطبيقات الهرمية لنموذج التعلم المتطرف (ELM) ^{[ 16 ] [ 17 ]} . بالإضافة إلى ذلك، ومنذ عام 2011، أُجريت دراسات بيولوجية هامة تدعم بعض نظريات نموذج التعلم المتطرف ^{[ 18 ] [ 19 ] [ 20 ].}

منذ عام 2017 فصاعدًا، وللتغلب على مشكلة التقارب المنخفض أثناء تدريب تحليل LU ، بدأت الأساليب القائمة على تحليل Hessenberg وتحليل QR مع التنظيم في جذب الانتباه ^{[ 21 ] [ 22 ] [ 23 ].}

في عام ٢٠١٧، نشرت مدونة جوجل سكولار قائمةً بعنوان "الأوراق البحثية الكلاسيكية: مقالات صمدت أمام اختبار الزمن". ^{[ ٢٤ ]} ومن بين هذه الأوراق، ورقتان بحثيتان تتناولان خوارزمية التعلم الآلي المتطرفة (ELM)، وهما موضحتان في الدراستين ٢ و٧ من "قائمة العشر أوراق بحثية كلاسيكية في مجال الذكاء الاصطناعي من عام ٢٠٠٦". ^{[ ٢٥ ] [ ٢٦ ] [ ٢٧ ]}

بافتراض وجود طبقة مخفية واحدة في خوارزمية ELM، افترض أن دالة الإخراج لـ${\displaystyle i}$العقدة المخفية رقم -th هي${\displaystyle h_{i}(\mathbf {x} )=G(\mathbf {a} _{i},b_{i},\mathbf {x} )}$، أين${\displaystyle \mathbf {a} _{i}}$و${\displaystyle b_{i}}$هي معلمات${\displaystyle i}$العقدة المخفية رقم -th. دالة الإخراج لخوارزمية التعلم المتطرف (ELM) لشبكات التغذية الأمامية ذات الطبقة المخفية الواحدة (SLFN) مع${\displaystyle L}$العقد المخفية هي:

${\displaystyle f_{L}({\bf {x}})=\sum _{i=1}^{L}{\boldsymbol {\beta }}_{i}h_{i}({\bf {x}})}$، أين${\displaystyle {\boldsymbol {\beta }}_{i}}$يمثل وزن الناتج لـ${\displaystyle i}$العقدة المخفية رقم -th.

${\displaystyle \mathbf {h} (\mathbf {x} )=[h_{1}(\mathbf {x} ),...,h_{L}(\mathbf {x} )]}$تمثل هذه الخريطة مخرجات الطبقة المخفية لخوارزمية ELM.${\displaystyle N}$عينات التدريب، مصفوفة إخراج الطبقة المخفية${\displaystyle \mathbf {H} }$يُعطى نموذج ELM على النحو التالي:${\displaystyle {\bf {H}}=\left[{\begin{matrix}{\bf {h}}({\bf {x}}_{1})\\\vdots \\{\bf {h}}({\bf {x}}_{N})\end{matrix}}\right]=\left[{\begin{matrix}G({\bf {a}}_{1},b_{1},{\bf {x}}_{1})&\cdots &G({\bf {a}}_{L},b_{L},{\bf {x}}_{1})\\\vdots &\vdots &\vdots \\G({\bf {a}}_{1},b_{1},{\bf {x}}_{N})&\cdots &G({\bf {a}}_{L},b_{L},{\bf {x}}_{N})\end{matrix}}\right]}$

و${\displaystyle \mathbf {T} }$هل مصفوفة بيانات التدريب هي المصفوفة المستهدفة؟${\displaystyle {\bf {T}}=\left[{\begin{matrix}{\bf {t}}_{1}\\\vdots \\{\bf {t}}_{N}\end{matrix}}\right]}$

بشكل عام، يعتبر ELM نوعًا من الشبكات العصبية التنظيمية ولكن مع تعيينات الطبقة المخفية غير المضبوطة (المكونة إما من عقد مخفية عشوائية أو نوى أو تطبيقات أخرى)، ودالة الهدف الخاصة به هي:

${\displaystyle {\text{Minimize: }}\|{\boldsymbol {\beta }}\|_{p}^{\sigma _{1}}+C\|{\bf {H}}{\boldsymbol {\beta }}-{\bf {T}}\|_{q}^{\sigma _{2}}}$

أين${\displaystyle \sigma _{1}>0,\sigma _{2}>0,p,q=0,{\frac {1}{2}},1,2,\cdots ,+\infty }$.

مجموعات مختلفة من${\displaystyle \sigma _{1}}$،${\displaystyle \sigma _{2}}$،${\displaystyle p}$و${\displaystyle q}$يمكن استخدامها وتؤدي إلى خوارزميات تعلم مختلفة للانحدار والتصنيف والترميز المتفرق والضغط وتعلم الميزات والتجميع.

كحالة خاصة، تتعلم أبسط خوارزمية تدريب ELM نموذجًا بالشكل التالي (للشبكات العصبية ذات الطبقة المخفية الواحدة من نوع سيجمويد):

${\displaystyle \mathbf {\hat {Y}} =\mathbf {W} _{2}\sigma (\mathbf {W} _{1}x)}$

حيث W1 هي مصفوفة أوزان الطبقة المدخلة إلى الطبقة المخفية _،${\displaystyle \sigma }$هي دالة تنشيط، و W ₂ هي مصفوفة أوزان الطبقة المخفية إلى طبقة الإخراج. وتعمل الخوارزمية على النحو التالي:

1. املأ W ₁ بقيم عشوائية (على سبيل المثال، ضوضاء عشوائية غاوسية )؛
2. تقدير W ₂ عن طريق مطابقة المربعات الصغرى لمصفوفة متغيرات الاستجابة Y ، المحسوبة باستخدام المعكوس الزائف ⋅ ⁺ ، بالنظر إلى مصفوفة التصميم X :

   ${\displaystyle \mathbf {W} _{2}=\sigma (\mathbf {W} _{1}\mathbf {X} )^{+}\mathbf {Y} }$

في معظم الحالات، تُستخدم خوارزمية التعلم المتطرف (ELM) كشبكة تغذية أمامية ذات طبقة مخفية واحدة (SLFN)، بما في ذلك على سبيل المثال لا الحصر الشبكات السينية، وشبكات RBF، وشبكات العتبة، وشبكات الاستدلال الضبابي، والشبكات العصبية المعقدة، وشبكات الموجات الصغيرة، وتحويل فورييه، وتحويل لابلاس، وغيرها. ونظرًا لتطبيقاتها المختلفة لخوارزميات التعلم في مجالات الانحدار، والتصنيف، والترميز المتفرق، والضغط، وتعلم الميزات، والتجميع، فقد استُخدمت خوارزميات ELM متعددة لتشكيل شبكات متعددة الطبقات المخفية، أو شبكات التعلم العميق ، أو الشبكات الهرمية. ^{[ 16 ] [ 17 ] [ 28 ]}

العقدة المخفية في خوارزمية ELM هي عنصر حسابي، ولا يشترط اعتبارها عصبونًا تقليديًا. يمكن أن تكون العقدة المخفية في خوارزمية ELM عصبونات اصطناعية تقليدية، أو دوال أساسية، أو شبكة فرعية تتكون من بعض العقد المخفية. ^{[ 12 ]}

لقد تم إثبات كل من قدرات التقريب والتصنيف الشاملة لخوارزمية ELM في الأدبيات ^{[ 6 ] [ 1 ]} . وعلى وجه الخصوص، أمضى غوانغ بين هوانغ وفريقه ما يقرب من سبع سنوات (2001-2008) في تقديم براهين دقيقة لقدرة ELM على التقريب الشامل. ^{[ 9 ] [ 12 ] [ 13 ]}

مجموعة واسعة من الدوال غير الخطية المتصلة على أجزاء${\displaystyle G(\mathbf {a} ,b,\mathbf {x} )}$يمكن استخدامها في الخلايا العصبية المخفية لنموذج ELM، على سبيل المثال:

تُعدّ طبيعة الشبكات العصبية، وخاصةً آلات التعلّم المتطرفة (ELM)، التي تُعرف بـ"الصندوق الأسود"، أحد أبرز المخاوف التي تُثني المهندسين عن استخدامها في مهام الأتمتة غير الآمنة. وقد تمّت معالجة هذه المشكلة باستخدام تقنياتٍ عديدة. يتمثل أحد هذه الأساليب في تقليل الاعتماد على المدخلات العشوائية [29] [30]. ويركّز أسلوبٌ ^{آخر على دمج قيودٍ مستمرة في} عملية تعلّم آلات التعلّم المتطرفة ^{[ 31 ] [ 32 ]} ، مُستمدة من المعرفة المسبقة حول المهمة المحددة. وهذا أمرٌ منطقي، لأنّ حلول التعلّم الآلي يجب أن تضمن التشغيل الآمن في العديد من مجالات التطبيق. وقد كشفت الدراسات المذكورة أنّ الشكل الخاص لآلات التعلّم المتطرفة، بفصلها الوظيفي وأوزان القراءة الخطية، يُناسب بشكلٍ خاص دمج القيود المستمرة بكفاءة في مناطق مُحددة مُسبقًا من فضاء الإدخال.

هناك شكويان رئيسيتان من الأوساط الأكاديمية بخصوص هذا العمل، الأولى تتعلق بـ "إعادة اختراع الأفكار السابقة وتجاهلها"، والثانية تتعلق بـ "التسمية غير المناسبة والتعميم"، كما ظهر في بعض المناقشات في عامي 2008 و2015. ^{[ 33 ]} على وجه الخصوص، أشير في رسالة ^{[ 34 ]} إلى محرر مجلة IEEE Transactions on Neural Networks إلى أن فكرة استخدام طبقة مخفية متصلة بالمدخلات بأوزان عشوائية غير مدربة قد تم اقتراحها بالفعل في الأوراق الأصلية حول شبكات RBF في أواخر الثمانينيات؛ ورد غوانغ بين هوانغ بالإشارة إلى اختلافات دقيقة. ^{[ 35 ]} في ورقة بحثية نُشرت عام 2015، ^{[ 1 ]} ردّ هوانغ على الشكاوى المُوجّهة إليه بشأن ابتكاره اسم ELM لأساليب موجودة بالفعل، مُشتكيًا من "تعليقات سلبية وغير مُفيدة للغاية حول ELM، لا من الناحية الأكاديمية ولا المهنية، لأسباب ونوايا مُختلفة"، و"هجوم مجهول غير مسؤول يهدف إلى تدمير بيئة البحث المُنسجمة"، مُجادلًا بأن عمله "يُوفّر منصة تعليمية مُوحّدة" لأنواع مُختلفة من الشبكات العصبية، ^{[ 1 ]} بما في ذلك ELM ذات البنية الهرمية. ^{[ 28 ]} في عام 2015، قدّم هوانغ أيضًا ردًا رسميًا على ما اعتبره "هجومًا مُغرضًا". ^{[ 36 ]} تستبدل الأبحاث الحديثة الأوزان العشوائية بأوزان عشوائية مُقيّدة. ^{[ 6 ] [ 37 ]}

• مكتبة ماتلاب
• مكتبة بايثون ^{[ 38 ]}

• الحوسبة الخزنية
• إسقاط عشوائي
• مصفوفة عشوائية