التحكم بالتعلم الآلي

يُعدّ التحكم بالتعلم الآلي ( MLC ) فرعًا من فروع التعلم الآلي ، والتحكم الذكي ، ونظرية التحكم ، ويهدف إلى حلّ مسائل التحكم الأمثل باستخدام أساليب التعلم الآلي. وتتمثل تطبيقاته الرئيسية في الأنظمة غير الخطية المعقدة التي لا تُناسبها أساليب نظرية التحكم الخطي .

تُصادف عادةً أربعة أنواع من المشاكل:

• تحديد معلمات التحكم: يُترجم مصطلح MLC إلى تحديد المعلمات ^{[ 1 ]} إذا كانت بنية قانون التحكم معروفة ولكن المعلمات غير معروفة. ومن الأمثلة على ذلك الخوارزمية الجينية لتحسين معاملات وحدة التحكم PID ^{[ 2 ]} أو التحكم الأمثل المتقطع زمنيًا ^{[ 3 ] .}
• تصميم التحكم كمسألة انحدار من النوع الأول: تُقارب طريقة التحكم متعدد المستويات (MLC) عملية ربط غير خطية عامة من إشارات المستشعرات إلى أوامر التشغيل، إذا كانت إشارات المستشعرات وأمر التشغيل الأمثل معروفة لكل حالة. ومن الأمثلة على ذلك حساب تغذية المستشعرات الراجعة من تغذية راجعة كاملة معروفة للحالة . وتُستخدم الشبكات العصبية عادةً لمثل هذه المهام. ^{[ 4 ]}
• تصميم التحكم كمسألة انحدار من النوع الثاني: قد تحدد تقنية التحكم متعدد المستويات (MLC) قوانين تحكم غير خطية عشوائية تُقلل دالة التكلفة للنظام. في هذه الحالة، لا يلزم معرفة النموذج، أو بنية قانون التحكم، أو أمر التشغيل الأمثل. يعتمد التحسين فقط على أداء التحكم (دالة التكلفة) كما يُقاس في النظام. تُعد البرمجة الجينية تقنية انحدار فعالة لهذا الغرض. ^{[ 5 ]}
• التحكم بالتعلم المعزز: يمكن تحديث قانون التحكم باستمرار بناءً على تغيرات الأداء المقاسة (المكافآت) باستخدام التعلم المعزز . ^{[ 6 ] [ 7 ]}

البرمجة الديناميكية التكيفية (ADP)، والمعروفة أيضًا بالبرمجة الديناميكية التقريبية أو البرمجة العصبية الديناميكية، هي أسلوب تحكم يعتمد على التعلم الآلي، ويجمع بين التعلم المعزز والبرمجة الديناميكية لحل مشاكل التحكم الأمثل للأنظمة المعقدة. تعالج ADP مشكلة " لعنة الأبعاد " في البرمجة الديناميكية التقليدية من خلال تقريب دوال القيمة أو سياسات التحكم باستخدام هياكل بارامترية مثل الشبكات العصبية. وتتمحور الفكرة الأساسية حول تعلم سياسة تحكم تُقلل دالة التكلفة على المدى الطويل.${\displaystyle J}$، كما هو مُعرَّف ${\displaystyle J(x(t))=\int _{t}^{\infty }e^{-\gamma (\tau -t)}r(x(\tau ),u(\tau ))\,d\tau }$، أين${\displaystyle x}$حالة النظام،${\displaystyle u}$هو مدخل التحكم،${\displaystyle r}$المكافأة الفورية، و${\displaystyle \gamma }$هو عامل خصم. يستخدم ADP مكونين متفاعلين: ناقد يُقدّر دالة القيمة${\displaystyle V(x)\approx J(x)}$وفاعل يقوم بتحديث سياسة التحكم${\displaystyle u(x)}$يتم تدريب الناقد والممثل بشكل متكرر باستخدام التعلم الزمني التفاضلي أو التدرج الهبوطي لتحقيق معادلة هاميلتون-جاكوبي-بيلمان (HJB) :  

 ${\displaystyle \min _{u}\left(r(x,u)+{\frac {\partial V}{\partial x}}f(x,u)\right)=0,}$

أين${\displaystyle f(x,u)}$يصف ديناميكيات النظام. تشمل المتغيرات الرئيسية البرمجة الديناميكية الاستدلالية (HDP)، والبرمجة الاستدلالية المزدوجة (DHP)، والبرمجة الاستدلالية المزدوجة المعممة (GDHP). ^{[ 7 ]}

تم تطبيق منهجية البرمجة الديناميكية التكيفية (ADP) في مجالات الروبوتات وأنظمة الطاقة والمركبات ذاتية القيادة، حيث توفر إطار عمل قائم على البيانات للتحكم شبه الأمثل دون الحاجة إلى نماذج كاملة للنظام. ولا تزال هناك تحديات في ضمان استقرار الأنظمة غير الخطية العامة وتقاربها.  

تم تطبيق تقنية التحكم متعدد المستويات (MLC) بنجاح على العديد من مسائل التحكم غير الخطي، لاستكشاف آليات التشغيل غير المعروفة وغير المتوقعة في كثير من الأحيان. ومن أمثلة التطبيقات ما يلي:

• التحكم في وضعية المركبة الفضائية ، ^{[ 8 ]}
• التحكم الحراري في المباني، ^{[ 9 ]}
• التحكم في الاضطراب عن طريق التغذية الراجعة ، ^{[ 2 ] [ 10 ]}
• والمركبات التي يتم تشغيلها عن بعد تحت الماء . ^{[ 11 ]}

تم تلخيص العديد من تطبيقات الهندسة الأخرى لتقنية MLC في المقالة الاستعراضية التي كتبها بي جيه فليمنج و آر سي بورشهاوس (2002). ^{[ 12 ]}

كما هو الحال بالنسبة لجميع الطرق غير الخطية العامة، فإن MLC لا يضمن التقارب أو الأمثلية أو المتانة لمجموعة من ظروف التشغيل.

• التعلم المعزز