التعلم المعزز

في مجال التعلم الآلي والتحكم الأمثل ، يهتم التعلم المعزز بكيفية اتخاذ الوكيل الذكي للإجراءات في بيئة ديناميكية بهدف تعظيم إشارة المكافأة . يُعد التعلم المعزز أحد النماذج الأساسية الثلاثة للتعلم الآلي ، إلى جانب التعلم الخاضع للإشراف والتعلم غير الخاضع للإشراف .

بينما تسعى خوارزميات التعلم الخاضع للإشراف والتعلم غير الخاضع للإشراف على التوالي إلى اكتشاف الأنماط في البيانات المصنفة وغير المصنفة، فإن التعلم المعزز يتضمن تدريب عامل من خلال التفاعل مع بيئته. ولتحقيق أقصى استفادة من هذه التفاعلات، يتخذ العامل قرارات بين تجربة إجراءات جديدة لاكتساب المزيد من المعرفة حول البيئة (الاستكشاف)، أو استخدام المعرفة الحالية بالبيئة لاتخاذ أفضل إجراء (الاستغلال). ^{[ 1 ]} يُعرف البحث عن التوازن الأمثل بين هاتين الاستراتيجيتين بمعضلة الاستكشاف والاستغلال .

تُصاغ البيئة عادةً على شكل عملية قرار ماركوف ، حيث تستخدم العديد من خوارزميات التعلم المعزز تقنيات البرمجة الديناميكية . ^{[ 2 ]} ويكمن الاختلاف الرئيسي بين أساليب البرمجة الديناميكية التقليدية وخوارزميات التعلم المعزز في أن الأخيرة لا تفترض معرفة نموذج رياضي دقيق لعملية قرار ماركوف، وتستهدف عمليات قرار ماركوف الكبيرة حيث تصبح الأساليب الدقيقة غير مجدية. ^{[ 3 ]}

مبادئ

نظراً لعموميتها، تُدرس تقنية التعلم المعزز في العديد من التخصصات، مثل نظرية الألعاب ، ونظرية التحكم ، وبحوث العمليات ، ونظرية المعلومات ، والتحسين القائم على المحاكاة ، وأنظمة الوكلاء المتعددين ، وذكاء الأسراب ، والإحصاء . في أدبيات بحوث العمليات والتحكم، يُطلق على التعلم المعزز اسم البرمجة الديناميكية التقريبية ، أو البرمجة العصبية الديناميكية. كما دُرست المشكلات ذات الأهمية في التعلم المعزز في نظرية التحكم الأمثل ، التي تُعنى في المقام الأول بوجود الحلول المثلى وتوصيفها، وخوارزميات حسابها بدقة، وبدرجة أقل بالتعلم أو التقريب (خاصةً في غياب نموذج رياضي للبيئة).

يتم نمذجة التعلم المعزز الأساسي كعملية قرار ماركوف :

مجموعة من حالات البيئة والعامل (فضاء الحالة)، ${\mathcal {S}}$ ؛
مجموعة من الإجراءات (مساحة الإجراءات)، ${\mathcal {A}}$ ، من الوكيل؛
$P_{a}(s,s')=\Pr(S_{t+1}{=}s'\mid S_{t}{=}s,A_{t}{=}a)$ ، احتمالية الانتقال (عند الزمن $t$ ) من الولاية $s$ للتصريح $s'$ قيد الإجراء $a$ .
$R_{a}(s,s')$ ، المكافأة الفورية بعد الانتقال من $s$ ل $s'$ قيد الإجراء $a$ .

يهدف التعلم المعزز إلى تمكين الكائن من تعلم سياسة مثلى (أو شبه مثلى) تُعظّم دالة المكافأة أو أي إشارة تعزيز أخرى يُقدمها المستخدم وتتراكم من المكافآت الفورية. وهذا يُشبه العمليات التي تحدث في علم نفس الحيوان. فعلى سبيل المثال، تُبرمج أدمغة الحيوانات على تفسير إشارات مثل الألم والجوع كتعزيزات سلبية، وتفسير المتعة وتناول الطعام كتعزيزات إيجابية. وفي بعض الحالات، تتعلم الحيوانات تبني سلوكيات تُحسّن هذه المكافآت. وهذا يُشير إلى قدرة الحيوانات على التعلم المعزز. ^{[ 4 ]}^{[ 5 ]}

يتفاعل عامل التعلم المعزز الأساسي مع بيئته في خطوات زمنية منفصلة. في كل خطوة زمنية $t$ ، يتلقى العامل الحالة الحالية $S_{t}$ والمكافأة $R_{t}$ ثم يختار إجراءً $A_{t}$ من مجموعة الإجراءات المتاحة، والتي تُرسل لاحقًا إلى البيئة. تنتقل البيئة إلى حالة جديدة. $S_{t+1}$ والمكافأة $R_{t+1}$ مرتبط بالانتقال $(S_{t},A_{t},S_{t+1})$ يتم تحديده. هدف وكيل التعلم المعزز هو تعلم سياسة :

${\displaystyle {\begin{aligned}&\pi$

الذي يحقق أقصى قدر من المكافأة التراكمية المتوقعة.

إن صياغة المشكلة كعملية قرار ماركوفية تفترض أن العامل يلاحظ الحالة البيئية الحالية مباشرةً؛ وفي هذه الحالة، يُقال إن المشكلة تتمتع بملاحظة كاملة . أما إذا كان العامل لا يملك سوى مجموعة فرعية من الحالات، أو إذا كانت الحالات المرصودة مشوشة، فيُقال إن العامل يتمتع بملاحظة جزئية ، ويجب صياغة المشكلة رسميًا كعملية قرار ماركوفية ذات ملاحظة جزئية . في كلتا الحالتين، يمكن تقييد مجموعة الإجراءات المتاحة للعامل. على سبيل المثال، يمكن تقييد حالة رصيد الحساب لتكون موجبة؛ فإذا كانت القيمة الحالية للحالة 3، وحاولت عملية الانتقال بين الحالات تقليل القيمة بمقدار 4، فلن يُسمح بالانتقال.

عند مقارنة أداء الوكيل بأداء وكيل يتصرف على النحو الأمثل، ينتج عن الفرق في الأداء مفهوم الندم . ولكي يتصرف الوكيل على نحو شبه أمثل، عليه أن يفكر في العواقب طويلة الأجل لأفعاله (أي تعظيم المكافآت المستقبلية)، على الرغم من أن المكافأة الفورية المرتبطة بذلك قد تكون سلبية.

لذا، يُعدّ التعلّم المعزز مناسبًا بشكل خاص للمشكلات التي تتضمن مفاضلة بين المكافآت طويلة الأجل وقصيرة الأجل. وقد طُبّق بنجاح على مشكلات متنوعة، منها تخزين الطاقة ، ^{[ 6 ]} والتحكم في الروبوتات ، ^{[ 7 ]} والمولدات الكهروضوئية ، ^{[ 8 ]} ولعبة الطاولة ، ولعبة الداما ، ^{[ 9 ]} ولعبة غو ( ألفا غو )، وأنظمة القيادة الذاتية . ^{[ 10 ]}

هناك عنصران أساسيان يجعلان التعلم المعزز فعالاً: استخدام العينات لتحسين الأداء، واستخدام تقريب الدوال للتعامل مع البيئات الكبيرة. وبفضل هذين العنصرين الرئيسيين، يمكن استخدام التعلم المعزز في البيئات الكبيرة في الحالات التالية:

يوجد نموذج معروف للبيئة، ولكن لا يوجد حل تحليلي متاح؛
يتم تقديم نموذج محاكاة للبيئة فقط (موضوع التحسين القائم على المحاكاة )؛ ^{[ 11 ]}
إن الطريقة الوحيدة لجمع المعلومات عن البيئة هي التفاعل معها.

يمكن اعتبار المشكلتين الأوليين من هذه المشكلات مشكلات تخطيط (لوجود نموذج ما)، بينما يمكن اعتبار الأخيرة مشكلة تعلم حقيقية. مع ذلك، يحوّل التعلم المعزز كلا مشكلتي التخطيط إلى مشكلات تعلم آلي .

استكشاف

تمت دراسة المفاضلة بين الاستكشاف والاستغلال بشكل شامل من خلال مشكلة قطاع الطرق متعددي الأذرع وعمليات اتخاذ القرار ماركوف ذات فضاء الحالة المحدود في بورنيتاس وكاتيهاكيس (1997). ^{[ 12 ]}

يتطلب التعلم المعزز آليات استكشاف ذكية؛ إذ يُظهر اختيار الإجراءات عشوائيًا، دون الرجوع إلى توزيع احتمالي مُقدَّر، أداءً ضعيفًا. تُعدّ حالة عمليات اتخاذ القرار الماركوفية المحدودة (الصغيرة) مفهومة جيدًا نسبيًا. مع ذلك، ونظرًا لقلة الخوارزميات التي تتناسب جيدًا مع عدد الحالات (أو تتناسب مع المشكلات ذات فضاءات الحالات اللانهائية)، فإن أساليب الاستكشاف البسيطة هي الأكثر عملية.

إحدى هذه الطرق هي $\varepsilon$ -جشع، حيث $0<\varepsilon <1$ هو مُعامل يتحكم في مقدار الاستكشاف مقابل الاستغلال. باحتمالية $1-\varepsilon$ يتم اختيار الاستغلال، ويختار الفاعل الإجراء الذي يعتقد أنه يحقق أفضل تأثير على المدى الطويل (يتم حل التعادلات بين الإجراءات بشكل عشوائي متساوٍ). أو باحتمال $\varepsilon$ يتم اختيار الاستكشاف، ويتم اختيار الإجراء بشكل عشوائي وموحد. $\varepsilon$ عادةً ما يكون هذا المعامل ثابتًا، ولكن يمكن تعديله إما وفقًا لجدول زمني (مما يجعل العامل يستكشف بشكل أقل تدريجيًا)، أو بشكل تكيفي بناءً على قواعد استدلالية. ^{[ 13 ]}

خوارزميات لتعلم التحكم

حتى لو تم تجاهل مسألة الاستكشاف وحتى لو كانت الحالة قابلة للملاحظة (كما هو مفترض فيما يلي)، فإن المشكلة تظل قائمة في استخدام الخبرة السابقة لمعرفة الإجراءات التي تؤدي إلى مكافآت تراكمية أعلى.

معيار الأمثلية

سياسة

يتم نمذجة اختيار الإجراء الخاص بالوكيل على شكل خريطة تسمى السياسة : ${\displaystyle {\begin{aligned}&\pi$

توضح خريطة السياسات احتمالية اتخاذ إجراء $a$ عندما يكون في الولاية $s$ [ ^{14 ]}^:⁶¹ توجد أيضًا سياسات ^حتمية $\pi$ والتي $\pi (s)$ يشير إلى الإجراء الذي ينبغي اتخاذه في الدولة $s$ .

دالة قيمة الحالة

دالة قيمة الحالة $V_{\pi }(s)$ يُعرَّف بأنه العائد المتوقع المخصوم الذي يبدأ من الولاية $s$ ، أي $S_{0}=s$ واتباع السياسة تباعاً $\pi$ وبالتالي، وبشكل تقريبي، تُقدّر دالة القيمة مدى "جودة" التواجد في حالة معينة. ^{[ 14 ]}^{: 60}

$V_{\pi }(s)=\operatorname {\mathbb {E} } [G\mid S_{0}{=}s]=\operatorname {\mathbb {E} } \left[\sum _{t=0}^{\infty }\gamma ^{t}R_{t+1}\mid S_{0}{=}s\right],$

حيث المتغير العشوائي $G$ يشير إلى العائد المخصوم ، ويُعرَّف بأنه مجموع المكافآت المستقبلية المخصومة:

$G=\sum _{t=0}^{\infty }\gamma ^{t}R_{t+1}=R_{1}+\gamma R_{2}+\gamma ^{2}R_{3}+\cdots ,$

أين $R_{t+1}$ هي مكافأة الانتقال من حالة $S_{t}$ ل $S_{t+1}$ ، $0\leq \gamma <1$ هو معدل الخصم . $\gamma$ إذا كانت القيمة أقل من 1، فإن المكافآت في المستقبل البعيد لها وزن أقل من المكافآت في المستقبل القريب.

يجب على الخوارزمية إيجاد سياسة ذات أعلى عائد متوقع مُخصوم. من نظرية عمليات اتخاذ القرار ماركوف، من المعروف أنه دون فقدان للعمومية، يمكن حصر البحث في مجموعة ما يُسمى بالسياسات الثابتة . تُعتبر السياسة ثابتة إذا كان توزيع الإجراءات الناتج عنها يعتمد فقط على الحالة الأخيرة التي تمت زيارتها (من سجل وكيل المراقبة). يمكن حصر البحث بشكل أكبر في السياسات الثابتة الحتمية . تختار السياسة الثابتة الحتمية الإجراءات بشكل حتمي بناءً على الحالة الحالية. بما أنه يمكن تحديد أي سياسة من هذا القبيل من خلال دالة تربط مجموعة الحالات بمجموعة الإجراءات، فإنه يمكن تحديد هذه السياسات بهذه الدوال دون فقدان للعمومية.

القوة الغاشمة

يتضمن أسلوب القوة الغاشمة خطوتين :

لكل سياسة ممكنة، يتم عرض نماذج العوائد أثناء اتباعها.
اختر وثيقة التأمين التي تحقق أكبر عائد متوقع بعد الخصم

إحدى المشكلات في هذا الأسلوب هي أن عدد السياسات قد يكون كبيرًا، أو حتى لا نهائيًا. مشكلة أخرى هي أن تباين العوائد قد يكون كبيرًا، مما يتطلب عينات كثيرة لتقدير العائد المخصوم لكل سياسة بدقة.

يمكن التخفيف من هذه المشكلات إذا افترضنا وجود بنية معينة وسمحنا للعينات المُولَّدة من سياسة واحدة بالتأثير على التقديرات المُعدّة لسياسات أخرى. والنهجان الرئيسيان لتحقيق ذلك هما تقدير دالة القيمة والبحث المباشر عن السياسة .

دالة القيمة

تحاول مناهج دالة القيمة إيجاد سياسة تعظم العائد المخصوم من خلال الحفاظ على مجموعة من تقديرات العوائد المخصومة المتوقعة $\operatorname {\mathbb {E} } [G]$ بالنسبة لبعض السياسات (عادةً إما السياسة "الحالية" [المطبقة] أو السياسة المثلى [غير المطبقة]).

تعتمد هذه الأساليب على نظرية عمليات اتخاذ القرار ماركوف، حيث يُعرَّف مفهوم الأمثلية هنا بتعريف أقوى من التعريف السابق: تُعتبر السياسة مثلى إذا حققت أفضل عائد متوقع مُخصوم من أي حالة ابتدائية (أي أن التوزيعات الأولية لا تُؤثر في هذا التعريف). ومرة أخرى، يمكن دائمًا إيجاد سياسة مثلى بين السياسات الثابتة.

لتعريف الأمثلية بطريقة رسمية، حدد قيمة الحالة للسياسة $\pi$ بواسطة

$V^{\pi }(s)=\operatorname {\mathbb {E} } [G\mid s,\pi ],$

أين $G$ يرمز إلى العائد المخفض المرتبط بما يلي $\pi$ من الحالة الأولية $s$ تعريف $V^{*}(s)$ باعتبارها القيمة القصوى الممكنة للحالة $V^{\pi }(s)$ ، أين $\pi$ يُسمح بالتغيير،

$V^{*}(s)=\max _{\pi }V^{\pi }(s).$

تُسمى السياسة التي تحقق هذه القيم المثلى للحالة في كل حالة بالسياسة المثلى . ومن الواضح أن السياسة المثلى بهذا المعنى هي أيضاً مثلى بمعنى أنها تُعظم العائد المتوقع المخصوم، لأن $V^{*}(s)=\max _{\pi }\mathbb {E} [G\mid s,\pi ]$ ، أين $s$ هي حالة تم اختيارها عشوائياً من التوزيع $\mu$ من الحالات الأولية (لذا $\mu (s)=\Pr(S_{0}=s)$ ).

على الرغم من أن قيم الحالة تكفي لتحديد الأمثلية، إلا أنه من المفيد تحديد قيم الفعل. بالنظر إلى حالة معينة $s$ ، إجراء $a$ وسياسة $\pi$ ، قيمة الفعل للزوج $(s,a)$ تحت $\pi$ يتم تعريفها بواسطة

$Q^{\pi }(s,a)=\operatorname {\mathbb {E} } [G\mid s,a,\pi ],$

أين $G$ يشير الآن إلى العائد المخفض العشوائي المرتبط باتخاذ الإجراء الأول $a$ في الولاية $s$ وبعد ذلك $\pi$ وبعد ذلك.

تنص نظرية عمليات اتخاذ القرار ماركوف على أنه إذا $\pi ^{*}$ إذا كانت السياسة المثلى هي سياسة مثالية، فإننا نتصرف على النحو الأمثل (نتخذ الإجراء الأمثل) باختيار الإجراء من $Q^{\pi ^{*}}(s,\cdot )$ مع أعلى قيمة فعلية في كل ولاية، $s$ دالة قيمة الفعل لمثل هذه السياسة المثلى ( $Q^{\pi ^{*}}$ تُسمى هذه الدالة دالة القيمة المثلى للفعل، ويُشار إليها عادةً بالرمز ( ). $Q^{*}$ باختصار، إن معرفة دالة القيمة المثلى للفعل وحدها تكفي لمعرفة كيفية التصرف على النحو الأمثل.

بافتراض المعرفة الكاملة بعملية اتخاذ القرار ماركوف، فإن النهجين الأساسيين لحساب دالة القيمة المثلى للفعل هما تكرار القيمة وتكرار السياسة . تحسب كلتا الخوارزميتين سلسلة من الدوال. $Q_{k}$ ( $k=0,1,2,\ldots$ ) التي تتقارب إلى $Q^{*}$ يتطلب حساب هذه الدوال حساب التوقعات على كامل فضاء الحالة، وهو أمر غير عملي إلا في عمليات اتخاذ القرار الماركوفية الصغيرة (المحدودة). في أساليب التعلم المعزز، تُقارب التوقعات عن طريق حساب المتوسط على العينات واستخدام تقنيات تقريب الدوال للتعامل مع الحاجة إلى تمثيل دوال القيمة على فضاءات الحالة والفعل الكبيرة.

أساليب مونت كارلو

تُستخدم طرق مونت كارلو ^{[ 15 ]} لحل مسائل التعلم المعزز عن طريق حساب متوسط العوائد من العينات. على عكس الطرق التي تتطلب معرفة كاملة بديناميكيات البيئة، تعتمد طرق مونت كارلو كليًا على الخبرة الفعلية أو المحاكاة - أي تسلسلات الحالات والإجراءات والمكافآت المُستمدة من التفاعل مع البيئة. وهذا ما يجعلها قابلة للتطبيق في الحالات التي تكون فيها الديناميكيات الكاملة غير معروفة. لا يتطلب التعلم من الخبرة الفعلية معرفة مسبقة بالبيئة، ومع ذلك يمكن أن يؤدي إلى السلوك الأمثل. عند استخدام الخبرة المحاكاة، يكفي وجود نموذج قادر على توليد انتقالات العينات، بدلًا من تحديد كامل لاحتمالات الانتقال ، وهو أمر ضروري لطرق البرمجة الديناميكية .

تُطبَّق أساليب مونت كارلو على المهام العرضية، حيث تُقسَّم التجربة إلى حلقات تنتهي في نهاية المطاف. ولا تُحدَّث السياسة ودالة القيمة إلا بعد اكتمال الحلقة، مما يجعل هذه الأساليب تراكمية على أساس كل حلقة على حدة، وليس على أساس خطوة بخطوة (مباشرة). ويشير مصطلح "مونت كارلو" عمومًا إلى أي أسلوب يتضمن أخذ عينات عشوائية ؛ إلا أنه في هذا السياق، يشير تحديدًا إلى الأساليب التي تحسب المتوسطات من العوائد الكاملة ، وليس من العوائد الجزئية .

تعمل هذه الأساليب بطريقة مشابهة لخوارزميات قطاع الطرق ، حيث يتم حساب متوسط العوائد لكل زوج من الحالة والفعل. ويكمن الاختلاف الرئيسي في أن الأفعال المتخذة في حالة ما تؤثر على عوائد الحالات اللاحقة ضمن نفس الحلقة، مما يجعل المشكلة غير مستقرة . ولمعالجة هذه المشكلة، تستخدم أساليب مونت كارلو إطار عمل تكرار السياسة العامة (GPI). فبينما تحسب البرمجة الديناميكية دوال القيمة باستخدام معرفة كاملة بعملية اتخاذ القرار ماركوف، تتعلم أساليب مونت كارلو هذه الدوال من خلال عوائد العينات. وتتفاعل دوال القيمة والسياسات بطريقة مشابهة للبرمجة الديناميكية لتحقيق الأمثلية ، حيث تعالج أولاً مشكلة التنبؤ ثم تمتد إلى تحسين السياسة والتحكم فيها، وكل ذلك بناءً على الخبرة المكتسبة من العينات. ^{[ 14 ]}

أساليب الفرق الزمني

تُحل المشكلة الأولى بالسماح للإجراء بتغيير السياسة (في بعض الحالات أو جميعها) قبل استقرار القيم. قد يُشكل هذا أيضًا إشكالية لأنه قد يمنع التقارب. تتبع معظم الخوارزميات الحالية هذا النهج، مما أدى إلى ظهور فئة خوارزميات تكرار السياسة المعممة . تنتمي العديد من طرق الممثل-الناقد إلى هذه الفئة.

يمكن معالجة المشكلة الثانية بالسماح للمسارات بالمساهمة في أي زوج من الحالة والفعل. قد يُسهم هذا أيضًا إلى حد ما في حل المشكلة الثالثة، مع أن الحل الأمثل عند ارتفاع تباين العوائد هو استخدام طرق ساتون للفروق الزمنية (TD) القائمة على معادلة بيلمان التكرارية . ^{[ 16 ]}^{[ 17 ]} يمكن أن تكون الحسابات في طرق الفروق الزمنية تزايدية (حيث يتم تغيير الذاكرة بعد كل انتقال ويتم تجاهل الانتقال)، أو دفعية (حيث يتم تجميع الانتقالات في دفعات ويتم حساب التقديرات مرة واحدة بناءً على الدفعة). قد تستخدم الطرق الدفعية، مثل طريقة الفروق الزمنية للمربعات الصغرى، ^{[ 18 ]} المعلومات الموجودة في العينات بشكل أفضل، بينما تُعد الطرق التزايدية الخيار الوحيد عندما تكون الطرق الدفعية غير عملية نظرًا لتعقيدها الحسابي أو الذاكري العالي. تحاول بعض الطرق الجمع بين النهجين. كما تتغلب الطرق القائمة على الفروق الزمنية على المشكلة الرابعة.

تتمثل مشكلة أخرى خاصة بـ TD في اعتمادها على معادلة بيلمان التكرارية. تحتوي معظم طرق TD على ما يسمى $\lambda$ المعلمة $(0\leq \lambda \leq 1)$ يمكن لهذا الأسلوب أن يُجري استيفاءً مستمراً بين طرق مونت كارلو التي لا تعتمد على معادلات بيلمان وطرق TD الأساسية التي تعتمد كلياً على معادلات بيلمان. وهذا قد يكون فعالاً في التخفيف من هذه المشكلة.

طرق تقريب الدوال

لمعالجة المسألة الخامسة، تُستخدم طرق تقريب الدوال . يبدأ تقريب الدوال الخطية بعملية تحويل. $\phi$ يُعيّن هذا متجهًا محدود الأبعاد لكل زوج من الحالة والفعل. ثم، قيم الفعل لزوج الحالة والفعل $(s,a)$ يتم الحصول عليها من خلال الجمع الخطي لمكونات $\phi (s,a)$ مع بعض الأوزان $\theta$ :

$Q(s,a)=\sum _{i=1}^{d}\theta _{i}\phi _{i}(s,a).$

تقوم الخوارزميات بعد ذلك بتعديل الأوزان، بدلاً من تعديل القيم المرتبطة بأزواج الحالة والفعل الفردية. وقد تم استكشاف طرق تعتمد على أفكار من الإحصاءات اللامعلمية (والتي يمكن اعتبارها قادرة على بناء خصائصها الخاصة).

يمكن أيضًا استخدام تكرار القيمة كنقطة انطلاق، مما أدى إلى ظهور خوارزمية التعلم Q والعديد من متغيراتها. ^{[ 19 ]} بما في ذلك طرق التعلم العميق Q عندما تُستخدم شبكة عصبية لتمثيل Q، مع تطبيقات متنوعة في مسائل البحث العشوائي. ^{[ 20 ]}

تكمن مشكلة استخدام قيم الأفعال في أنها قد تتطلب تقديرات دقيقة للغاية لقيم الأفعال المتنافسة، وهو أمر يصعب تحقيقه عندما تكون العوائد غير مستقرة، مع أن هذه المشكلة تُخفف إلى حد ما باستخدام طرق الفروق الزمنية. أما استخدام ما يُسمى بطريقة تقريب الدالة المتوافقة فيؤثر سلبًا على عمومية النتائج وكفاءتها.

البحث المباشر عن السياسات

ثمة طريقة بديلة تتمثل في البحث مباشرةً في (مجموعة فرعية من) فضاء السياسات، وفي هذه الحالة تصبح المسألة مسألة تحسين عشوائي . والنهجان المتاحان هما: الطرق القائمة على التدرج والطرق غير القائمة على التدرج.

تبدأ الطرق القائمة على التدرج ( طرق تدرج السياسة ) بعملية ربط من فضاء ذي أبعاد محدودة (معلمات) إلى فضاء السياسات: بالنظر إلى متجه المعلمات $\theta$ ، يترك $\pi _{\theta }$ يشير إلى السياسة المرتبطة بـ $\theta$ تحديد دالة الأداء بواسطة $\rho (\theta )=\rho ^{\pi _{\theta }}$ في ظل ظروف معتدلة، ستكون هذه الدالة قابلة للتفاضل كدالة لمتجه المعاملات. $\theta$ إذا كان تدرج $\rho$ لو كان معروفًا، لكان بالإمكان استخدام خوارزمية التدرج الصاعد . ولأن التعبير التحليلي للتدرج غير متوفر، فلا يتوفر سوى تقدير تقريبي. ويمكن بناء هذا التقدير بطرق عديدة، مما أدى إلى ظهور خوارزميات مثل طريقة REINFORCE لويليامز ^{[ 21 ]} (المعروفة باسم طريقة نسبة الاحتمال في أدبيات التحسين القائم على المحاكاة ). ^{[ 22 ]}

تتجنب فئة كبيرة من الطرق الاعتماد على معلومات التدرج. وتشمل هذه الطرق التلدين المحاكي ، والبحث عن الإنتروبيا المتقاطعة، وطرق الحوسبة التطورية . ويمكن للعديد من الطرق غير المعتمدة على التدرج أن تحقق (نظريًا وفي النهاية) الحل الأمثل العالمي.

قد تتقارب أساليب البحث عن السياسات ببطء في حال وجود بيانات مشوشة. على سبيل المثال، يحدث هذا في المسائل العرضية عندما تكون المسارات طويلة ويكون تباين العوائد كبيرًا. قد تساعد الأساليب القائمة على دالة القيمة والتي تعتمد على الفروق الزمنية في هذه الحالة. في السنوات الأخيرة، تم اقتراح أساليب الممثل-الناقد وأثبتت فعاليتها في حل مسائل متنوعة. ^{[ 23 ]}

تم استخدام أساليب البحث عن السياسات في سياق الروبوتات . ^{[ 24 ]} قد تتعثر العديد من أساليب البحث عن السياسات في الحلول المثلى المحلية (لأنها تعتمد على البحث المحلي ).

الخوارزميات القائمة على النماذج

أخيرًا، يمكن دمج جميع الطرق المذكورة أعلاه مع خوارزميات تتعلم أولًا نموذجًا لعملية اتخاذ القرار ماركوف ، أي احتمال كل حالة تالية بناءً على إجراء مُتخذ من حالة حالية. على سبيل المثال، تتعلم خوارزمية Dyna نموذجًا من التجربة، وتستخدمه لتوفير انتقالات مُنمذجة إضافية لدالة القيمة، بالإضافة إلى الانتقالات الفعلية. ^{[ 25 ]} يمكن أحيانًا توسيع نطاق هذه الطرق لتشمل استخدام نماذج غير بارامترية، كما هو الحال عند تخزين الانتقالات ببساطة وإعادة تشغيلها لخوارزمية التعلم. ^{[ 26 ]}

قد تكون الطرق القائمة على النماذج أكثر كثافة حسابية من الطرق غير القائمة على النماذج، ويمكن أن تكون فائدتها محدودة بمدى إمكانية تعلم عملية اتخاذ القرار ماركوف. ^{[ 27 ]}

توجد طرق أخرى لاستخدام النماذج غير تحديث دالة القيمة. ^{[ 28 ]} على سبيل المثال، في التحكم التنبؤي بالنموذج ، يُستخدم النموذج لتحديث السلوك مباشرةً.

التعلم المعزز الخاضع للإشراف الجزئي (PSRL)

يمكن تقليل عملية الاستكشاف المكلفة اللازمة لتعلم السياسة المثلى إذا توفرت بعض البيانات الخاضعة للإشراف. ويمكن تحقيق ذلك، على سبيل المثال، من خلال تعلم سياسة تحكم أولية واستخدامها لتهيئة جدول Q بذكاء بدلاً من استخدام الأصفار. ^{[ 29 ]}

نظرية

إن سلوك معظم الخوارزميات، سواءً في الحالة التقاربية أو في العينات المحدودة، مفهوم جيداً. كما أن هناك خوارزميات معروفة ذات أداء جيد عبر الإنترنت يمكن إثباته (أي بطريقة يمكن إثباتها) (مما يعالج مشكلة الاستكشاف).

تم تقديم استكشاف فعال لعمليات اتخاذ القرار ماركوف في دراسة بورنيتاس وكاتيهاكيس (1997). ^{[ 12 ]} كما ظهرت حدود أداء زمنية محدودة للعديد من الخوارزميات، ولكن من المتوقع أن تكون هذه الحدود فضفاضة إلى حد ما، وبالتالي يلزم إجراء المزيد من العمل لفهم المزايا والقيود النسبية بشكل أفضل.

بالنسبة للخوارزميات التزايدية، تم حل مشكلات التقارب التقاربي. تتقارب الخوارزميات القائمة على الفروق الزمنية في ظل مجموعة أوسع من الشروط مما كان ممكناً سابقاً (على سبيل المثال، عند استخدامها مع تقريب دالة سلسة عشوائية).

بحث

تشمل مواضيع البحث ما يلي:

بنية الممثل الناقد ^{[ 30 ]}
هندسة الممثل-الناقد-المشهد ^{[ 3 ]}
الأساليب التكيفية التي تعمل بعدد أقل من المعلمات (أو بدون معلمات) في ظل عدد كبير من الظروف
اكتشاف الأخطاء في مشاريع البرمجيات ^{[ 31 ]}
التعلم المستمر
[34] [32] [33] [34 ] [35] [36 ^]^{[ 37} ] [38] [39] [31 ] [ ³²^]^[ 32 ] [33] ^{[ 34 ]}
الاستكشاف في عمليات اتخاذ القرار ماركوف الكبيرة
التعلم المعزز القائم على الكيانات ^{[ 35 ]}^{[ 36 ]}^{[ 37 ]}
التغذية الراجعة البشرية ^{[ 38 ]}
التفاعل بين التعلم الضمني والصريح في اكتساب المهارات
الدافع الذاتي الذي يميز السلوكيات القائمة على البحث عن المعلومات والفضول عن السلوكيات الموجهة نحو الهدف والمرتبطة بالمهام، والتقييمات التجريبية واسعة النطاق.
مساحات عمل كبيرة (أو متصلة)
التعلم المعزز المعياري والهرمي ^{[ 39 ]}
يُعدّ التعلّم المعزز متعدد العوامل/الموزع موضوعًا ذا أهمية. وتتوسع تطبيقاته باستمرار. ^{[ 40 ]}
التحكم المتمحور حول الراكب
تحسين موارد الحوسبة ^{[ 41 ]}^{[ 42 ]}^{[ 43 ]}
معلومات جزئية (على سبيل المثال، باستخدام تمثيل الحالة التنبؤي )
دالة المكافأة القائمة على تعظيم المعلومات الجديدة ^{[ 44 ]}^{[ 45 ]}^{[ 46 ]}
التخطيط القائم على العينات (على سبيل المثال، بناءً على بحث شجرة مونت كارلو ).
تداول الأوراق المالية ^{[ 47 ]}
التعلم الانتقالي ^{[ 48 ]}
نموذج التعلم القائم على الدوبامين في الدماغ. تتمثل وظيفة الإسقاطات الدوبامينية من المادة السوداء إلى العقد القاعدية في خطأ التنبؤ.
أساليب البحث عن دالة القيمة والسياسة

مقارنة الخوارزميات الرئيسية

يسرد الجدول التالي الخوارزميات الرئيسية لتعلم سياسة ما بناءً على عدة معايير:

يمكن أن تكون الخوارزمية متوافقة مع السياسة (حيث تقوم بتحديثات السياسة باستخدام المسارات التي تم أخذ عينات منها عبر السياسة الحالية) ^{[ 49 ]} أو غير متوافقة مع السياسة.
قد تكون مساحة الحركة منفصلة (على سبيل المثال، يمكن أن تكون مساحة الحركة "التحرك لأعلى"، "التحرك لليسار"، "التحرك لليمين"، "التحرك لأسفل"، "البقاء") أو متصلة (على سبيل المثال، تحريك الذراع بزاوية معينة).
قد تكون مساحة الحالة منفصلة (على سبيل المثال، يمكن أن يكون العامل في خلية في شبكة) أو متصلة (على سبيل المثال، يمكن أن يكون العامل موجودًا في موضع معين في المستوى).

الخوارزمية	وصف	سياسة	مساحة العمل	فضاء الحالة	المشغل
مونت كارلو	كل زيارة إلى مونت كارلو	أيضاً	منفصلة	منفصلة	متوسطات العينة لقيم الحالة أو قيم الفعل
TD Learning	الدولة – الفعل – المكافأة – الدولة	مخالفة للسياسة	منفصلة	منفصلة	قيمة الحالة
التعلم المعزز (Q-learning)	الدولة – الفعل – المكافأة – الدولة	مخالفة للسياسة	منفصلة	منفصلة	قيمة الفعل
سارسا	الدولة – الفعل – المكافأة – الدولة – الفعل	وفقًا للسياسة	منفصلة	منفصلة	قيمة الفعل
DQN	شبكة كيو العميقة	مخالفة للسياسة	منفصلة	مستمر	قيمة الفعل
DDPG	تدرج السياسة الحتمية العميقة	مخالفة للسياسة	مستمر	مستمر	قيمة الفعل
A3C	خوارزمية الممثل-الناقد ذات الميزة غير المتزامنة	وفقًا للسياسة	متصل ^{[ 50 ]} أو منفصل	مستمر	الميزة (=قيمة الفعل - قيمة الحالة)
TRPO	تحسين سياسة منطقة الثقة	وفقًا للسياسة	مستمر أو منفصل	مستمر	ميزة
PPO	تحسين السياسة التقريبية	وفقًا للسياسة	مستمر أو منفصل	مستمر	ميزة
TD3	تدرج السياسة الحتمية العميقة المتأخرة المزدوجة	مخالفة للسياسة	مستمر	مستمر	قيمة الفعل
كيس	ممثل-ناقد ناعم	مخالفة للسياسة	مستمر	مستمر	ميزة
DSAC ^{[ 51 ]}^{[ 52 ]}^{[ 53 ]}	ناقد الفاعل الناعم التوزيعي	مخالفة للسياسة	مستمر	مستمر	توزيع قيمة الفعل

التعلم التعزيزي الترابطي

تجمع مهام التعلم المعزز الترابطي بين جوانب مهام أتمتة التعلم العشوائي ومهام تصنيف الأنماط الخاضعة للإشراف. في مهام التعلم المعزز الترابطي، يتفاعل نظام التعلم في حلقة مغلقة مع بيئته. ^{[ 54 ]}

التعلم العميق المعزز

يُوسّع هذا النهج نطاق التعلّم المعزز باستخدام شبكة عصبية عميقة دون الحاجة إلى تصميم فضاء الحالة بشكل صريح. ^{[ 55 ]} وقد زاد العمل الذي قامت به جوجل ديب مايند على تعلّم ألعاب أتاري من الاهتمام بالتعلّم المعزز العميق أو التعلّم المعزز الشامل . ^{[ 56 ]}

التعلم العميق المعزز التنافسي

يُعدّ التعلّم العميق المعزز التنافسي مجالًا بحثيًا نشطًا في مجال التعلّم المعزز، ويركّز على نقاط ضعف السياسات المُتعلّمة. في هذا المجال، أظهرت بعض الدراسات الأولية أن سياسات التعلّم المعزز عُرضة للتلاعبات التنافسية غير الملحوظة. ^{[ 57 ]}^{[ 58 ]}^{[ 59 ]} وبينما اقتُرحت بعض الطرق للتغلب على هذه الثغرات، فقد أظهرت أحدث الدراسات أن هذه الحلول المقترحة لا تُقدّم تمثيلًا دقيقًا لنقاط الضعف الحالية في سياسات التعلّم العميق المعزز. ^{[ 60 ]}

التعلم المعزز الضبابي

بإدخال الاستدلال الضبابي في التعلم المعزز، ^{[ 61 ]} أصبح من الممكن تقريب دالة قيمة الحالة-الفعل باستخدام قواعد ضبابية في فضاء متصل. إن صيغة "إذا - إذن" للقواعد الضبابية تجعل هذا النهج مناسبًا للتعبير عن النتائج بصيغة قريبة من اللغة الطبيعية. يسمح توسيع التعلم المعزز الضبابي باستخدام استيفاء القواعد الضبابية ^{[ 62 ]} باستخدام قواعد ضبابية متفرقة ذات حجم مصغر للتركيز على القواعد الأساسية (أهم قيم الحالة-الفعل).

التعلم المعزز العكسي

في التعلم المعزز العكسي (IRL)، لا تُعطى دالة مكافأة مُسبقًا. بدلًا من ذلك، تُستنتج دالة المكافأة من سلوك مُلاحَظ من خبير. الفكرة هي محاكاة السلوك المُلاحَظ، والذي غالبًا ما يكون مثاليًا أو قريبًا من الأمثل. ^{[ 63 ]} أحد نماذج التعلم المعزز العكسي الشائعة يُسمى التعلم المعزز العكسي ذو الإنتروبيا القصوى (MaxEnt IRL). ^{[ 64 ]} يُقدّر MaxEnt IRL معلمات نموذج خطي لدالة المكافأة عن طريق تعظيم إنتروبيا التوزيع الاحتمالي للمسارات المُلاحَظة، مع مراعاة القيود المتعلقة بمطابقة عدد الميزات المتوقعة. وقد تبيّن مؤخرًا أن MaxEnt IRL هو حالة خاصة من إطار عمل أكثر عمومية يُسمى التعلم المعزز العكسي ذو المنفعة العشوائية (RU-IRL). ^{[ 65 ]} يعتمد RU-IRL على نظرية المنفعة العشوائية وعمليات اتخاذ القرار ماركوف. بينما تفترض مناهج الواقع المعزز العكسي السابقة أن السلوك العشوائي الظاهر للعامل المرصود ناتج عن اتباعه سياسة عشوائية، يفترض نموذج الواقع المعزز العكسي القائم على العشوائية أن العامل المرصود يتبع سياسة حتمية، لكن العشوائية في السلوك المرصود تعود إلى حقيقة أن المراقب لا يملك سوى وصول جزئي إلى الخصائص التي يستخدمها العامل المرصود في اتخاذ القرار. ويتم نمذجة دالة المنفعة كمتغير عشوائي لمراعاة جهل المراقب بالخصائص التي يأخذها العامل المرصود في الاعتبار فعليًا عند تحديد دالة منفعته.

التعلم المعزز متعدد الأهداف

التعلم المعزز متعدد الأهداف (MORL) هو شكل من أشكال التعلم المعزز يهتم بالبدائل المتضاربة. وهو يختلف عن التحسين متعدد الأهداف في أنه يهتم بالعوامل التي تعمل في بيئات مختلفة. ^{[ 66 ]}^{[ 67 ]}

التعلم المعزز الآمن

يمكن تعريف التعلم المعزز الآمن (SRL) بأنه عملية تعلم السياسات التي تزيد من توقع العائد في المشكلات التي من المهم فيها ضمان أداء معقول للنظام و/أو مراعاة قيود السلامة أثناء عمليات التعلم و/أو النشر. ^{[ 68 ]}^{[ 69 ]} ويُعدّ التعلم المعزز المتجنب للمخاطر نهجًا بديلًا، حيث يتم فيه تحسين مقياس مخاطر العائد، مثل القيمة الشرطية المعرضة للخطر (CVaR)، بدلًا من العائد المتوقع . ^[⁷⁰^] وبالإضافة إلى تخفيف المخاطر، يزيد هدف CVaR من متانة النموذج في مواجهة حالات عدم اليقين. ^[⁷¹^]^[⁷²^] ومع ذلك، يتطلب تحسين CVaR في التعلم المعزز المتجنب للمخاطر عناية خاصة، لمنع تحيز التدرج ^[⁷³^] والعمى عن النجاح. ^[⁷⁴^]

التعلم بالتعزيز الذاتي

التعلم بالتعزيز الذاتي (أو التعلم الذاتي)، هو نموذج تعليمي لا يستخدم مفهوم المكافأة الفورية $R_{a}(s,s')$ بعد الانتقال من $s$ ل $s'$ مع الحركة $a$ لا يعتمد هذا الأسلوب على تعزيز خارجي، بل على التعزيز الذاتي الداخلي للعامل. ويتم توفير هذا التعزيز الذاتي الداخلي من خلال آلية المشاعر والأحاسيس. وفي عملية التعلم، تنتشر الأحاسيس عكسيًا عبر آلية تعزيز ثانوي. ولا تتضمن معادلة التعلم المكافأة الفورية، بل تقتصر على تقييم الحالة.

تقوم خوارزمية التعزيز الذاتي بتحديث مصفوفة الذاكرة $W=\|w(a,s)\|$ بحيث يتم في كل تكرار تنفيذ روتين التعلم الآلي التالي:

في حالة $s$ تنفيذ الإجراء $a$ .
تلقي تبعات الموقف $s'$ .
تقييم حالة الحساب $v(s')$ مدى روعة التواجد في موقف العواقب $s'$ .
تحديث ذاكرة التقاطع $w'(a,s)=w(a,s)+v(s')$ .

تُستقبل الشروط الأولية للذاكرة كمدخلات من البيئة الجينية. وهو نظام ذو مدخل واحد فقط (موقف)، ومخرج واحد فقط (فعل أو سلوك).

طُرح مفهوم التعزيز الذاتي (التعلم الذاتي) عام ١٩٨٢ بالتزامن مع شبكة عصبية قادرة على التعلم بالتعزيز الذاتي، تُسمى مصفوفة التكيف المتقاطعة (CAA). ^{[ ٧٥ ]}^{[ ٧٦ ]} تحسب مصفوفة التكيف المتقاطعة، بطريقة متقاطعة، كلاً من القرارات المتعلقة بالأفعال والمشاعر (الأحاسيس) المتعلقة بنتائجها. ويعتمد النظام على التفاعل بين الإدراك والعاطفة. ^{[ ٧٧ ]}

مقارنة إحصائية لخوارزميات التعلم المعزز

تُعدّ المقارنة الفعّالة لخوارزميات التعلّم المعزز ضروريةً للبحث والنشر والمراقبة لأنظمة التعلّم المعزز. لمقارنة الخوارزميات المختلفة في بيئة مُحدّدة، يُمكن تدريب وكيل لكل خوارزمية. ولأنّ الأداء يتأثر بتفاصيل التنفيذ، ينبغي تنفيذ جميع الخوارزميات بأكبر قدر ممكن من التقارب. ^{[ 78 ]} بعد انتهاء التدريب، يُمكن تشغيل الوكلاء على عينة من حلقات الاختبار، ومقارنة نتائجهم (عوائدهم). وبما أنّه يُفترض عادةً أنّ الحلقات مستقلة ومتطابقة التوزيع ، يُمكن استخدام الأدوات الإحصائية القياسية لاختبار الفرضيات، مثل اختبار T واختبار التبديل . ^{[ 79 ]} يتطلّب هذا تجميع جميع المكافآت ضمن الحلقة في رقم واحد - العائد الحلقي. مع ذلك، يُؤدّي هذا إلى فقدان بعض المعلومات، حيث يتمّ حساب متوسط الخطوات الزمنية المختلفة معًا، والتي قد تتفاوت في مستويات التشويش. عندما يتغيّر مستوى التشويش عبر الحلقة، يُمكن تحسين القوة الإحصائية بشكل كبير، من خلال ترجيح المكافآت وفقًا لمستوى التشويش المُقدّر لها. ^{[ 80 ]}

التحديات والقيود

على الرغم من التقدم الكبير، لا يزال التعلم المعزز يواجه العديد من التحديات والقيود التي تعيق تطبيقه على نطاق واسع في سيناريوهات العالم الحقيقي.

عدم كفاءة العينة

تتطلب خوارزميات التعلم المعزز عادةً عددًا كبيرًا من التفاعلات مع البيئة لتعلم سياسات فعّالة، مما يؤدي إلى تكاليف حسابية عالية ووقت طويل لتدريب البرنامج. على سبيل المثال، استخدم روبوت لعبة Dota من OpenAI آلاف السنين من محاكاة اللعب لتحقيق أداء يُضاهي الأداء البشري. وقد اقتُرحت تقنيات مثل إعادة تجربة اللعب والتعلم المنهجي لتقليل عدم كفاءة العينات، لكن هذه التقنيات تُضيف مزيدًا من التعقيد ولا تكون كافية دائمًا للتطبيقات العملية.

مشاكل الاستقرار والتقارب

قد يكون تدريب نماذج التعلم المعزز، وخاصةً النماذج القائمة على الشبكات العصبية العميقة ، غير مستقر وعرضةً للانحراف. إذ يُمكن أن يُؤدي تغيير طفيف في السياسة أو البيئة إلى تقلبات حادة في الأداء، مما يُصعّب تحقيق نتائج متسقة. ويتفاقم هذا عدم الاستقرار في حالة فضاء الإجراءات المستمر أو عالي الأبعاد، حيث تُصبح خطوة التعلم أكثر تعقيدًا وأقل قابلية للتنبؤ.

التعميم وقابلية النقل

غالباً ما تواجه وكلاء التعلم المعزز المدربون في بيئات محددة صعوبة في تعميم سياساتهم المكتسبة على سيناريوهات جديدة وغير مألوفة. هذه هي العقبة الرئيسية التي تحول دون تطبيق التعلم المعزز في بيئات العالم الحقيقي الديناميكية حيث تُعدّ القدرة على التكيف أمراً بالغ الأهمية. يكمن التحدي في تطوير خوارزميات قادرة على نقل المعرفة بين المهام والبيئات المختلفة دون الحاجة إلى إعادة تدريب مكثفة.

مشاكل التحيز ووظيفة المكافأة

يُعدّ تصميم دوال المكافأة المناسبة أمرًا بالغ الأهمية في التعلم المعزز، لأنّ تصميمها بشكل سيئ قد يؤدي إلى سلوكيات غير مقصودة. إضافةً إلى ذلك، قد تُكرّس أنظمة التعلم المعزز المُدرّبة على بيانات متحيزة التحيزات الموجودة، ما يُفضي إلى نتائج تمييزية أو غير عادلة. يتطلب كلا هذين الأمرين دراسة متأنية لهياكل المكافأة ومصادر البيانات لضمان العدالة وتحقيق السلوكيات المرغوبة.

في معالجة اللغة الطبيعية

في مجال معالجة اللغات الطبيعية ، طُبِّقَ التعلّم المعزز على مهام تُعامل فيها عملية توليد النصوص كمسألة قرار تسلسلي: إذ تختار سياسة النموذج الكلمات أو العبارات كأفعال، ويقيس المكافأة خصائص المخرجات النهائية التي يصعب التعبير عنها كخسارة مُشرفة لكل رمز. ^{[ 81 ]} استخدمت التطبيقات المبكرة أساليب تدرج السياسة، مثل REINFORCE، لتحسين مقاييس التقييم على مستوى التسلسل، بما في ذلك BLEU في الترجمة الآلية و ROUGE في تلخيص النصوص ، ^{[ 82 ]}^{[ 83 ]} ولتدريب أنظمة الحوار . ^{[ 84 ]}

يُستخدم التعلم المعزز من خلال التغذية الراجعة البشرية (RLHF) لتدريب نماذج لغوية ضخمة . في هذه الطريقة، يقارن مُعلِّقون بشريون مخرجات النموذج أو يُرتبونها، ثم يُدرَّب نموذج مكافأة بناءً على هذه التقييمات، ويُحسَّن النموذج اللغوي باستخدام خوارزمية تدرج السياسة، والتي تُعرف عادةً باسم تحسين السياسة التقريبي (PPO)، لإنتاج مخرجات يحصل نموذج المكافأة على تقييم عالٍ لها. ^{[ 85 ]}^{[ 86 ]} يحل نموذج المكافأة محل المُقيِّمين البشريين أثناء عملية التحسين، لذا لا حاجة إلى تقييمات بشرية جديدة في كل خطوة تدريب، على الرغم من أن الطريقة ككل تعتمد على مجموعة بيانات من التفضيلات المُعلَّقة بشريًا. استخدمت OpenAI تقنية RLHF لتدريب InstructGPT ، الذي صدر في يناير 2022، و ChatGPT ، الذي صدر في نوفمبر 2022. ^{[ 87 ]} أما تحسين التفضيل المباشر (DPO)، الذي نُشر في عام 2023، فيُحسِّن النموذج اللغوي مباشرةً بناءً على بيانات التفضيلات، دون الحاجة إلى نموذج مكافأة منفصل أو حلقة تعلم معزز. ^{[ 88 ]}

في وقت لاحق، استُبدل نموذج المكافأة المُدرَّب في نماذج اللغة المصممة للاستدلال متعدد الخطوات بمكافآت تُحسب تلقائيًا من المهمة، مثل التحقق من إجابة رياضية مقابل حل مرجعي أو إجراء اختبارات وحدة على الكود المُولَّد. ^{[ 89 ]} دُرِّب كلٌّ من OpenAI o1 ، الذي أُصدر عام 2024، و DeepSeek-R1 ، الذي أُصدر عام 2025، باستخدام التعلم المعزز واسع النطاق من هذا النوع لإنتاج سلسلة من الأفكار قبل الإجابة. ^{[ 90 ]}^{[ 91 ]} أفاد مطورو DeepSeek-R1 أن سلوكيات الاستدلال، مثل التحقق الذاتي والتأمل، ظهرت عند تطبيق التعلم المعزز مباشرةً على نموذج أساسي مُدرَّب مسبقًا، دون مرحلة ضبط دقيق مُشرف عليها مسبقًا. ^{[ 91 ]}

انظر أيضاً

مراجع

↑ كايلبلينغ، ليزلي ب .؛ ليتمان، مايكل ل .؛ مور، أندرو و. (1996). "التعلم المعزز: دراسة استقصائية" . مجلة أبحاث الذكاء الاصطناعي . 4 : 237-285 . arXiv : cs/9605103 . doi : 10.1613/jair.301 . S2CID 1708582. مؤرشف من الأصل بتاريخ 20 نوفمبر 2001.
↑ فان أوتيرلو، م.؛ ويرينغ، م. (2012). "التعلم المعزز وعمليات اتخاذ القرار ماركوف". التعلم المعزز . التكيف والتعلم والتحسين. المجلد 12. الصفحات 3-42 . doi : 10.1007/978-3-642-27645-3_1 . ISBN 978-3-642-27644-6.
1 2 لي، شينغبو (2023). التعلم المعزز لاتخاذ القرارات المتسلسلة والتحكم الأمثل (الطبعة الأولى ). سبرينغر فيرلاغ، سنغافورة. ص 1-460 . doi : 10.1007/978-981-19-7784-8 . ISBN 978-9-811-97783-1. S2CID 257928563 . {{cite book}}: CS1 maint: موقع الناشر مفقود ( رابط )
↑ راسل، ستيوارت جيه؛ نورفيج، بيتر (2010). الذكاء الاصطناعي: منهج حديث ( الطبعة الثالثة). أبر سادل ريفر، نيو جيرسي: برنتيس هول . الصفحات 830، 831. ISBN 978-0-13-604259-4.
↑ لي، داي يول؛ سيو، هيو جونغ؛ جونغ، مين وان (21 يوليو 2012). "الأساس العصبي للتعلم المعزز واتخاذ القرار" . المراجعة السنوية لعلم الأعصاب . 35 (1): 287-308 . doi : 10.1146/annurev-neuro-062111-150512 . PMC 3490621. PMID 22462543 .
^ سالازار دوكي، إدغار موريسيو؛ جيرالدو، خوان س. فيرغارا، بيدرو ب. نجوين، فونج؛ فان دير مولين، آن؛ سلوتويج ، هان (2022). "عملية تخزين الطاقة المجتمعية عبر التعلم المعزز مع آثار الأهلية" . أبحاث أنظمة الطاقة الكهربائية . 212 108515. بيب كود : 2022EPSR..21208515S . دوى : 10.1016/j.epsr.2022.108515 . S2CID 250635151 .
↑ شي، تشاومينغ؛ هونغ يو لينغ؛ نام هي كيم؛ ميشيل فان دي بان (2020). "ALLSTEPS: التعلم القائم على المناهج الدراسية لمهارات Stepping Stone". arXiv : 2005.04323 [ cs.GR ].
↑ فيرغارا، بيدرو ب.؛ سالازار، ماوريسيو؛ جيرالدو، خوان س.؛ بالينسكي، بيتر (2022). "التوزيع الأمثل لمحولات الطاقة الشمسية الكهروضوئية في أنظمة التوزيع غير المتوازنة باستخدام التعلم المعزز" . المجلة الدولية لأنظمة الطاقة الكهربائية والطاقة . 136 107628. Bibcode : 2022IJEPE.13607628V . doi : 10.1016/j.ijepes.2021.107628 . S2CID 244099841 .
↑ ساتون وبارتو 2018 ، الفصل 11.
↑ رين، يانغانغ؛ جيانغ، جيان هوا؛ زان، غو جيان؛ لي، شنغبو إيبن؛ تشن، تشن؛ لي، كي تشيانغ؛ دوان، جينغليانغ (2026). "الذكاء المُتعلّم ذاتيًا لاتخاذ القرارات والتحكم المتكاملين في المركبات الآلية عند التقاطعات المُزوّدة بإشارات ضوئية". معاملات IEEE لأنظمة النقل الذكية . 23 (12): 24145-24156 . arXiv : 2110.12359 . Bibcode : 2022ITITr..2324145R . doi : 10.1109/TITS.2022.3196167 .
↑ غوسافي، أبهيجيت (2003). التحسين القائم على المحاكاة: تقنيات التحسين البارامتري والتعزيز . سلسلة واجهات بحوث العمليات/علوم الحاسوب. سبرينغر. ISBN 978-1-4020-7454-7.
1 2 بورنيتاس، أبوستولوس ن.؛ كاتهاكيس، مايكل ن. (1997)، "السياسات التكيفية المثلى لعمليات اتخاذ القرار ماركوف"، رياضيات بحوث العمليات ، 22 (1): 222-255 ، doi : 10.1287/moor.22.1.222 ، JSTOR 3690147
↑ توكيتش، ميشيل؛ بالم، غونتر (2011)، "الاستكشاف القائم على فرق القيمة: التحكم التكيفي بين خوارزمية إبسيلون-غريدي وخوارزمية سوفتماكس" (ملف PDF) ، مؤتمر الذكاء الاصطناعي 2011: التطورات في الذكاء الاصطناعي ، سلسلة محاضرات في علوم الحاسوب، المجلد 7006، سبرينغر، الصفحات 335-346 ، رقم ISBN 978-3-642-24455-1
١ ٢ ٣ "التعلم المعزز: مقدمة" (ملف PDF) . مؤرشف من النسخة الأصلية (ملف PDF) بتاريخ ١٢ يوليو ٢٠١٧. تم الاطلاع عليه بتاريخ ٢٣ يوليو ٢٠١٧ .
↑ سينغ، ساتيندر ب.؛ ساتون، ريتشارد س. (1996-03-01). "التعلم المعزز مع استبدال آثار الأهلية" . تعلم الآلة . 22 (1): 123-158 . doi : 10.1007/BF00114726 . ISSN 1573-0565 .
↑ ساتون، ريتشارد س. (1984). تخصيص الرصيد الزمني في التعلم المعزز (أطروحة دكتوراه). جامعة ماساتشوستس، أمهيرست، ماساتشوستس. مؤرشف من الأصل في 30 مارس 2017. تم الاسترجاع في 29 مارس 2017 .
↑ ساتون وبارتو 2018 ، §6. التعلم بالفرق الزمني .
↑ برادتكي، ستيفن ج .؛ بارتو، أندرو ج. (1996). "التعلم للتنبؤ بطريقة الفروق الزمنية". تعلم الآلة . 22 : 33-57 . CiteSeerX 10.1.1.143.857 . doi : 10.1023/A:1018056104778 . S2CID 20327856 .
↑ واتكينز، كريستوفر جيه سي إتش (1989). التعلم من المكافآت المؤجلة (ملف PDF) (أطروحة دكتوراه). كلية كينجز، كامبريدج، المملكة المتحدة.
↑ ماتزلياخ، باروش؛ بن غال، إيراد؛ كاغان، يفغيني (2022). "الكشف عن الأهداف الثابتة والمتحركة بواسطة وكيل مستقل مزود بقدرات التعلم العميق Q" . إنتروبي . 24 ( 8): 1168. Bibcode : 2022Entrp..24.1168M . doi : 10.3390/e24081168 . PMC 9407070. PMID 36010832 .
↑ ويليامز، رونالد ج. (1987). "فئة من خوارزميات تقدير التدرج للتعلم المعزز في الشبكات العصبية". وقائع المؤتمر الدولي الأول لشبكات IEEE العصبية . CiteSeerX 10.1.1.129.8871 .
↑ بيترز، جان ؛ فيجاياكومار، سيثو ؛ شال، ستيفان (2003). التعلم المعزز للروبوتات الشبيهة بالبشر (ملف PDF) . المؤتمر الدولي لـ IEEE-RAS حول الروبوتات الشبيهة بالبشر. مؤرشف من الأصل (ملف PDF) بتاريخ 12 مايو 2013. تم الاطلاع عليه بتاريخ 8 مايو 2006 .
↑ جولياني، آرثر (17 ديسمبر 2016). "التعلم المعزز البسيط باستخدام TensorFlow الجزء 8: وكلاء الممثل-الناقد غير المتزامنين (A3C)" . Medium . تم الاسترجاع في 22 فبراير 2018 .
↑ دايزنروث، مارك بيتر ؛ نيومان، جيرهارد؛ بيترز، جان (2013). دراسة استقصائية حول البحث عن السياسات في مجال الروبوتات (ملف PDF) . أسس واتجاهات في الروبوتات. المجلد 2. دار نشر ناو. الصفحات 1-142 . doi : 10.1561/2300000021 . hdl : 10044/1/12051 .
↑ ساتون، ريتشارد (1990). "بنى متكاملة للتعلم والتخطيط والاستجابة بناءً على البرمجة الديناميكية". التعلم الآلي: وقائع ورشة العمل الدولية السابعة .
↑ لين، لونغ جي (1992). "وكلاء تفاعليون ذاتيون التحسين قائمون على التعلم المعزز والتخطيط والتعليم" (ملف PDF) . تعلم الآلة . المجلد 8. doi : 10.1007/BF00992699 .
↑ زو، لان (2023-01-01)، زو، لان (محرر)، "الفصل 7 - التعلم المعزز الفائق" ، التعلم الفائق ، دار النشر الأكاديمية، ص 267-297 ، doi : 10.1016/b978-0-323-89931-4.00011-0 ، ISBN 978-0-323-89931-4تم الاطلاع عليه بتاريخ 2023-11-08{{citation}}: CS1 maint: work parameter with ISBN ( link )
↑ فان هاسلت، هادو؛ هيسل، ماتيو؛ أسلانيدس، جون (2019). "متى نستخدم النماذج البارامترية في التعلم المعزز؟" (ملف PDF) . التطورات في أنظمة معالجة المعلومات العصبية . المجلد 32.
↑ خوات، ثانه تونغ؛ باسيت، روبرت؛ أوت، إيلين؛ غريفيس-جيمس، أليستير؛ غابريس، بوغدان (2024-03-01). "تطبيقات التعلم الآلي في اكتشاف الأجسام المضادة، وتطوير العمليات، والتصنيع، والتركيب: الاتجاهات الحالية، والتحديات، والفرص" . مجلة الحوسبة والهندسة الكيميائية . 182 108585. doi : 10.1016/j.compchemeng.2024.108585 . ISSN 0098-1354 .
^ جروندمان ، إيفو. فاندراجر، مارتن؛ بوسونيو، لوسيان؛ بابوسكا، روبرت؛ شويتيما ، إريك (2012/06/01). “أساليب التعلم النموذجية الفعالة للتحكم في الممثل والنقد” . معاملات IEEE على الأنظمة والإنسان وعلم التحكم الآلي - الجزء ب: علم التحكم الآلي . 42 (3): 591–602 . بيب كود : 2012ITSMC..42..591G . دوى : 10.1109/TSMCB.2011.2170565 . ردمك 1083-4419 . بميد 22156998 .
↑ "حول استخدام التعلم المعزز لاختبار آليات اللعبة: ACM - الحوسبة في الترفيه" . cie.acm.org . تم الاطلاع عليه بتاريخ 27-11-2018 .
↑ لي، شياو؛ فاسيل، كريستيان-إيوان؛ بيلتا، كالين (2017). "التعلم المعزز باستخدام مكافآت المنطق الزمني" . المؤتمر الدولي IEEE/RSJ للروبوتات والأنظمة الذكية (IROS) لعام 2017. الصفحات 3834-3839 . doi : 10.1109/IROS.2017.8206234 .
↑ تورو إيكارتي، رودريغو؛ كلاسين، تورين كيو؛ فالينزانو، ريتشارد؛ ماك إيلريث، شيلا أ. (2022). "آلات المكافأة: استغلال بنية وظيفة المكافأة في التعلم المعزز" . مجلة أبحاث الذكاء الاصطناعي . 73 : 173-208 . arXiv : 2010.03950 . doi : 10.1613/jair.1.12440 .
↑ ريفيريت، ريجيس؛ غاو، يانغ؛ غوفرناتوري، غيدو؛ روتولو، أنتونينو؛ بيت، جيريمي؛ سارتور، جيوفاني (2019). "إطار حجاجي احتمالي لوكلاء التعلم المعزز" . الوكلاء المستقلون وأنظمة الوكلاء المتعددة . 33 ( 1-2 ): 216-274 . doi : 10.1007/s10458-019-09404-2 .
↑ هاراماتي، دان؛ دانيال، تال؛ تمار، أفيف (2024). "التعلم المعزز المتمحور حول الكيانات لمعالجة الكائنات من وحدات البكسل". arXiv : 2404.01220 [ cs.RO ].
↑ تومسون، إسحاق سايمز؛ كارون، ألبرتو؛ هيكس، كريس؛ مافروديس، فاسيليوس (2024-11-07). "التعلم المعزز القائم على الكيانات للدفاع السيبراني المستقل". وقائع ورشة العمل حول الأمن السيبراني المستقل (AutonomousCyber '24) . ACM. الصفحات 56-67 . arXiv : 2410.17647 . doi : 10.1145/3689933.3690835 .
↑ وينتر، كليمنس (14 أبريل 2023). "التعلم المعزز القائم على الكيانات" . مدونة كليمنس وينتر .
↑ ياماغاتا، تاكو؛ ماكونفيل، رايان؛ سانتوس-رودريغيز، راؤول (2021-11-16). "التعلم المعزز مع التغذية الراجعة من عدة أشخاص ذوي مهارات متنوعة". arXiv : 2111.08596 [ cs.LG ].
↑ كولكارني، تيجا د.؛ ناراسيمهان، كارتيك ر.؛ سعيدي، أردفان؛ تيننباوم، جوشوا ب. (2016). "التعلم العميق الهرمي المعزز: دمج التجريد الزمني والدافع الجوهري" . وقائع المؤتمر الدولي الثلاثين لأنظمة معالجة المعلومات العصبية . NIPS'16. الولايات المتحدة الأمريكية: Curran Associates Inc.: 3682-3690 . arXiv : 1604.06057 . Bibcode : 2016arXiv160406057K . ISBN 978-1-5108-3881-9.
↑ "التعلم المعزز / نجاحات التعلم المعزز" . umichrl.pbworks.com . تم الاطلاع عليه بتاريخ 2017-08-06 .
↑ داي، سومديب؛ سينغ، أميت كومار؛ وانغ، شياوهانغ؛ ماكدونالد-ماير، كلاوس (مارس 2020). "التعلم المعزز الواعي بتفاعل المستخدم لتحسين كفاءة الطاقة والحرارة لأنظمة المعالجة المركزية ووحدات معالجة الرسومات المحمولة متعددة الأنظمة على شريحة واحدة" . مؤتمر ومعرض التصميم والأتمتة والاختبار في أوروبا 2020 (DATE) (ملف PDF) . الصفحات 1728-1733 . doi : 10.23919/DATE48585.2020.9116294 . ISBN 978-3-9819263-4-7. S2CID 219858480 .
↑ كويستد، توني. "الهواتف الذكية تصبح أكثر ذكاءً بفضل ابتكارات إسيكس" . مجلة الأعمال الأسبوعية . تم الاطلاع عليه بتاريخ 17 يونيو 2021 .
↑ ويليامز، ريانون (21 يوليو 2020). "ستطيل الهواتف الذكية المستقبلية عمر بطاريتها من خلال مراقبة سلوك المستخدمين"" . i . تم الاسترجاع في 2021-06-17 .
↑ كابلان، ف.؛ أودير، ب. (2004). "تعظيم التقدم في التعلم: نظام مكافأة داخلي للتطوير". في: إيدا، ف.؛ فايفر، ر.؛ ستيلز، ل.؛ كونيوشي، ي. (محررون). الذكاء الاصطناعي المجسد . سلسلة محاضرات في علوم الحاسوب. المجلد 3139. برلين؛ هايدلبرغ: سبرينغر. الصفحات 259-270 . doi : 10.1007/978-3-540-27833-7_19 . ISBN 978-3-540-22484-6. S2CID 9781221 .
↑ كليوبين، أ.؛ بولاني، د.؛ نيهانيف، س. (2008). "أبقِ خياراتك مفتوحة: مبدأ قيادة قائم على المعلومات لأنظمة الحس الحركي" . PLOS ONE . 3 (12) e4018. Bibcode : 2008PLoSO...3.4018K . doi : 10.1371/journal.pone.0004018 . PMC 2607028. PMID 19107219 .
↑ بارتو، أ. ج. (2013). "الدافعية الذاتية والتعلم المعزز". التعلم ذو الدافعية الذاتية في الأنظمة الطبيعية والاصطناعية (ملف PDF) . برلين؛ هايدلبرغ: سبرينغر. ص 17-47 .
↑ دابيريوس، كيفن؛ غرانَت ، إلفين؛ كارلسون، باتريك (2020). "التنفيذ العميق - التعلم المعزز القائم على القيمة والسياسة للتداول والتفوق على مؤشرات السوق". مجلة التعلم الآلي في التمويل . 1. SSRN 3374766 .
↑ جورج كاريمبانال، ثومين؛ بوفانيس، رولاند (2019). "خرائط التنظيم الذاتي لتخزين ونقل المعرفة في التعلم المعزز". السلوك التكيفي . 27 (2): 111-126 . arXiv : 1811.08318 . doi : 10.1177/1059712318818568 . ISSN 1059-7123 . S2CID 53774629 .
↑ انظر ساتون وبارتو 2018 ، القسم 5.4، صفحة 100
↑ منيه، فولوديمير؛ باديا، أدريا؛ ميرزا، مهدي؛ غريفز، أليكس؛ ليليكرب، تيموثي؛ هارلي، تيم؛ سيلفر، ديفيد؛ كافوكوغلو، كوراي (16 يونيو 2016). "أساليب غير متزامنة للتعلم العميق المعزز" . وقائع بحوث التعلم الآلي (PMLR) . 48. PMLR: 1928-1937 . تم الاطلاع عليه في 15 يونيو 2026 .
↑ ج. دوان؛ ي. غوان؛ س. لي (2021). "نموذج الممثل-الناقد المرن التوزيعي: التعلم المعزز خارج السياسة لمعالجة أخطاء تقدير القيمة". معاملات IEEE في الشبكات العصبية وأنظمة التعلم . 33 (11): 6584-6598 . arXiv : 2001.02811 . doi : 10.1109/TNNLS.2021.3082568 . PMID 34101599. S2CID 211259373 .
↑ ي. رين؛ ج. دوان؛ س. لي (2020). "تحسين تعميم التعلم المعزز باستخدام نموذج الممثل-الناقد المرن ذي التوزيع الأدنى الأقصى". المؤتمر الدولي الثالث والعشرون لأنظمة النقل الذكية (ITSC) لعام 2020. الصفحات 1-6 . arXiv : 2002.05502 . doi : 10.1109/ITSC45102.2020.9294300 . ISBN 978-1-7281-4149-7. S2CID 211096594 .
↑ دوان، ج؛ وانغ، و؛ شياو، ل (2025). "نموذج الممثل-الناقد المرن التوزيعي مع ثلاثة تحسينات". معاملات IEEE في تحليل الأنماط والذكاء الآلي . الصفحات (5): 3935-3946 . arXiv : 2310.05858 . Bibcode : 2025ITPAM..47.3935D . doi : 10.1109/TPAMI.2025.3537087 . PMID : 40031258 .
↑ سوتشيك، برانكو (6 مايو 1992). البرمجة الديناميكية والوراثية والفوضوية: سلسلة تكنولوجيا الحاسوب من الجيل السادس . جون وايلي وأولاده، ص 38. ISBN 0-471-55717-X.
↑ فرانسوا-لافيه، فنسنت؛ وآخرون (2018). "مقدمة في التعلم العميق المعزز". أسس واتجاهات في تعلم الآلة . 11 ( 3-4 ): 219-354 . arXiv : 1811.12560 . Bibcode : 2018arXiv181112560F . doi : 10.1561/2200000071 . S2CID 54434537 .
↑ منيه، فولوديمير؛ وآخرون (2015). "التحكم بمستوى الإنسان من خلال التعلم العميق المعزز". مجلة نيتشر . 518 (7540): 529-533 . Bibcode : 2015Natur.518..529M . doi : 10.1038/nature14236 . PMID 25719670. S2CID 205242740 .
↑ غودفيلو، إيان؛ شلينز، جوناثان؛ سيجيدي، كريستيان (2015). "شرح وتسخير الأمثلة الخصومية". المؤتمر الدولي حول تمثيلات التعلم . arXiv : 1412.6572 .
↑ بهزادان، وحيد؛ منير، أرسلان (2017). "قابلية تعلّم التعزيز العميق للهجمات الاستقراءية للسياسات". تعلّم الآلة واستخراج البيانات في التعرّف على الأنماط . سلسلة محاضرات في علوم الحاسوب. المجلد 10358. الصفحات 262-275 . arXiv : 1701.04143 . doi : 10.1007/978-3-319-62416-7_19 . ISBN 978-3-319-62415-0. S2CID 1562290 .
↑ هوانغ، ساندي؛ بابرنوت، نيكولاس؛ غودفيلو، إيان؛ دوان، يان؛ أبيل، بيتر (2017-02-07). الهجمات الخصومية على سياسات الشبكات العصبية . OCLC 1106256905 .
↑ كوركماز، إزجي (2022). "سياسات التعلم العميق المعزز تتعلم السمات العدائية المشتركة عبر عمليات ماركوف للقرار" . المؤتمر السادس والثلاثون للجمعية الأمريكية للذكاء الاصطناعي (AAAI-22) . 36 (7): 7229-7238 . arXiv : 2112.09025 . doi : 10.1609/aaai.v36i7.20684 . S2CID 245219157 .
↑ بيرينجي، إتش آر (1994). "التعلم الضبابي Q: منهج جديد للبرمجة الديناميكية الضبابية". وقائع المؤتمر الدولي الثالث لأنظمة الضبابية لعام 1994، معهد مهندسي الكهرباء والإلكترونيات . أورلاندو، فلوريدا، الولايات المتحدة الأمريكية: معهد مهندسي الكهرباء والإلكترونيات. الصفحات 486-491 . doi : 10.1109/FUZZY.1994.343737 . ISBN 0-7803-1896-X. S2CID 56694947 .
↑ فينس، ديفيد (2017). "استيفاء القواعد الضبابية والتعلم المعزز" (ملف PDF) . المؤتمر الدولي الخامس عشر لعام 2017 التابع لمعهد مهندسي الكهرباء والإلكترونيات حول الذكاء الآلي التطبيقي والمعلوماتية (SAMI) . معهد مهندسي الكهرباء والإلكترونيات. الصفحات 173-178 . doi : 10.1109/SAMI.2017.7880298 . ISBN 978-1-5090-5655-2. S2CID 17590120 .
↑ نغ، أي واي؛ راسل، إس جيه (2000). "خوارزميات التعلم العكسي المعزز" (ملف PDF) . وقائع المؤتمر الدولي السابع عشر للتعلم الآلي ICML '00 . دار مورغان كوفمان للنشر. الصفحات 663-670 . ISBN 1-55860-707-2.
↑ زيبارت، برايان د.؛ ماس، أندرو؛ باغنيل، ج. أندرو؛ دي، أنيند ك. (13 يوليو 2008). "التعلم المعزز العكسي ذو الإنتروبيا القصوى" . وقائع المؤتمر الوطني الثالث والعشرين للذكاء الاصطناعي - المجلد 3. AAAI'08. شيكاغو، إلينوي: مطبعة AAAI: 1433-1438 . ISBN 978-1-57735-368-3. S2CID 336219 .
^ بيتومبيرا-نيتو، أنسيلمو ر. سانتوس، هيلانو ب. كويلهو دا سيلفا، تيتشيانا إل؛ دي ماسيدو ، خوسيه أنطونيو ف. (مارس 2024). “نمذجة المسار عبر التعلم المعزز العكسي للمنفعة العشوائية”. علوم المعلومات . 660 120128. أرخايف : 2105.12092 . دوى : 10.1016/j.ins.2024.120128 . ISSN 0020-0255 . S2CID 235187141 .
↑ هايز سي، رادوليسكو آر، بارجياتشي إي، وآخرون (2022). "دليل عملي للتعلم المعزز متعدد الأهداف والتخطيط" . أنظمة الوكلاء المستقلين وأنظمة الوكلاء المتعددين . 36 26. arXiv : 2103.09568 . doi : 10.1007/s10458-022-09552-y . S2CID 254235920 . ،
^ تسينج ، جوو هشيونج. هوانغ، جيه-جينغ (2011). اتخاذ القرارات ذات السمات المتعددة: الأساليب والتطبيقات ( الطبعة الأولى). الصحافة اتفاقية حقوق الطفل. رقم ISBN 978-1-4398-6157-8.
↑ غو، شانغدينغ؛ يانغ، لونغ؛ دو، يالي؛ تشين، غوانغ؛ والتر، فلوريان؛ وانغ، جون؛ نول، ألويس (10 سبتمبر 2024). "مراجعة للتعلم المعزز الآمن: الأساليب والنظريات والتطبيقات" (ملف PDF) . معاملات IEEE في تحليل الأنماط والذكاء الآلي . 46 (12): 11216-11235 . Bibcode : 2024ITPAM..4611216G . doi : 10.1109/TPAMI.2024.3457538 . PMID 39255180 .
↑ غارسيا، خافيير؛ فرنانديز، فرناندو (1 يناير 2015). "دراسة شاملة حول التعلم المعزز الآمن" (ملف PDF) . مجلة أبحاث تعلم الآلة . 16 (1): 1437-1480 .
↑ دابني، ويل؛ أوستروفسكي، جورج؛ سيلفر، ديفيد؛ مونوس، ريمي (2018-07-03). "شبكات الكميات الضمنية للتعلم المعزز التوزيعي" . وقائع المؤتمر الدولي الخامس والثلاثين للتعلم الآلي . PMLR: 1096–1105 . arXiv : 1806.06923 .
↑ تشاو، ينلام؛ تامار، أفيف؛ مانور، شي؛ بافوني، ماركو (2015). "اتخاذ القرارات الحساسة للمخاطر والقوية: نهج تحسين القيمة المعرضة للخطر المشروط" . التطورات في أنظمة معالجة المعلومات العصبية . 28. كوران أسوشيتس، إنك. arXiv : 1506.02188 .
↑ "تدرب بجد، قاتل بسهولة: التعلم المعزز الفائق القوي" . scholar.google.com . تم الاطلاع عليه بتاريخ 21-06-2024 .
↑ تامار، أفيف؛ غلاسنر، يوناتان؛ مانور، شي (21 فبراير 2015). "تحسين قيمة المخاطر المشروطة عبر أخذ العينات" . وقائع مؤتمر AAAI حول الذكاء الاصطناعي . 29 (1). arXiv : 1404.3862 . doi : 10.1609/aaai.v29i1.9561 . ISSN 2374-3468 .
↑ غرينبيرغ، إيدو؛ تشاو، ينلام؛ غافام زاده، محمد؛ مانور، شي (2022-12-06). "التعلم المعزز الفعال المتجنب للمخاطر" . التقدم في أنظمة معالجة المعلومات العصبية . 35 : 32639-32652 . arXiv : 2205.05138 .
↑ بوزينوفسكي، س. (1982). "نظام تعلم ذاتي باستخدام التعزيز الثانوي". في ترابل، روبرت (محرر). أبحاث علم التحكم الآلي والأنظمة: وقائع الاجتماع الأوروبي السادس حول أبحاث علم التحكم الآلي والأنظمة. نورث هولاند. ص 397-402. ISBN 978-0-444-86488-8
↑ بوزينوفسكي، س. (1995) "العوامل الوراثية العصبية والنظرية البنيوية لأنظمة التعلم بالتعزيز الذاتي". التقرير الفني 95-107، مركز علوم الحوسبة الفيزيائية الحاسوبية، جامعة ماساتشوستس في أمهيرست
↑ بوزينوفسكي، س. (2014) "نمذجة آليات التفاعل بين الإدراك والعاطفة في الشبكات العصبية الاصطناعية، منذ عام 1981." وقائع علوم الحاسوب، ص 255-263
↑ إنجستروم، لوجان؛ إلياس، أندرو؛ سانتوركار، شيباني؛ تسيبراس، ديميتريس؛ جانوس، فردوس؛ رودولف، لاري؛ مادري، ألكسندر (25-09-2019). "أهمية التنفيذ في التعلم المعزز العميق: دراسة حالة حول PPO وTRPO" . ICLR .
↑ كولاس، سيدريك (2019-03-06). "نموذج الممثل-الناقد المرن التوزيعي مع ثلاثة تحسينات" . معاملات IEEE في تحليل الأنماط والذكاء الآلي . 47 (5): 3935-3946 . arXiv : 1904.06979 . Bibcode : 2025ITPAM..47.3935D . doi : 10.1109/TPAMI.2025.3537087 . PMID 40031258 .
↑ غرينبيرغ، إيدو؛ مانور، شي (2021-07-01). "آلات المكافأة: استغلال بنية وظيفة المكافأة في التعلم المعزز" . مجلة أبحاث الذكاء الاصطناعي . 73. PMLR: 3842–3853 . arXiv : 2010.11660 . doi : 10.1613/jair.1.12440 .
↑ أوك-سيتينا، فيكتور؛ نافارو-غيريرو، نيكولاس؛ مارتن-غونزاليس، أنابيل؛ ويبر، كورنيليوس؛ ويرمتر، ستيفان (2022). "دراسة استقصائية حول التعلم المعزز لمعالجة اللغة". مراجعة الذكاء الاصطناعي . 56 : 1543-1575 . arXiv : 2104.05565 . doi : 10.1007/s10462-022-10205-5 .
↑ رانزاتو، مارك أوريليو؛ تشوبرا، سوميت؛ أولي، مايكل؛ زاريمبا، فويتش (2015). "التدريب على مستوى التسلسل باستخدام الشبكات العصبية المتكررة". arXiv : 1511.06732 [ cs.LG ].
↑ باولوس، رومان؛ شيونغ، كايمينغ؛ سوشر، ريتشارد (2017). "نموذج معزز عميق للتلخيص التجريدي". arXiv : 1705.04304 [ cs.CL ].
↑ لي، جيوي؛ مونرو، ويل؛ ريتر، آلان؛ جورافسكي، دان؛ جالي، ميشيل؛ جاو، جيانفينغ (2016). "التعلم العميق المعزز لتوليد الحوار". وقائع مؤتمر 2016 حول الأساليب التجريبية في معالجة اللغة الطبيعية . الصفحات 1192-1202 . arXiv : 1606.01541 . doi : 10.18653/v1/D16-1127 .
↑ كريستيانو، بول ف.؛ ليك، جان؛ براون، توم ب.؛ مارتيتش، ميلجان؛ ليج، شين؛ أمودي، داريو (2017). "التعلم العميق المعزز من التفضيلات البشرية". التقدم في أنظمة معالجة المعلومات العصبية . المجلد 30. arXiv : 1706.03741 .
↑ ستينون، نيسان؛ أويانغ، لونغ؛ وو، جيفري؛ زيغلر، دانيال م.؛ لوي، رايان؛ فوس، تشيلسي؛ رادفورد، أليك؛ أمودي، داريو؛ كريستيانو، بول (2020). "التعلم على التلخيص من خلال التغذية الراجعة البشرية". التقدم في أنظمة معالجة المعلومات العصبية . المجلد 33. الصفحات 3008-3021 . arXiv : 2009.01325 .
↑ أويانغ، لونغ؛ وو، جيفري؛ جيانغ، شو؛ وآخرون . (2022). "تدريب نماذج اللغة على اتباع التعليمات مع التغذية الراجعة البشرية". التقدم في أنظمة معالجة المعلومات العصبية . المجلد 35. الصفحات 27730-27744 . arXiv : 2203.02155 .
↑ رافائيلوف، رافائيل؛ شارما، أركيت؛ ميتشل، إريك؛ إرمون، ستيفانو؛ مانينغ، كريستوفر د.؛ فين، تشيلسي (2023). "تحسين التفضيل المباشر: نموذج لغتك هو في السر نموذج مكافأة". التقدم في أنظمة معالجة المعلومات العصبية . المجلد 36. arXiv : 2305.18290 .
↑ لامبرت، ناثان؛ موريسون، جاكوب؛ بياتكين، فالنتينا؛ وآخرون . (2024). "تولو 3: دفع الحدود في نموذج اللغة المفتوح بعد التدريب". arXiv : 2411.15124 [ cs.CL ].
↑ OpenAI (2024). "OpenAI o1 System Card". arXiv : 2412.16720 [ cs.AI ].
1 2 DeepSeek-AI؛ وآخرون . (22 يناير 2025). "DeepSeek-R1 يحفز الاستدلال في أنظمة إدارة التعلم من خلال التعلم المعزز" . Nature . 645 ( 8081): 633–638 . arXiv : 2501.12948 . Bibcode : 2025Natur.645..633G . doi : 10.1038/s41586-025-09422-z . PMC 12443585. PMID 40962978 .

للمزيد من القراءة

أنا سوامي، أنورادها م. (3 مايو 2023). "التحكم التكيفي والتقاطعات مع التعلم المعزز" . المراجعة السنوية للتحكم والروبوتات والأنظمة المستقلة . 6 (1): 65-93 . doi : 10.1146/annurev-control-062922-090153 . ISSN 2573-5144 . S2CID 255702873 .
أوير، بيتر ؛ جاكش، توماس؛ أورتنر، رونالد (2010). "حدود الندم شبه المثلى للتعلم المعزز" . مجلة أبحاث التعلم الآلي . 11 : 1563-1600 .
بيرتسيكاس، ديمتري ب. (2023) [2019]. التعلم المعزز والتحكم الأمثل ( الطبعة الأولى). أثينا ساينتيفيك. ISBN 978-1-886-52939-7.
بوسونيو، لوسيان؛ بابوسكا، روبرت؛ دي شوتر، بارت ؛ إرنست، داميان (2010). التعلم المعزز والبرمجة الديناميكية باستخدام مُقَرِّبات الدوال . تايلور وفرانسيس، مطبعة سي آر سي. رقم ISBN 978-1-4398-2108-4.
فرانسوا-لافيه، فنسنت؛ هندرسون، بيتر؛ إسلام، رياضات؛ بيلمار، مارك ج.؛ بينو، جويل (2018). "مقدمة في التعلم العميق المعزز". أسس واتجاهات في تعلم الآلة . 11 ( 3-4 ): 219-354 . arXiv : 1811.12560 . Bibcode : 2018arXiv181112560F . doi : 10.1561/2200000071 . S2CID 54434537 .
لي، شينغبو إيبن (2023). التعلم المعزز لاتخاذ القرارات المتسلسلة والتحكم الأمثل ( الطبعة الأولى). سبرينغر فيرلاغ، سنغافورة. doi : 10.1007/978-981-19-7784-8 . ISBN 978-9-811-97783-1.
باول، وارن (2011). البرمجة الديناميكية التقريبية: حل معضلة الأبعاد . وايلي-إنترساينس. مؤرشف من الأصل بتاريخ 31 يوليو 2016. تم الاطلاع عليه بتاريخ 8 سبتمبر 2010 .
ساتون، ريتشارد س. (1988). "التعلم للتنبؤ بطريقة الفروق الزمنية" . تعلم الآلة . 3 (1): 9-44 . Bibcode : 1988MLear...3....9S . doi : 10.1007/BF00115009 .
ساتون، ريتشارد س .؛ بارتو، أندرو ج. (2018) [1998]. التعلم المعزز: مقدمة ( الطبعة الثانية). مطبعة معهد ماساتشوستس للتكنولوجيا. ISBN 978-0-262-03924-6.
سزيتا، إستفان؛ سزيبسفاري، تشابا (2010). "التعلم المعزز القائم على النموذج مع حدود تعقيد استكشاف شبه محكمة" (ملف PDF) . المؤتمر الدولي للتعلم الآلي 2010. دار أومنيبريس للنشر. الصفحات 1031-1038 . مؤرشف من النسخة الأصلية (ملف PDF) بتاريخ 14 يوليو 2010.

روابط خارجية

سلسلة مقالات مدونة بعنوان " تشريح التعلم المعزز" تتناول التعلم المعزز باستخدام لغة بايثون.
نظرة (مطولة) على التعلم المعزز
QSMM – التعلم المعزز من خلال برامج التجميع الاحتمالية التكيفية

[kaelbling-1] كايلبلينغ، ليزلي ب .؛ ليتمان، مايكل ل .؛ مور، أندرو و. (1996). "التعلم المعزز: دراسة استقصائية" . مجلة أبحاث الذكاء الاصطناعي . 4 : 237-285 . arXiv : cs/9605103 . doi : 10.1613/jair.301 . S2CID 1708582. مؤرشف من الأصل بتاريخ 20 نوفمبر 2001.

[2] فان أوتيرلو، م.؛ ويرينغ، م. (2012). "التعلم المعزز وعمليات اتخاذ القرار ماركوف". التعلم المعزز . التكيف والتعلم والتحسين. المجلد 12. الصفحات 3-42 . doi : 10.1007/978-3-642-27645-3_1 . ISBN 978-3-642-27644-6.

[Li-2023-3] 1 2 لي، شينغبو (2023). التعلم المعزز لاتخاذ القرارات المتسلسلة والتحكم الأمثل (الطبعة الأولى ). سبرينغر فيرلاغ، سنغافورة. ص 1-460 . doi : 10.1007/978-981-19-7784-8 . ISBN 978-9-811-97783-1. S2CID 257928563 . {{cite book}}: CS1 maint: موقع الناشر مفقود ( رابط )

[4] راسل، ستيوارت جيه؛ نورفيج، بيتر (2010). الذكاء الاصطناعي: منهج حديث ( الطبعة الثالثة). أبر سادل ريفر، نيو جيرسي: برنتيس هول . الصفحات 830، 831. ISBN 978-0-13-604259-4.

[5] لي، داي يول؛ سيو، هيو جونغ؛ جونغ، مين وان (21 يوليو 2012). "الأساس العصبي للتعلم المعزز واتخاذ القرار" . المراجعة السنوية لعلم الأعصاب . 35 (1): 287-308 . doi : 10.1146/annurev-neuro-062111-150512 . PMC 3490621. PMID 22462543 .

[6] سالازار دوكي، إدغار موريسيو؛ جيرالدو، خوان س. فيرغارا، بيدرو ب. نجوين، فونج؛ فان دير مولين، آن؛ سلوتويج ، هان (2022). "عملية تخزين الطاقة المجتمعية عبر التعلم المعزز مع آثار الأهلية" . أبحاث أنظمة الطاقة الكهربائية . 212 108515. بيب كود : 2022EPSR..21208515S . دوى : 10.1016/j.epsr.2022.108515 . S2CID 250635151 .

[7] شي، تشاومينغ؛ هونغ يو لينغ؛ نام هي كيم؛ ميشيل فان دي بان (2020). "ALLSTEPS: التعلم القائم على المناهج الدراسية لمهارات Stepping Stone". arXiv : 2005.04323 [ cs.GR ].

[8] فيرغارا، بيدرو ب.؛ سالازار، ماوريسيو؛ جيرالدو، خوان س.؛ بالينسكي، بيتر (2022). "التوزيع الأمثل لمحولات الطاقة الشمسية الكهروضوئية في أنظمة التوزيع غير المتوازنة باستخدام التعلم المعزز" . المجلة الدولية لأنظمة الطاقة الكهربائية والطاقة . 136 107628. Bibcode : 2022IJEPE.13607628V . doi : 10.1016/j.ijepes.2021.107628 . S2CID 244099841 .

[FOOTNOTESuttonBarto2018Chapter_11-9] ساتون وبارتو 2018 ، الفصل 11.

[Ren-2022-10] رين، يانغانغ؛ جيانغ، جيان هوا؛ زان، غو جيان؛ لي، شنغبو إيبن؛ تشن، تشن؛ لي، كي تشيانغ؛ دوان، جينغليانغ (2026). "الذكاء المُتعلّم ذاتيًا لاتخاذ القرارات والتحكم المتكاملين في المركبات الآلية عند التقاطعات المُزوّدة بإشارات ضوئية". معاملات IEEE لأنظمة النقل الذكية . 23 (12): 24145-24156 . arXiv : 2110.12359 . Bibcode : 2022ITITr..2324145R . doi : 10.1109/TITS.2022.3196167 .

[11] غوسافي، أبهيجيت (2003). التحسين القائم على المحاكاة: تقنيات التحسين البارامتري والتعزيز . سلسلة واجهات بحوث العمليات/علوم الحاسوب. سبرينغر. ISBN 978-1-4020-7454-7.

[Optimal_adaptive_policies_for_Marko-12] 1 2 بورنيتاس، أبوستولوس ن.؛ كاتهاكيس، مايكل ن. (1997)، "السياسات التكيفية المثلى لعمليات اتخاذ القرار ماركوف"، رياضيات بحوث العمليات ، 22 (1): 222-255 ، doi : 10.1287/moor.22.1.222 ، JSTOR 3690147

[13] توكيتش، ميشيل؛ بالم، غونتر (2011)، "الاستكشاف القائم على فرق القيمة: التحكم التكيفي بين خوارزمية إبسيلون-غريدي وخوارزمية سوفتماكس" (ملف PDF) ، مؤتمر الذكاء الاصطناعي 2011: التطورات في الذكاء الاصطناعي ، سلسلة محاضرات في علوم الحاسوب، المجلد 7006، سبرينغر، الصفحات 335-346 ، رقم ISBN 978-3-642-24455-1

[:0-14] ١ ٢ ٣ "التعلم المعزز: مقدمة" (ملف PDF) . مؤرشف من النسخة الأصلية (ملف PDF) بتاريخ ١٢ يوليو ٢٠١٧. تم الاطلاع عليه بتاريخ ٢٣ يوليو ٢٠١٧ .

[15] سينغ، ساتيندر ب.؛ ساتون، ريتشارد س. (1996-03-01). "التعلم المعزز مع استبدال آثار الأهلية" . تعلم الآلة . 22 (1): 123-158 . doi : 10.1007/BF00114726 . ISSN 1573-0565 .

[16] ساتون، ريتشارد س. (1984). تخصيص الرصيد الزمني في التعلم المعزز (أطروحة دكتوراه). جامعة ماساتشوستس، أمهيرست، ماساتشوستس. مؤرشف من الأصل في 30 مارس 2017. تم الاسترجاع في 29 مارس 2017 .

[FOOTNOTESuttonBarto2018[httpincompleteideasnetsuttonbookebooknode60html_§6._Temporal-Difference_Learning]-17] ساتون وبارتو 2018 ، §6. التعلم بالفرق الزمني .

[18] برادتكي، ستيفن ج .؛ بارتو، أندرو ج. (1996). "التعلم للتنبؤ بطريقة الفروق الزمنية". تعلم الآلة . 22 : 33-57 . CiteSeerX 10.1.1.143.857 . doi : 10.1023/A:1018056104778 . S2CID 20327856 .

[19] واتكينز، كريستوفر جيه سي إتش (1989). التعلم من المكافآت المؤجلة (ملف PDF) (أطروحة دكتوراه). كلية كينجز، كامبريدج، المملكة المتحدة.

[MBK-20] ماتزلياخ، باروش؛ بن غال، إيراد؛ كاغان، يفغيني (2022). "الكشف عن الأهداف الثابتة والمتحركة بواسطة وكيل مستقل مزود بقدرات التعلم العميق Q" . إنتروبي . 24 ( 8): 1168. Bibcode : 2022Entrp..24.1168M . doi : 10.3390/e24081168 . PMC 9407070. PMID 36010832 .

[21] ويليامز، رونالد ج. (1987). "فئة من خوارزميات تقدير التدرج للتعلم المعزز في الشبكات العصبية". وقائع المؤتمر الدولي الأول لشبكات IEEE العصبية . CiteSeerX 10.1.1.129.8871 .

[22] بيترز، جان ؛ فيجاياكومار، سيثو ؛ شال، ستيفان (2003). التعلم المعزز للروبوتات الشبيهة بالبشر (ملف PDF) . المؤتمر الدولي لـ IEEE-RAS حول الروبوتات الشبيهة بالبشر. مؤرشف من الأصل (ملف PDF) بتاريخ 12 مايو 2013. تم الاطلاع عليه بتاريخ 8 مايو 2006 .

[23] جولياني، آرثر (17 ديسمبر 2016). "التعلم المعزز البسيط باستخدام TensorFlow الجزء 8: وكلاء الممثل-الناقد غير المتزامنين (A3C)" . Medium . تم الاسترجاع في 22 فبراير 2018 .

[24] دايزنروث، مارك بيتر ؛ نيومان، جيرهارد؛ بيترز، جان (2013). دراسة استقصائية حول البحث عن السياسات في مجال الروبوتات (ملف PDF) . أسس واتجاهات في الروبوتات. المجلد 2. دار نشر ناو. الصفحات 1-142 . doi : 10.1561/2300000021 . hdl : 10044/1/12051 .

[25] ساتون، ريتشارد (1990). "بنى متكاملة للتعلم والتخطيط والاستجابة بناءً على البرمجة الديناميكية". التعلم الآلي: وقائع ورشة العمل الدولية السابعة .

[26] لين، لونغ جي (1992). "وكلاء تفاعليون ذاتيون التحسين قائمون على التعلم المعزز والتخطيط والتعليم" (ملف PDF) . تعلم الآلة . المجلد 8. doi : 10.1007/BF00992699 .

[27] زو، لان (2023-01-01)، زو، لان (محرر)، "الفصل 7 - التعلم المعزز الفائق" ، التعلم الفائق ، دار النشر الأكاديمية، ص 267-297 ، doi : 10.1016/b978-0-323-89931-4.00011-0 ، ISBN 978-0-323-89931-4تم الاطلاع عليه بتاريخ 2023-11-08{{citation}}: CS1 maint: work parameter with ISBN ( link )

[28] فان هاسلت، هادو؛ هيسل، ماتيو؛ أسلانيدس، جون (2019). "متى نستخدم النماذج البارامترية في التعلم المعزز؟" (ملف PDF) . التطورات في أنظمة معالجة المعلومات العصبية . المجلد 32.

[29] خوات، ثانه تونغ؛ باسيت، روبرت؛ أوت، إيلين؛ غريفيس-جيمس، أليستير؛ غابريس، بوغدان (2024-03-01). "تطبيقات التعلم الآلي في اكتشاف الأجسام المضادة، وتطوير العمليات، والتصنيع، والتركيب: الاتجاهات الحالية، والتحديات، والفرص" . مجلة الحوسبة والهندسة الكيميائية . 182 108585. doi : 10.1016/j.compchemeng.2024.108585 . ISSN 0098-1354 .

[30] جروندمان ، إيفو. فاندراجر، مارتن؛ بوسونيو، لوسيان؛ بابوسكا، روبرت؛ شويتيما ، إريك (2012/06/01). “أساليب التعلم النموذجية الفعالة للتحكم في الممثل والنقد” . معاملات IEEE على الأنظمة والإنسان وعلم التحكم الآلي - الجزء ب: علم التحكم الآلي . 42 (3): 591–602 . بيب كود : 2012ITSMC..42..591G . دوى : 10.1109/TSMCB.2011.2170565 . ردمك 1083-4419 . بميد 22156998 .

[31] "حول استخدام التعلم المعزز لاختبار آليات اللعبة: ACM - الحوسبة في الترفيه" . cie.acm.org . تم الاطلاع عليه بتاريخ 27-11-2018 .

[32] لي، شياو؛ فاسيل، كريستيان-إيوان؛ بيلتا، كالين (2017). "التعلم المعزز باستخدام مكافآت المنطق الزمني" . المؤتمر الدولي IEEE/RSJ للروبوتات والأنظمة الذكية (IROS) لعام 2017. الصفحات 3834-3839 . doi : 10.1109/IROS.2017.8206234 .

[33] تورو إيكارتي، رودريغو؛ كلاسين، تورين كيو؛ فالينزانو، ريتشارد؛ ماك إيلريث، شيلا أ. (2022). "آلات المكافأة: استغلال بنية وظيفة المكافأة في التعلم المعزز" . مجلة أبحاث الذكاء الاصطناعي . 73 : 173-208 . arXiv : 2010.03950 . doi : 10.1613/jair.1.12440 .

[34] ريفيريت، ريجيس؛ غاو، يانغ؛ غوفرناتوري، غيدو؛ روتولو، أنتونينو؛ بيت، جيريمي؛ سارتور، جيوفاني (2019). "إطار حجاجي احتمالي لوكلاء التعلم المعزز" . الوكلاء المستقلون وأنظمة الوكلاء المتعددة . 33 ( 1-2 ): 216-274 . doi : 10.1007/s10458-019-09404-2 .

[35] هاراماتي، دان؛ دانيال، تال؛ تمار، أفيف (2024). "التعلم المعزز المتمحور حول الكيانات لمعالجة الكائنات من وحدات البكسل". arXiv : 2404.01220 [ cs.RO ].

[36] تومسون، إسحاق سايمز؛ كارون، ألبرتو؛ هيكس، كريس؛ مافروديس، فاسيليوس (2024-11-07). "التعلم المعزز القائم على الكيانات للدفاع السيبراني المستقل". وقائع ورشة العمل حول الأمن السيبراني المستقل (AutonomousCyber '24) . ACM. الصفحات 56-67 . arXiv : 2410.17647 . doi : 10.1145/3689933.3690835 .

[37] وينتر، كليمنس (14 أبريل 2023). "التعلم المعزز القائم على الكيانات" . مدونة كليمنس وينتر .

[38] ياماغاتا، تاكو؛ ماكونفيل، رايان؛ سانتوس-رودريغيز، راؤول (2021-11-16). "التعلم المعزز مع التغذية الراجعة من عدة أشخاص ذوي مهارات متنوعة". arXiv : 2111.08596 [ cs.LG ].

[39] كولكارني، تيجا د.؛ ناراسيمهان، كارتيك ر.؛ سعيدي، أردفان؛ تيننباوم، جوشوا ب. (2016). "التعلم العميق الهرمي المعزز: دمج التجريد الزمني والدافع الجوهري" . وقائع المؤتمر الدولي الثلاثين لأنظمة معالجة المعلومات العصبية . NIPS'16. الولايات المتحدة الأمريكية: Curran Associates Inc.: 3682-3690 . arXiv : 1604.06057 . Bibcode : 2016arXiv160406057K . ISBN 978-1-5108-3881-9.

[40] "التعلم المعزز / نجاحات التعلم المعزز" . umichrl.pbworks.com . تم الاطلاع عليه بتاريخ 2017-08-06 .

[41] داي، سومديب؛ سينغ، أميت كومار؛ وانغ، شياوهانغ؛ ماكدونالد-ماير، كلاوس (مارس 2020). "التعلم المعزز الواعي بتفاعل المستخدم لتحسين كفاءة الطاقة والحرارة لأنظمة المعالجة المركزية ووحدات معالجة الرسومات المحمولة متعددة الأنظمة على شريحة واحدة" . مؤتمر ومعرض التصميم والأتمتة والاختبار في أوروبا 2020 (DATE) (ملف PDF) . الصفحات 1728-1733 . doi : 10.23919/DATE48585.2020.9116294 . ISBN 978-3-9819263-4-7. S2CID 219858480 .

[42] كويستد، توني. "الهواتف الذكية تصبح أكثر ذكاءً بفضل ابتكارات إسيكس" . مجلة الأعمال الأسبوعية . تم الاطلاع عليه بتاريخ 17 يونيو 2021 .

[43] ويليامز، ريانون (21 يوليو 2020). "ستطيل الهواتف الذكية المستقبلية عمر بطاريتها من خلال مراقبة سلوك المستخدمين"" . i . تم الاسترجاع في 2021-06-17 .

[kaplan2004-44] كابلان، ف.؛ أودير، ب. (2004). "تعظيم التقدم في التعلم: نظام مكافأة داخلي للتطوير". في: إيدا، ف.؛ فايفر، ر.؛ ستيلز، ل.؛ كونيوشي، ي. (محررون). الذكاء الاصطناعي المجسد . سلسلة محاضرات في علوم الحاسوب. المجلد 3139. برلين؛ هايدلبرغ: سبرينغر. الصفحات 259-270 . doi : 10.1007/978-3-540-27833-7_19 . ISBN 978-3-540-22484-6. S2CID 9781221 .

[klyubin2008-45] كليوبين، أ.؛ بولاني، د.؛ نيهانيف، س. (2008). "أبقِ خياراتك مفتوحة: مبدأ قيادة قائم على المعلومات لأنظمة الحس الحركي" . PLOS ONE . 3 (12) e4018. Bibcode : 2008PLoSO...3.4018K . doi : 10.1371/journal.pone.0004018 . PMC 2607028. PMID 19107219 .

[barto2013-46] بارتو، أ. ج. (2013). "الدافعية الذاتية والتعلم المعزز". التعلم ذو الدافعية الذاتية في الأنظمة الطبيعية والاصطناعية (ملف PDF) . برلين؛ هايدلبرغ: سبرينغر. ص 17-47 .

[47] دابيريوس، كيفن؛ غرانَت ، إلفين؛ كارلسون، باتريك (2020). "التنفيذ العميق - التعلم المعزز القائم على القيمة والسياسة للتداول والتفوق على مؤشرات السوق". مجلة التعلم الآلي في التمويل . 1. SSRN 3374766 .

[48] جورج كاريمبانال، ثومين؛ بوفانيس، رولاند (2019). "خرائط التنظيم الذاتي لتخزين ونقل المعرفة في التعلم المعزز". السلوك التكيفي . 27 (2): 111-126 . arXiv : 1811.08318 . doi : 10.1177/1059712318818568 . ISSN 1059-7123 . S2CID 53774629 .

[49] انظر ساتون وبارتو 2018 ، القسم 5.4، صفحة 100

[Mnih-50] منيه، فولوديمير؛ باديا، أدريا؛ ميرزا، مهدي؛ غريفز، أليكس؛ ليليكرب، تيموثي؛ هارلي، تيم؛ سيلفر، ديفيد؛ كافوكوغلو، كوراي (16 يونيو 2016). "أساليب غير متزامنة للتعلم العميق المعزز" . وقائع بحوث التعلم الآلي (PMLR) . 48. PMLR: 1928-1937 . تم الاطلاع عليه في 15 يونيو 2026 .

[51] ج. دوان؛ ي. غوان؛ س. لي (2021). "نموذج الممثل-الناقد المرن التوزيعي: التعلم المعزز خارج السياسة لمعالجة أخطاء تقدير القيمة". معاملات IEEE في الشبكات العصبية وأنظمة التعلم . 33 (11): 6584-6598 . arXiv : 2001.02811 . doi : 10.1109/TNNLS.2021.3082568 . PMID 34101599. S2CID 211259373 .

[52] ي. رين؛ ج. دوان؛ س. لي (2020). "تحسين تعميم التعلم المعزز باستخدام نموذج الممثل-الناقد المرن ذي التوزيع الأدنى الأقصى". المؤتمر الدولي الثالث والعشرون لأنظمة النقل الذكية (ITSC) لعام 2020. الصفحات 1-6 . arXiv : 2002.05502 . doi : 10.1109/ITSC45102.2020.9294300 . ISBN 978-1-7281-4149-7. S2CID 211096594 .

[53] دوان، ج؛ وانغ، و؛ شياو، ل (2025). "نموذج الممثل-الناقد المرن التوزيعي مع ثلاثة تحسينات". معاملات IEEE في تحليل الأنماط والذكاء الآلي . الصفحات (5): 3935-3946 . arXiv : 2310.05858 . Bibcode : 2025ITPAM..47.3935D . doi : 10.1109/TPAMI.2025.3537087 . PMID : 40031258 .

[54] سوتشيك، برانكو (6 مايو 1992). البرمجة الديناميكية والوراثية والفوضوية: سلسلة تكنولوجيا الحاسوب من الجيل السادس . جون وايلي وأولاده، ص 38. ISBN 0-471-55717-X.

[intro_deep_RL-55] فرانسوا-لافيه، فنسنت؛ وآخرون (2018). "مقدمة في التعلم العميق المعزز". أسس واتجاهات في تعلم الآلة . 11 ( 3-4 ): 219-354 . arXiv : 1811.12560 . Bibcode : 2018arXiv181112560F . doi : 10.1561/2200000071 . S2CID 54434537 .

[DQN2-56] منيه، فولوديمير؛ وآخرون (2015). "التحكم بمستوى الإنسان من خلال التعلم العميق المعزز". مجلة نيتشر . 518 (7540): 529-533 . Bibcode : 2015Natur.518..529M . doi : 10.1038/nature14236 . PMID 25719670. S2CID 205242740 .

[57] غودفيلو، إيان؛ شلينز، جوناثان؛ سيجيدي، كريستيان (2015). "شرح وتسخير الأمثلة الخصومية". المؤتمر الدولي حول تمثيلات التعلم . arXiv : 1412.6572 .

[58] بهزادان، وحيد؛ منير، أرسلان (2017). "قابلية تعلّم التعزيز العميق للهجمات الاستقراءية للسياسات". تعلّم الآلة واستخراج البيانات في التعرّف على الأنماط . سلسلة محاضرات في علوم الحاسوب. المجلد 10358. الصفحات 262-275 . arXiv : 1701.04143 . doi : 10.1007/978-3-319-62416-7_19 . ISBN 978-3-319-62415-0. S2CID 1562290 .

[59] هوانغ، ساندي؛ بابرنوت، نيكولاس؛ غودفيلو، إيان؛ دوان، يان؛ أبيل، بيتر (2017-02-07). الهجمات الخصومية على سياسات الشبكات العصبية . OCLC 1106256905 .

[60] كوركماز، إزجي (2022). "سياسات التعلم العميق المعزز تتعلم السمات العدائية المشتركة عبر عمليات ماركوف للقرار" . المؤتمر السادس والثلاثون للجمعية الأمريكية للذكاء الاصطناعي (AAAI-22) . 36 (7): 7229-7238 . arXiv : 2112.09025 . doi : 10.1609/aaai.v36i7.20684 . S2CID 245219157 .

[61] بيرينجي، إتش آر (1994). "التعلم الضبابي Q: منهج جديد للبرمجة الديناميكية الضبابية". وقائع المؤتمر الدولي الثالث لأنظمة الضبابية لعام 1994، معهد مهندسي الكهرباء والإلكترونيات . أورلاندو، فلوريدا، الولايات المتحدة الأمريكية: معهد مهندسي الكهرباء والإلكترونيات. الصفحات 486-491 . doi : 10.1109/FUZZY.1994.343737 . ISBN 0-7803-1896-X. S2CID 56694947 .

[62] فينس، ديفيد (2017). "استيفاء القواعد الضبابية والتعلم المعزز" (ملف PDF) . المؤتمر الدولي الخامس عشر لعام 2017 التابع لمعهد مهندسي الكهرباء والإلكترونيات حول الذكاء الآلي التطبيقي والمعلوماتية (SAMI) . معهد مهندسي الكهرباء والإلكترونيات. الصفحات 173-178 . doi : 10.1109/SAMI.2017.7880298 . ISBN 978-1-5090-5655-2. S2CID 17590120 .

[63] نغ، أي واي؛ راسل، إس جيه (2000). "خوارزميات التعلم العكسي المعزز" (ملف PDF) . وقائع المؤتمر الدولي السابع عشر للتعلم الآلي ICML '00 . دار مورغان كوفمان للنشر. الصفحات 663-670 . ISBN 1-55860-707-2.

[64] زيبارت، برايان د.؛ ماس، أندرو؛ باغنيل، ج. أندرو؛ دي، أنيند ك. (13 يوليو 2008). "التعلم المعزز العكسي ذو الإنتروبيا القصوى" . وقائع المؤتمر الوطني الثالث والعشرين للذكاء الاصطناعي - المجلد 3. AAAI'08. شيكاغو، إلينوي: مطبعة AAAI: 1433-1438 . ISBN 978-1-57735-368-3. S2CID 336219 .

[65] بيتومبيرا-نيتو، أنسيلمو ر. سانتوس، هيلانو ب. كويلهو دا سيلفا، تيتشيانا إل؛ دي ماسيدو ، خوسيه أنطونيو ف. (مارس 2024). “نمذجة المسار عبر التعلم المعزز العكسي للمنفعة العشوائية”. علوم المعلومات . 660 120128. أرخايف : 2105.12092 . دوى : 10.1016/j.ins.2024.120128 . ISSN 0020-0255 . S2CID 235187141 .

[66] هايز سي، رادوليسكو آر، بارجياتشي إي، وآخرون (2022). "دليل عملي للتعلم المعزز متعدد الأهداف والتخطيط" . أنظمة الوكلاء المستقلين وأنظمة الوكلاء المتعددين . 36 26. arXiv : 2103.09568 . doi : 10.1007/s10458-022-09552-y . S2CID 254235920 . ،

[67] تسينج ، جوو هشيونج. هوانغ، جيه-جينغ (2011). اتخاذ القرارات ذات السمات المتعددة: الأساليب والتطبيقات ( الطبعة الأولى). الصحافة اتفاقية حقوق الطفل. رقم ISBN 978-1-4398-6157-8.

[68] غو، شانغدينغ؛ يانغ، لونغ؛ دو، يالي؛ تشين، غوانغ؛ والتر، فلوريان؛ وانغ، جون؛ نول، ألويس (10 سبتمبر 2024). "مراجعة للتعلم المعزز الآمن: الأساليب والنظريات والتطبيقات" (ملف PDF) . معاملات IEEE في تحليل الأنماط والذكاء الآلي . 46 (12): 11216-11235 . Bibcode : 2024ITPAM..4611216G . doi : 10.1109/TPAMI.2024.3457538 . PMID 39255180 .

[69] غارسيا، خافيير؛ فرنانديز، فرناندو (1 يناير 2015). "دراسة شاملة حول التعلم المعزز الآمن" (ملف PDF) . مجلة أبحاث تعلم الآلة . 16 (1): 1437-1480 .

[70] دابني، ويل؛ أوستروفسكي، جورج؛ سيلفر، ديفيد؛ مونوس، ريمي (2018-07-03). "شبكات الكميات الضمنية للتعلم المعزز التوزيعي" . وقائع المؤتمر الدولي الخامس والثلاثين للتعلم الآلي . PMLR: 1096–1105 . arXiv : 1806.06923 .

[71] تشاو، ينلام؛ تامار، أفيف؛ مانور، شي؛ بافوني، ماركو (2015). "اتخاذ القرارات الحساسة للمخاطر والقوية: نهج تحسين القيمة المعرضة للخطر المشروط" . التطورات في أنظمة معالجة المعلومات العصبية . 28. كوران أسوشيتس، إنك. arXiv : 1506.02188 .

[72] "تدرب بجد، قاتل بسهولة: التعلم المعزز الفائق القوي" . scholar.google.com . تم الاطلاع عليه بتاريخ 21-06-2024 .

[73] تامار، أفيف؛ غلاسنر، يوناتان؛ مانور، شي (21 فبراير 2015). "تحسين قيمة المخاطر المشروطة عبر أخذ العينات" . وقائع مؤتمر AAAI حول الذكاء الاصطناعي . 29 (1). arXiv : 1404.3862 . doi : 10.1609/aaai.v29i1.9561 . ISSN 2374-3468 .

[74] غرينبيرغ، إيدو؛ تشاو، ينلام؛ غافام زاده، محمد؛ مانور، شي (2022-12-06). "التعلم المعزز الفعال المتجنب للمخاطر" . التقدم في أنظمة معالجة المعلومات العصبية . 35 : 32639-32652 . arXiv : 2205.05138 .

[75] بوزينوفسكي، س. (1982). "نظام تعلم ذاتي باستخدام التعزيز الثانوي". في ترابل، روبرت (محرر). أبحاث علم التحكم الآلي والأنظمة: وقائع الاجتماع الأوروبي السادس حول أبحاث علم التحكم الآلي والأنظمة. نورث هولاند. ص 397-402. ISBN 978-0-444-86488-8

[76] بوزينوفسكي، س. (1995) "العوامل الوراثية العصبية والنظرية البنيوية لأنظمة التعلم بالتعزيز الذاتي". التقرير الفني 95-107، مركز علوم الحوسبة الفيزيائية الحاسوبية، جامعة ماساتشوستس في أمهيرست

[77] بوزينوفسكي، س. (2014) "نمذجة آليات التفاعل بين الإدراك والعاطفة في الشبكات العصبية الاصطناعية، منذ عام 1981." وقائع علوم الحاسوب، ص 255-263

[78] إنجستروم، لوجان؛ إلياس، أندرو؛ سانتوركار، شيباني؛ تسيبراس، ديميتريس؛ جانوس، فردوس؛ رودولف، لاري؛ مادري، ألكسندر (25-09-2019). "أهمية التنفيذ في التعلم المعزز العميق: دراسة حالة حول PPO وTRPO" . ICLR .

[79] كولاس، سيدريك (2019-03-06). "نموذج الممثل-الناقد المرن التوزيعي مع ثلاثة تحسينات" . معاملات IEEE في تحليل الأنماط والذكاء الآلي . 47 (5): 3935-3946 . arXiv : 1904.06979 . Bibcode : 2025ITPAM..47.3935D . doi : 10.1109/TPAMI.2025.3537087 . PMID 40031258 .

[80] غرينبيرغ، إيدو؛ مانور، شي (2021-07-01). "آلات المكافأة: استغلال بنية وظيفة المكافأة في التعلم المعزز" . مجلة أبحاث الذكاء الاصطناعي . 73. PMLR: 3842–3853 . arXiv : 2010.11660 . doi : 10.1613/jair.1.12440 .

[UcCetina2022-81] أوك-سيتينا، فيكتور؛ نافارو-غيريرو، نيكولاس؛ مارتن-غونزاليس، أنابيل؛ ويبر، كورنيليوس؛ ويرمتر، ستيفان (2022). "دراسة استقصائية حول التعلم المعزز لمعالجة اللغة". مراجعة الذكاء الاصطناعي . 56 : 1543-1575 . arXiv : 2104.05565 . doi : 10.1007/s10462-022-10205-5 .

[82] رانزاتو، مارك أوريليو؛ تشوبرا، سوميت؛ أولي، مايكل؛ زاريمبا، فويتش (2015). "التدريب على مستوى التسلسل باستخدام الشبكات العصبية المتكررة". arXiv : 1511.06732 [ cs.LG ].

[83] باولوس، رومان؛ شيونغ، كايمينغ؛ سوشر، ريتشارد (2017). "نموذج معزز عميق للتلخيص التجريدي". arXiv : 1705.04304 [ cs.CL ].

[84] لي، جيوي؛ مونرو، ويل؛ ريتر، آلان؛ جورافسكي، دان؛ جالي، ميشيل؛ جاو، جيانفينغ (2016). "التعلم العميق المعزز لتوليد الحوار". وقائع مؤتمر 2016 حول الأساليب التجريبية في معالجة اللغة الطبيعية . الصفحات 1192-1202 . arXiv : 1606.01541 . doi : 10.18653/v1/D16-1127 .

[85] كريستيانو، بول ف.؛ ليك، جان؛ براون، توم ب.؛ مارتيتش، ميلجان؛ ليج، شين؛ أمودي، داريو (2017). "التعلم العميق المعزز من التفضيلات البشرية". التقدم في أنظمة معالجة المعلومات العصبية . المجلد 30. arXiv : 1706.03741 .

[86] ستينون، نيسان؛ أويانغ، لونغ؛ وو، جيفري؛ زيغلر، دانيال م.؛ لوي، رايان؛ فوس، تشيلسي؛ رادفورد، أليك؛ أمودي، داريو؛ كريستيانو، بول (2020). "التعلم على التلخيص من خلال التغذية الراجعة البشرية". التقدم في أنظمة معالجة المعلومات العصبية . المجلد 33. الصفحات 3008-3021 . arXiv : 2009.01325 .

[87] أويانغ، لونغ؛ وو، جيفري؛ جيانغ، شو؛ وآخرون . (2022). "تدريب نماذج اللغة على اتباع التعليمات مع التغذية الراجعة البشرية". التقدم في أنظمة معالجة المعلومات العصبية . المجلد 35. الصفحات 27730-27744 . arXiv : 2203.02155 .

[88] رافائيلوف، رافائيل؛ شارما، أركيت؛ ميتشل، إريك؛ إرمون، ستيفانو؛ مانينغ، كريستوفر د.؛ فين، تشيلسي (2023). "تحسين التفضيل المباشر: نموذج لغتك هو في السر نموذج مكافأة". التقدم في أنظمة معالجة المعلومات العصبية . المجلد 36. arXiv : 2305.18290 .

[89] لامبرت، ناثان؛ موريسون، جاكوب؛ بياتكين، فالنتينا؛ وآخرون . (2024). "تولو 3: دفع الحدود في نموذج اللغة المفتوح بعد التدريب". arXiv : 2411.15124 [ cs.CL ].

[90] OpenAI (2024). "OpenAI o1 System Card". arXiv : 2412.16720 [ cs.AI ].

[DeepSeekR1-91] 1 2 DeepSeek-AI؛ وآخرون . (22 يناير 2025). "DeepSeek-R1 يحفز الاستدلال في أنظمة إدارة التعلم من خلال التعلم المعزز" . Nature . 645 ( 8081): 633–638 . arXiv : 2501.12948 . Bibcode : 2025Natur.645..633G . doi : 10.1038/s41586-025-09422-z . PMC 12443585. PMID 40962978 .

[ 1 ]

[ 2 ]

[ 3 ]

[ 4 ]

[ 5 ]

[ 6 ]

[ 7 ]

[ 8 ]

[ 9 ]

[ 10 ]

[ 11 ]

[ 12 ]

[ 13 ]

[ 15 ]

[ 16 ]

[ 17 ]

[ 18 ]

[ 19 ]

[ 20 ]

[ 21 ]

[ 22 ]

[ 23 ]

[ 24 ]

[ 25 ]

[ 26 ]

[ 27 ]

[ 28 ]

[ 29 ]

[ 30 ]

[ 31 ]

]

32

[ 34 ]

[ 35 ]

[ 36 ]

[ 37 ]

[ 38 ]

[ 39 ]

[ 40 ]

[ 41 ]

[ 42 ]

[ 43 ]

[ 44 ]

[ 45 ]

[ 46 ]

[ 47 ]

[ 48 ]

[ 49 ]

[ 50 ]

[ 51 ]

[ 52 ]

[ 53 ]

[ 54 ]

[ 55 ]

[ 56 ]

[ 57 ]

[ 58 ]

[ 59 ]

[ 60 ]

[ 61 ]

[ 62 ]

[ 63 ]

[ 64 ]

[ 65 ]

[ 66 ]

[ 67 ]

[ 68 ]

[ 69 ]

[

[

[

[

[

[ ٧٥ ]

[ ٧٦ ]

[ ٧٧ ]

[ 78 ]

[ 79 ]

[ 80 ]

[ 81 ]

[ 82 ]

[ 83 ]

[ 84 ]

[ 85 ]

[ 86 ]

[ 87 ]

[ 88 ]

[ 89 ]

[ 90 ]

[ 91 ]