التعلم عن طريق الفروق الزمنية

يشير التعلم بالفرق الزمني ( TD ) إلى فئة من أساليب التعلم المعزز غير المعتمدة على النموذج، والتي تتعلم من خلال إعادة التوزيع العشوائي (bootstrapping) انطلاقًا من التقدير الحالي لدالة القيمة. تقوم هذه الأساليب بأخذ عينات من البيئة، مثل أساليب مونت كارلو ، وتُجري تحديثات بناءً على التقديرات الحالية، مثل أساليب البرمجة الديناميكية . ^{[ 1 ]}

بينما لا تُعدّل طرق مونت كارلو تقديراتها إلا بعد معرفة النتيجة، تُعدّل طرق TD التنبؤات لتتوافق مع تنبؤات لاحقة أكثر دقة حول المستقبل، حتى قبل معرفة النتيجة. ^{[ 2 ]} وهذا شكل من أشكال إعادة التوزيع العشوائي (bootstrapping )، كما هو موضح في المثال التالي:

لنفترض أنك ترغب في التنبؤ بحالة الطقس ليوم السبت، ولديك نموذج يتنبأ بحالة الطقس ليوم السبت، بناءً على حالة الطقس في كل يوم من أيام الأسبوع. في الحالة الاعتيادية، ستنتظر حتى يوم السبت ثم تُعدّل جميع نماذجك. ولكن، عندما يكون اليوم، على سبيل المثال، يوم الجمعة، يجب أن يكون لديك فكرة جيدة عن حالة الطقس يوم السبت، وبالتالي ستتمكن من تغيير نموذج يوم السبت، على سبيل المثال، قبل حلول يوم السبت. ^{[ 2 ]}

ترتبط طرق الفرق الزمني بنموذج الفرق الزمني لتعلم الحيوانات . ^{[ 3 ] [ 4 ] [ 5 ] [ 6 ] [ 7 ]}

تُعدّ طريقة TD(0) الجدولية إحدى أبسط طرق TD، وهي حالة خاصة من طرق التقريب العشوائي الأكثر عمومية. تُقدّر هذه الطريقة دالة قيمة الحالة لعملية اتخاذ القرار ماركوفية ذات الحالات المحدودة (MDP) في ظل سياسة معينة.${\displaystyle \pi }$. يترك${\displaystyle V^{\pi }}$لنرمز إلى دالة قيمة الحالة لعملية ماركوف للقرار ذات الحالات${\displaystyle (S_{t})_{t\in \mathbb {N} }}$مكافآت${\displaystyle (R_{t})_{t\in \mathbb {N} }}$ومعدل الخصم ^{[ 8 ]}${\displaystyle \gamma }$بموجب السياسة${\displaystyle \pi }$[ ^{9 ]​}

${\displaystyle V^{\pi }(s)=E_{a\sim \pi }\left\{\sum _{t=0}^{\infty }\gamma ^{t}R_{t+1}{\Bigg |}S_{0}=s\right\}.}$

نحذف الفعل من الترميز للتسهيل.${\displaystyle V^{\pi }}$يحقق معادلة بيلمان :

${\displaystyle V^{\pi }(s)=E_{\pi }\{R_{1}+\gamma V^{\pi }(S_{1})|S_{0}=s\},}$

لذا${\displaystyle R_{1}+\gamma V^{\pi }(S_{1})}$هو تقدير غير متحيز لـ${\displaystyle V^{\pi }(s)}$هذه الملاحظة تحفز الخوارزمية التالية لتقدير${\displaystyle V^{\pi }}$.

تبدأ الخوارزمية بتهيئة جدول${\displaystyle V(s)}$بشكل تعسفي، بقيمة واحدة لكل حالة من حالات عملية ماركوف للقرار. معدل تعلم إيجابي${\displaystyle \alpha }$يتم اختياره.

ثم نقوم بتقييم السياسة بشكل متكرر${\displaystyle \pi }$احصل على مكافأة${\displaystyle r}$وقم بتحديث دالة القيمة للحالة الحالية باستخدام القاعدة: ^{[ 10 ]}

${\displaystyle V(S_{t})\leftarrow (1-\alpha )V(S_{t})+\underbrace {\alpha } _{\text{معدل التعلم}}[\overbrace {R_{t+1}+\gamma V(S_{t+1})} ^{\text{هدف TD}}]}$

أين${\displaystyle S_{t}}$و${\displaystyle S_{t+1}}$هما الحالتان الحالية والتالية على التوالي. القيمة${\displaystyle R_{t+1}+\gamma V(S_{t+1})}$يُعرف باسم هدف TD، و${\displaystyle R_{t+1}+\gamma V(S_{t+1})-V(S_{t})}$يُعرف باسم خطأ TD.

خوارزمية TD-Lambda هي خوارزمية تعلم ابتكرها ريتشارد س. ساتون استنادًا إلى أعمال سابقة لآرثر صموئيل حول تعلم الفروق الزمنية . ^{[ 11 ]} وقد اشتهر جيرالد تيسورو بتطبيق هذه الخوارزمية لإنشاء برنامج TD-Gammon ، وهو برنامج تعلم لعب لعبة الطاولة بمستوى اللاعبين البشريين المحترفين. ^{[ 12 ]}

لامدا (${\displaystyle \lambda }$يشير المعامل ) إلى معامل اضمحلال الأثر، مع${\displaystyle 0\leqslant \lambda \leqslant 1}$تؤدي الإعدادات الأعلى إلى آثار تدوم لفترة أطول؛ أي أنه يمكن منح نسبة أكبر من الفضل من المكافأة إلى حالات وأفعال أبعد عندما${\displaystyle \lambda }$أعلى، مع${\displaystyle \lambda =1}$إنتاج التعلم المتوازي لخوارزميات التعلم المعزز مونت كارلو. ^{[ 13 ]}

حظيت خوارزمية TD باهتمام في مجال علم الأعصاب . فقد اكتشف الباحثون أن معدل إطلاق النبضات العصبية للدوبامين في منطقة السقيفية البطنية (VTA) والمادة السوداء (SNc) يُحاكي دالة الخطأ في الخوارزمية. ^{[ 3 ] [ 4 ] [ 5 ] [ 6 ] [ 7 ]} تُشير دالة الخطأ إلى الفرق بين المكافأة المُقدَّرة في أي حالة أو خطوة زمنية مُحدَّدة والمكافأة الفعلية المُستلمة. كلما زادت دالة الخطأ، زاد الفرق بين المكافأة المُتوقَّعة والفعلية. وعندما يقترن هذا بمُحفِّز يُعكس بدقة مكافأة مُستقبلية، يُمكن استخدام الخطأ لربط المُحفِّز بالمكافأة المُستقبلية .

يبدو أن خلايا الدوبامين تتصرف بطريقة مماثلة. في إحدى التجارب، أُجريت قياسات على خلايا الدوبامين أثناء تدريب قرد على ربط مُحفز بمكافأة العصير. ^{[ 14 ]} في البداية، زادت معدلات إطلاق خلايا الدوبامين عندما تلقى القرد العصير، مما يشير إلى وجود فرق بين المكافآت المتوقعة والفعلية. بمرور الوقت، انتقلت هذه الزيادة في معدل الإطلاق إلى أول مُحفز موثوق للمكافأة. بمجرد أن اكتمل تدريب القرد، لم تكن هناك زيادة في معدل الإطلاق عند تقديم المكافأة المتوقعة. لاحقًا، انخفض معدل إطلاق خلايا الدوبامين إلى ما دون مستوى التنشيط الطبيعي عندما لم تُقدم المكافأة المتوقعة. يُحاكي هذا بشكل وثيق كيفية استخدام دالة الخطأ في نظرية التعلم المعزز .

أدت العلاقة بين النموذج والوظيفة العصبية المحتملة إلى ظهور أبحاث تسعى إلى استخدام نظرية التطور الزمني لتفسير العديد من جوانب البحث السلوكي. ^{[ 15 ] [ 16 ]} كما استُخدمت هذه النظرية لدراسة حالات مثل الفصام أو آثار التلاعب الدوباميني بالدوبامين على التعلم. ^{[ 17 ]}

• صمامات PVLV
• التعلم المعزز (Q-learning)
• نموذج ريسكورلا-فاغنر
• الدولة - الفعل - المكافأة - الدولة - الفعل (SARSA)

• ماين، إس بي (2007). تقنيات التحكم للشبكات المعقدة . مطبعة جامعة كامبريدج. رقم ISBN 978-0521884419.انظر الفصل الأخير والملحق.
• ساتون، آر إس؛ بارتو، إيه جي (1990). "نماذج المشتقات الزمنية للتعزيز البافلوفي" (ملف PDF) . التعلم وعلم الأعصاب الحاسوبي: أسس الشبكات التكيفية : 497-537 . مؤرشف من النسخة الأصلية (ملف PDF) بتاريخ 30 مارس 2017. تم الاطلاع عليه بتاريخ 29 مارس 2017 .

• تطبيق Connect Four TDGravity مؤرشف بتاريخ 24-07-2012 على Wayback Machine (+ نسخة الهاتف المحمول) - تم تعلمه ذاتيًا باستخدام طريقة TD-Leaf (مزيج من TD-Lambda مع بحث الشجرة الضحلة)
• تطبيق ويب نموذجي للتعلم الذاتي للعبة تيك تاك تو، مؤرشف بتاريخ 19-03-2014 في Wayback Machine، يوضح كيفية استخدام التعلم بالفرق الزمني لتعلم ثوابت تقييم الحالة لذكاء اصطناعي minimax يلعب لعبة لوحية بسيطة.
• مشكلة التعلم المعزز ، وثيقة تشرح كيف يمكن استخدام التعلم بالفرق الزمني لتسريع عملية التعلم Q
• محاكي الفرق الزمني TD-Simulator للتكييف الكلاسيكي