التعلم المعزز من خلال التغذية الراجعة البشرية

الموسوعة الحرة

نظرة عامة رفيعة المستوى على التعلم المعزز من خلال التغذية الراجعة البشرية

في مجال تعلم الآلة ، يُعدّ التعلم المعزز من خلال التغذية الراجعة البشرية ( RLHF ) أسلوبًا لمواءمة نظام ذكي مع تفضيلات المستخدم . ويتضمن ذلك تدريب نموذج مكافأة لتمثيل هذه التفضيلات، والذي يمكن استخدامه بعد ذلك لتدريب نماذج أخرى من خلال التعلم المعزز . [ 1 ]

في التعلم المعزز التقليدي، يهدف العامل الذكي إلى تعلم دالة توجه سلوكه، تُسمى السياسة . [ 2 ] تُحسَّن هذه الدالة بشكل تكراري لزيادة إشارة المكافأة المستمدة من أداء العامل للمهمة. [ 3 ] مع ذلك، يُعدّ تحديد دالة مكافأة تُقارب بدقة تفضيلات الإنسان أمرًا صعبًا. لذا، يسعى التعلم المعزز القائم على المكافأة (RLHF) إلى تدريب "نموذج مكافأة" مباشرةً من ملاحظات الإنسان . [ 4 ] يُدرَّب نموذج المكافأة أولًا بطريقة مُشرفة للتنبؤ بما إذا كانت الاستجابة لمطالبة معينة جيدة (مكافأة عالية) أو سيئة (مكافأة منخفضة) بناءً على بيانات التصنيف المُجمَّعة من مُعلِّقين بشريين . ثم يعمل هذا النموذج كدالة مكافأة لتحسين سياسة العامل من خلال خوارزمية تحسين مثل تحسين السياسة التقريبي . [ 5 ] [ 6 ] [ 7 ]

تُستخدم تقنية التعلم الآلي القائم على التفضيلات البشرية (RLHF) في مجالات متنوعة ضمن التعلم الآلي، بما في ذلك مهام معالجة اللغة الطبيعية مثل تلخيص النصوص ووكلاء المحادثة ، ومهام رؤية الحاسوب مثل نماذج تحويل النصوص إلى صور ، وتطوير روبوتات ألعاب الفيديو . ورغم أن RLHF طريقة فعّالة لتدريب النماذج لتحسين أدائها بما يتوافق مع تفضيلات المستخدمين، إلا أنها تواجه تحديات تتعلق بطريقة جمع بيانات هذه التفضيلات. فعلى الرغم من أن RLHF لا تتطلب كميات هائلة من البيانات لتحسين الأداء، إلا أن الحصول على بيانات تفضيلات عالية الجودة لا يزال عملية مكلفة. علاوة على ذلك، إذا لم تُجمع البيانات بعناية من عينة تمثيلية ، فقد يُظهر النموذج الناتج تحيزات غير مرغوب فيها .

الخلفية والدوافع

يُعدّ تحسين النموذج بناءً على ملاحظات المستخدمين أمرًا مرغوبًا فيه عندما يصعب تحديد مهمة ما، ولكن يسهل تقييمها. [ 8 ] على سبيل المثال، قد يرغب المرء في تدريب نموذج لتوليد نصوص آمنة ، مفيدة وغير ضارة (كأن تخلو من التحيز أو المحتوى السام أو الضار). سيكون من الصعب والمستهلك للوقت أن يُطلب من المستخدمين إنشاء أمثلة يدوية لنصوص غير ضارة وأخرى ضارة. مع ذلك، يتمتع المستخدمون بمهارة عالية في تقييم ومقارنة مدى ضرر النصوص المختلفة التي يُولّدها الذكاء الاصطناعي بسرعة. لذا، يتمثل الهدف الأكثر عملية في تمكين النموذج من استخدام هذا النوع من ملاحظات المستخدمين لتحسين قدرته على توليد النصوص. [ 9 ]

على الرغم من الفوائد الواضحة لإدراج التغذية الراجعة البشرية في تدريب النماذج، فقد واجهت الجهود السابقة - بما في ذلك بعض الجهود التي تستفيد من التعلم المعزز - تحديات كبيرة. كانت معظم المحاولات إما محدودة النطاق ويصعب تعميمها، مما أدى إلى فشلها في المهام الأكثر تعقيدًا، [ 10 ] [ 11 ] [ 12 ] [ 13 ] أو واجهت صعوبات في التعلم من دوال المكافأة المتفرقة (التي تفتقر إلى معلومات محددة وتتعلق بكميات كبيرة من النصوص في وقت واحد) أو المشوشة (التي تكافئ المخرجات المتشابهة بشكل غير متسق). [ 14 ] [ 15 ]

لم تكن خوارزمية RLHF أول طريقة ناجحة لاستخدام التغذية الراجعة البشرية في التعلم المعزز، لكنها من أكثر الطرق استخدامًا. وقد طُرحت أسس RLHF كمحاولة لإنشاء خوارزمية عامة للتعلم من كمية عملية من التغذية الراجعة البشرية. [ 8 ] [ 5 ] وقد قدمت OpenAI الخوارزمية المستخدمة اليوم في ورقة بحثية حول تحسين استمرارية النصوص أو تلخيصها بناءً على التغذية الراجعة البشرية، وبدأت تكتسب شعبية عندما أعيد استخدام الطريقة نفسها في ورقتهم البحثية حول InstructGPT . [ 4 ] [ 16 ] [ 17 ] كما ثبت أن RLHF تُحسّن من متانة وكلاء التعلم المعزز وقدرتهم على الاستكشاف ، مما ينتج عنه عملية تحسين أكثر كفاءة في التعامل مع عدم اليقين واستكشاف البيئة بكفاءة بحثًا عن أعلى مكافأة. [ 18 ]

جمع آراء المستخدمين

تُجمع ملاحظات المستخدمين عادةً من خلال مطالبتهم بترتيب حالات سلوك البرنامج. [ 17 ] [ 19 ] [ 20 ] ويمكن استخدام هذه الترتيبات لتقييم المخرجات، على سبيل المثال، باستخدام نظام تصنيف إيلو ، وهو خوارزمية لحساب مستويات المهارة النسبية للاعبين في لعبة ما بناءً على نتيجة كل مباراة فقط. [ 5 ] في حين أن ترتيب المخرجات هو الشكل الأكثر شيوعًا للملاحظات، فقد استكشفت الأبحاث الحديثة أشكالًا أخرى، مثل الملاحظات الرقمية، والملاحظات باللغة الطبيعية، والمطالبة بإجراء تعديلات مباشرة على مخرجات النموذج. [ 21 ]

كان أحد الدوافع الأولية لنموذج RLHF هو أنه يتطلب كميات صغيرة نسبيًا من بيانات المقارنة ليكون فعالًا. [ 8 ] وقد ثبت أن كمية صغيرة من البيانات يمكن أن تؤدي إلى نتائج مماثلة لكمية أكبر. بالإضافة إلى ذلك، فإن زيادة كمية البيانات تميل إلى أن تكون أقل فعالية من زيادة حجم نموذج المكافأة بشكل متناسب. [ 16 ] ومع ذلك، يمكن أن تكون كمية أكبر وأكثر تنوعًا من البيانات حاسمة للمهام التي يكون من المهم فيها تجنب التحيز الناتج عن مجموعة جزئية التمثيل من المُعلِّقين. [ 17 ]

عند التعلم من ردود فعل المستخدمين من خلال المقارنة الثنائية وفقًا لنموذج برادلي-تيري-لوس (أو نموذج بلاكيت-لوس للمقارنات الثنائية التي تتجاوز مقارنتين)، فقد ثبت أن مُقدِّر الاحتمال الأقصى (MLE) لدوال المكافأة الخطية يتقارب إذا تم توليد بيانات المقارنة وفقًا لنموذج خطي مُحدد بدقة . وهذا يعني أنه في ظل شروط معينة، إذا تم تدريب نموذج لتحديد الخيارات التي يُفضلها الأفراد بين أزواج (أو مجموعات) من الخيارات، فإنه سيتحسن بالضرورة في التنبؤ بالتفضيلات المستقبلية. ومن المتوقع حدوث هذا التحسن طالما أن المقارنات التي يتعلم منها تستند إلى قاعدة بسيطة ومتسقة. [ 22 ] [ 23 ]

تمت دراسة كل من نماذج جمع البيانات غير المتصلة بالإنترنت، حيث يتعلم النموذج من خلال التفاعل مع مجموعة بيانات ثابتة وتحديث سياسته على دفعات، ونماذج جمع البيانات المتصلة بالإنترنت، حيث يتفاعل النموذج مباشرة مع البيئة الديناميكية ويحدث سياسته على الفور، رياضياً لإثبات حدود تعقيد العينة لخوارزمية RLHF في ظل نماذج التغذية الراجعة المختلفة. [ 22 ] [ 24 ]

في نموذج جمع البيانات غير المتصل بالإنترنت، عندما يكون الهدف هو تدريب السياسة، يكون تقدير الاحتمال الأقصى المتشائم الذي يتضمن حدًا أدنى للثقة كتقدير للمكافأة هو الأكثر فعالية. علاوة على ذلك، عند الاقتضاء، فقد ثبت أن النظر في المقارنات K-wise مباشرةً أكثر كفاءة من الناحية التقاربية من تحويلها إلى مقارنات ثنائية لأغراض التنبؤ. [ 24 ] [ 25 ] [ 17 ]

في سيناريو التفاعل عبر الإنترنت، عندما تُجمع ملاحظات المستخدمين من خلال مقارنات ثنائية وفقًا لنموذج برادلي-تيري-لوس، ويكون الهدف هو تقليل ندم الخوارزمية (أي الفرق في الأداء مقارنةً بالوكيل الأمثل)، فقد ثبت أنه يمكن استخدام تقدير الاحتمال الأقصى المتفائل الذي يتضمن حدًا أعلى للثقة كتقدير للمكافأة لتصميم خوارزميات فعالة من حيث استخدام البيانات (أي أنها تتطلب بيانات تدريب قليلة نسبيًا). يتمثل أحد التحديات الرئيسية في التعلم من خلال المقارنات الثنائية (أو المتنافسة) في الطبيعة غير الماركوڤية لسياساتها المثلى. فعلى عكس السيناريوهات الأبسط حيث لا تتطلب الاستراتيجية المثلى تذكر الإجراءات السابقة، في التعلم من خلال المقارنات الثنائية، غالبًا ما يعتمد أفضل مسار للعمل في التعلم من خلال المقارنات الثنائية على الأحداث والقرارات السابقة، مما يجعل الاستراتيجية تعتمد بطبيعتها على الذاكرة. [ 23 ]

التطبيقات

طُبقت تقنية التعلم المعزز المعزز (RLHF) في مجالات متنوعة من معالجة اللغة الطبيعية (NLP)، مثل وكلاء المحادثة، وتلخيص النصوص، وفهم اللغة الطبيعية. [ 26 ] [ 16 ] يصعب تطبيق التعلم المعزز التقليدي، حيث يتعلم الوكلاء من أفعالهم بناءً على "دالة مكافأة" محددة مسبقًا، على مهام معالجة اللغة الطبيعية لأن المكافآت غالبًا ما يصعب تحديدها أو قياسها، خاصةً عند التعامل مع مهام معقدة تتضمن قيمًا أو تفضيلات بشرية. [ 8 ] تستطيع تقنية RLHF توجيه نماذج معالجة اللغة الطبيعية، ولا سيما نماذج اللغة ، لتقديم إجابات تتوافق مع التفضيلات البشرية فيما يتعلق بهذه المهام من خلال استيعاب هذه التفضيلات مسبقًا في نموذج المكافأة. ينتج عن ذلك نموذج قادر على توليد استجابات أكثر صلة ورفض الاستفسارات غير المناسبة أو غير ذات الصلة. [ 17 ] [ 27 ] من الأمثلة البارزة على نماذج اللغة المدربة باستخدام RLHF: ChatGPT من OpenAI (وسلفه InstructGPT )، [ 19 ] [ 28 ] [ 29 ] وSparrow من DeepMind ، [ 30 ] [ 31 ] [ 32 ] و Gemini من Google ، [ 33 ] و Claude من Anthropic . [ 34 ]

في مجال رؤية الحاسوب، استُخدمت تقنية RLHF أيضًا لمواءمة نماذج تحويل النصوص إلى صور . وقد أشارت الدراسات التي نجحت في استخدام RLHF لهذا الغرض إلى أن استخدام تنظيم KL فيها، والذي يهدف إلى منع السياسة المُتعلمة من الابتعاد كثيرًا عن النموذج غير المُحاذي، ساهم في استقرار عملية التدريب عن طريق الحد من فرط التخصيص لنموذج المكافأة. ولوحظ أن جودة الصور النهائية الناتجة عن النماذج المُدرَّبة باستخدام تنظيم KL كانت أعلى بكثير من تلك المُدرَّبة بدونه. [ 35 ] [ 36 ] حاولت طرق أخرى دمج التغذية الراجعة من خلال تدريب أكثر مباشرة - يعتمد على تعظيم المكافأة دون استخدام التعلم المعزز - لكنها أقرت بأن النهج القائم على RLHF من المرجح أن يكون أداؤه أفضل نظرًا لتوليد العينات عبر الإنترنت المستخدم في RLHF أثناء التحديثات، بالإضافة إلى تنظيم KL المذكور سابقًا على النموذج السابق، مما يُخفف من فرط التخصيص لدالة المكافأة. [ 37 ]

RLHF was initially applied to other areas, such as the development of video game bots and tasks in simulated robotics. For example, OpenAI and DeepMind trained agents to play Atari games based on human preferences. In classical RL-based training of such bots, the reward function is simply correlated to how well the agent is performing in the game, usually using metrics like the in-game score. In comparison, in RLHF, a human is periodically presented with two clips of the agent's behavior in the game and must decide which one looks better. This approach can teach agents to perform at a competitive level without ever having access to their score. In fact, it was shown that RLHF can sometimes lead to superior performance over RL with score metrics because the human's preferences can contain more useful information than performance-based metrics.[8][38] The agents achieved strong performance in many of the environments tested, often surpassing human performance.[39]

Training

In RLHF, two different models are trained: a reward model and a reinforcement learning policy. The reward model learns to determine what behavior is desirable based on human feedback, while the policy is guided by the reward model to determine the agent's actions. Both models are commonly initialized using a pre-trained autoregressivelanguage model. This model is then customarily trained in a supervised manner on a relatively small dataset of pairs of prompts to an assistant and their accompanying responses, written by human annotators.

Reward model

The reward model is a function that takes a string (piece of text) as input, and produces a single number, which is the "reward".[40]

It is usually initialized with a pre-trained model, as this initializes it with an understanding of language and focuses training explicitly on learning human preferences. In addition to being used to initialize the reward model and the RL policy, the model is then also used to sample data to be compared by annotators.[17][16]

ثم يتم تدريب نموذج المكافأة باستبدال الطبقة الأخيرة من النموذج السابق برأس انحدار مُهيأ عشوائيًا . يُحوّل هذا التغيير النموذج من مهمة التصنيف الأصلية على مفرداته إلى مجرد إخراج رقم يُطابق درجة أي مُطالبة واستجابة مُعطاة. يتم تدريب هذا النموذج على بيانات مُقارنة تفضيلات البشر التي جُمعت مُسبقًا من النموذج الخاضع للإشراف. وعلى وجه الخصوص، يتم تدريبه لتقليل دالة خسارة الإنتروبيا المتقاطعة التالية :ل(θ)=-1(ك2)هـ(x،yw،yل)[سجل⁡(σ(رθ(x،yw)-رθ(x،yل)))]=-1(ك2)هـ(x،yw،yل)سجل⁡[هـرθ(x،yw)هـرθ(x،yw)+هـرθ(x،yل)]{\displaystyle {\mathcal {L}}(\theta )=-{\frac {1}{K \choose 2}}E_{(x,y_{w},y_{l})}[\log(\sigma (r_{\theta }(x,y_{w})-r_{\theta }(x,y_{l})))]=-{\frac {1}{K \choose 2}}E_{(x,y_{w},y_{l})}\log \left[{\frac {e^{r_{\theta }(x,y_{w})}}{e^{r_{\theta }(x,y_{w})}+e^{r_{\theta }(x,y_{l})}}}\right]}

أينك{\displaystyle K}يمثل عدد الاستجابات التي قام المصنفون بتصنيفها،رθ(x،y){\displaystyle r_{\theta }(x,y)}هو ناتج نموذج المكافأة للإشعارx{\displaystyle x}وإتمامهاy{\displaystyle y}،yw{\displaystyle y_{w}}يُعدّ هذا الخيار هو الخيار المفضل لإكمال المشروع.yل{\displaystyle y_{l}}،σ(x){\displaystyle \sigma (x)}يرمز إلى دالة سيجمويد ، وهـ[X]{\displaystyle E[X]}يشير إلى القيمة المتوقعة . [ 17 ] يمكن اعتبار هذا شكلاً من أشكال الانحدار اللوجستي ، حيث يتنبأ النموذج باحتمالية حدوث استجابةyw{\displaystyle y_{w}}يفضل علىyل{\displaystyle y_{l}}.

تقيس دالة الخسارة هذه بشكل أساسي الفرق بين تنبؤات نموذج المكافأة والقرارات التي يتخذها البشر. والهدف هو جعل تخمينات النموذج أقرب ما يمكن إلى تفضيلات البشر عن طريق تقليل الفرق الذي تقيسه هذه المعادلة. في حالة المقارنات الثنائية فقط،ك=2{\displaystyle K=2}، لذا فإن عامل1/(ك2)=1{\displaystyle 1/{\tbinom {K}{2}}=1}[ 16 ] بشكل عام، جميع(ك2){\displaystyle {\tbinom {K}{2}}}تُستخدم المقارنات من كل موجه للتدريب كدفعة واحدة . [ 17 ]

بعد التدريب، يتم تطبيع مخرجات النموذج بحيث يكون متوسط ​​درجات الإكمال المرجعي 0. أي [ 16 ]∑yرθ(x،y)=0{\textstyle \sum _{y}r_{\theta }(x,y)=0} لكل زوج من الاستعلامات والمراجع(x،y){\displaystyle (x,y)}عن طريق حساب متوسط ​​المكافأة عبر مجموعة بيانات التدريب وتعيينه كتحيز في رأس المكافأة.

سياسة

نموذج السياسة هو دالة تأخذ سلسلة نصية كمدخل، وتُنتج سلسلة نصية أخرى. عادةً في نمذجة اللغة، لا تُنتج سلسلة الإخراج في تمريرة أمامية واحدة، بل عبر عدة تمريرات أمامية، تُولّد ذاتيًا. على غرار نموذج المكافأة، تُهيأ سياسة التغذية الراجعة البشرية أيضًا من نموذج مُدرّب مسبقًا. [ 16 ]

يكمن المفتاح في فهم توليد اللغة كما لو كانت لعبة يتعلمها التعلم المعزز. في التعلم المعزز، السياسة هي دالة تربط حالة اللعبة بفعلٍ فيها. في التعلم المعزز الموجه، "اللعبة" هي لعبة الاستجابة للمطالبات. المطالبات وجميع الرموز المميزة التي تم توليدها سابقًا هي حالة اللعبة، وتوليد رمز مميز جديد هو فعلٌ فيها. [ 41 ]

تتمثل الخطوة الأولى في تدريب النموذج في الضبط الدقيق الخاضع للإشراف (SFT). لا تتطلب هذه الخطوة نموذج المكافأة، بل يتم تدريب النموذج المدرب مسبقًا على مجموعة بيانات.دSFتي{\displaystyle D_{SFT}}التي تحتوي على أزواج من الاستجابة الفورية(x،y){\displaystyle (x,y)}ثم، خلال عملية SFT، يتم تدريب النموذج لتوليد الاستجابة المقابلة تلقائيًا.y{\displaystyle y}عند إعطاء مطالبة عشوائيةx{\displaystyle x}توصي الورقة الأصلية باستخدام SFT لفترة واحدة فقط، لأن أكثر من ذلك يتسبب في فرط التخصيص.

مجموعة البياناتدSFتي{\displaystyle D_{SFT}}عادة ما تتم كتابتها بواسطة متعاقدين بشريين، يقومون بكتابة كل من المطالبات والردود.

تستخدم الخطوة الثانية طريقة تدرج السياسة لنموذج المكافأة. وهي تستخدم مجموعة بياناتدRل{\displaystyle D_{RL}}والتي تحتوي على مطالبات، ولكن ليس على استجابات. ومثل معظم طرق تدرج السياسة، تحتوي هذه الخوارزمية على حلقة خارجية وحلقتين داخليتين:

  • تهيئة السياسةπϕRل{\displaystyle \pi _{\phi }^{RL}}لπSFتي{\displaystyle \pi ^{SFT}}، مخرجات السياسة من SFT.
  • قم بتكرار العملية لعدة خطوات.
    • قم بتهيئة مجموعة بيانات فارغة جديدةدπϕRل{\displaystyle D_{\pi _{\phi}^{RL}}}.
    • حلقة للعديد من الخطوات
      • اختر نموذجًا عشوائيًا للمطالبةx{\displaystyle x}مندRل{\displaystyle D_{RL}}.
      • قم بإنشاء ردy{\displaystyle y}من السياسةπϕRل{\displaystyle \pi _{\phi }^{RL}}.
      • احسب إشارة المكافأةرθ(x،y){\displaystyle r_{\theta }(x,y)}من نموذج المكافأةرθ{\displaystyle r_{\theta }}.
      • أضف الثلاثية(x،y،رθ(x،y)){\displaystyle (x,y,r_{\theta }(x,y))}لدπϕRل{\displaystyle D_{\pi _{\phi }^{RL}}}.
    • تحديثϕ{\displaystyle \phi }باستخدام طريقة تدرج السياسة لزيادة دالة الهدفموضوعي(ϕ)=هـ(x،y)∼دπϕRL[رθ(x،y)-βسجل⁡(πϕRL(y|x)πSFT(y|x))]{\displaystyle {\text{objective}}(\phi )=E_{(x,y)\sim D_{\pi _{\phi }^{\text{RL}}}}\left[r_{\theta }(x,y)-\beta \log \left({\frac {\pi _{\phi }^{\text{RL}}(y|x)}{\pi ^{\text{SFT}}(y|x)}}\right)\right]}

لاحظ أن(x،y)∼دπϕRL{\displaystyle (x,y)\sim D_{\pi _{\phi }^{\text{RL}}}}يعادلx∼دRل،y∼πϕRL(⋅|x){\displaystyle x\sim D_{RL},y\sim \pi _{\phi }^{\text{RL}}(\cdot |x)}وهذا يعني "أخذ عينة من موجه مندRل{\displaystyle D_{RL}}ثم قم بأخذ عينة من الاستجابة من السياسة".

تتكون دالة الهدف من جزأين. الجزء الأول هو ببساطة المكافأة المتوقعةهـ[ر]{\displaystyle E[r]}وهو معيار لأي خوارزمية تعلّم معزز. أما الجزء الثاني فهو "حد جزائي" يتضمن تباعد كولباك-لايبير . وتُحدد قوة هذا الحد الجزائي بواسطة المعامل الفائق.β{\displaystyle \beta }.

يعمل مصطلح KL هذا عن طريق معاقبة تباعد KL (وهو مقياس للمسافة الإحصائية بين التوزيعات) بين النموذج الذي يتم ضبطه بدقة والنموذج الخاضع للإشراف الأولي. من خلال اختيار قيمة مناسبةβ{\displaystyle \beta }يمكن للتدريب تحقيق التوازن بين التعلم من البيانات الجديدة والاحتفاظ بالمعلومات المفيدة من النموذج الأولي، مما يزيد من التعميم عن طريق تجنب التطابق الشديد مع البيانات الجديدة. إلى جانب منع النموذج الجديد من إنتاج مخرجات مختلفة تمامًا عن مخرجات النموذج الأولي، يتمثل الدافع الثاني لإدراج مصطلح KL في تشجيع النموذج على إخراج نصوص عالية الإنتروبيا ، وذلك لمنع النموذج من الانهيار إلى عدد قليل من الاستجابات الجاهزة . [ 16 ]

ببساطة، تحسب دالة الهدف مدى توافق استجابات النظام مع آراء المستخدمين. يُولّد النظام استجابات للمطالبات، ويُقيّم كل استجابة بناءً على مدى توافقها مع تفضيلات المستخدمين (كما يقيسها نموذج المكافأة) ومدى تشابهها مع الاستجابات التي يُولدها النموذج تلقائيًا. الهدف هو تحقيق التوازن بين تحسين التوافق مع تفضيلات المستخدمين وضمان تنوع استجابات النموذج وعدم ابتعادها كثيرًا عما تعلمه خلال تدريبه الأولي. يساعد هذا النموذج ليس فقط على تقديم إجابات يجدها المستخدمون مفيدة أو مقبولة، بل أيضًا على الحفاظ على فهم شامل وتجنب الاستجابات الضيقة أو المتكررة.

تحسين السياسة القريبة

عادةً ما يتم تدريب دالة السياسة باستخدام خوارزمية تحسين السياسة التقريبية (PPO). أي أن المعلمةϕ{\displaystyle \phi }يتم تدريبها باستخدام خوارزمية التدرج الصاعد على الدالة البديلة المقطوعة. [ 17 ] [ 16 ]

تقليديًا، تستخدم خوارزمية PPO تقدير الميزة المعمم ، مما يعني وجود مُقدِّر قيمة إضافي.Vξت(x){\displaystyle V_{\xi _{t}}(x)}، والتي يتم تحديثها بالتزامن مع السياسةπϕتRل{\displaystyle \pi _{\phi _{t}}^{RL}}أثناء التدريب على برنامج PPO:πϕتRل،Vξت،πϕت+1Rل،Vξت+1،...{\displaystyle \pi _{\phi _{t}}^{RL},V_{\xi _{t}},\pi _{\phi _{t+1}}^{RL},V_{\xi _{t+1}},\dots }[ 42 ] يتم استخدام مقدر القيمة فقط أثناء التدريب ، وليس خارج التدريب.

يستخدم PPO خوارزمية التدرج الهبوطي على الميزة البديلة المقطوعة التالية :لPPO(ϕ):=هـx∼دRL،y∼πϕت(y|x)[مين(πϕRل(y|x)πϕتRل(y|x)أ(x،y)،جلأناص(πϕRل(y|x)πϕتRل(y|x)،1-ϵ،1+ϵ)أ(x،y))]{\displaystyle L_{\text{PPO}}(\phi ):=E_{x\sim D_{\text{RL}},y\sim \pi _{\phi _{t}}(y|x)}\left[\min \left({\frac {\pi _{\phi }^{RL}(y|x)}{\pi _{\phi _{t}}^{RL}(y|x)}}A(x,y),\mathrm {clip} \left({\frac {\pi _{\phi }^{RL}(y|x)}{\pi _{\phi _{t}}^{RL}(y|x)}},1-\epsilon ,1+\epsilon \right)A(x,y)\right)\right]}

حيث مصطلح الميزةأ(x،y){\displaystyle A(x,y)}يُعرَّف بأنهرθ(x،y)-Vξت(x){\displaystyle r_{\theta }(x,y)-V_{\xi _{t}}(x)}أي أن الميزة تُحسب على أنها الفرق بين المكافأة (العائد المتوقع) وتقدير القيمة (العائد المتوقع من السياسة). ويُستخدم هذا لتدريب السياسة باستخدام خوارزمية التدرج الصاعد، عادةً باستخدام مُحسِّن الزخم والتدرج القياسي، مثل مُحسِّن آدم .

قامت الورقة الأصلية بتهيئة مُقدِّر القيمة من نموذج المكافأة المُدرَّب. [ 16 ] وبما أن PPO هي خوارزمية ممثل-ناقد، يتم تحديث مُقدِّر القيمة بالتزامن مع السياسة، من خلال تقليل مربع خطأ TD، والذي يساوي في هذه الحالة مربع حد الميزة:لتي دي(ξ)=هـ(x،y)∼دπϕتRL[(رθ(x،y)-βسجل⁡(πϕتRL(y|x)πSFT(y|x))-Vξ(x))2]{\displaystyle L_{\text{TD}}(\xi )=\mathbb {E} _{(x,y)\sim D{\pi _{\phi _{t}}^{\text{RL}}}}\left[\left(r_{\theta }(x,y)-\beta \log \left({\frac {\pi _{\phi _{t}}^{\text{RL}}(y|x)}{\pi ^{\text{SFT}}(y|x)}}\right)-V_{\xi }(x)\right)^{2}\right]}يتم تقليل هذا الخطأ باستخدام خوارزمية التدرج الهبوطي . قد تُستخدم طرق أخرى غير طريقة مربع الخطأ الزمني الزمني. راجع صفحة خوارزمية الممثل-الناقد لمزيد من التفاصيل.

مزج تدرجات التدريب المسبق

يُضاف عادةً حد ثالث إلى دالة الهدف لمنع النموذج من النسيان الكارثي. على سبيل المثال، إذا تم تدريب النموذج على خدمة العملاء فقط، فقد ينسى المعرفة العامة في الجغرافيا. ولمنع ذلك، تتضمن عملية RLHF هدف نمذجة اللغة الأصلي. أي بعض النصوص العشوائيةx{\displaystyle x}يتم أخذ العينات من مجموعة بيانات التدريب المسبق الأصليةدما قبل القطار{\displaystyle D_{\text{pretrain}}}ويتم تدريب النموذج لزيادة احتمالية النص إلى أقصى حد.سجل⁡(πϕRل(x)){\displaystyle \log(\pi _{\phi }^{RL}(x))}تُكتب دالة الهدف النهائية على النحو التالي:

ل(ϕ)=هـ(x،y)∼دπϕRL[رθ(x،y)-βسجل⁡(πϕRL(y|x)πSFT(y|x))]+γهـx∼دما قبل القطار[سجل⁡(πϕRL(x))]{\displaystyle L(\phi )=E_{(x,y)\sim D_{\pi _{\phi }^{\text{RL}}}}\left[r_{\theta }(x,y)-\beta \log \left({\frac {\pi _{\phi }^{\text{RL}}(y|x)}{\pi ^{\text{SFT}}(y|x)}}\right)\right]+\gamma E_{x\sim D_{\text{pretrain}}}[\log(\pi _{\phi }^{\text{RL}}(x))]}

أينγ{\displaystyle \gamma }يتحكم هذا في قوة مصطلح التدريب المسبق. [ 17 ] تُسمى دالة الهدف المُدمجة هذه PPO-ptx، حيث تعني "ptx" "دمج تدرجات التدريب المسبق". [ 9 ] وقد استُخدمت لأول مرة في ورقة بحثية بعنوان InstructGPT. [ 17 ]

بشكل عام، تحدد دالة الهدف هذه طريقة تعديل سياسة التعلم المعزز، حيث تمزج بين هدف التوافق مع ردود الفعل البشرية والحفاظ على فهم النموذج الأصلي للغة.

لذا، عند كتابة دالة الهدف PPO-ptx بشكل صريح تمامًا، تكون كالتالي:

لPPO-ptx(ϕ):=هـ(x،y)∼دπϕتRL[مين(πϕRل(y|x)πϕتRل(y|x)أ(x،y)،جلأناص(πϕRل(y|x)πϕتRل(y|x)،1-ϵ،1+ϵ)أ(x،y))-βسجل⁡(πϕRL(y|x)πSFT(y|x))]+γهـx∼دما قبل القطار[سجل⁡(πϕRL(x))]{\displaystyle {\begin{aligned}L_{\text{PPO-ptx}}(\phi )&:=E_{(x,y)\sim D_{\pi _{\phi _{t}}^{\text{RL}}}}\left[\min \left({\frac {\pi _{\phi }^{RL}(y|x)}{\pi _{\phi _{t}}^{RL}(y|x)}}A(x,y),\mathrm {clip} \left({\frac {\pi _{\phi }^{RL}(y|x)}{\pi _{\phi _{t}}^{RL}(y|x)}},1-\epsilon ,1+\epsilon \right)A(x,y)\right)-\beta \log \left({\frac {\pi _{\phi }^{\text{RL}}(y|x)}{\pi ^{\text{SFT}}(y|x)}}\right)\right]\\&+\gamma E_{x\sim D_{\text{pretrain}}}[\log(\pi _{\phi }^{\text{RL}}(x))]\end{aligned}}} والتي يتم تحسينها عن طريق خوارزمية التدرج الصاعد عليها.

القيود

يُعاني نموذج RLHF من تحديات في جمع الملاحظات البشرية، وتعلم نموذج المكافأة، وتحسين السياسة. [ 43 ] بالمقارنة مع جمع البيانات لتقنيات مثل التعلم غير الخاضع للإشراف أو التعلم الذاتي ، فإن جمع البيانات لنموذج RLHF أقل قابلية للتوسع وأكثر تكلفة. وقد تختلف جودته واتساقه تبعًا للمهمة، والواجهة، وتفضيلات وتحيزات الأفراد. [ 17 ] [ 44 ]

تعتمد فعالية نموذج المكافأة القائم على التعلم المعزز (RLHF) على جودة التغذية الراجعة البشرية. فعلى سبيل المثال، قد يصبح النموذج متحيزًا ، مفضلًا فئات معينة على غيرها، إذا افتقرت التغذية الراجعة إلى الحيادية، أو كانت متضاربة، أو غير صحيحة. [ 5 ] [ 45 ] وهناك خطر التجاوز في التخصيص ، حيث يحفظ النموذج أمثلة محددة من التغذية الراجعة بدلًا من تعلم التعميم . فعلى سبيل المثال، قد تؤدي التغذية الراجعة الواردة في الغالب من فئة ديموغرافية محددة إلى تعلم النموذج خصائص غريبة أو تشويش، إلى جانب التوافق المقصود. ويمكن أن يؤدي التوافق المفرط مع التغذية الراجعة المحددة التي تلقاها (أي مع التحيز الوارد فيها) إلى أداء النموذج دون المستوى الأمثل في سياقات جديدة أو عند استخدامه من قبل فئات مختلفة. [ 46 ] ولا يمكن لدالة مكافأة واحدة أن تمثل دائمًا آراء فئات متنوعة من الناس. فحتى مع وجود عينة تمثيلية، قد تؤدي الآراء والتفضيلات المتضاربة إلى تفضيل نموذج المكافأة لرأي الأغلبية، مما قد يضر بالفئات الممثلة تمثيلًا ناقصًا. [ 43 ]

في بعض الحالات، كما هو الحال في التعلم المعزز التقليدي ، قد يكون هناك خطر من أن يتعلم النموذج التلاعب بعملية التغذية الراجعة أو التحايل على النظام لتحقيق مكافآت أعلى بدلاً من تحسين أدائه بشكل حقيقي. [ 47 ] في حالة التعلم المعزز المعزز عالي الدقة (RLHF)، قد يتعلم النموذج استغلال حقيقة أنه يُكافأ على ما يُقيّم إيجابياً وليس بالضرورة على ما هو جيد فعلاً، مما قد يؤدي إلى تعلمه الإقناع والتلاعب. على سبيل المثال، قد تتعلم النماذج أن الثقة الظاهرية، حتى لو كانت غير دقيقة، تجلب مكافآت أعلى. هذا السلوك، إذا لم يُضبط، لا يُشجع فحسب، بل قد يتسبب أيضاً في مشاكل كبيرة عند النشر نظراً لقدرة النموذج على التضليل. وقد وجدت الدراسات أن البشر ليسوا ماهرين في تحديد الأخطاء في مخرجات نماذج التعلم المعزز في المهام المعقدة؛ لذلك، فإن تعلم النماذج توليد نصوص تبدو واثقة ولكنها غير صحيحة قد يؤدي إلى مشاكل كبيرة عند نشرها. [ 43 ]

البدائل

التعلم المعزز من خلال التغذية الراجعة من الذكاء الاصطناعي

على غرار RLHF، يعتمد التعلم المعزز من خلال التغذية الراجعة للذكاء الاصطناعي (RLAIF) على تدريب نموذج تفضيلي، إلا أن التغذية الراجعة تُولّد تلقائيًا. [ 48 ] ويُستخدم هذا الأسلوب بشكل ملحوظ في الذكاء الاصطناعي الدستوري لشركة أنثروبيك ، حيث تستند التغذية الراجعة للذكاء الاصطناعي إلى مدى الالتزام بمبادئ الدستور. [ 49 ]

خوارزميات المحاذاة المباشرة

تم اقتراح خوارزميات المحاذاة المباشرة (DAA) كفئة جديدة من الخوارزميات [ 50 ] [ 51 ] التي تسعى إلى تحسين نماذج اللغة الكبيرة (LLMs) بشكل مباشر على بيانات التغذية الراجعة البشرية بطريقة خاضعة للإشراف بدلاً من طرق تدرج السياسة التقليدية.

تهدف هذه الخوارزميات إلى مواءمة النماذج مع النوايا البشرية بشكل أكثر شفافية من خلال إزالة الخطوة الوسيطة المتمثلة في تدريب نموذج مكافأة منفصل. فبدلاً من التنبؤ أولاً بتفضيلات المستخدمين ثم تحسين النموذج بناءً على تلك التنبؤات، تقوم طرق المواءمة المباشرة بتدريب النماذج بشكل كامل على مخرجات مصنفة أو منسقة من قبل المستخدمين. وهذا يقلل من مخاطر عدم المواءمة المحتملة الناتجة عن الأهداف البديلة أو التلاعب بالمكافآت.

من خلال التحسين المباشر للسلوك المفضل لدى البشر، فإن هذه الأساليب غالباً ما تتيح توافقاً أدق مع القيم البشرية، وتحسين قابلية التفسير ، وخطوط تدريب أبسط مقارنة بـ RLHF.

تحسين التفضيل المباشر

يُعدّ تحسين التفضيلات المباشر (DPO) أسلوبًا لتعلم تفضيلات المستخدمين. وكما هو الحال في RLHF، فقد طُبّق هذا الأسلوب لمواءمة نماذج لغوية كبيرة مُدرّبة مسبقًا باستخدام بيانات تفضيلات مُولّدة من قِبل المستخدمين. ولكن على عكس RLHF، الذي يُدرّب أولًا نموذجًا وسيطًا منفصلًا لفهم ماهية النتائج الجيدة، ثم يُعلّم النموذج الرئيسي كيفية تحقيق تلك النتائج، يُبسّط DPO العملية من خلال تعديل النموذج الرئيسي مباشرةً وفقًا لتفضيلات المستخدمين. فهو يستخدم تغيير المتغيرات لتحديد " خسارة التفضيل " مباشرةً كدالة للسياسة، ويستخدم هذه الخسارة لضبط النموذج بدقة ، مما يُساعده على فهم تفضيلات المستخدمين وتحديد أولوياتها دون الحاجة إلى خطوة منفصلة. باختصار، يُشكّل هذا النهج قرارات النموذج مباشرةً بناءً على ردود فعل المستخدمين الإيجابية أو السلبية.

للتذكير، فإن مسار RLHF هو كما يلي:

  • نبدأ بجمع بيانات تفضيلات البشرد{\displaystyle D}.
  • ثم قمنا بتطبيق نموذج المكافأةر*{\displaystyle r^{*}}إلى البيانات، عن طريق تقدير الاحتمال الأقصى باستخدام نموذج بلاكيت-لوسر*=arg⁡الأعلىرهـ(x،y1،...،yشمال)∼د[ln⁡∏ك=1شمالهـر(x،yك)∑أنا=كشمالهـر(x،yأنا)]{\displaystyle r^{*}=\arg \max _{r}\mathbb {E} _{(x,y_{1},\dots ,y_{N})\sim D}\left[\ln \prod _{k=1}^{N}{\frac {e^{r(x,y_{k})}}{\sum _{i=k}^{N}e^{r(x,y_{i})}}}\right]}
  • وأخيرًا نقوم بتدريب سياسة مثلىπ*{\displaystyle \pi ^{*}}الذي يحقق أقصى قيمة لدالة الهدف:π*=arg⁡الأعلىπRLهـ(x،y)∼دπRL[ر*(x،y)-βسجل⁡(πRL(y|x)πSFT(y|x))]{\displaystyle \pi ^{*}=\arg \max _{\pi ^{\text{RL}}}\mathbb {E} _{(x,y)\sim D_{\pi ^{\text{RL}}}}\left[r^{*}(x,y)-\beta \log \left({\frac {\pi ^{\text{RL}}(y|x)}{\pi ^{\text{SFT}}(y|x)}}\right)\right]}

ومع ذلك، بدلاً من القيام بالخطوة الوسيطة لنموذج المكافأة، يقوم DPO بالتحسين المباشر للسياسة النهائية.

أولاً، قم بحل السياسة المثلى مباشرة، وهو ما يمكن القيام به باستخدام مضاعفات لاغرانج ، كما هو معتاد في الميكانيكا الإحصائية :π*(y|x)=πSFT(y|x)خبرة⁡(ر*(x،y)/β)Z(x)،{\displaystyle \pi ^{*}(y|x)={\frac {\pi ^{\text{SFT}}(y|x)\exp(r^{*}(x,y)/\beta )}{Z(x)}},}

أينZ(x){\displaystyle Z(x)}هي دالة التقسيم . لسوء الحظ، هذا غير قابل للمعالجة، لأنه يتطلب جمع جميع الاستجابات الممكنة :Z(x)=∑yπSFT(y|x)خبرة⁡(ر*(x،y)/β)=هـy∼πSFT(⋅|x)[خبرة⁡(ر*(x،y)/β)]{\displaystyle Z(x)=\sum _{y}\pi ^{\text{SFT}}(y|x)\exp(r^{*}(x,y)/\beta )=\mathbb {E} _{y\sim \pi ^{\text{SFT}}(\cdot |x)}[\exp(r^{*}(x,y)/\beta )]}

بعد ذلك، اعكس هذه العلاقة للتعبير عن المكافأة ضمنيًا من حيث السياسة المثلى:ر*(x،y)=βسجل⁡π*(y|x)πSFT(y|x)+βسجل⁡Z(x).{\displaystyle r^{*}(x,y)=\beta \log {\frac {\pi ^{*}(y|x)}{\pi ^{\text{SFT}}(y|x)}}+\beta \log Z(x).}

وأخيرًا، بتطبيقها مرة أخرى على مُقدِّر الاحتمال الأقصى، نحصل على [ 52 ] : الملحق أπ*=arg⁡الأعلىπهـ(x،y1،...،yشمال)∼د[ln⁡∏ك=1شمالهـβسجل⁡π(yك|x)πSFT(yك|x)∑أنا=كشمالهـβسجل⁡π(yأنا|x)πSFT(yأنا|x)]{\displaystyle \pi ^{*}=\arg \max _{\pi }\mathbb {E} _{(x,y_{1},\dots ,y_{N})\sim D}\left[\ln \prod _{k=1}^{N}{\frac {e^{\beta \log {\frac {\pi (y_{k}|x)}{\pi ^{\text{SFT}}(y_{k}|x)}}}}{\sum _{i=k}^{N}e^{\beta \log {\frac {\pi (y_{i}|x)}{\pi ^{\text{SFT}}(y_{i}|x)}}}}}\right]}

عادةً ما يُستخدم نموذج DPO لنمذجة تفضيلات الإنسان في المقارنات الثنائية، بحيثشمال=2{\displaystyle N=2}في هذه الحالة، لديناπ*=arg⁡الأعلىπهـ(x،yw،yل)∼د[سجل⁡σ(βسجل⁡π(yw|x)πSFT(yw|x)-βسجل⁡π(yل|x)πSFT(yل|x))]{\displaystyle \pi ^{*}=\arg \max _{\pi }\mathbb {E} _{(x,y_{w},y_{l})\sim D}\left[\log \sigma \left(\beta \log {\frac {\pi (y_{w}|x)}{\pi ^{\text{SFT}}(y_{w}|x)}}-\beta \log {\frac {\pi (y_{l}|x)}{\pi ^{\text{SFT}}(y_{l}|x)}}\right)\right]}

يُغني نموذج DPO عن الحاجة إلى نموذج مكافأة منفصل أو حلقة تعلم معزز، إذ يتعامل مع عملية المحاذاة كمسألة تعلم مُشرف على بيانات التفضيلات. يتميز هذا النموذج بسهولة تطبيقه وتدريبه مقارنةً بنموذج RLHF، وقد أثبت قدرته على إنتاج نتائج مماثلة، بل وأحيانًا أفضل. [ 52 ] مع ذلك، فقد تفوق نموذج RLHF أيضًا على نموذج DPO في بعض مجموعات البيانات، على سبيل المثال، في المعايير التي تحاول قياس الصدق. لذا، قد يختلف اختيار الطريقة تبعًا لخصائص بيانات التفضيلات البشرية وطبيعة المهمة. [ 53 ]

تحسين تفضيلات الهوية

تحسين تفضيل الهوية (IPO) [ 54 ] هو تعديل لهدف DPO الأصلي الذي يقدم مصطلح تنظيم لتقليل فرصة التجاوز حتى عندما تكون بيانات التفضيل مشوشة.

لتحقيق هذا الهدف، تعمل خوارزمية IPO على تقليل دالة الخسارة التربيعية.هـx،yw،yل∼د[حπ(x،yw،yل)-12β-1]2{\displaystyle {\begin{aligned}&\mathbb {E} _{x,y_{w},y_{l}\sim D}[h_{\pi }(x,y_{w},y_{l})-{\frac {1}{2}}\beta ^{-1}]^{2}\end{aligned}}}أينحπ(x،yw،yل)=سجل⁡(πθ(yw|x)πمرجع(yw|x)))-سجل⁡(πθ(yل|x)πمرجع(yل|x)){\displaystyle h_{\pi }(x,y_{w},y_{l})=\log \left({\frac {\pi _{\theta }(y_{w}|x)}{\pi _{\text{ref}}(y_{w}|x))}}\right)-\log \left({\frac {\pi _{\theta }(y_{l}|x)}{\pi _{\text{ref}}(y_{l}|x)}}\right)}.

تستطيع تقنية IPO التحكم في الفجوة بين نسب احتمالية اللوغاريتم لنموذج السياسة والنموذج المرجعي من خلال تنظيم الحل دائمًا باتجاه النموذج المرجعي. وهي تتيح التعلم مباشرةً من التفضيلات دون مرحلة نمذجة المكافآت ودون الاعتماد على افتراض نمذجة برادلي-تيري الذي يفترض إمكانية استبدال التفضيلات الثنائية بمكافآت نقطية. [ 54 ]

تحسين كانيمان-تفيرسكي

يُعدّ تحسين كانيمان-تفيرسكي (KTO) [ 55 ] خوارزمية أخرى للمحاذاة المباشرة، تستند إلى نظرية الاحتمالات لنمذجة عدم اليقين في القرارات البشرية. وعلى عكس DPO، لا يتطلب KTO سوى إشارة تغذية راجعة ثنائية (مرغوب أو غير مرغوب) بدلاً من أزواج التفضيل الصريحة.

دالة القيمةv(x،y){\displaystyle v(x,y)}يتم تعريفها بشكل مجزأ اعتمادًا على ما إذاy{\displaystyle y}مرغوب فيه (λد{\displaystyle \lambda _{D}}) أو غير مرغوب فيه (λيو{\displaystyle \lambda _{U}}):

v(x،y)={λدσ(β(رθ(x،y)-z0))،لو y∼yدهـsأنارأبلهـ|x،λيوσ(β(z0-رθ(x،y)))،لو y∼yuندهـsأنارأبلهـ|x{\displaystyle v(x,y)\;=\;{\begin{cases}\lambda _{D}\,\sigma \!{\bigl (}\,\beta \,{\bigl (}r_{\theta }(x,y)\;-\;z_{0}{\bigr )}{\bigr )},&\quad {\text{if }}y\sim y_{\mathrm {desirable} \mid x},\\[6pt]\lambda _{U}\,\sigma \!{\bigl (}\,\beta \,{\bigl (}z_{0}\;-\;r_{\theta }(x,y){\bigr )}{\bigr )},&\quad {\text{if }}y\sim y_{\mathrm {undesirable} \mid x}\end{cases}}}

هنا،β{\displaystyle \beta }يتحكم في مدى "تجنب المخاطرة" لدالة القيمة (أكبر)β{\displaystyle \beta }= تشبع أسرع في الدالة اللوجستيةσ{\displaystyle \sigma })وz0=كل(πθ(y′|x)‖πرهـو(y′|x)){\textstyle z_{0}=\mathrm {KL} \!{\Bigl (}\,\pi _{\theta }(y'\mid x)\;{\big \Vert }\;\pi _{\mathrm {ref} }(y'\mid x){\Bigr )}}تُعتبر هذه القيمة خطًا أساسيًا مُستمدًا من تباعد كولباك-لايبير. ولأن العديد من مسارات التغذية الراجعة في العالم الحقيقي تُنتج بيانات "الإعجاب/عدم الإعجاب" بسهولة أكبر من المقارنات الثنائية، فقد صُممت خوارزمية KTO لتكون فعّالة من حيث استخدام البيانات ولتعكس "تجنب الخسارة" بشكل مباشر باستخدام مفهوم بسيط "جيد مقابل سيئ" على مستوى المثال.

انظر أيضاً

مراجع

  1. ↑ كونغوت، أبارنا (2025). الذكاء الاصطناعي المتمحور حول الإنسان: بحث علمي مصور (سلسلة تفاعل الإنسان مع الحاسوب) . سبرينغر. ص  389. ISBN 978-3031613746.
  2. ↑ لان، شوغوانغ (2025). الروبوتات الذكية وتطبيقاتها: المؤتمر الدولي السابع عشر، ICIRA 2024، شيآن، الصين، 31 يوليو - 2 أغسطس 2024، وقائع المؤتمر، الجزء الثامن (سلسلة محاضرات في علوم الحاسوب، الكتاب 15208) . سبرينغر. ص 6. 
  3. ↑ راسل، ستيوارت جيه؛ نورفيج، بيتر (2016). الذكاء الاصطناعي: منهج حديث (الطبعة الثالثة، العالمية ). بوسطن، كولومبوس، إنديانابوليس، نيويورك، سان فرانسيسكو، أبر سادل ريفر، أمستردام، كيب تاون، دبي، لندن، مدريد، ميلانو، ميونيخ، باريس، مونتريال، تورنتو، دلهي، مكسيكو سيتي، ساو باولو، سيدني، هونغ كونغ، سيول، سنغافورة، تايبيه، طوكيو: بيرسون. الصفحات 830-831 . ISBN   978-0-13-604259-4.
  4. 1 2 زيغلر، دانيال م.؛ ستينون، نيسان؛ وو، جيفري؛ براون، توم ب.؛ رادفورد، أليك؛ أمودي، داريو؛ كريستيانو، بول؛ إيرفينغ، جيفري (2019). "ضبط نماذج اللغة بدقة من خلال التفضيلات البشرية". arXiv : 1909.08593 [ cs.CL ].
  5. 1 2 3 4 لامبرت، ناثان؛ كاستريكاتو، لويس؛ فون ويرا، لياندرو؛ هافريلا، أليكس. "توضيح التعلم المعزز من خلال التغذية الراجعة البشرية (RLHF)" . huggingface.co . تم ​​الاطلاع عليه بتاريخ 4 مارس 2023 .
  6. ↑ شولمان، جون؛ وولسكي، فيليب؛ داريوال، برافولا؛ رادفورد، أليك؛ كليموف، أوليغ (2017). "خوارزميات تحسين السياسة التقريبية". arXiv : 1707.06347 [ cs.LG ].
  7. ^ توان، يي لين؛ تشانغ، جينزي. لي، يوجيا؛ لي هونغ يي (2018). “تحسين السياسة القريبة وإصدارها الديناميكي لإنشاء التسلسل”. أرخايف : 1808.07982 [ cs.CL ].
  8. 1 2 3 4 5 أمودي، داريو؛ كريستيانو، بول؛ راي، أليكس (13 يونيو 2017). "التعلم من تفضيلات الإنسان" . openai.com . تم الاطلاع عليه في 4 مارس 2023 .
  9. 1 2 تشنغ، روي؛ ضو، شيحان؛ جاو، سونغ يانغ؛ هوا، يوان؛ شين وي. وانغ، بينغهاي. ليو، يان؛ جين، سينجي؛ ليو، تشين؛ تشو، يوهاو؛ شيونغ، ليماو؛ تشن، لو؛ شي، تشيهينج؛ شو، نوو؛ لاي، وينبين؛ تشو، مينغهاو؛ تشانغ، تشنغ. يين، تشانغيو. ونغ، رونغكسيانغ؛ تشنغ، ونسن؛ هوانغ، هوران؛ صن، تيانشيانغ؛ يان، هانغ؛ واجهة المستخدم الرسومية، تاو؛ تشانغ، تشي؛ تشيو، شيبينج؛ هوانغ، شوانجينغ (2023). “أسرار RLHF في نماذج اللغات الكبيرة الجزء الأول: PPO”. أرخايف : 2307.04964 [ cs.CL ].
  10. ↑ نوكس، دبليو. برادلي؛ ستون، بيتر؛ بريزيل، سينثيا (2013). "تدريب الروبوت من خلال التغذية الراجعة البشرية: دراسة حالة" . الروبوتات الاجتماعية . سلسلة محاضرات في علوم الحاسوب. المجلد 8239. دار نشر سبرينغر الدولية. الصفحات 460-470 . doi : 10.1007/978-3-319-02675-6_46 . ISBN   978-3-319-02674-9تم الاطلاع عليه بتاريخ 26 فبراير 2024 .
  11. ↑ أكرور، رياض؛ شوناور، مارك؛ سيباغ، ميشيل (2012). "أبريل: التعلم المعزز القائم على التعلم النشط للتفضيلات" . التعلم الآلي واكتشاف المعرفة في قواعد البيانات . سلسلة محاضرات في علوم الحاسوب. المجلد 7524. سبرينغر. الصفحات 116-131 . arXiv : 1208.0984 . doi : 10.1007 /978-3-642-33486-3_8 . ISBN   978-3-642-33485-6تم الاطلاع عليه بتاريخ 26 فبراير 2024 .
  12. ↑ ويلسون، آرون؛ فيرن، آلان؛ تاديبالي، براساد (2012). "نهج بايزي لتعلم السياسات من استعلامات تفضيل المسار" . التطورات في أنظمة معالجة المعلومات العصبية . 25. كوران أسوشيتس، إنك . تم الاسترجاع في 26 فبراير 2024 .
  13. ↑ شوناور، مارك؛ أكرور، رياض؛ سيباغ، ميشيل؛ سوبليه، جان كريستوف (18 يونيو 2014). "البرمجة بالتغذية الراجعة" . وقائع المؤتمر الدولي الحادي والثلاثين للتعلم الآلي . PMLR: 1503-1511 . تاريخ الاسترجاع: 26 فبراير 2024 .
  14. ↑ وارنيل، غاريت؛ وايتويتش، نيكولاس؛ لورن، فيرنون؛ ستون، بيتر (25 أبريل 2018). "ديب تامر: تشكيل الوكلاء التفاعلي في فضاءات الحالة عالية الأبعاد". وقائع مؤتمر AAAI حول الذكاء الاصطناعي . 32 (1). arXiv : 1709.10163 . doi : 10.1609/aaai.v32i1.11485 . S2CID 4130751 . 
  15. ↑ ماكغلاشان، جيمس؛ هو، مارك ك.؛ لوفتين، روبرت؛ بينغ، بي؛ وانغ، غوان؛ روبرتس، ديفيد ل.؛ تايلور، ماثيو إي.؛ ليتمان، مايكل ل. (6 أغسطس 2017). "التعلم التفاعلي من التغذية الراجعة البشرية المعتمدة على السياسة" . وقائع المؤتمر الدولي الرابع والثلاثين للتعلم الآلي - المجلد 70. JMLR.org: 2285–2294 . arXiv : 1701.06049 .
  16. 1 2 3 4 5 6 7 8 9 10 نيسان ستينون؛ لونغ أويانغ؛ جيفري وو؛ دانيال زيغلر؛ رايان لوي؛ تشيلسي فوس؛ أليك رادفورد؛ داريو أمودي؛ بول إف. كريستيانو (2020). "التعلم على التلخيص باستخدام التغذية الراجعة البشرية" . التطورات في أنظمة معالجة المعلومات العصبية . 33 .
  17. 1 2 3 4 5 6 7 8 9 10 11 12 أويانغ، لونغ؛ وو، جيفري؛ جيانغ، شو؛ ألميدا، ديوغو؛ واينرايت، كارول؛ ميشكين، باميلا؛ تشانغ، تشونغ؛ أغاروال، سانديني؛ سلامة، كاتارينا؛ غراي، أليكس؛ شولمان، جون؛ هيلتون، جاكوب؛ كيلتون، فريزر؛ ميلر، لوك؛ سيمينز، مادي؛ أسكيل، أماندا؛ ويليندر، بيتر؛ كريستيانو، بول؛ ليك، جان؛ لوي، رايان (31 أكتوبر 2022). تدريب نماذج اللغة على اتباع التعليمات مع التغذية الراجعة البشرية . المؤتمر السادس والثلاثون لأنظمة معالجة المعلومات العصبية: NeurIPS 2022. arXiv : 2203.02155 .
  18. ↑ باي، يونتاو؛ جونز، آندي؛ ندوس، كمال؛ أسكيل، أماندا؛ تشين، آنا؛ داسارما، نوفا؛ درين، دون؛ فورت، ستانيسلاف؛ جانجولي، ديب؛ هينيغان، توم؛ جوزيف، نيكولاس؛ كادافاث، سوراف؛ كيرنيون، جاكسون؛ كونرلي، توم؛ الشوك، شير؛ الحاج، نيلسون؛ هاتفيلد-دودز، زاك؛ هيرنانديز، داني؛ هيوم، تريستان؛ جونستون، سكوت؛ كرافيك، شونا؛ لوفيت، ليان؛ ناندا، نيل؛ أولسون، كاثرين؛ أمودي، داريو؛ براون، توم؛ كلارك، جاك؛ ماكاندليش، سام؛ أولاه، كريس؛ مان، بن؛ كابلان، جاريد (2022). "تدريب مساعد مفيد وغير ضار باستخدام التعلم المعزز من ردود الفعل البشرية". arXiv : 2204.05862 [ cs.CL ].
  19. 1 2 إدواردز، بنج (1 ديسمبر 2022). "OpenAI تدعو الجميع لتجربة ChatGPT، وهو روبوت محادثة جديد يعمل بالذكاء الاصطناعي - بنتائج طريفة" . آرس تكنيكا . تم الاطلاع عليه في 4 مارس 2023 .
  20. ↑ أبهيشيك، غوبتا (5 فبراير 2023). "تحقيق المشاركة الصحيحة لأصحاب المصلحة في الذكاء الاصطناعي المسؤول" . فينشر بيت . تم الاطلاع عليه في 4 مارس 2023 .
  21. ^ فرنانديز، باتريك. معدان، أمان؛ ليو، إيمي؛ فاريناس، أنطونيو؛ بيدرو هنريكي مارتينز؛ بيرتش، أماندا؛ دي سوزا، خوسيه جي سي؛ تشو، شويان؛ وو، تونجشوانج؛ نيوبيج، جراهام. مارتينز، أندريه إف تي (2023). “سد الفجوة: دراسة استقصائية حول دمج التعليقات (البشرية) لتوليد اللغات الطبيعية”. أرخايف : 2305.00955 [ cs.CL ].
  22. 1 2 شي، تينغيانغ؛ جيانغ، نان؛ وانغ، هوان؛ شيونغ، كايمينغ؛ باي، يو (2021). "ضبط السياسة بدقة: الربط بين التعلم المعزز الفعال من حيث العينات في الوضعين غير المتصل والمتصل بالإنترنت" . التقدم في أنظمة معالجة المعلومات العصبية . 34. كوران أسوشيتس، إنك: 27395-27407 . arXiv : 2106.04895 . تم الاسترجاع في 10 مارس 2024 .
  23. 1 2 باتشيانو، ألدو؛ ساها، أديروبا؛ لي، جوناثان (2023-03-03). "التعلم المعزز المتنافس: التعلم المعزز مع تفضيلات المسار" . وقائع المؤتمر الدولي السادس والعشرين حول الذكاء الاصطناعي والإحصاء . PMLR: 6263–6289 . arXiv : 2111.04850 .
  24. 1 2 تشو، بانغهوا؛ جوردان، مايكل؛ جياو، جيانتاو (2023-07-03). "التعلم المعزز المبدئي مع التغذية الراجعة البشرية من المقارنات الثنائية أو المقارنات على مستوى K" . وقائع المؤتمر الدولي الأربعين للتعلم الآلي . PMLR: 43037–43067 . arXiv : 2301.11270 .
  25. ↑ لي، زيهاو؛ يانغ، تشوران؛ وانغ، مينغدي (20 يونيو 2023). "التعلم المعزز مع التغذية الراجعة البشرية: تعلم الخيارات الديناميكية من خلال التشاؤم" . ورشة عمل ILHF ICML 2023. arXiv : 2305.18438 . تاريخ الاسترجاع: 10 مارس 2024 .
  26. ↑ أويانغ، لونغ؛ وو، جيف؛ جيانغ، شو؛ ألميدا، ديوغو؛ واينرايت، كارول ل.؛ ميشكين، باميلا؛ تشانغ، تشونغ؛ أغاروال، سانديني؛ سلامة، كاتارينا؛ راي، أليكس؛ شولمان، جون؛ هيلتون، جاكوب؛ كيلتون، فريزر؛ ميلر، لوك؛ سيمينز، مادي؛ أسكيل، أماندا؛ ويليندر، بيتر؛ كريستيانو، بول؛ ليك، جان؛ لوي، رايان (2022). "تدريب نماذج اللغة على اتباع التعليمات مع التغذية الراجعة البشرية". arXiv : 2203.02155 [ cs.CL ].
  27. ↑ ويغرز، كايل (24 فبراير 2023). "هل يمكن حماية الذكاء الاصطناعي فعلاً من الهجمات النصية؟" . تيك كرانش . تم الاطلاع عليه في 4 مارس 2023 .
  28. ↑ هيكيلّا، ميليسا (21 فبراير 2023). "كيف تحاول OpenAI جعل ChatGPT أكثر أمانًا وأقل تحيزًا" . مجلة MIT Technology Review . تم الاطلاع عليه في 4 مارس 2023 .
  29. ↑ دوغلاس هيفن، ويل (30 نوفمبر 2022). "ChatGPT هو أحدث حل من OpenAI لمشكلة GPT-3. إنه أنيق ولكنه لا يزال يُنتج كلامًا غير منطقي" . مجلة MIT Technology Review . تاريخ الاطلاع: 4 مارس 2023 .
  30. ↑ جليز، أميليا؛ ماك أليس، نات؛ تريباتش، مايا؛ أسلانيدس، جون؛ فيرويو، فلاد؛ إيوالدز، تيمو؛ راو، ماريبث؛ وايدينجر، لورا؛ تشادويك، مارتن؛ ثاكر، فيبي؛ كامبل-جيلينجهام، لوسي؛ أوساتو، جوناثان؛ هوانغ، بو-سين؛ كومانيسكو، رامونا؛ يانغ، فان؛ سي، أبيجيل؛ داثاثري، سومانت؛ جريج، روري؛ تشين، تشارلي؛ فريتز، دوج؛ إلياس، جاومي سانشيز؛ جرين، ريتشارد؛ موكرا، سونيا؛ فرناندو، نيكولاس؛ وو، بوكسي؛ فولي، راشيل؛ يونغ، سوزانا؛ غابرييل، إياسون؛ إسحاق، ويليام؛ ميلور، جون؛ هاسابيس، ديميس؛ كافوكوغلو، كوراي؛ هندريكس، ليزا آن؛ إيرفينغ، جيفري (2022). "تحسين توافق وكلاء الحوار من خلال الأحكام البشرية المستهدفة". arXiv : 2209.14375 [ cs.LG ].
  31. ↑ غولدمان، شارون (23 سبتمبر 2022). "لماذا لا تنشر ديب مايند روبوت الدردشة الجديد الخاص بها المدعوم بالذكاء الاصطناعي - وماذا يعني ذلك بالنسبة للذكاء الاصطناعي المسؤول" . فينشر بيت . تم الاطلاع عليه في 4 مارس 2023 .
  32. ↑ فريق سبارو (22 سبتمبر 2022). "بناء وكلاء حوار أكثر أمانًا" . www.deepmind.com . تم الاطلاع عليه في 4 مارس 2023 .
  33. ↑ بينشاي، سوندار؛ حسابي، ديميس (6 ديسمبر 2023). "تقديم جيميني: أكبر نماذج الذكاء الاصطناعي لدينا وأكثرها كفاءة" . جوجل . تم الاطلاع عليه بتاريخ 29 فبراير 2024 .
  34. ↑ هينشال، ويل (18 يوليو 2023). "ما يجب معرفته عن كلود 2، منافس أنثروبيك لـ ChatGPT" . مجلة تايم . تم الاطلاع عليه في 6 مارس 2024 .
  35. ↑ فان، يينغ؛ واتكينز، أوليفيا؛ دو، يوتشينغ؛ ليو، هاو؛ ريو، مونكيونغ؛ بوتيلير، كريغ؛ أبيل، بيتر؛ غافام زاده، محمد؛ لي، كانغ ووك؛ لي، كيمين (2 نوفمبر 2023). "DPOK: التعلم المعزز لضبط نماذج انتشار النص إلى الصورة بدقة" . NeurIPS 2023. arXiv : 2305.16381 . تاريخ الاسترجاع: 1 مارس 2024 .
  36. ↑ شو، جيا تشنغ؛ ليو، شياو؛ وو، يو تشن؛ تونغ، يوكسوان؛ لي، تشينكاي؛ دينغ، مينغ؛ تانغ، جي؛ دونغ، يوكسياو (15 ديسمبر 2023). "ImageReward: تعلم وتقييم تفضيلات الإنسان لتوليد الصور من النصوص" . Advances in Neural Information Processing Systems . 36 : 15903–15935 . arXiv : 2304.05977 . تاريخ الاسترجاع: 1 مارس 2024 .
  37. ↑ لي، كيمين؛ ليو، هاو؛ ريو، مونكيونغ؛ واتكينز، أوليفيا؛ دو، يوتشينغ؛ بوتيلير، كريغ؛ أبيل، بيتر؛ غافام زاده، محمد؛ غو، شيشيانغ شين (2023). "مواءمة نماذج النص مع الصور باستخدام التغذية الراجعة البشرية". arXiv : 2302.12192 [ cs.LG ].
  38. ↑ ليك، يان؛ مارتيتش، ميلجان؛ ليج، شين (12 يونيو 2017). "التعلم من خلال التغذية الراجعة البشرية" . www.deepmind.com . تم الاطلاع عليه بتاريخ 4 مارس 2023 .
  39. ↑ كريستيانو، بول ف؛ ليك، جان؛ براون، توم؛ مارتيتش، ميلجان؛ ليج، شين؛ أمودي، داريو (2017). "التعلم العميق المعزز من التفضيلات البشرية" . التطورات في أنظمة معالجة المعلومات العصبية . 30. كوران أسوشيتس، إنك. arXiv : 1706.03741 . تم الاسترجاع في 4 مارس 2023 .
  40. ↑ فون تشيفالفاي، كريس (2026). "4. التعلم المعزز: تحسين مستمر". ما بعد التدريب: دليل عملي لمهندسي ومطوري الذكاء الاصطناعي . دار نشر نو ستارش. الصفحات 114-116 . ISBN  978-1-7185-0520-9.
  41. ↑ يوستين، بول (2024). دليل مهندسي نماذج اللغة الكبيرة: إتقان فن هندسة نماذج اللغة الكبيرة من الفكرة إلى الإنتاج . دار نشر باكت. ص 246. ISBN  978-1836200079.
  42. ↑ فون تشيفالفاي، كريس (2026). "5. تحسين التفضيلات: بدائل حديثة لخوارزمية تحسين التفضيلات المسبقة". ما بعد التدريب: دليل عملي لمهندسي ومطوري الذكاء الاصطناعي . دار نشر نو ستارش. الصفحات 133-140 . ISBN  978-1-7185-0520-9.
  43. 1 2 3 كاسبر، ستيفن؛ ديفيز، زاندر. شي، كلوديا؛ جيلبرت، توماس كريندل. شورير، جيريمي. راندو، خافيير؛ فريدمان، راشيل. كورباك، توماسز؛ ليندنر، ديفيد؛ فريري، بيدرو؛ وانغ، توني تونغ؛ ماركس، صموئيل؛ سيجيري، شربل رافائيل؛ كارول ميخا. بنغ، آندي؛ كريستوفرسن، فيليب؛ داماني، ميهول؛ سلوكوم، ستيوارت. أنور، عثمان؛ سيثثارانجان، أناند؛ نادو، ماكس. ميشود، اريك J .؛ بفاو، يعقوب؛ كراشينينيكوف، ديمتري؛ تشن، شين؛ لانجوسكو، لاورو؛ هيس، بيتر؛ بيك، ارديم؛ دراغان، أنكا؛ كروجر، ديفيد. صادق، درسا؛ هادفيلد-مينيل، ديلان (18 سبتمبر 2023). "المشاكل المفتوحة والقيود الأساسية للتعلم المعزز من خلال التغذية الراجعة البشرية" . معاملات بحوث التعلم الآلي . arXiv : 2307.15217 .
  44. ↑ كريستيانو، بول (25 يناير 2023). "أفكار حول تأثير أبحاث RLHF" . تم الاطلاع عليه في 4 مارس 2023 .
  45. ↑ بيلينغوير، لورينزو (2022). "تحيز الذكاء الاصطناعي: استكشاف نماذج اتخاذ القرار الخوارزمية التمييزية وتطبيق الحلول الممكنة التي تركز على الآلة والمقتبسة من صناعة الأدوية" . الذكاء الاصطناعي والأخلاقيات . 2 (4). أخلاقيات الذكاء الاصطناعي: 771-787 . doi : 10.1007/s43681-022-00138-8 . PMC 8830968. PMID 35194591 .  
  46. ↑ تشانغ، تشيوان؛ بينجيو، سامي؛ هاردت، موريتز؛ ريخت، بنيامين؛ فينيالز، أوريول (4 نوفمبر 2016). "يتطلب فهم التعلم العميق إعادة النظر في التعميم" . المؤتمر الدولي حول تمثيلات التعلم.
  47. ↑ كلارك، جاك؛ أمودي، داريو (21 ديسمبر 2016). "وظائف المكافأة المعيبة في الواقع العملي" . OpenAI.
  48. ↑ لي، هاريسون؛ فاتالي، سامرات؛ منصور، حسن؛ لو، كيلي رين؛ ميسنارد، توماس؛ فيريت، يوهان؛ بيشوب، كولتون؛ هول، إيثان؛ كاربون، فيكتور؛ راستوجي، أبهيناف (13 أكتوبر 2023). "RLAIF: توسيع نطاق التعلم المعزز من خلال التغذية الراجعة البشرية باستخدام التغذية الراجعة من الذكاء الاصطناعي" . ICLR .
  49. ↑ إدواردز، بنج (9 مايو 2023). "الذكاء الاصطناعي يكتسب "قيمًا" مع نهج روبوت الدردشة الدستوري الجديد من أنثروبيك" . آرس تكنيكا . تم الاطلاع عليه بتاريخ 27 أبريل 2024 .
  50. ↑ رافائيلوف، رافائيل؛ تشيتيبو، ياسوانث؛ بارك، رايان؛ سيكشي، هارشيت؛ هيجنا، جوي؛ نوكس، برادلي؛ فين، تشيلسي؛ نيكوم، سكوت (2024). "قوانين القياس لتحسين نموذج المكافأة في خوارزميات المحاذاة المباشرة". arXiv : 2406.02900 [ cs.LG ].
  51. ↑ شي، تشنغيان؛ لاند، ساندر؛ لوكاتيللي، أسير؛ جيست، ماثيو؛ بارتولو، ماكس (2024). "فهم الإفراط في تحسين الاحتمالية في خوارزميات المحاذاة المباشرة". arXiv : 2410.11677 [ cs.CL ].
  52. 1 2 رافائيلوف، رافائيل؛ شارما، أركيت؛ ميتشل، إريك؛ إرمون، ستيفانو؛ مانينغ، كريستوفر د.؛ فين، تشيلسي (2023). "تحسين التفضيل المباشر: نموذج لغتك هو في السر نموذج مكافأة". arXiv : 2305.18290 [ cs.LG ].
  53. ^ وانغ ، تشيلين. دونغ، يي؛ تسنغ، جياكي. آدامز، فيرجينيا؛ سريدهار، ماكيش نارسيمهان؛ ايجيرت، دانيال. ديلالو، أوليفييه. سكوكروفت، جين بولاك؛ كانط، نيل. سووب، ايدان؛ كوتشييف، أوليكسي (2023). “HelpSteer: مجموعة بيانات المساعدة متعددة السمات لـ SteerLM”. أرخايف : 2311.09528 [ cs.CL ].
  54. 1 2 محمد غشلاغي آزار؛ رولاند، مارك؛ بيوت، بلال؛ غو، دانيال؛ كالاندرييلو، دانييلي؛ فالكو، ميخال؛ مونوس، ريمي (2023). "نموذج نظري عام لفهم التعلم من التفضيلات البشرية". arXiv : 2310.12036 [ cs.AI ].
  55. ↑ ايثراجه، كاوين؛ شو، ويني؛ مونيجوف، نيكلاس؛ جورافسكي ، دان. كيلا ، دوي (2024). “KTO: محاذاة النموذج كتحسين نظري محتمل”. أرخايف : 2402.01306 [ cs.LG ].

للمزيد من القراءة