Rprop

Rprop ، اختصارًا لـ "الانتشار العكسي المرن"، هي خوارزمية تعلم استدلالية للتعلم الخاضع للإشراف في الشبكات العصبية الاصطناعية ذات التغذية الأمامية . وهي خوارزمية تحسين من الدرجة الأولى . وقد ابتكرها مارتن ريدميلر وهينريش براون عام 1992. ^{[ 1 ]}

على غرار قاعدة تحديث مانهاتن ، لا تأخذ خوارزمية Rprop في الحسبان سوى إشارة المشتقة الجزئية لجميع الأنماط (وليس قيمتها المطلقة)، وتعمل بشكل مستقل على كل "وزن". لكل وزن، إذا طرأ تغيير في إشارة المشتقة الجزئية لدالة الخطأ الكلية مقارنةً بالتكرار السابق، تُضرب قيمة التحديث لهذا الوزن بمعامل η⁻، حيث η⁻ < 1. أما إذا أنتج التكرار السابق الإشارة نفسها، فتُضرب قيمة التحديث بمعامل η⁺، حيث η⁺ > 1. ^تُحسب قيم التحديث لكل وزن بالطريقة المذكورة ^{أعلاه ، وأخيرًا} يُغير كل وزن بقيمة تحديثه الخاصة، في الاتجاه المعاكس لمشتقته الجزئية، وذلك لتقليل دالة الخطأ الكلية. تم ضبط η⁺ تجريبيًا ^{على 1.2 و} η⁻ ^على 0.5 .     

قد ينتج عن خوارزمية Rprop زيادات أو نقصانات كبيرة جدًا في الوزن إذا كانت التدرجات كبيرة، وهو ما يمثل مشكلة عند استخدام دفعات صغيرة مقارنةً بالدفعات الكاملة. تعالج خوارزمية RMSprop هذه المشكلة عن طريق حساب المتوسط ​​المتحرك لمربعات التدرجات لكل وزن، ثم قسمة التدرج على الجذر التربيعي لمتوسط ​​المربعات.

RPROP هي خوارزمية تحديث دفعي . إلى جانب خوارزمية الارتباط المتتالي وخوارزمية ليفنبرغ-ماركوارت ، تُعد Rprop واحدة من أسرع آليات تحديث الأوزان.

قام مارتن ريدميلر بتطوير ثلاث خوارزميات، جميعها تحمل اسم RPROP. قام إيجل وهوسكن بتسميتها وأضافا متغيرًا جديدًا: ^{[ 2 ] [ 3 ]}

1. تم تعريف RPROP+ في طريقة تكيفية مباشرة لتعلم الانتشار العكسي بشكل أسرع: خوارزمية RPROP . ^{[ 4 ]}
2. تم تعريف RPROP- في كتاب " التعلم الخاضع للإشراف المتقدم في الشبكات العصبية متعددة الطبقات - من الانتشار العكسي إلى خوارزميات التعلم التكيفي" . تم حذف التراجع من RPROP+. ^{[ 5 ]}
3. تم تعريف iRPROP في Rprop – الوصف وتفاصيل التنفيذ ^{[ 6 ]} ، وقد أعاد إيجل وهوسكن ابتكاره. ^{[ 3 ]} هذا الإصدار شائع جدًا وهو الأبسط.
4. يُعرَّف iRPROP+ بأنه تحسين خوارزمية تعلم Rprop ، وهو قوي للغاية وأسرع عادةً من المتغيرات الثلاثة الأخرى. ^{[ 2 ] [ 3 ]}

• مجموعة أدوات تحسين Rprop
• تدريب الشبكات العصبية باستخدام Rprop في MATLAB