تعزيز التدرج

📅 آخر تحديث: ٢٧ يوليو ٢٠٢٦
✍️ نُشر في: ٢٧ يوليو ٢٠٢٦
📷 يحتوي على 80 صور
الموسوعة الحرة

التعزيز بالتدرج هو أسلوب تعلم آلي يعتمد على التعزيز في فضاء دالي، حيث يكون الهدف هو البواقي الزائفة بدلاً من البواقي الحقيقية كما في التعزيز التقليدي. يُنتج هذا الأسلوب نموذج تنبؤ على شكل مجموعة من نماذج التنبؤ الضعيفة، أي النماذج التي تفترض افتراضات قليلة جدًا حول البيانات، والتي عادةً ما تكون أشجار قرار بسيطة . [ 1 ] [ 2 ] عندما تكون شجرة القرار هي المتعلم الضعيف، تُسمى الخوارزمية الناتجة أشجار التعزيز بالتدرج؛ وعادةً ما تتفوق على الغابة العشوائية . [ 1 ] كما هو الحال مع طرق التعزيز الأخرى ، يُبنى نموذج أشجار التعزيز بالتدرج على مراحل، ولكنه يُعمم الطرق الأخرى من خلال السماح بتحسين دالة خسارة قابلة للتفاضل بشكل تعسفي .

تاريخ

نشأت فكرة تعزيز التدرج من ملاحظة ليو بريمان بأن التعزيز يُمكن تفسيره كخوارزمية تحسين لدالة تكلفة مناسبة. [ 3 ] ثم طُوّرت خوارزميات تعزيز التدرج الصريحة للانحدار، على يد جيروم هـ. فريدمان ، [ 4 ] [ 2 ] (في عام 1999 ولاحقًا في عام 2001) بالتزامن مع منظور تعزيز التدرج الوظيفي الأكثر عمومية الذي قدمه كل من ليو ماسون، وجوناثان باكستر، وبيتر بارتليت، وماركوس فريان. [ 5 ] [ 6 ] وقدّمت الورقتان الأخيرتان رؤية خوارزميات التعزيز كخوارزميات هبوط تدرج وظيفي تكرارية . أي خوارزميات تُحسّن دالة التكلفة على فضاء الدوال من خلال اختيار دالة (فرضية ضعيفة) بشكل تكراري تُشير إلى اتجاه التدرج السالب. وقد أدى هذا المنظور الوظيفي للتعزيز إلى تطوير خوارزميات التعزيز في العديد من مجالات التعلّم الآلي والإحصاء، بما يتجاوز الانحدار والتصنيف.

مقدمة غير رسمية

(يتبع هذا القسم العرض الذي قدمه تشنغ لي. [ 7 ] )

على غرار طرق التعزيز الأخرى، يجمع تعزيز التدرج بين "المتعلمين" الضعفاء في متعلم واحد قوي بشكل تكراري. ويُسهل شرحه في سياق الانحدار الخطي ، حيث يكون الهدف هو تعليم نموذجF{\displaystyle F}للتنبؤ بقيم من الشكلy^=F(x){\displaystyle {\hat {y}}=F(x)}عن طريق تقليل متوسط ​​مربع الخطأ1ن∑أنا(y^أنا-yأنا)2{\displaystyle {\tfrac {1}{n}}\sum _{i}({\hat {y}}_{i}-y_{i})^{2}}، أينأنا{\displaystyle i}مؤشرات على مجموعة تدريب بحجم معينن{\displaystyle n}القيم الفعلية لمتغير الإخراجy{\displaystyle y}:

  • y^أنا={\displaystyle {\hat {y}}_{i}=}القيمة المتوقعةF(xأنا){\displaystyle F(x_{i})}
  • yأنا={\displaystyle y_{i}=}القيمة المرصودة
  • ن={\displaystyle n=}حجم العينة، أي عدد المشاهدات فيy{\displaystyle y}

إذا كانت الخوارزميةم{\displaystyle M}مراحل، في كل مرحلةم{\displaystyle m}(1≤م≤م{\displaystyle 1\leq m\leq M}لنفترض نموذجًا غير كاملFم{\displaystyle F_{m}}(للمنخفضين)م{\displaystyle m}قد يتنبأ هذا النموذج ببساطةy^أنا{\displaystyle {\hat {y}}_{i}}يكون y¯{\displaystyle {\bar {y}}}، متوسطy{\displaystyle y}). من أجل التحسينFم{\displaystyle F_{m}}ينبغي أن تضيف خوارزميتنا بعض المُقدِّرات الجديدة.حم(x){\displaystyle h_{m}(x)}. هكذا،

Fم+1(xأنا)=Fم(xأنا)+حم(xأنا)=yأنا{\displaystyle F_{m+1}(x_{i})=F_{m}(x_{i})+h_{m}(x_{i})=y_{i}}

أو، على نحو مماثل،

حم(xأنا)=yأنا-Fم(xأنا).{\displaystyle h_{m}(x_{i})=y_{i}-F_{m}(x_{i}).}

لذلك، فإن تعزيز التدرج سيكون مناسبًاحم{\displaystyle h_{m}}إلى المتبقيyأنا-Fم(xأنا){\displaystyle y_{i}-F_{m}(x_{i})}كما هو الحال في أنواع التعزيز الأخرى، كلFم+1{\displaystyle F_{m+1}}محاولات لتصحيح أخطاء سابقتهاFم{\displaystyle F_{m}}. ويترتب على ملاحظة أن البواقي تعميم هذه الفكرة لتشمل دوال الخسارة الأخرى غير الخطأ التربيعي، ومسائل التصنيف والترتيب .حم(xأنا){\displaystyle h_{m}(x_{i})}بالنسبة لنموذج معين، تتناسب هذه القيم مع التدرجات السالبة لدالة خسارة متوسط ​​مربع الخطأ (MSE) (بالنسبة إلىF(xأنا){\displaystyle F(x_{i})}):

لمSهـ=1ن∑أنا=1ن(yأنا-F(xأنا))2{\displaystyle L_{\rm {MSE}}={\frac {1}{n}}\sum _{i=1}^{n}\left(y_{i}-F(x_{i})\right)^{2}}
-∂لمSهـ∂F(xأنا)=2ن(yأنا-F(xأنا))=2نحم(xأنا).{\displaystyle -{\frac {\partial L_{\rm {MSE}}}{\partial F(x_{i})}}={\frac {2}{n}}(y_{i}-F(x_{i}))={\frac {2}{n}}h_{m}(x_{i}).}

لذا، يمكن تعميم تعزيز التدرج إلى خوارزمية هبوط التدرج عن طريق إدخال خسارة مختلفة وتدرجها.

الخوارزمية

تتضمن العديد من مسائل التعلم الخاضع للإشراف متغيرًا ناتجًا y ومتجهًا من المتغيرات المدخلة x ، يرتبطان ببعضهما البعض بتوزيع احتمالي معين. والهدف هو إيجاد دالة ما.F^(x){\displaystyle {\hat {F}}(x)}التي تُقارب متغير الإخراج على أفضل وجه من قيم متغيرات الإدخال. ويتم ذلك من خلال إدخال دالة خسارة معينة.ل(y،F(x)){\displaystyle L(y,F(x))}وتقليله إلى أدنى حد ممكن:

F^=أرجينينF⁡هـx،y[ل(y،F(x))].{\displaystyle {\hat {F}}=\operatorname {argmin} \limits _{F}\mathbb {E} _{x,y}[L(y,F(x))].}

تعتمد طريقة تعزيز التدرج على افتراض أن قيمة y حقيقية . وهي تسعى إلى إيجاد قيمة تقريبية.F^(x){\displaystyle {\hat {F}}(x)}في شكل مجموع مرجح لـ M دالةحم(x){\displaystyle h_{m}(x)}من بعض الفئاتح{\displaystyle {\mathcal {H}}}ويُطلق عليهم اسم المتعلمين الأساسيين (أو الضعفاء ):

F^(x)=∑م=1مγمحم(x)+ثابت،{\displaystyle {\hat {F}}(x)=\sum _{m=1}^{M}\gamma _{m}h_{m}(x)+{\mbox{const}},}

أينγم{\displaystyle \gamma _{m}}الوزن في المرحلةم{\displaystyle m}عادةً ما يتم تزويدنا بمجموعة تدريبية{(x1،y1)،...،(xن،yن)}{\displaystyle \{(x_{1},y_{1}),\dots ,(x_{n},y_{n})\}}باستخدام القيم المعروفة لـ x والقيم المقابلة لها لـ y . ووفقًا لمبدأ تقليل المخاطر التجريبي ، تحاول الطريقة إيجاد تقريب.F^(x){\displaystyle {\hat {F}}(x)}يقلل هذا النموذج من متوسط ​​قيمة دالة الخسارة على مجموعة التدريب، أي يقلل من المخاطر التجريبية. ويفعل ذلك من خلال البدء بنموذج يتكون من دالة ثابتة.F0(x){\displaystyle F_{0}(x)}ويتوسع تدريجياً بطريقة جشعة :

F0(x)=arg⁡مينح0∈ح∑أنا=1نل(yأنا،ح0(xأنا))،{\displaystyle F_{0}(x)={\underset {h_{0}\in {\mathcal {H}}}{\arg \min }}\sum _{i=1}^{n}{L(y_{i},h_{0}(x_{i}))},}
Fم(x)=Fم-1(x)+(أرزمأنانحم∈ح[∑أنا=1نل(yأنا،Fم-1(xأنا)+حم(xأنا))])(x)،{\displaystyle F_{m}(x)=F_{m-1}(x)+\left({\underset {h_{m}\in {\mathcal {H}}}{\operatorname {arg\,min} }}\left[\sum _{i=1}^{n}L(y_{i},F_{m-1}(x_{i})+h_{m}(x_{i}))\right]\right)(x),}

لم≥1{\displaystyle m\geq 1}، أينحم∈ح{\displaystyle h_{m}\in {\mathcal {H}}}هي دالة أساسية للمتعلم.

لسوء الحظ، اختيار الوظيفة الأفضلحم{\displaystyle h_{m}}في كل خطوة، تُعدّ دالة الخسارة L مشكلة تحسين غير قابلة للحل حسابيًا بشكل عام. لذلك، نقتصر نهجنا على نسخة مبسطة من المشكلة. الفكرة هي تطبيق خطوة الانحدار الأسرع على مشكلة التصغير هذه (انحدار التدرج الوظيفي). الفكرة الأساسية هي إيجاد الحد الأدنى المحلي لدالة الخسارة من خلال التكرار علىFم-1(x){\displaystyle F_{m-1}(x)}في الواقع، يكون اتجاه الانحدار الأقصى المحلي لدالة الخسارة هو التدرج السالب. [ 8 ] وبالتالي، فإن تحريك مقدار صغيرγ{\displaystyle \gamma }بحيث يظل التقريب الخطي صالحًا:

Fم(x)=Fم-1(x)-γ∑أنا=1ن∇Fم-1ل(yأنا،Fم-1(xأنا)){\displaystyle F_{m}(x)=F_{m-1}(x)-\gamma \sum _{i=1}^{n}\nabla _{F_{m-1}}L(y_{i},F_{m-1}(x_{i}))}

أينγ>0{\displaystyle \gamma >0}. للصغارγ{\displaystyle \gamma }وهذا يعني أنل(yأنا،Fم(xأنا))≤ل(yأنا،Fم-1(xأنا)){\displaystyle L(y_{i},F_{m}(x_{i}))\leq L(y_{i},F_{m-1}(x_{i}))}.

علاوة على ذلك، يمكننا التحسينγ{\displaystyle \gamma }من خلال إيجادγ{\displaystyle \gamma }القيمة التي تحقق عندها دالة الخسارة الحد الأدنى:

γم=أرجينينγ∑أنا=1نل(yأنا،Fم(xأنا))=arg⁡مينγ∑أنا=1نل(yأنا،Fم-1(xأنا)-γ∇Fم-1ل(yأنا،Fم-1(xأنا))).{\displaystyle \gamma _{m}={\underset {\gamma }{\operatorname {argmin} }}\sum _{i=1}^{n}L(y_{i},F_{m}(x_{i}))={\underset {\gamma }{\arg \min }}{\sum _{i=1}^{n}L\left(y_{i},F_{m-1}(x_{i})-\gamma \nabla _{F_{m-1}}L(y_{i},F_{m-1}(x_{i}))\right)}.}

إذا نظرنا إلى الحالة المستمرة، أي حيثح{\displaystyle {\mathcal {H}}}هي مجموعة الدوال القابلة للتفاضل بشكل عشوائي علىR{\displaystyle \mathbb {R} }سنقوم بتحديث النموذج وفقًا للمعادلات التالية

Fم(x)=Fم-1(x)-γم∑أنا=1ن∇Fم-1ل(yأنا،Fم-1(xأنا)){\displaystyle F_{m}(x)=F_{m-1}(x)-\gamma _{m}\sum _{i=1}^{n}{\nabla _{F_{m-1}}L(y_{i},F_{m-1}(x_{i}))}}

أينγم{\displaystyle \gamma _{m}}طول الخطوة، ويُعرَّف على النحو التالي: γم=arg⁡مينγ∑أنا=1نل(yأنا،Fم-1(xأنا)-γ∇Fم-1ل(yأنا،Fم-1(xأنا))).{\displaystyle \gamma _{m}={\underset {\gamma }{\arg \min }}\sum _{i=1}^{n}L\left(y_{i},F_{m-1}(x_{i})-\gamma \nabla _{F_{m-1}}L(y_{i},F_{m-1}(x_{i}))\right).} أما في الحالة المنفصلة، ​​أي عندما تكون المجموعةح{\displaystyle {\mathcal {H}}}إذا كانت الدالة محدودة ، نختار الدالة المرشحة h الأقرب إلى تدرج L، والتي يمكن حساب معاملها γ باستخدام البحث الخطي على المعادلات المذكورة أعلاه. تجدر الإشارة إلى أن هذه الطريقة استدلالية، وبالتالي لا تُعطي حلاً دقيقاً للمسألة المطروحة، بل حلاً تقريبياً. في الشفرة الزائفة، تكون طريقة تعزيز التدرج العامة كما يلي: [ 4 ] [ 1 ]

المدخلات: مجموعة التدريب{(xأنا،yأنا)}أنا=1ن،{\displaystyle \{(x_{i},y_{i})\}_{i=1}^{n},}دالة خسارة قابلة للتفاضلل(y،F(x))،{\displaystyle L(y,F(x)),}عدد التكرارات M.

الخوارزمية:

  1. قم بتهيئة النموذج بقيمة ثابتة:
    F0(x)=arg⁡مينγ∑أنا=1نل(yأنا،γ).{\displaystyle F_{0}(x)={\underset {\gamma }{\arg \min }}\sum _{i=1}^{n}L(y_{i},\gamma ).}
  2. من أجل m = 1 إلى M :
    1. حساب ما يسمى بالبواقي الزائفة :
      رأنام=-[∂ل(yأنا،F(xأنا))∂F(xأنا)]F(x)=Fم-1(x)ل أنا=1،...،ن.{\displaystyle r_{im}=-\left[{\frac {\partial L(y_{i},F(x_{i}))}{\partial F(x_{i})}}\right]_{F(x)=F_{m-1}(x)}\quad {\text{for }}i=1,\ldots ,n.}
    2. قم بتدريب نموذج تعلم أساسي (أو نموذج تعلم ضعيف، مثل الشجرة) مغلق تحت التحجيمحم(x){\displaystyle h_{m}(x)}إلى البواقي الزائفة، أي تدريبها باستخدام مجموعة التدريب{(xأنا،رأنام)}أنا=1ن{\displaystyle \{(x_{i},r_{im})\}_{i=1}^{n}}.
    3. احسب المضاعفγم{\displaystyle \gamma _{m}}عن طريق حل مسألة التحسين أحادية البعد التالية:
      γم=أرجينينγ∑أنا=1نل(yأنا،Fم-1(xأنا)+γحم(xأنا)).{\displaystyle \gamma _{m}={\underset {\gamma }{\operatorname {argmin} }}\sum _{i=1}^{n}L\left(y_{i},F_{m-1}(x_{i})+\gamma h_{m}(x_{i})\right).}
    4. تحديث النموذج:
      Fم(x)=Fم-1(x)+γمحم(x).{\displaystyle F_{m}(x)=F_{m-1}(x)+\gamma _{m}h_{m}(x).}
  3. الناتجFم(x).{\displaystyle F_{M}(x).}

تعزيز شجرة التدرج

يُستخدم تعزيز التدرج عادةً مع أشجار القرار (وخاصةً أشجار التصنيف والانحدار ) ذات الحجم الثابت كمتعلمين أساسيين. في هذه الحالة الخاصة، يقترح فريدمان تعديلًا على طريقة تعزيز التدرج لتحسين جودة ملاءمة كل متعلم أساسي.

يمكن استخدام تعزيز التدرج العام في الخطوة m لشجرة القرارحم(x){\displaystyle h_{m}(x)}إلى البواقي الزائفة. ليكنجم{\displaystyle J_{m}}ليكن عدد أوراقها. تقسم الشجرة مساحة الإدخال إلىجم{\displaystyle J_{m}}مناطق منفصلةR1م،...،Rجمم{\displaystyle R_{1m},\ldots ,R_{J_{m}m}}ويتوقع قيمة ثابتة في كل منطقة. باستخدام ترميز المؤشر ، يكون ناتجحم(x){\displaystyle h_{m}(x)}بالنسبة للمدخل x، يمكن كتابته على شكل المجموع:

حم(x)=∑ج=1جمبجم1Rجم(x)،{\displaystyle h_{m}(x)=\sum _{j=1}^{J_{m}}b_{jm}\mathbf {1} _{R_{jm}}(x),}

أينبجم{\displaystyle b_{jm}}هي القيمة المتوقعة في المنطقةRجم{\displaystyle R_{jm}}[ 9 ]​

ثم المعاملاتبجم{\displaystyle b_{jm}}يتم ضربها بقيمة معينةγم{\displaystyle \gamma _{m}}يتم اختيارها باستخدام البحث الخطي لتقليل دالة الخسارة، ويتم تحديث النموذج على النحو التالي:

Fم(x)=Fم-1(x)+γمحم(x)،γم=أرزمأنانγ∑أنا=1نل(yأنا،Fم-1(xأنا)+γحم(xأنا)).{\displaystyle F_{m}(x)=F_{m-1}(x)+\gamma _{m}h_{m}(x),\quad \gamma _{m}={\underset {\gamma }{\operatorname {arg\,min} }}\sum _{i=1}^{n}L(y_{i},F_{m-1}(x_{i})+\gamma h_{m}(x_{i})).}

يقترح فريدمان تعديل هذه الخوارزمية بحيث تختار قيمة مثلى منفصلةγجم{\displaystyle \gamma _{jm}}لكل منطقة من مناطق الشجرة، بدلاً من منطقة واحدةγم{\displaystyle \gamma _{m}}للشجرة بأكملها. ويُطلق على الخوارزمية المُعدّلة اسم "TreeBoost". المعاملاتبجم{\displaystyle b_{jm}}يمكن بعد ذلك تجاهل عملية ملاءمة الشجرة ببساطة، وتصبح قاعدة تحديث النموذج كالتالي:

Fم(x)=Fم-1(x)+∑ج=1جمγجم1Rجم(x)،γجم=أرزمأنانγ∑xأنا∈Rجمل(yأنا،Fم-1(xأنا)+γ).{\displaystyle F_{m}(x)=F_{m-1}(x)+\sum _{j=1}^{J_{m}}\gamma _{jm}\mathbf {1} _{R_{jm}}(x),\quad \gamma _{jm}={\underset {\gamma }{\operatorname {arg\,min} }}\sum _{x_{i}\in R_{jm}}L(y_{i},F_{m-1}(x_{i})+\gamma ).}

عندما الخسارةل(⋅،⋅){\displaystyle L(\cdot ,\cdot )}متوسط ​​مربع الخطأ (MSE) هو المعاملاتγجم{\displaystyle \gamma _{jm}}تتطابق مع معاملات إجراء ملاءمة الشجرةبجم{\displaystyle b_{jm}}.

حجم الشجرة

الرقمج{\displaystyle J}يُعد عدد العقد الطرفية في الأشجار مُعاملاً يتحكم في الحد الأقصى المسموح به لمستوى التفاعل بين المتغيرات في النموذج.ج=2{\displaystyle J=2}( أشجار القرار )، لا يُسمح بالتفاعل بين المتغيرات. معج=3{\displaystyle J=3}قد يتضمن النموذج تأثيرات التفاعل بين متغيرين كحد أقصى، وهكذا.ج{\displaystyle J}يمكن تعديلها لتناسب مجموعة البيانات المتوفرة.

يعلق هاستي وآخرون [ 1 ] على أن عادة4≤ج≤8{\displaystyle 4\leq J\leq 8}تُعدّ هذه الطريقة فعّالة لتعزيز النتائج، ولا تتأثر النتائج بشكل كبير باختيار نوع معين من المنتجات.ج{\displaystyle J}في هذا النطاق،ج=2{\displaystyle J=2}غير كافٍ للعديد من التطبيقات، وج>10{\displaystyle J>10}من غير المرجح أن يكون ذلك مطلوباً.

التنظيم

قد يؤدي التطابق المفرط مع مجموعة التدريب إلى تراجع قدرة النموذج على التعميم، أي أدائه على الأمثلة غير المرئية. تعمل العديد من تقنيات التنظيم على الحد من هذا التأثير الناتج عن التطابق المفرط من خلال تقييد عملية التطابق.

أحد معايير التنظيم الطبيعية هو عدد تكرارات تعزيز التدرج M (أي عدد النماذج الأساسية). زيادة M تقلل الخطأ في مجموعة التدريب، لكنها تزيد من خطر التخصيص الزائد. غالبًا ما يتم اختيار القيمة المثلى لـ M من خلال مراقبة خطأ التنبؤ على مجموعة بيانات تحقق منفصلة.

يُعد عمق الشجرة أحد معايير التنظيم في خوارزمية تعزيز الأشجار. وكلما زادت قيمة هذا العمق، زاد احتمال أن يُفرط النموذج في ملاءمة بيانات التدريب.

انكماش

يُعدّ التنظيم عن طريق الانكماش جزءًا مهمًا من تعزيز التدرج، والذي يستخدم قاعدة تحديث معدلة:

Fم(x)=Fم-1(x)+ν⋅γمحم(x)،0<ν≤1،{\displaystyle F_{m}(x)=F_{m-1}(x)+\nu \cdot \gamma _{m}h_{m}(x),\quad 0<\nu \leq 1,}

حيث المعلمةν{\displaystyle \nu }يُطلق عليه اسم "معدل التعلم".

وقد تبين تجريبياً أن استخدام معدلات تعلم صغيرة (مثلν<0.1{\displaystyle \nu <0.1}) يُحقق تحسينات كبيرة في قدرة النماذج على التعميم مقارنةً بتقنية تعزيز التدرج دون تقليص (ν=1{\displaystyle \nu =1}). [ 1 ] ومع ذلك، فإن ذلك يأتي على حساب زيادة وقت الحساب أثناء التدريب والاستعلام : معدل التعلم المنخفض يتطلب المزيد من التكرارات.

تعزيز التدرج العشوائي

بعد فترة وجيزة من ظهور تقنية تعزيز التدرج، اقترح فريدمان تعديلًا طفيفًا على الخوارزمية، مستوحيًا ذلك من طريقة بريمان لتجميع البيانات باستخدام أسلوب bootstrap ( التجميع العشوائي). [ 2 ] واقترح تحديدًا أنه في كل تكرار للخوارزمية، يتم تدريب نموذج أساسي على عينة فرعية من مجموعة التدريب يتم اختيارها عشوائيًا دون إرجاع. [ 10 ] وقد لاحظ فريدمان تحسنًا ملحوظًا في دقة تعزيز التدرج مع هذا التعديل.

حجم العينة الفرعية هو جزء ثابتو{\displaystyle f}حجم مجموعة التدريب. عندماو=1{\displaystyle f=1}الخوارزمية حتمية ومطابقة لتلك الموصوفة أعلاه. القيم الأصغر لـو{\displaystyle f}يُدخل عنصر العشوائية في الخوارزمية ويساعد على منع التجاوز في التخصيص ، ويعمل كنوع من التنظيم . كما تصبح الخوارزمية أسرع، لأن أشجار الانحدار يجب ملاءمتها لمجموعات بيانات أصغر في كل تكرار. وقد توصل فريدمان [ 2 ] إلى أن0.5≤و≤0.8{\displaystyle 0.5\leq f\leq 0.8}يؤدي ذلك إلى نتائج جيدة لمجموعات التدريب الصغيرة والمتوسطة الحجم. لذلك،و{\displaystyle f}يتم ضبطها عادةً على 0.5، مما يعني أنه يتم استخدام نصف مجموعة التدريب لبناء كل متعلم أساسي. [ 11 ]

كما هو الحال في التجميع، يسمح أخذ العينات الفرعية بتحديد خطأ خارج الحقيبة لتحسين أداء التنبؤ من خلال تقييم التنبؤات على تلك الملاحظات التي لم تُستخدم في بناء المتعلم الأساسي التالي. تساعد تقديرات خارج الحقيبة على تجنب الحاجة إلى مجموعة بيانات تحقق مستقلة، ولكنها غالبًا ما تقلل من تقدير التحسن الفعلي في الأداء والعدد الأمثل للتكرارات. [ 12 ] [ 13 ]

عدد الملاحظات في الأوراق

تستخدم تطبيقات تعزيز شجرة التدرج غالبًا تقنية التنظيم عن طريق تحديد الحد الأدنى لعدد المشاهدات في العقد الطرفية للأشجار. ويتم ذلك في عملية بناء الشجرة بتجاهل أي تقسيمات تؤدي إلى عقد تحتوي على عدد أقل من هذا العدد من بيانات مجموعة التدريب.

يساعد فرض هذا الحد على تقليل التباين في التنبؤات عند الأوراق.

عقوبة التعقيد

من التقنيات المفيدة الأخرى لتنظيم نماذج التدرج المعزز معاقبة تعقيدها. [ 14 ] بالنسبة لأشجار التدرج المعزز، يُمكن تعريف تعقيد النموذج بأنه النسبة المئوية لعدد الأوراق في الأشجار. يتوافق التحسين المشترك للخسارة وتعقيد النموذج مع خوارزمية تقليم لاحقة لإزالة الفروع التي لا تُقلل الخسارة بمقدار عتبة معينة.

أنواع أخرى من التنظيم مثلℓ2{\displaystyle \ell _{2}}يمكن أيضًا استخدام عقوبة على قيم الأوراق لتجنب الإفراط في التخصيص . [ 15 ]

الاستخدام

يمكن استخدام تعزيز التدرج في مجال التعلم الآلي لترتيب النتائج . تستخدم محركات البحث التجارية على الإنترنت، مثل ياهو [ 16 ] وياندكس [ 17 ]، أشكالًا مختلفة من تعزيز التدرج في محركات الترتيب الخاصة بها التي تعتمد على التعلم الآلي. كما يُستخدم تعزيز التدرج في فيزياء الطاقة العالية لتحليل البيانات. ففي مصادم الهادرونات الكبير (LHC)، نجحت أشكال مختلفة من تعزيز التدرج في الشبكات العصبية العميقة (DNN) في إعادة إنتاج نتائج أساليب التحليل غير القائمة على التعلم الآلي على مجموعات البيانات المستخدمة لاكتشاف بوزون هيغز [ 18 ] . كما طُبقت شجرة قرار تعزيز التدرج في الدراسات الجيولوجية والأرضية، مثل تقييم جودة خزانات الحجر الرملي [ 19 ] .

الأسماء

تُعرف هذه الطريقة بأسماء متعددة. قدّم فريدمان تقنية الانحدار الخاصة به باسم "آلة تعزيز التدرج" (GBM). [ 4 ] وصف ماسون وباكستر وآخرون الفئة المجردة المعممة من الخوارزميات باسم "تعزيز التدرج الوظيفي". [ 5 ] [ 6 ] يصف فريدمان وآخرون تطورًا لنماذج تعزيز التدرج باسم أشجار الانحدار الإضافية المتعددة (MART)؛ [ 20 ] يصف إيليث وآخرون هذا النهج باسم "أشجار الانحدار المعززة" (BRT). [ 21 ]

يُطلق على هذا النموذج اسم "نموذج التعزيز المعمم" في أحد تطبيقات R مفتوحة المصدر الشائعة ، [ 12 ] إلا أن الحزم التي توسع هذا العمل تستخدم BRT. [ 22 ] ويُعرف أيضاً باسم TreeNet، نسبةً إلى تطبيق تجاري مبكر من دان شتاينبرغ من شركة سالفورد سيستمز، أحد الباحثين الرواد في استخدام الأساليب القائمة على الأشجار. [ 23 ]

تصنيف أهمية الميزات

يمكن استخدام تعزيز التدرج لترتيب أهمية الميزات، والذي يعتمد عادةً على تجميع دالة الأهمية للمتعلمين الأساسيين. [ 24 ] على سبيل المثال، إذا طُوِّرت خوارزمية أشجار معززة بالتدرج باستخدام أشجار قرار قائمة على الانتروبيا ، فإن خوارزمية التجميع تُرتِّب أهمية الميزات بناءً على الانتروبيا أيضًا، مع الأخذ في الاعتبار أنها تُحسب كمعدل لجميع المتعلمين الأساسيين. [ 24 ] [ 1 ]

العيوب

على الرغم من أن تعزيز النموذج قد يزيد من دقة نموذج التعلم الأساسي، مثل شجرة القرار أو الانحدار الخطي، إلا أنه يُضحي بالوضوح وسهولة التفسير . [ 24 ] [ 25 ] فعلى سبيل المثال، يُعد تتبع مسار شجرة القرار لاتخاذ قرارها أمرًا بسيطًا وواضحًا، بينما يُعد تتبع مسارات مئات أو آلاف الأشجار أكثر صعوبة. ولتحقيق الأداء الأمثل وسهولة التفسير معًا، تسمح بعض تقنيات ضغط النماذج بتحويل نموذج XGBoost إلى شجرة قرار واحدة مُعاد بناؤها تُقارب دالة القرار نفسها. [ 26 ] علاوة على ذلك، قد يكون تطبيق هذه التقنية أكثر صعوبة نظرًا لمتطلباتها الحسابية العالية.

انظر أيضاً

مراجع

  1. 1 2 3 4 5 6 هاستي، ت.؛ تيبشيراني، ر.؛ فريدمان، ج. هـ. (2009). "10. التعزيز والأشجار الإضافية" . عناصر التعلم الإحصائي (  الطبعة الثانية). نيويورك: سبرينغر. ص 337-384 . ISBN  978-0-387-84857-0تمت أرشفة النسخة الأصلية بتاريخ 10-11-2009.
  2. 1 2 3 4 فريدمان، جيه إتش (مارس 1999). "التعزيز التدرجي العشوائي" (ملف PDF) . مؤرشف من الأصل (ملف PDF) بتاريخ 1 أغسطس 2014. تم الاطلاع عليه بتاريخ 13 نوفمبر 2013 .
  3. ↑ بريمان، ل. (يونيو 1997). "تقويس الحافة" (ملف PDF) . التقرير الفني رقم 486. قسم الإحصاء، جامعة كاليفورنيا، بيركلي.
  4. 1 2 3 فريدمان، جيه إتش (فبراير 1999). "تقريب الدالة الجشعة: آلة تعزيز التدرج" (ملف PDF) . مؤرشف من الأصل (ملف PDF) بتاريخ 1 نوفمبر 2019. تم الاطلاع عليه بتاريخ 27 أغسطس 2018 .
  5. 1 2 ماسون، ل.؛ باكستر، ج.؛ بارتليت، ب. ل.؛ فريان، ماركوس (1999). "خوارزميات التعزيز كانحدار تدرجي" (ملف PDF) . في : س. أ. سولا ، ت. ك. لين، ك. مولر (محررون). التطورات في أنظمة معالجة المعلومات العصبية 12. مطبعة معهد ماساتشوستس للتكنولوجيا. الصفحات 512-518 . 
  6. 1 2 ماسون، ل.؛ باكستر، ج.؛ بارتليت، ب. ل.؛ فريان، ماركوس (مايو 1999). "خوارزميات التعزيز كانحدار تدرجي في فضاء الدوال" (ملف PDF) . مؤرشف من الأصل (ملف PDF) بتاريخ 22-12-2018.
  7. ↑ تشنغ لي. "مقدمة مبسطة لتعزيز التدرج" (PDF) .
  8. ↑ لامبرز، جيم (2011-2012). "طريقة الانحدار الأسرع" (PDF) .
  9. ملاحظة : في حالة أشجار CART المعتادة، يتم تركيب الأشجار باستخدام دالة خسارة المربعات الصغرى، وبالتالي يكون المعاملبجم{\displaystyle b_{jm}}للمنطقةRجم{\displaystyle R_{jm}}يساوي قيمة متغير الإخراج فقط، بعد حساب متوسطها على جميع حالات التدريب فيRجم{\displaystyle R_{jm}}.
  10. ↑ لاحظ أن هذا يختلف عن التجميع، الذي يقوم بأخذ العينات مع الإحلال لأنه يستخدم عينات بنفس حجم مجموعة التدريب.
  11. ↑ عرابي، نوشين؛ ترابي، محمد رضا؛ فصيحي، أفشين؛ قاسمي، فهيمة. "تحديد مثبطات مستقبل عامل نمو بطانة الأوعية الدموية المحتملة عبر نمذجة التعلم القائمة على الشجرة ومحاكاة الالتحام الجزيئي". علم القياس الكيميائي . 1 (1): 1. doi : 10.1002/cem.3545 .
  12. 1 2 ريدجواي، جريج (2007). نماذج التعزيز المعممة: دليل لحزمة gmb.
  13. ↑ تعلم خوارزمية تعزيز التدرج لتحسين التنبؤات (مع أكواد بلغة R)
  14. ↑ تيانكي تشن. مقدمة إلى الأشجار المعززة
  15. ↑ عرابي، نوشين؛ ترابي، محمد رضا؛ فصيحي، أفشين؛ قاسمي، فهيمة. "تحديد مثبطات مستقبل عامل نمو بطانة الأوعية الدموية المحتملة عبر نمذجة التعلم القائمة على الشجرة ومحاكاة الالتحام الجزيئي". علم القياس الكيميائي . 1 (1): 1. doi : 10.1002/cem.3545 .
  16. ↑ كوسوك، ديفيد وتشانغ، تونغ (2008). التحليل الإحصائي لترتيب المجموعات الفرعية الأمثل لبايز. مؤرشف في 2010-08-07 في Wayback Machine ، الصفحة 14.
  17. ↑ مقالة مدونة شركة ياندكس حول نموذج التصنيف الجديد "سنيزينسك" مؤرشفة بتاريخ 1 مارس 2012 في أرشيف الإنترنت (باللغة الروسية)
  18. ↑ لالشان، فيدي (2020). "استخلاص المزيد من أشجار القرار المعززة: دراسة حالة في فيزياء الطاقة العالية". arXiv : 2001.06033 [ stat.ML ].
  19. ^ ما ، لونجفي. شياو، هانمين؛ تاو، جينغوي؛ تشنغ، تايي. تشانغ ، هايكين (1 يناير 2022). "نهج ذكي لتقييم جودة المكمن في مكمن الحجر الرملي الضيق باستخدام خوارزمية شجرة القرار التدرجية المعززة" . علوم الأرض المفتوحة . 14 (1): 629–645 . بيب كود : 2022OGeo...14..354M . دوى : 10.1515 / جيو-2022-0354 . ردمك 2391-5447 . 
  20. ↑ فريدمان، جيروم (2003). "أشجار الانحدار الجمعي المتعدد مع تطبيقات في علم الأوبئة". الإحصاء في الطب . 22 (9): 1365-1381 . doi : 10.1002/sim.1501 . PMID 12704603. S2CID 41965832 .  
  21. ↑ إيليث، جين (2008). "دليل عملي لأشجار الانحدار المعززة" . مجلة علم البيئة الحيوانية . 77 (4): 802-813 . Bibcode : 2008JAnEc..77..802E . doi : 10.1111/j.1365-2656.2008.01390.x . PMID 18397250 . 
  22. ↑ إيليث، جين. "أشجار الانحدار المعززة للنمذجة البيئية" (ملف PDF) . CRAN . مؤرشف من الأصل (ملف PDF) في 25 يوليو 2020. تم الاطلاع عليه في 31 أغسطس 2018 .
  23. ↑ "حصري: مقابلة مع دان شتاينبرغ، رئيس شركة سالفورد سيستمز، رائد استخراج البيانات" . KDnuggets .
  24. 1 2 3 بيريونيسي، إس. ماده؛ الدرابي، تامر إي. (2020-03-01). "تحليلات البيانات في إدارة الأصول: التنبؤ الفعال من حيث التكلفة بمؤشر حالة الرصف" . مجلة أنظمة البنية التحتية . 26 (1): 04019036. doi : 10.1061/(ASCE)IS.1943-555X.0000512 . ISSN 1943-555X . S2CID 213782055 .  
  25. ↑ وو، شيندونغ؛ كومار، فيبين؛ روس كوينلان، ج.؛ غوش، جويديب؛ يانغ، تشيانغ؛ موتودا، هيروشي؛ ماكلاكلان، جيفري ج.؛ نغ، أنغوس؛ ليو، بينغ؛ يو، فيليب س.؛ تشو، تشي-هوا (1 يناير 2008). "أفضل 10 خوارزميات في استخراج البيانات". نظم المعرفة والمعلومات . 14 (1): 1-37 . doi : 10.1007/s10115-007-0114-2 . hdl : 10983/15329 . ISSN 0219-3116 . S2CID 2367747 .  
  26. ↑ ساجي، عمر؛ روكاش، ليور (2021). "تقريب خوارزمية XGBoost باستخدام شجرة قرار قابلة للتفسير". علوم المعلومات . 572 (2021): 522-542 . doi : 10.1016/j.ins.2021.05.055 .

للمزيد من القراءة

  • بومكي، برادلي؛ غرينويل، براندون (2019). "التعزيز التدرجي". التعلم الآلي العملي باستخدام لغة R. تشابمان وهول. الصفحات 221-245 . ISBN  978-1-138-49568-5.