دوال الخسارة للتصنيف

في مجال التعلم الآلي والتحسين الرياضي ، تُعدّ دوال الخسارة للتصنيف دوال خسارة قابلة للتطبيق حسابيًا، تمثل الثمن المدفوع مقابل عدم دقة التنبؤات في مسائل التصنيف (مسائل تحديد الفئة التي تنتمي إليها ملاحظة معينة). ^{[ 1 ]} بالنظر إلى${\displaystyle {\mathcal {X}}}$باعتبارها مساحة جميع المدخلات الممكنة (عادةً${\displaystyle {\mathcal {X}}\subset \mathbb {R} ^{d}}$)، و${\displaystyle {\mathcal {Y}}=\{-1,1\}}$باعتبارها مجموعة من التصنيفات (المخرجات المحتملة)، يتمثل الهدف النموذجي لخوارزميات التصنيف في إيجاد دالة${\displaystyle f:{\mathcal {X}}\to {\mathcal {Y}}}$أيهما يتنبأ بشكل أفضل بالتصنيف؟${\displaystyle y}$بالنسبة لمدخل معين${\displaystyle {\vec {x}}}$^{[ 2 ]} ومع ذلك ، ونظرًا لنقص المعلومات، أو التشويش في القياس، أو المكونات الاحتمالية في العملية الأساسية، فمن الممكن أن يحدث الشيء نفسه.${\displaystyle {\vec {x}}}$لتوليد مختلف${\displaystyle y}$^{[ 3 ]} ونتيجة لذلك ، فإن هدف مشكلة التعلم هو تقليل الخسارة المتوقعة (المعروفة أيضًا باسم المخاطرة)، والتي تُعرَّف على النحو التالي:

${\displaystyle I[f]=\displaystyle \int _{{\mathcal {X}}\times {\mathcal {Y}}}V(f({\vec {x}}),y)\,p({\vec {x}},y)\,d{\vec {x}}\,dy}$

أين${\displaystyle V(f({\vec {x}}),y)}$دالة الخسارة المعطاة، و ${\displaystyle p({\vec {x}},y)}$هي دالة كثافة الاحتمال للعملية التي ولّدت البيانات، والتي يمكن كتابتها بشكل مكافئ على النحو التالي:

${\displaystyle p({\vec {x}},y)=p(y\mid {\vec {x}})p({\vec {x}}).}$

في مجال التصنيف، تُكتب العديد من دوال الخسارة الشائعة الاستخدام فقط بدلالة حاصل ضرب التصنيف الحقيقي${\displaystyle y}$والتصنيف المتوقع${\displaystyle f({\vec {x}})}$لذلك، يمكن تعريفها على أنها دوال لمتغير واحد فقط.${\displaystyle \upsilon =yf({\vec {x}})}$، لهذا السبب${\displaystyle V(f({\vec {x}}),y)=\phi (yf({\vec {x}}))=\phi (\upsilon )}$بوظيفة مختارة بشكل مناسب${\displaystyle \phi$ :\mathbb {R} \to \mathbb {R} } . تُسمى هذه دوال الخسارة القائمة على الهامش . اختيار دالة خسارة قائمة على الهامش يعني اختيار${\displaystyle \phi }$يؤثر اختيار دالة الخسارة ضمن هذا الإطار على الحل الأمثل${\displaystyle f_{\phi }^{*}}$مما يقلل من المخاطر المتوقعة، انظر إلى تقليل المخاطر التجريبية .

في حالة التصنيف الثنائي، من الممكن تبسيط حساب المخاطر المتوقعة من التكامل المحدد أعلاه. على وجه التحديد،

$$$ {Y}}\phi (yf({\vec {x}}))\,p(y\mid {\vec {x}})\,p({\vec {x}})\,dy\,d{\vec {x}}\\[6pt]&=\int _{\mathcal {X}}[\phi (f({\vec {x}}))\,p(1\mid {\vec {x}})+\phi (-f({\vec {x}}))\,p(-1\mid {\vec {x})]\,p({\vec {x}})\,d{\vec {x}}\\[6pt]&=\int _{\mathcal {X}}[\phi (f({\vec {x}}))\,p(1\mid {\vec {x}})+\phi (-f({\vec) {x}}))\,(1-p(1\mid {\vec {x}))]\,p({\vec {x}})\,d{\vec {x}}\end{محاذاة}}}$

تنتج المساواة الثانية من الخصائص المذكورة أعلاه. أما المساواة الثالثة فتنتج من حقيقة أن 1 و -1 هما القيمتان الوحيدتان الممكنتان لـ${\displaystyle y}$والرابع لأن${\displaystyle p(-1\mid x)=1-p(1\mid x)}$المصطلح الموجود بين قوسين${\displaystyle [\phi (f({\vec {x}}))p(1\mid {\vec {x}})+\phi (-f({\vec {x}}))(1-p(1\mid {\vec {x}}))]}$يُعرف باسم المخاطر المشروطة.

يمكن إيجاد القيمة الصغرى لـ${\displaystyle I[f]}$بأخذ المشتقة الوظيفية للمساواة الأخيرة بالنسبة إلى${\displaystyle f}$وبجعل المشتقة تساوي صفرًا، سينتج عن ذلك المعادلة التالية

${\displaystyle {\frac {\partial \phi (f)}{\partial f}}\eta +{\frac {\partial \phi (-f)}{\partial f}}(1-\eta )=0,\;\;\;\;\;(1)}$

أين${\displaystyle \eta =p(y=1|{\vec {x}})}$وهذا يعادل أيضاً جعل مشتق المخاطرة الشرطية يساوي صفرًا.

بالنظر إلى الطبيعة الثنائية للتصنيف، فإنّ الاختيار الطبيعي لدالة الخسارة (بافتراض تساوي تكلفة النتائج الإيجابية الخاطئة والنتائج السلبية الخاطئة ) سيكون دالة الخسارة 0-1 ( دالة المؤشر 0-1 )، والتي تأخذ القيمة 0 إذا كان التصنيف المتوقع مساويًا للفئة الحقيقية، أو القيمة 1 إذا كان التصنيف المتوقع لا يتطابق مع الفئة الحقيقية. ويتم نمذجة هذا الاختيار بواسطة

${\displaystyle V(f({\vec {x}}),y)=H(-yf({\vec {x}}))}$

أين${\displaystyle H}$يشير هذا إلى دالة هيفسايد المتدرجة . مع ذلك، فإن دالة الخسارة هذه غير محدبة وغير ملساء، وإيجاد الحل الأمثل لها يُعدّ مسألة تحسين توافقي صعبة الحل (NP-hard) . ^{[ 4 ]} ونتيجةً لذلك، يُفضّل استبدالها بدوال بديلة للخسارة، والتي يسهل التعامل معها في خوارزميات التعلّم الشائعة، لما تتمتع به من خصائص ملائمة كالتحدب والسلاسة. إضافةً إلى سهولة حسابها، يُمكن إثبات أن حلول مسألة التعلّم باستخدام هذه الدوال البديلة للخسارة تسمح باستعادة الحل الأصلي لمسألة التصنيف. ^{[ 5 ]} بعض هذه الدوال البديلة موصوفة أدناه.

عملياً، التوزيع الاحتمالي${\displaystyle p({\vec {x}},y)}$غير معروف. وبالتالي، باستخدام مجموعة تدريب من${\displaystyle n}$نقاط عينة موزعة بشكل مستقل ومتطابق

${\displaystyle S=\{({\vec {x}}_{1},y_{1}),\dots ,({\vec {x}}_{n},y_{n})\}}$

يسعى المرء، من خلال اختيار البيانات من فضاء العينة ، إلى تقليل المخاطر التجريبية.

${\displaystyle I_{S}[f]={\frac {1}{n}}\sum _{i=1}^{n}V(f({\vec {x}}_{i}),y_{i})}$

كبديل للمخاطر المتوقعة. ^{[ 3 ]} (انظر نظرية التعلم الإحصائي للحصول على وصف أكثر تفصيلاً.)

باستخدام نظرية بايز ، يمكن إثبات أن الأمثل${\displaystyle f_{0/1}^{*}}$أي، تلك التي تقلل من المخاطر المتوقعة المرتبطة بخسارة الصفر أو الواحد، وتطبق قاعدة القرار الأمثل لبايز لمشكلة التصنيف الثنائي، وتكون على شكل

${\displaystyle f_{0/1}^{*}({\vec {x}})\;=\;{\begin{cases}\;\;\;1&{\text{if }}p(1\mid {\vec {x}})>p(-1\mid {\vec {x}})\\\;\;\;0&{\text{if }}p(1\mid {\vec {x}})=p(-1\mid {\vec {x}})\\-1&{\text{if }}p(1\mid {\vec {x}})<p(-1\mid {\vec {x}})\end{cases}}}$.

يُقال إن دالة الخسارة مُعايرة للتصنيف أو متسقة مع بايز إذا كانت مثالية${\displaystyle f_{\phi }^{*}}$بحيث${\displaystyle f_{0/1}^{*}({\vec {x}})=\operatorname {sgn} (f_{\phi }^{*}({\vec {x}}))}$وبالتالي فهي الأمثل وفقًا لقاعدة قرار بايز. تسمح لنا دالة الخسارة المتسقة مع بايز بإيجاد دالة القرار الأمثل وفقًا لبايز.${\displaystyle f_{\phi }^{*}}$من خلال تقليل المخاطر المتوقعة بشكل مباشر ودون الحاجة إلى نمذجة دوال كثافة الاحتمال بشكل صريح.

بالنسبة لخسارة الهامش المحدب${\displaystyle \phi (\upsilon )}$، ويمكن إثبات ذلك${\displaystyle \phi (\upsilon )}$تكون نظرية بايز متسقة إذا وفقط إذا كانت قابلة للتفاضل عند الصفر و${\displaystyle \phi '(0)<0}$[ ^{6 ] [ 1 ]} ومع ذلك، لا تستبعد هذه النتيجة وجود دوال خسارة متسقة مع بايز غير محدبة. وتنص نتيجة أكثر عمومية على أنه يمكن توليد دوال خسارة متسقة مع بايز باستخدام الصيغة ^{التالية [ 7 ]}

${\displaystyle \phi (v)=C[f^{-1}(v)]+(1-f^{-1}(v))C'[f^{-1}(v)]\;\;\;\;\;(2)}$،

أين${\displaystyle f(\eta ),(0\leq \eta \leq 1)}$هي أي دالة قابلة للعكس بحيث${\displaystyle f^{-1}(-v)=1-f^{-1}(v)}$و${\displaystyle C(\eta )}$هي أي دالة قابلة للتفاضل مقعرة تمامًا بحيث${\displaystyle C(\eta )=C(1-\eta )}$يُظهر الجدول الأول دوال الخسارة المتسقة مع بايز التي تم إنشاؤها لبعض الخيارات النموذجية لـ${\displaystyle C(\eta )}$و${\displaystyle f^{-1}(v)}$لاحظ أن دالتي خسارة سافاج وتانجنت ليستا محدبتين. وقد ثبت أن دوال الخسارة غير المحدبة هذه مفيدة في التعامل مع القيم الشاذة في التصنيف. ^{[ 7 ] [ 8 ]} بالنسبة لجميع دوال الخسارة المولدة من (2)، فإن الاحتمال اللاحق${\displaystyle p(y=1|{\vec {x}})}$يمكن إيجادها باستخدام دالة الربط العكسي كما يلي ${\displaystyle p(y=1|{\vec {x}})=\eta =f^{-1}(v)}$تُسمى دوال الخسارة هذه، التي يمكن استعادة الاحتمالية اللاحقة فيها باستخدام الرابط القابل للعكس، دوال الخسارة المناسبة .

الجدول الأول

اسم الخسارة	${\displaystyle \phi (v)}$	${\displaystyle C(\eta )}$	${\displaystyle f^{-1}(v)}$	${\displaystyle f(\eta )}$
النمو الأسي	${\displaystyle e^{-v}}$	${\displaystyle 2{\sqrt {\eta (1-\eta )}}}$	${\displaystyle {\frac {e^{2v}}{1+e^{2v}}}}$	${\displaystyle {\frac {1}{2}}\log({\frac {\eta }{1-\eta }})}$
الخدمات اللوجستية	${\displaystyle {\frac {1}{\log(2)}}\log(1+e^{-v})}$	${\displaystyle {\frac {1}{\log(2)}}[-\eta \log(\eta )-(1-\eta )\log(1-\eta )]}$	${\displaystyle {\frac {e^{v}}{1+e^{v}}}}$	${\displaystyle \log({\frac {\eta }{1-\eta }})}$
مربع	${\displaystyle (1-v)^{2}}$	${\displaystyle 4\eta (1-\eta )}$	${\displaystyle {\frac {1}{2}}(v+1)}$	${\displaystyle 2\eta -1}$
متوحش	${\displaystyle {\frac {1}{(1+e^{v})^{2}}}}$	${\displaystyle \eta (1-\eta )}$	${\displaystyle {\frac {e^{v}}{1+e^{v}}}}$	${\displaystyle \log({\frac {\eta }{1-\eta }})}$
مماس	${\displaystyle (2\arctan(v)-1)^{2}}$	${\displaystyle 4\eta (1-\eta )}$	${\displaystyle \arctan(v)+{\frac {1}{2}}}$	${\displaystyle \tan(\eta -{\frac {1}{2}})}$

الجهة الوحيدة التي تقلل من المخاطر المتوقعة،${\displaystyle f_{\phi }^{*}}$يمكن إيجاد القيم المرتبطة بدوال الخسارة المولدة أعلاه مباشرةً من المعادلة (1)، وإثبات أنها تساوي القيم المقابلة لها.${\displaystyle f(\eta )}$ينطبق هذا حتى على دوال الخسارة غير المحدبة، مما يعني أنه يمكن استخدام الخوارزميات القائمة على انحدار التدرج مثل تعزيز التدرج لإنشاء المصغر.

بالنسبة لدوال الخسارة المناسبة، يمكن تعريف هامش الخسارة على النحو التالي:${\displaystyle \mu _{\phi }=-{\frac {\phi '(0)}{\phi ''(0)}}}$وقد ثبت ارتباطها المباشر بخصائص التنظيم للمصنف. ^{[ 9 ]} على وجه التحديد، فإن دالة الخسارة ذات الهامش الأكبر تزيد من التنظيم وتنتج تقديرات أفضل للاحتمالية اللاحقة. على سبيل المثال، يمكن زيادة هامش الخسارة للخسارة اللوجستية عن طريق إدخال${\displaystyle \gamma }$المعلمة وكتابة الخسارة اللوجستية على النحو التالي${\displaystyle {\frac {1}{\gamma }}\log(1+e^{-\gamma v})}$حيث أصغر${\displaystyle 0<\gamma <1}$يزيد من هامش الخسارة. وقد تبين أن هذا يعادل مباشرةً تقليل معدل التعلم في تعزيز التدرج.${\displaystyle F_{m}(x)=F_{m-1}(x)+\gamma h_{m}(x),}$حيث يتناقص${\displaystyle \gamma }$يُحسّن هذا من تنظيم المصنف المُعزز. وتوضح النظرية أنه عندما يكون معدل التعلم${\displaystyle \gamma }$عند استخدام الصيغة الصحيحة لاسترجاع الاحتمالية اللاحقة، تصبح الصيغة الصحيحة هي${\displaystyle \eta =f^{-1}(\gamma F(x))}$.

وختاماً، باختيار دالة خسارة ذات هامش أكبر (أصغر)${\displaystyle \gamma }$) نقوم بزيادة التنظيم وتحسين تقديراتنا للاحتمالية اللاحقة مما يؤدي بدوره إلى تحسين منحنى ROC للمصنف النهائي.

على الرغم من شيوع استخدامها في الانحدار، إلا أنه يمكن إعادة كتابة دالة الخسارة التربيعية كدالة${\displaystyle \phi (yf({\vec {x}}))}$ويمكن استخدامها للتصنيف. ويمكن توليدها باستخدام (2) والجدول الأول كما يلي

${\displaystyle \phi (v)=C[f^{-1}(v)]+(1-f^{-1}(v))C'[f^{-1}(v)]=4({\frac {1}{2}}(v+1))(1-{\frac {1}{2}}(v+1))+(1-{\frac {1}{2}}(v+1))(4-8({\frac {1}{2}}(v+1)))=(1-v)^{2}.}$

دالة الخسارة التربيعية محدبة وسلسة. مع ذلك، تميل هذه الدالة إلى معاقبة القيم الشاذة بشكل مفرط، مما يؤدي إلى معدلات تقارب أبطأ (فيما يتعلق بتعقيد العينة) مقارنةً بدالتي الخسارة اللوجستية أو المفصلية. ^{[ 1 ]} إضافةً إلى ذلك، فإن الدوال التي تُنتج قيمًا عالية لـ${\displaystyle f({\vec {x}})}$بالنسبة للبعض${\displaystyle x\in X}$سيكون الأداء ضعيفًا مع دالة الخسارة التربيعية، نظرًا للقيم العالية لـ${\displaystyle yf({\vec {x}})}$سيُعاقب بشدة، بغض النظر عما إذا كانت علامات${\displaystyle y}$و${\displaystyle f({\vec {x}})}$مباراة.

من مزايا دالة الخسارة التربيعية أن بنيتها تُسهّل التحقق المتبادل من معلمات التنظيم. وبالتحديد بالنسبة لتنظيم تيكهونوف ، يمكن حساب معلمة التنظيم باستخدام التحقق المتبادل بحذف عنصر واحد في نفس الوقت اللازم لحل مسألة واحدة. ^{[ 10 ]}

المُصغِّر لـ${\displaystyle I[f]}$يمكن إيجاد دالة الخسارة التربيعية مباشرة من المعادلة (1) كما يلي:

${\displaystyle f_{\text{Square}}^{*}=2\eta -1=2p(1\mid x)-1.}$

يمكن توليد دالة الخسارة اللوجستية باستخدام (2) والجدول الأول كما يلي

${\displaystyle {\begin{aligned}\phi (v)&=C[f^{-1}(v)]+\left(1-f^{-1}(v)\right)\,C'\left[f^{-1}(v)\right]\\&={\frac {1}{\log(2)}}\left[{\frac {-e^{v}}{1+e^{v}}}\log {\frac {e^{v}}{1+e^{v}}}-\left(1-{\frac {e^{v}}{1+e^{v}}}\right)\log \left(1-{\frac {e^{v}}{1+e^{v}}}\right)\right]+\left(1-{\frac {e^{v}}{1+e^{v}}}\right)\left[{\frac {-1}{\log(2)}}\log \left({\frac {\frac {e^{v}}{1+e^{v}}}{1-{\frac {e^{v}}{1+e^{v}}}}}\right)\right]\\&={\frac {1}{\log(2)}}\log(1+e^{-v}).\end{aligned}}}$

تُعدّ دالة الخسارة اللوجستية محدبة وتنمو خطيًا للقيم السالبة، مما يجعلها أقل حساسية للقيم الشاذة. وتُستخدم دالة الخسارة اللوجستية في خوارزمية LogitBoost .

المُصغِّر لـ${\displaystyle I[f]}$يمكن إيجاد دالة الخسارة اللوجستية مباشرة من المعادلة (1) كما يلي:

${\displaystyle f_{\text{Logistic}}^{*}=\log \left({\frac {\eta }{1-\eta }}\right)=\log \left({\frac {p(1\mid x)}{1-p(1\mid x)}}\right).}$

تكون هذه الدالة غير معرّفة عندما${\displaystyle p(1\mid x)=1}$أو ${\displaystyle p(1\mid x)=0}$(تميل نحو ∞ و −∞ على التوالي)، لكنها تتنبأ بمنحنى سلس ينمو عندما${\displaystyle p(1\mid x)}$تزداد وتساوي صفرًا عندما${\displaystyle p(1\mid x)=0.5}$[ ^{3 ]​}

من السهل التحقق من أن الخسارة اللوجستية وخسارة الإنتروبيا التقاطعية الثنائية (الخسارة اللوغاريتمية) متطابقتان في الواقع (حتى ثابت ضربي).${\displaystyle {\frac {1}{\log(2)}}}$يرتبط فقدان الإنتروبيا المتقاطعة ارتباطًا وثيقًا بتباعد كولباك-لايبير بين التوزيع التجريبي والتوزيع المتوقع. ويُعدّ فقدان الإنتروبيا المتقاطعة شائعًا في الشبكات العصبية العميقة الحديثة .

يمكن توليد دالة الخسارة الأسية باستخدام (2) والجدول الأول كما يلي.

${\displaystyle \phi (v)=C[f^{-1}(v)]+(1-f^{-1}(v))C'[f^{-1}(v)]=2{\sqrt {\left({\frac {e^{2v}}{1+e^{2v}}}\right)\left(1-{\frac {e^{2v}}{1+e^{2v}}}\right)}}+\left(1-{\frac {e^{2v}}{1+e^{2v}}}\right)\left({\frac {1-{\frac {2e^{2v}}{1+e^{2v}}}}{\sqrt {{\frac {e^{2v}}{1+e^{2v}}}(1-{\frac {e^{2v}}{1+e^{2v}}})}}}\right)=e^{-v}}$

إن دالة الخسارة الأسية محدبة وتنمو بشكل أسي للقيم السالبة، مما يجعلها أكثر حساسية للقيم الشاذة. تُستخدم دالة الخسارة 0-1 الموزونة أسيًا في خوارزمية AdaBoost، مما يؤدي ضمنيًا إلى ظهور دالة الخسارة الأسية.

المُصغِّر لـ${\displaystyle I[f]}$يمكن إيجاد دالة الخسارة الأسية مباشرة من المعادلة (1) كما يلي:

${\displaystyle f_{\text{Exp}}^{*}={\frac {1}{2}}\log \left({\frac {\eta }{1-\eta }}\right)={\frac {1}{2}}\log \left({\frac {p(1\mid x)}{1-p(1\mid x)}}\right).}$

يمكن حساب خسارة سافاج ^{[ 7 ]} باستخدام (2) والجدول الأول كما يلي

${\displaystyle \phi (v)=C[f^{-1}(v)]+(1-f^{-1}(v))C'[f^{-1}(v)]=\left({\frac {e^{v}}{1+e^{v}}}\right)\left(1-{\frac {e^{v}}{1+e^{v}}}\right)+\left(1-{\frac {e^{v}}{1+e^{v}}}\right)\left(1-{\frac {2e^{v}}{1+e^{v}}}\right)={\frac {1}{(1+e^{v})^{2}}}.}$

تُعتبر دالة خسارة سافاج شبه محدبة ومحدودة للقيم السالبة الكبيرة، مما يجعلها أقل حساسية للقيم الشاذة. وقد استُخدمت دالة خسارة سافاج في تعزيز التدرج وخوارزمية سافاج بوست.

المُصغِّر لـ${\displaystyle I[f]}$يمكن إيجاد دالة خسارة سافاج مباشرة من المعادلة (1) كما يلي:

${\displaystyle f_{\text{Savage}}^{*}=\log \left({\frac {\eta }{1-\eta }}\right)=\log \left({\frac {p(1\mid x)}{1-p(1\mid x)}}\right).}$

يمكن توليد دالة الخسارة المماسية ^{[ 11 ]} باستخدام (2) والجدول الأول كما يلي

${\displaystyle {\begin{aligned}\phi (v)&=C[f^{-1}(v)]+\left(1-f^{-1}(v)\right)C'[f^{-1}(v)]\\&=4\left(\arctan(v)+{\frac {1}{2}}\right)\left(1-\left(\arctan(v)+{\frac {1}{2}}\right)\right)+\left(1-\left(\arctan(v)+{\frac {1}{2}}\right)\right)\left(4-8\left(\arctan(v)+{\frac {1}{2}}\right)\right)\\&=\left(2\arctan(v)-1\right)^{2}.\end{aligned}}}$

تُعتبر دالة خسارة المماس شبه محدبة، وهي محدودة للقيم السالبة الكبيرة، مما يجعلها أقل حساسية للقيم الشاذة. ومن المثير للاهتمام أن دالة خسارة المماس تُخصص أيضًا عقوبة محدودة لنقاط البيانات التي تم تصنيفها "بشكل صحيح للغاية". وهذا يُساعد على منع الإفراط في التدريب على مجموعة البيانات. وقد استُخدمت دالة خسارة المماس في تعزيز التدرج ، وخوارزمية TangentBoost، وغابات القرار المتناوبة. ^{[ 12 ]}

المُصغِّر لـ${\displaystyle I[f]}$يمكن إيجاد دالة خسارة الظل مباشرةً من المعادلة (1) كما يلي:

${\displaystyle f_{\text{Tangent}}^{*}=\tan \left(\eta -{\frac {1}{2}}\right)=\tan \left(p\left(1\mid x\right)-{\frac {1}{2}}\right).}$

تُعرَّف دالة خسارة المفصلة بـ${\displaystyle \phi (\upsilon )=\max(0,1-\upsilon )=[1-\upsilon ]_{+}}$، أين${\displaystyle [a]_{+}=\max(0,a)}$هي دالة الجزء الموجب .

${\displaystyle V(f({\vec {x}}),y)=\max(0,1-yf({\vec {x}}))=[1-yf({\vec {x}})]_{+}.}$

توفر خسارة المفصلة حدًا علويًا محدبًا ودقيقًا نسبيًا لدالة المؤشر 0-1 . وبالتحديد، تتساوى خسارة المفصلة مع دالة المؤشر 0-1 عندما${\displaystyle \operatorname {sgn} (f({\vec {x}}))=y}$و${\displaystyle |yf({\vec {x}})|\geq 1}$بالإضافة إلى ذلك، فإن تقليل المخاطر التجريبية لهذه الخسارة يُعادل الصيغة الكلاسيكية لآلات المتجهات الداعمة (SVMs). لا تُعاقب النقاط المصنفة بشكل صحيح والواقعة خارج حدود هامش المتجهات الداعمة، بينما تُعاقب النقاط الواقعة داخل حدود الهامش أو على الجانب الخطأ من المستوى الفائق بشكل خطي مقارنةً بمسافتها من الحد الصحيح. ^{[ 4 ]}

على الرغم من أن دالة خسارة المفصل محدبة ومتصلة، إلا أنها ليست سلسة (غير قابلة للتفاضل) عند${\displaystyle yf({\vec {x}})=1}$وبالتالي، لا يمكن استخدام دالة خسارة المفصلة مع طرق التدرج الهبوطي أو طرق التدرج الهبوطي العشوائي التي تعتمد على قابلية التفاضل على كامل المجال. ومع ذلك، فإن لخسارة المفصلة تدرجًا فرعيًا عند${\displaystyle yf({\vec {x}})=1}$مما يسمح باستخدام طرق الانحدار الفرعي . ^{[ 4 ]} يمكن أيضًا حل آلات المتجهات الداعمة التي تستخدم دالة خسارة المفصلة باستخدام البرمجة التربيعية .

المُصغِّر لـ${\displaystyle I[f]}$بالنسبة لدالة خسارة المفصلة،

${\displaystyle f_{\text{Hinge}}^{*}({\vec {x}})\;=\;{\begin{cases}1&{\text{if }}p(1\mid {\vec {x}})>p(-1\mid {\vec {x}})\\-1&{\text{if }}p(1\mid {\vec {x}})<p(-1\mid {\vec {x}})\end{cases}}}$

متى${\displaystyle p(1\mid x)\neq 0.5}$وهو ما يتطابق مع دالة المؤشر 0-1. هذه النتيجة تجعل خسارة المفصل جذابة للغاية، حيث يمكن وضع حدود على الفرق بين المخاطر المتوقعة وإشارة دالة خسارة المفصل. ^{[ 1 ]} لا يمكن اشتقاق خسارة المفصل من (2) لأن${\displaystyle f_{\text{Hinge}}^{*}}$ غير قابل للعكس.

دالة الخسارة المفصلية الملساء المعممة ذات المعامل${\displaystyle \alpha }$يُعرَّف بأنه

${\displaystyle f_{\alpha }^{*}(z)\;=\;{\begin{cases}{\frac {\alpha }{\alpha +1}}-z&{\text{if }}z\leq 0\\{\frac {1}{\alpha +1}}z^{\alpha +1}-z+{\frac {\alpha }{\alpha +1}}&{\text{if }}0<z<1\\0&{\text{if }}z\geq 1\end{cases}},}$

أين

${\displaystyle z=yf({\vec {x}}).}$

وهي تتناقص بشكل رتيب وتصل إلى الصفر عندما${\displaystyle z=1}$.

• البرمجة التفاضلية
• دالة التسجيل