نواة متعددة الحدود

في مجال التعلم الآلي ، تعتبر النواة متعددة الحدود دالة نواة شائعة الاستخدام مع آلات المتجهات الداعمة (SVMs) وغيرها من النماذج التي تعتمد على النواة ، والتي تمثل تشابه المتجهات (عينات التدريب) في فضاء الميزات على كثيرات الحدود للمتغيرات الأصلية، مما يسمح بتعلم النماذج غير الخطية.

بشكل بديهي، لا يقتصر دور النواة متعددة الحدود على دراسة خصائص عينات الإدخال المعطاة لتحديد مدى تشابهها، بل يشمل أيضًا دراسة تركيبات هذه الخصائص. في سياق تحليل الانحدار ، تُعرف هذه التركيبات بخصائص التفاعل. يُكافئ فضاء الخصائص (الضمني) للنواة متعددة الحدود فضاء خصائص الانحدار متعدد الحدود ، ولكن دون التضخم التوافقي في عدد المعاملات المطلوب تعلمها. عندما تكون خصائص الإدخال ثنائية القيمة (منطقية)، فإنها تُقابل اقترانات منطقية بين خصائص الإدخال. ^{[ 1 ]}

بالنسبة لكثيرات الحدود من الدرجة d ، يتم تعريف نواة كثير الحدود على النحو التالي ^{[ 2 ]}

${\displaystyle K(\mathbf {x} ,\mathbf {y} )=(\mathbf {x} ^{\mathsf {T}}\mathbf {y} +c)^{d}}$

حيث يمثل x و y متجهين بحجم n في فضاء الإدخال ، أي متجهين للميزات المحسوبة من عينات التدريب أو الاختبار، و c ≥ 0 هو مُعامل حر يُوازن بين تأثير الحدود ذات الرتبة الأعلى مقابل الحدود ذات الرتبة الأدنى في متعددة الحدود. عندما ^c = 0 ، تُسمى النواة متجانسة. ^{[ 3 ]} ( تقسم نواة متعددة الحدود المعممة xTy على مُعامل عددي a يُحدده المستخدم . ^{[ 4 ]} )

باعتبارها نواة، فإن K تتوافق مع حاصل الضرب الداخلي في فضاء الميزات بناءً على بعض عمليات التعيين φ :

${\displaystyle K(\mathbf {x} ,\mathbf {y} )=\langle \varphi (\mathbf {x} ),\varphi (\mathbf {y} )\rangle }$

يمكن ملاحظة طبيعة φ من خلال مثال. لنفترض أن d = 2 ، فنحصل على الحالة الخاصة للنواة التربيعية. بعد استخدام نظرية متعددة الحدود (مرتين - التطبيق الأبعد هو نظرية ذات الحدين ) وإعادة التجميع،

${\displaystyle K(\mathbf {x} ,\mathbf {y} )=\left(\sum _{i=1}^{n}x_{i}y_{i}+c\right)^{2}=\sum _{i=1}^{n}\left(x_{i}^{2}\right)\left(y_{i}^{2}\right)+\sum _{i=2}^{n}\sum _{j=1}^{i-1}\left({\sqrt {2}}x_{i}x_{j}\right)\left({\sqrt {2}}y_{i}y_{j}\right)+\sum _{i=1}^{n}\left({\sqrt {2c}}x_{i}\right)\left({\sqrt {2c}}y_{i}\right)+c^{2}}$

ومن هذا يترتب أن خريطة المعالم تُعطى بالصيغة التالية:

${\displaystyle \varphi (x)=\left(x_{n}^{2},\ldots ,x_{1}^{2},{\sqrt {2}}x_{n}x_{n-1},\ldots ,{\sqrt {2}}x_{n}x_{1},{\sqrt {2}}x_{n-1}x_{n-2},\ldots ,{\sqrt {2}}x_{n-1}x_{1},\ldots ,{\sqrt {2}}x_{2}x_{1},{\sqrt {2c}}x_{n},\ldots ,{\sqrt {2c}}x_{1},c\right)}$

التعميم لـ${\displaystyle \left(\mathbf {x} ^{T}\mathbf {y} +c\right)^{d}}$، أين${\displaystyle \mathbf {x} \in \mathbb {R} ^{n}}$،${\displaystyle \mathbf {y} \in \mathbb {R} ^{n}}$وتطبيق نظرية الحدود المتعددة :

${\displaystyle {\begin{alignedat}{2}\left(\mathbf {x} ^{T}\mathbf {y} +c\right)^{d}&=\sum _{j_{1}+j_{2}+\dots +j_{n+1}=d}{\frac {\sqrt {d!}}{\sqrt {j_{1}!\cdots j_{n}!j_{n+1}!}}}x_{1}^{j_{1}}\cdots x_{n}^{j_{n}}{\sqrt {c}}^{j_{n+1}}{\frac {\sqrt {d!}}{\sqrt {j_{1}!\cdots j_{n}!j_{n+1}!}}}y_{1}^{j_{1}}\cdots y_{n}^{j_{n}}{\sqrt {c}}^{j_{n+1}}\\&=\varphi (\mathbf {x} )^{T}\varphi (\mathbf {y} )\end{alignedat}}}$

الخلاصة الأخيرة${\displaystyle l_{d}={\tbinom {n+d}{d}}}$العناصر، بحيث:

${\displaystyle \varphi (\mathbf {x} )=\left(a_{1},\dots ,a_{l},\dots ,a_{l_{d}}\right)}$

أين${\displaystyle l=(j_{1},j_{2},...,j_{n},j_{n+1})}$و

${\displaystyle a_{l}={\frac {\sqrt {d!}}{\sqrt {j_{1}!\cdots j_{n}!j_{n+1}!}}}x_{1}^{j_{1}}\cdots x_{n}^{j_{n}}{\sqrt {c}}^{j_{n+1}}\quad |\quad j_{1}+j_{2}+\dots +j_{n}+j_{n+1}=d}$

على الرغم من أن نواة RBF أكثر شيوعًا في تصنيف SVM من نواة متعددة الحدود، إلا أن الأخيرة تحظى بشعبية كبيرة في معالجة اللغات الطبيعية (NLP). ^{[ 1 ] [ 5 ]} الدرجة الأكثر شيوعًا هي d = 2 (تربيعية)، لأن الدرجات الأكبر تميل إلى الإفراط في التخصيص في مسائل معالجة اللغات الطبيعية.

تم ابتكار طرق مختلفة لحساب نواة متعددة الحدود (الدقيقة والتقريبية) كبدائل لخوارزميات تدريب SVM غير الخطية المعتادة، بما في ذلك:

• التوسع الكامل للنواة قبل التدريب / الاختبار باستخدام SVM الخطي، ^{[ 5 ]} أي الحساب الكامل للتعيين φ كما هو الحال في الانحدار متعدد الحدود؛
• استخراج السلة (باستخدام أحد أشكال خوارزمية apriori ) لأكثر اقترانات الميزات شيوعًا في مجموعة التدريب لإنتاج توسع تقريبي؛ ^{[ 6 ]}
• الفهرسة المعكوسة لمتجهات الدعم. ^{[ 6 ] [ 1 ]}

تتمثل إحدى مشكلات نواة متعددة الحدود في أنها قد تعاني من عدم الاستقرار العددي : فعندما ^{يكون xTy} + c < 1 ، فإن K ( x , y ) = ( xTy + c ) ^d يؤول إلى الصفر مع ازدياد قيمة d ، بينما عندما يكون xTy + ^c > 1 ، فإن ^K ( x , y ) يؤول إلى اللانهاية. ^{[ 4 ]}

^{[ 7 ]}