نواة دالة الأساس الشعاعي

في مجال تعلم الآلة ، تُعد دالة النواة ذات الأساس الشعاعي ، أو دالة النواة RBF ، دالة نواة شائعة الاستخدام في العديد من خوارزميات التعلم المعتمدة على النواة . وعلى وجه الخصوص، تُستخدم بشكل شائع في تصنيف آلة المتجهات الداعمة . [ 1 ]

نواة RBF على عينتينx،xRك{\displaystyle \mathbf {x} ,\mathbf {x'} \in \mathbb {R} ^{k}}، ممثلة كمتجهات مميزة في فضاء إدخال معين ، يتم تعريفها على النحو التالي [ 2 ]

ك(x،x)=خبرة(-x-x22σ2){\displaystyle K(\mathbf {x} ,\mathbf {x'} )=\exp \left(-{\frac {\|\mathbf {x} -\mathbf {x'} \|^{2}}{2\sigma ^{2}}}\right)}

x-x2\displaystyle \textstyle \|\mathbf {x} -\mathbf {x'} \|^{2}}يمكن التعرف عليها على أنها المسافة الإقليدية المربعة بين متجهي الميزات.σ{\displaystyle \sigma }هو مُعامل حر . يتضمن التعريف المكافئ مُعاملًاγ=12σ2{\displaystyle \textstyle \gamma ={\tfrac {1}{2\sigma ^{2}}}}:

ك(x،x)=خبرة(-γx-x2){\displaystyle K(\mathbf {x} ,\mathbf {x'} )=\exp(-\gamma \|\mathbf {x} -\mathbf {x'} \|^{2})}

بما أن قيمة نواة RBF تتناقص مع المسافة وتتراوح بين الصفر (في حالة المسافة اللانهائية) والواحد (عندما x = x' )، فإنها تُفسَّر بسهولة كمقياس للتشابه . [ 2 ] فضاء ميزات النواة له عدد لا نهائي من الأبعاد؛ لـσ=1{\displaystyle \sigma =1}، وتوسيعها باستخدام نظرية الحدود المتعددة هو: [ 3 ]

خبرة(-12x-x2)=خبرة(22xx-12x2-12x2)=خبرة(xx)خبرة(-12x2)خبرة(-12x2)=ج=0(xx)جج!خبرة(-12x2)خبرة(-12x2)=ج=0ن1+ن2++نك=جخبرة(-12x2)x1ن1xكنكن1!نك!خبرة(-12x2)x1ن1xكنكن1!نك!=φ(x)،φ(x){\displaystyle {\begin{alignedat}{2}\exp \left(-{\frac {1}{2}}\|\mathbf {x} -\mathbf {x'} \|^{2}\right)&=\exp \left({\frac {2}{2}}\mathbf {x} ^{\top }\mathbf {x'} -{\frac {1}{2}}\|\mathbf {x} \|^{2}-{\frac {1}{2}}\|\mathbf {x'} \|^{2}\right)\\[5pt]&=\exp \left(\mathbf {x} ^{\top }\mathbf {x'} \right)\exp \left(-{\frac {1}{2}}\|\mathbf {x} \|^{2}\right)\exp \left(-{\frac {1}{2}}\|\mathbf {x'} \|^{2}\right)\\[5pt]&=\sum _{j=0}^{\infty }{\frac {(\mathbf {x} ^{\top }\mathbf {x'} )^{j}}{j!}}\exp \left(-{\frac {1}{2}}\|\mathbf {x} \|^{2}\right)\exp \left(-{\frac {1}{2}}\|\mathbf {x'} \|^{2}\right)\\[5pt]&=\sum _{j=0}^{\infty }\quad \sum _{n_{1}+n_{2}+\dots +n_{k}=j}\exp \left(-{\frac {1}{2}}\|\mathbf {x} \|^{2}\right){\frac {x_{1}^{n_{1}}\cdots x_{k}^{n_{k}}}{\sqrt {n_{1}!\cdots n_{k}!}}}\exp \left(-{\frac {1}{2}}\|\mathbf {x'} \|^{2}\right){\frac {{x'}_{1}^{n_{1}}\cdots {x'}_{k}^{n_{k}}}{\sqrt {n_{1}!\cdots n_{k}!}}}\\[5pt]&=\langle \varphi (\mathbf {x} ),\varphi (\mathbf {x'} )\rangle \end{alignedat}}}

φ(x)=خبرة(-12x2)(أ0(0)،أ1(1)،...،أ1(1)،...،أ1(ج)،...،أج(ج)،...){\displaystyle \varphi (\mathbf {x} )=\exp \left(-{\frac {1}{2}}\|\mathbf {x} \|^{2}\right)\left(a_{\ell _{0}}^{(0)},a_{1}^{(1)},\dots ,a_{\ell _{1}}^{(1)},\dots ,a_{1}^{(j)},\dots ,a_{\ell _{j}}^{(j)},\dots \right)} أينج=(ك+ج-1ج){\displaystyle \ell _{j}={\tbinom {k+j-1}{j}}}،أ(ج)=x1ن1xكنكن1!نك!|ن1+ن2++نك=ج1ج{\displaystyle a_{\ell }^{(j)}={\frac {x_{1}^{n_{1}}\cdots x_{k}^{n_{k}}}{\sqrt {n_{1}!\cdots n_{k}!}}}\quad |\quad n_{1}+n_{2}+\dots +n_{k}=j\wedge 1\leq \ell \leq \ell _{j}}

التقريبات

نظرًا لأن آلات المتجهات الداعمة وغيرها من النماذج التي تستخدم حيلة النواة لا تتناسب جيدًا مع أعداد كبيرة من عينات التدريب أو أعداد كبيرة من الميزات في فضاء الإدخال، فقد تم تقديم العديد من التقريبات لنواة RBF (والنوى المشابهة). [ 4 ] عادةً ما تأخذ هذه التقريبات شكل دالة z التي تربط متجهًا واحدًا بمتجه ذي أبعاد أعلى، مما يقارب النواة:

z(x)،z(x)φ(x)،φ(x)=ك(x،x){\displaystyle \langle z(\mathbf {x} ),z(\mathbf {x'} )\rangle \approx \langle \varphi (\mathbf {x} ),\varphi (\mathbf {x'} )\rangle =K(\mathbf {x} ,\mathbf {x'} )}

أينφ{\displaystyle \textstyle \varphi }هي عملية الربط الضمنية المضمنة في نواة RBF.

ميزات عشوائية لفورييه

إحدى طرق إنشاء مثل هذا z هي أخذ عينة عشوائية من تحويل فورييه للنواة [ 5 ]φ(x)=1د[كوسw1،x،الخطيئةw1،x،...،كوسwد،x،الخطيئةwد،x]تي{\displaystyle \varphi (x)={\frac {1}{\sqrt {D}}}[\cos \langle w_{1},x\rangle ,\sin \langle w_{1},x\rangle ,\ldots ,\cos \langle w_{D},x\rangle ,\sin \langle w_{D},x\rangle ]^{T}}أينw1،...،wد{\displaystyle w_{1},...,w_{D}}هي عينات مستقلة من التوزيع الطبيعيشمال(0،σ-2أنا){\displaystyle N(0,\sigma ^{-2}I)}.

نظرية:هـ[φ(x)،φ(y)]=هـx-y2/(2σ2).{\displaystyle \operatorname {E} [\langle \varphi (x),\varphi (y)\rangle ]=e^{\|x-y\|^{2}/(2\sigma ^{2})}.}

البرهان: يكفي إثبات حالةد=1{\displaystyle D=1}استخدم المتطابقة المثلثيةكوس(أ-ب)=كوس(أ)كوس(ب)+الخطيئة(أ)الخطيئة(ب){\displaystyle \cos(a-b)=\cos(a)\cos(b)+\sin(a)\sin(b)}، التناظر الكروي للتوزيع الغاوسي ، ثم قم بتقييم التكامل

-كوس(كx)هـ-x2/22πدx=هـ-ك2/2.{\displaystyle \int _{-\infty }^{\infty }{\frac {\cos(kx)e^{-x^{2}/2}}{\sqrt {2\pi }}}dx=e^{-k^{2}/2}.}

نظرية:متغير[φ(x)،φ(y)]=يا(د-1){\displaystyle \operatorname {Var} [\langle \varphi (x),\varphi (y)\rangle ]=O(D^{-1})}(الملحق أ.2 [ 6 ] ).

طريقة نيستروم

يستخدم نهج آخر طريقة نيستروم لتقريب تحليل القيم الذاتية لمصفوفة غرام K ، باستخدام عينة عشوائية فقط من مجموعة التدريب . [ 7 ]

انظر أيضاً

مراجع

  1. تشانغ، ين-وين؛ هسيه، تشو-جوي؛ تشانغ، كاي-وي؛ رينغارد، مايكل؛ لين، تشيه-جين (2010). "تدريب واختبار تعيينات البيانات متعددة الحدود منخفضة الدرجة عبر آلة المتجهات الداعمة الخطية" . مجلة أبحاث تعلم الآلة . 11 : 1471-1490 .
  2. 1 2 جان فيليب فيرت، كوجي تسودا، وبيرنهارد شولكوبف (2004). "كتاب تمهيدي عن أساليب النواة". طرق النواة في علم الأحياء الحسابي .
  3. شاشوا، أمنون (2009). "مقدمة في تعلم الآلة: ملاحظات المحاضرة 67577". arXiv : 0904.3664v1 [ cs.LG ].
  4. أندرياس مولر (2012). تقريبات النواة لآلات المتجهات الداعمة الفعالة (وطرق استخراج الميزات الأخرى) .
  5. رحيمي، علي؛ ريخت، بنيامين (2007). "الميزات العشوائية لآلات النواة واسعة النطاق" . التطورات في أنظمة معالجة المعلومات العصبية . 20. كوران أسوشيتس، إنك.
  6. ^ بنغ، هاو؛ باباس، نيكولاوس؛ يوغاتاما، داني؛ شوارتز، روي. سميث، نوح أ؛ كونغ ، لينجبينج (2021-03-19). “الانتباه إلى ميزة عشوائية”. أرخايف : 2103.02143 [ cs.CL ].
  7. سي كي آي ويليامز؛ إم. سيجر (2001). "استخدام طريقة نيستروم لتسريع آلات النواة" . التطورات في أنظمة معالجة المعلومات العصبية . 13 .