تعلم تكميم المتجهات

الموسوعة الحرة

في علوم الحاسوب ، يُعدّ التكميم المتجهي التعلّمي ( LVQ ) خوارزمية تصنيف مُشرفة قائمة على النماذج الأولية . ويُمثّل LVQ النظير المُشرف لأنظمة التكميم المتجهي . ويمكن فهم LVQ كحالة خاصة من الشبكة العصبية الاصطناعية ، وبشكل أدق، فهو يُطبّق نهجًا قائمًا على التعلّم الهيبي وفق مبدأ "الفائز يأخذ كل شيء" . وهو يُعدّ مقدمةً لخرائط التنظيم الذاتي (SOM) ويرتبط بمفهوم الغاز العصبي وخوارزمية أقرب جار (k-NN). وقد ابتكر تيفو كوهونين خوارزمية LVQ . [ 1 ]

تعريف

يتم تمثيل نظام LVQ بواسطة نماذج أوليةدبليو=(w(أنا)،...،w(ن)){\displaystyle W=(w(i),...,w(n))}تُعرَّف هذه النماذج في فضاء خصائص البيانات المرصودة. في خوارزميات التدريب التي تعتمد على مبدأ "الفائز يأخذ كل شيء"، يُحدَّد لكل نقطة بيانات النموذج الأولي الأقرب إلى المدخلات وفقًا لمقياس مسافة مُحدَّد. ثم يُعدَّل موضع هذا النموذج الأولي الفائز، أي يُقرَّب النموذج الفائز إذا صنَّف نقطة البيانات بشكل صحيح، ويُبعد إذا صنَّفها بشكل خاطئ.

تتمثل إحدى مزايا LVQ في أنها تُنشئ نماذج أولية يسهل على الخبراء في مجال التطبيق المعني تفسيرها. [ 2 ] ويمكن تطبيق أنظمة LVQ على مشاكل التصنيف متعدد الفئات بطريقة طبيعية.

تُعدّ مسألة اختيار مقياس مناسب للمسافة أو التشابه للتدريب والتصنيف من القضايا الرئيسية في خوارزمية LVQ. وقد طُوّرت مؤخراً تقنيات تُكيّف مقياس المسافة المُعَلم أثناء تدريب النظام، انظر على سبيل المثال (شنايدر، بيهل، وهامر، 2009) [ 3 ] والمراجع الواردة فيه.

يمكن أن يكون LVQ أداة مساعدة قيّمة في تصنيف المستندات النصية.

الخوارزمية

يتم عرض الخوارزميات كما في [ 4 ]

يثبت:

  • لنرمز إلى البيانات بـxأنا∈Rد{\displaystyle x_{i}\in \mathbb {R} ^{D}}، والملصقات المقابلة لها بواسطةyأنا∈{1،2،...،ج}{\displaystyle y_{i}\in \{1,2,\dots ,C\}}.
  • مجموعة البيانات الكاملة هي{(xأنا،yأنا)}أنا=1شمال{\displaystyle \{(x_{i},y_{i})\}_{i=1}^{N}}.
  • مجموعة متجهات الشفرة هيwج∈Rد{\displaystyle w_{j}\in \mathbb {R} ^{D}}.
  • معدل التعلم في خطوة التكرارت{\displaystyle t}يُرمز إليه بـαت{\displaystyle \alpha _{t}}.
  • المعلمات الفائقةw{\displaystyle w}وϵ{\displaystyle \epsilon }تُستخدم هذه التقنيات بواسطة LVQ2 وLVQ3. تشير الورقة البحثية الأصلية إلى ذلك.ϵ∈[0.1،0.5]{\displaystyle \epsilon \in [0.1,0.5]}وw∈[0.2،0.3]{\displaystyle w\in [0.2,0.3]}.

LVQ1

قم بتهيئة عدة متجهات رمزية لكل تصنيف. كرر العملية حتى يتم الوصول إلى معايير التقارب.

  1. عينة من البياناتxأنا{\displaystyle x_{i}}، واكتشف متجه الشفرةwج{\displaystyle w_{j}}بحيثxأنا{\displaystyle x_{i}}يقع ضمن خلية فورونوي لـwج{\displaystyle w_{j}}.
  2. إذا كان ملصقهاyأنا{\displaystyle y_{i}}هو نفسه مثل ذلك الخاص بـwج{\displaystyle w_{j}}، ثمwج←wج+αت(xأنا-wج){\displaystyle w_{j}\leftarrow w_{j}+\alpha _{t}(x_{i}-w_{j})}، خلاف ذلك،wج←wج-αت(xأنا-wج){\displaystyle w_{j}\leftarrow w_{j}-\alpha _{t}(x_{i}-w_{j})}.

LVQ2

LVQ2 هو نفسه LVQ3، ولكن مع حذف هذه الجملة: "إذاwج{\displaystyle w_{j}}وwك{\displaystyle w_{k}}وxأنا{\displaystyle x_{i}}إذا كانا من نفس الفئة، فماذا عنهما؟wج←wج-αت(xأنا-wج){\displaystyle w_{j}\leftarrow w_{j}-\alpha _{t}(x_{i}-w_{j})}وwك←wك+αت(xأنا-wك){\displaystyle w_{k}\leftarrow w_{k}+\alpha _{t}(x_{i}-w_{k})}.". لوwج{\displaystyle w_{j}}وwك{\displaystyle w_{k}}وxأنا{\displaystyle x_{i}}إذا كانا في نفس الصف، فلن يحدث شيء.

LVQ3

بعض الدوائر الأبولونية. كل دائرة زرقاء تتقاطع مع كل دائرة حمراء بزاوية قائمة. كل دائرة حمراء تمر بالنقطتين C و D ، وكل دائرة زرقاء تفصل بين النقطتين.

قم بتهيئة عدة متجهات رمزية لكل تصنيف. كرر العملية حتى يتم الوصول إلى معايير التقارب.

  1. عينة من البياناتxأنا{\displaystyle x_{i}}، واكتشف متجهين للرمزwج،wك{\displaystyle w_{j},w_{k}}الأقرب إليها.
  2. يتركدج:=‖xأنا-wج‖،دك:=‖xأنا-wك‖{\displaystyle d_{j}:=\|x_{i}-w_{j}\|,d_{k}:=\|x_{i}-w_{k}\|}.
  3. لومين(دجدك،دكدج)>s{\displaystyle \min \left({\frac {d_{j}}{d_{k}}},{\frac {d_{k}}{d_{j}}}\right)>s}، أينs=1-w1+w{\displaystyle s={\frac {1-w}{1+w}}}، ثم
    • لوwج{\displaystyle w_{j}}وxأنا{\displaystyle x_{i}}لديهم نفس الصف، وwك{\displaystyle w_{k}}وxأنا{\displaystyle x_{i}}ثمّ يكون هناك فصول دراسية مختلفة.wج←wج+αت(xأنا-wج){\displaystyle w_{j}\leftarrow w_{j}+\alpha _{t}(x_{i}-w_{j})}وwك←wك-αت(xأنا-wك){\displaystyle w_{k}\leftarrow w_{k}-\alpha _{t}(x_{i}-w_{k})}.
    • لوwك{\displaystyle w_{k}}وxأنا{\displaystyle x_{i}}لديهم نفس الصف، وwج{\displaystyle w_{j}}وxأنا{\displaystyle x_{i}}ثمّ يكون هناك فصول دراسية مختلفة.wج←wج-αت(xأنا-wج){\displaystyle w_{j}\leftarrow w_{j}-\alpha _{t}(x_{i}-w_{j})}وwك←wك+αت(xأنا-wك){\displaystyle w_{k}\leftarrow w_{k}+\alpha _{t}(x_{i}-w_{k})}.
    • لوwج{\displaystyle w_{j}}وwك{\displaystyle w_{k}}وxأنا{\displaystyle x_{i}}إذا كانا من نفس الفئة، فماذا عنهما؟wج←wج-ϵαت(xأنا-wج){\displaystyle w_{j}\leftarrow w_{j}-\epsilon \alpha _{t}(x_{i}-w_{j})}وwك←wك+ϵαت(xأنا-wك){\displaystyle w_{k}\leftarrow w_{k}+\epsilon \alpha _{t}(x_{i}-w_{k})}.
    • لوwك{\displaystyle w_{k}}وxأنا{\displaystyle x_{i}}يوجد صفوف مختلفة، وwج{\displaystyle w_{j}}وxأنا{\displaystyle x_{i}}إذا كانت هناك فئات مختلفة، فإن الورقة الأصلية ببساطة لا تشرح ما يحدث في هذه الحالة، ولكن من المفترض أنه لا يحدث شيء في هذه الحالة.
  4. وإلا، فتجاوز الأمر.

لاحظ أن الشرطمين(دجدك،دكدج)>s{\displaystyle \min \left({\frac {d_{j}}{d_{k}}},{\frac {d_{k}}{d_{j}}}\right)>s}، أينs=1-w1+w{\displaystyle s={\frac {1-w}{1+w}}}وهذا يعني تحديداً أن النقطةxأنا{\displaystyle x_{i}}يقع بين كرتين أبولونيتين .

مراجع

  1. ↑ تي. كوهونين. الخرائط ذاتية التنظيم. سبرينغر، برلين، 1997.
  2. ↑ تي. كوهونين ( 1995)، "تعلم التكميم المتجهي"، في إم إيه أربيب (محرر)، دليل نظرية الدماغ والشبكات العصبية ، كامبريدج، ماساتشوستس: مطبعة معهد ماساتشوستس للتكنولوجيا، ص 537-540 
  3. ↑ ب. شنايدر؛ ب. هامر؛ م. بيهل (2009). " مصفوفات الصلة التكيفية في تعلم التكميم المتجهي". الحوسبة العصبية . 21 (10): 3532-3561 . CiteSeerX 10.1.1.216.1183 . doi : 10.1162/neco.2009.10-08-892 . PMID 19635012. S2CID 17306078 .   
  4. ^ كوهونين، تيوفو (2001)، “تكميم ناقلات التعلم” ، خرائط التنظيم الذاتي ، المجلد. 30، برلين، هايدلبرغ: سبرينغر برلين هايدلبرغ، الصفحات من 245 إلى 261، دوى : 10.1007/978-3-642-56927-2_6 ، ISBN   978-3-540-67921-9

للمزيد من القراءة