التعلم الخاضع للإشراف

تتمثل إحدى المشكلات الأولى في المفاضلة بين التحيز والتباين . ^{[ 3 ]} تخيل أن لدينا عدة مجموعات بيانات تدريبية مختلفة، ولكنها متساوية الجودة. تكون خوارزمية التعلم متحيزة لمدخل معين .${\displaystyle x}$إذا كان النموذج، عند تدريبه على كل مجموعة من مجموعات البيانات هذه، غير صحيح بشكل منهجي عند التنبؤ بالناتج الصحيح لـ${\displaystyle x}$تتميز خوارزمية التعلم بتباين عالٍ بالنسبة لمدخل معين.${\displaystyle x}$إذا تنبأت الخوارزمية بقيم مخرجات مختلفة عند تدريبها على مجموعات بيانات تدريبية مختلفة، فإن خطأ التنبؤ للمصنف المُدرَّب يرتبط بمجموع الانحياز والتباين لخوارزمية التعلم. ^{[ 4 ]} عمومًا، توجد مفاضلة بين الانحياز والتباين. يجب أن تكون خوارزمية التعلم ذات الانحياز المنخفض "مرنة" لتتمكن من ملاءمة البيانات جيدًا. ولكن إذا كانت خوارزمية التعلم مرنة للغاية، فسوف تُلائم كل مجموعة بيانات تدريبية بشكل مختلف، وبالتالي يكون تباينها مرتفعًا. يتمثل أحد الجوانب الرئيسية للعديد من أساليب التعلم الخاضع للإشراف في قدرتها على ضبط هذه المفاضلة بين الانحياز والتباين (إما تلقائيًا أو من خلال توفير مُعامل انحياز/تباين يمكن للمستخدم ضبطه).

تتمثل المسألة الثانية في كمية بيانات التدريب المتاحة مقارنةً بتعقيد الدالة "الحقيقية" (دالة التصنيف أو الانحدار). فإذا كانت الدالة الحقيقية بسيطة، فسيكون بإمكان خوارزمية تعلم "غير مرنة" ذات تحيز عالٍ وتباين منخفض تعلمها من كمية صغيرة من البيانات. أما إذا كانت الدالة الحقيقية شديدة التعقيد (على سبيل المثال، لأنها تتضمن تفاعلات معقدة بين العديد من خصائص الإدخال المختلفة وتتصرف بشكل مختلف في أجزاء مختلفة من فضاء الإدخال)، فلن تتمكن الدالة من التعلم إلا باستخدام كمية كبيرة من بيانات التدريب مقترنة بخوارزمية تعلم "مرنة" ذات تحيز منخفض وتباين عالٍ.

ثمة مشكلة ثالثة تتمثل في أبعاد فضاء الإدخال. فإذا كانت متجهات خصائص الإدخال ذات أبعاد كبيرة، يصبح تعلم الدالة صعبًا حتى لو كانت الدالة الحقيقية تعتمد فقط على عدد قليل من تلك الخصائص. ويعود ذلك إلى أن الأبعاد "الإضافية" الكثيرة قد تُربك خوارزمية التعلم وتؤدي إلى تباين عالٍ. لذا، تتطلب بيانات الإدخال ذات الأبعاد الكبيرة عادةً ضبط المصنف ليكون ذا تباين منخفض وانحياز عالٍ. عمليًا، إذا تمكن المهندس من إزالة الخصائص غير ذات الصلة من بيانات الإدخال يدويًا، فمن المرجح أن يُحسّن ذلك دقة الدالة المُتعلمة. إضافةً إلى ذلك، توجد العديد من خوارزميات اختيار الخصائص التي تسعى إلى تحديد الخصائص ذات الصلة واستبعاد غير ذات الصلة. وهذا مثال على استراتيجية أكثر عمومية لتقليل الأبعاد ، والتي تسعى إلى تحويل بيانات الإدخال إلى فضاء ذي أبعاد أقل قبل تشغيل خوارزمية التعلم الخاضع للإشراف.

تتمثل المشكلة الرابعة في درجة التشويش في قيم المخرجات المطلوبة ( المتغيرات المستهدفة للإشراف ). إذا كانت قيم المخرجات المطلوبة غير صحيحة في كثير من الأحيان (بسبب خطأ بشري أو أخطاء في أجهزة الاستشعار)، فلا ينبغي لخوارزمية التعلم محاولة إيجاد دالة تُطابق تمامًا أمثلة التدريب. فمحاولة مطابقة البيانات بدقة مفرطة تؤدي إلى فرط التخصيص . وقد يحدث فرط التخصيص حتى في حال عدم وجود أخطاء في القياس (تشويش عشوائي) إذا كانت الدالة التي تحاول تعلمها معقدة للغاية بالنسبة لنموذج التعلم. في مثل هذه الحالة، يُشوّه الجزء من الدالة المستهدفة الذي لا يمكن نمذجته بيانات التدريب - وتُسمى هذه الظاهرة بالتشويش الحتمي . عند وجود أي نوع من أنواع التشويش، يُفضّل استخدام مُقدِّر ذي انحياز أعلى وتباين أقل.

عمليًا، توجد عدة طرق للتخفيف من التشويش في قيم المخرجات، مثل التوقف المبكر لمنع التجاوز، بالإضافة إلى اكتشاف أمثلة التدريب المشوشة وإزالتها قبل تدريب خوارزمية التعلم الخاضع للإشراف. توجد خوارزميات عديدة تحدد أمثلة التدريب المشوشة، وقد أدى إزالة الأمثلة المشتبه في تشويشها قبل التدريب إلى تقليل خطأ التعميم بشكل ملحوظ إحصائيًا . ^{[ 5 ] [ 6 ]}

تشمل العوامل الأخرى التي يجب مراعاتها عند اختيار وتطبيق خوارزمية التعلم ما يلي:

• تباين البيانات. إذا تضمنت متجهات الميزات ميزات من أنواع مختلفة (منفصلة، ​​ومنفصلة مرتبة، وعددية، وقيم متصلة)، فإن بعض الخوارزميات أسهل تطبيقًا من غيرها. تتطلب العديد من الخوارزميات، بما في ذلك آلات المتجهات الداعمة ، والانحدار الخطي ، والانحدار اللوجستي ، والشبكات العصبية ، وطرق أقرب جار ، أن تكون ميزات الإدخال عددية ومُقاسة ضمن نطاقات متقاربة (مثلًا، ضمن الفترة [-1,1]). وتُعد الطرق التي تستخدم دالة المسافة، مثل طرق أقرب جار وآلات المتجهات الداعمة ذات النوى الغاوسية ، حساسة بشكل خاص لهذا التباين. ومن مزايا أشجار القرار سهولة تعاملها مع البيانات غير المتجانسة.
• تكرار البيانات. إذا احتوت خصائص الإدخال على معلومات زائدة (مثل الخصائص شديدة الارتباط)، فإن بعض خوارزميات التعلم (مثل الانحدار الخطي ، والانحدار اللوجستي ، والأساليب القائمة على المسافة ) ستؤدي أداءً ضعيفًا بسبب عدم الاستقرار العددي. غالبًا ما يمكن حل هذه المشكلات بفرض شكل من أشكال التنظيم .
• وجود التفاعلات واللاخطية. إذا ساهمت كل خاصية بشكل مستقل في الناتج، فإن الخوارزميات القائمة على الدوال الخطية (مثل الانحدار الخطي ، والانحدار اللوجستي ، وآلات المتجهات الداعمة ، وخوارزمية بايز البسيطة ) ودوال المسافة (مثل طرق أقرب جار، وآلات المتجهات الداعمة ذات النوى الغاوسية ) تُحقق أداءً جيدًا عمومًا. مع ذلك، في حال وجود تفاعلات معقدة بين الخصائص، فإن خوارزميات مثل أشجار القرار والشبكات العصبية تُحقق أداءً أفضل، لأنها مُصممة خصيصًا لاكتشاف هذه التفاعلات. يمكن أيضًا تطبيق الطرق الخطية، ولكن يجب على المهندس تحديد التفاعلات يدويًا عند استخدامها.

عند دراسة تطبيق جديد، يمكن للمهندس مقارنة خوارزميات التعلم المتعددة وتحديد الخوارزمية الأنسب للمشكلة المطروحة تجريبيًا (انظر التحقق المتبادل ). قد يستغرق تحسين أداء خوارزمية التعلم وقتًا طويلاً. في ظل محدودية الموارد، غالبًا ما يكون من الأفضل استثمار المزيد من الوقت في جمع بيانات تدريب إضافية وخصائص أكثر دقة بدلًا من إضاعة وقت إضافي في تحسين خوارزميات التعلم.

أكثر خوارزميات التعلم استخداماً هي:

• آلات ناقل الدعم
• الانحدار الخطي
• الانحدار اللوجستي
• بايز الساذج
• تحليل التمييز الخطي
• أشجار القرار
• خوارزمية أقرب الجيران k
• الشبكات العصبية (مثل الشبكة العصبية متعددة الطبقات )
• التعلم القائم على التشابه

في تقليل المخاطر التجريبية، تسعى خوارزمية التعلم الخاضع للإشراف إلى إيجاد الدالة${\displaystyle g}$ذلك يقلل${\displaystyle R(g)}$وبالتالي، يمكن بناء خوارزمية التعلم الخاضع للإشراف عن طريق تطبيق خوارزمية تحسين لإيجاد${\displaystyle g}$.

متى${\displaystyle g}$هو توزيع احتمالي شرطي${\displaystyle P(y|x)}$ودالة الخسارة هي اللوغاريتم السالب للاحتمالية:${\displaystyle L(y,{\hat {y}})=-\log P(y|x)}$إذاً، فإن تقليل المخاطر التجريبية يعادل تقدير الاحتمال الأقصى .

متى${\displaystyle G}$إذا احتوت مجموعة التدريب على العديد من الدوال المرشحة أو لم تكن كبيرة بما يكفي، فإن تقليل المخاطر التجريبية يؤدي إلى تباين عالٍ وضعف في التعميم. تستطيع خوارزمية التعلم حفظ أمثلة التدريب دون تعميم جيد (التدريب الزائد).

يهدف تقليل المخاطر الهيكلية إلى منع التجاوز في التخصيص من خلال دمج عقوبة تنظيمية في عملية التحسين. ويمكن اعتبار هذه العقوبة التنظيمية بمثابة تطبيق لمبدأ أوكام الذي يفضل الدوال الأبسط على الدوال الأكثر تعقيدًا.

تم استخدام مجموعة واسعة من العقوبات التي تتوافق مع تعريفات مختلفة للتعقيد. على سبيل المثال، لنفترض الحالة التي تكون فيها الدالة${\displaystyle g}$هي دالة خطية من الشكل

${\displaystyle g(x)=\sum _{j=1}^{d}\beta _{j}x_{j}}$.

إحدى عقوبات التنظيم الشائعة هي${\displaystyle \sum _{j}\beta _{j}^{2}}$، وهو المعيار الإقليدي التربيعي للأوزان، والمعروف أيضًا باسم${\displaystyle L_{2}}$المعيار. وتشمل المعايير الأخرى ما يلي:${\displaystyle L_{1}}$معيار،${\displaystyle \sum _{j}|\beta _{j}|}$و${\displaystyle L_{0}}$"المعيار" ، وهو عدد القيم غير الصفرية${\displaystyle \beta _{j}}$سيتم تحديد العقوبة بـ${\displaystyle C(g)}$.

تتمثل مشكلة التحسين في التعلم الخاضع للإشراف في إيجاد الدالة${\displaystyle g}$ذلك يقلل

${\displaystyle J(g)=R_{emp}(g)+\lambda C(g).}$

المعلمة${\displaystyle \lambda }$يتحكم في المفاضلة بين التحيز والتباين. عندما${\displaystyle \lambda =0}$وهذا يوفر تقليلًا تجريبيًا للمخاطر مع تحيز منخفض وتباين عالٍ. عندما${\displaystyle \lambda }$كلما كانت قيمة المتغير كبيرة، كلما كان تحيز خوارزمية التعلم عالياً وتباينها منخفضاً. قيمة${\displaystyle \lambda }$يمكن اختيارها تجريبياً عبر التحقق المتبادل .

تُفسَّر عقوبة التعقيد في علم بايزي على أنها اللوغاريتم السالب للاحتمال المسبق لـ${\displaystyle g}$،${\displaystyle -\log P(g)}$وفي هذه الحالة${\displaystyle J(g)}$الاحتمال اللاحق لـ${\displaystyle g}$.