مجموعات بيانات التدريب والتحقق والاختبار

الموسوعة الحرة

في مجال تعلم الآلة ، تتمثل إحدى المهام الشائعة في دراسة وبناء خوارزميات قادرة على التعلم من البيانات والتنبؤ بناءً عليها . [ 1 ] تعمل هذه الخوارزميات من خلال إجراء تنبؤات أو اتخاذ قرارات مستندة إلى البيانات، [ 2 ] وذلك عبر بناء نموذج رياضي من بيانات الإدخال. تُقسّم بيانات الإدخال المستخدمة في بناء النموذج عادةً إلى مجموعات بيانات متعددة . وعلى وجه الخصوص، تُستخدم ثلاث مجموعات بيانات بشكل شائع في مراحل مختلفة من إنشاء النموذج: مجموعات التدريب، والتحقق، والاختبار.

يُجرى تدريب النموذج مبدئيًا على مجموعة بيانات تدريبية [ 3 ] ، وهي مجموعة من الأمثلة تُستخدم لضبط معلمات النموذج (مثل أوزان الروابط بين الخلايا العصبية في الشبكات العصبية الاصطناعية ) [ 4 ] . يُدرَّب النموذج (مثل مصنف بايز الساذج ) على مجموعة البيانات التدريبية باستخدام أسلوب التعلم الخاضع للإشراف ، كاستخدام أساليب التحسين مثل التدرج الهبوطي أو التدرج الهبوطي العشوائي . عمليًا، تتكون مجموعة البيانات التدريبية غالبًا من أزواج من متجه الإدخال (أو قيمة عددية) ومتجه الإخراج المقابل (أو قيمة عددية)، حيث يُشار إلى مفتاح الإجابة عادةً بالهدف ( أو التصنيف ). يُشغَّل النموذج الحالي باستخدام مجموعة البيانات التدريبية، ويُنتج نتيجة تُقارن بالهدف لكل متجه إدخال في مجموعة البيانات التدريبية. بناءً على نتيجة المقارنة وخوارزمية التعلم المستخدمة، تُعدَّل معلمات النموذج. يمكن أن يشمل ضبط النموذج كلاً من اختيار المتغيرات وتقدير المعلمات .

بعد ذلك، يُستخدم النموذج المُدرَّب للتنبؤ باستجابات الملاحظات في مجموعة بيانات ثانية تُسمى مجموعة بيانات التحقق . [ 3 ] توفر مجموعة بيانات التحقق تقييمًا موضوعيًا لمدى ملاءمة النموذج لمجموعة بيانات التدريب، مع ضبط المعلمات الفائقة للنموذج [ 5 ] (مثل عدد الوحدات المخفية - الطبقات وعرض الطبقات - في الشبكة العصبية [ 4 ] ). يمكن استخدام مجموعات بيانات التحقق للتنظيم عن طريق الإيقاف المبكر (إيقاف التدريب عند ازدياد الخطأ في مجموعة بيانات التحقق، حيث يُعد ذلك مؤشرًا على فرط التخصيص لمجموعة بيانات التدريب). [ 6 ] يُصبح هذا الإجراء البسيط معقدًا عمليًا نظرًا لاحتمالية تذبذب خطأ مجموعة بيانات التحقق أثناء التدريب، مما يُنتج العديد من القيم الدنيا المحلية. وقد أدى هذا التعقيد إلى وضع العديد من القواعد المخصصة لتحديد متى يبدأ فرط التخصيص فعليًا. [ 6 ]

أخيرًا، تُستخدم مجموعة بيانات الاختبار لتقديم تقييم موضوعي لمدى ملاءمة النموذج لمجموعة بيانات التدريب. [ 5 ] عندما لا تكون البيانات في مجموعة بيانات الاختبار قد استُخدمت من قبل (على سبيل المثال، في التحقق المتبادل )، تُسمى مجموعة بيانات الاختبار مجموعة بيانات التحقق . يُستخدم مصطلح "مجموعة التحقق" أحيانًا بدلًا من "مجموعة الاختبار" في بعض المراجع (على سبيل المثال، إذا قُسّمت مجموعة البيانات الأصلية إلى مجموعتين فرعيتين فقط، فقد يُشار إلى مجموعة الاختبار باسم مجموعة التحقق). [ 5 ]

يعتمد تحديد أحجام واستراتيجيات تقسيم مجموعات البيانات في مجموعات التدريب والاختبار والتحقق بشكل كبير على المشكلة والبيانات المتاحة. [ 7 ]

مجموعة بيانات التدريب

مثال مبسط لتدريب شبكة عصبية في مجال اكتشاف الأجسام: يتم تدريب الشبكة باستخدام صور متعددة معروفة بتصويرها لنجم البحر وقنافذ البحر ، والتي ترتبط بـ"عُقد" تمثل السمات المرئية . يتطابق نجم البحر مع نسيج حلقي وشكل نجمي، بينما تتطابق معظم قنافذ البحر مع نسيج مخطط وشكل بيضاوي. ومع ذلك، فإن وجود قنفذ بحر ذي نسيج حلقي يُنشئ ارتباطًا ضعيفًا بينهما.
تشغيل الشبكة لاحقًا على صورة مُدخلة (يسار): [ 8 ] تكتشف الشبكة نجم البحر بشكل صحيح. مع ذلك، فإن الارتباط الضعيف بين النسيج الحلقي وقنفذ البحر يُعطي إشارة ضعيفة للأخير من إحدى العقدتين الوسيطتين. إضافةً إلى ذلك، تُعطي صدفة لم تُدرج في التدريب إشارة ضعيفة للشكل البيضاوي، مما ينتج عنه أيضًا إشارة ضعيفة لقنفذ البحر. قد تُؤدي هذه الإشارات الضعيفة إلى نتيجة إيجابية خاطئة لقنفذ البحر. في الواقع، لا تُمثل الأنسجة والخطوط الخارجية بعقدة واحدة، بل بأنماط أوزان مُرتبطة بعقد متعددة.

مجموعة بيانات التدريب هي مجموعة بيانات من الأمثلة المستخدمة أثناء عملية التعلم، وتُستخدم لضبط معلمات (مثل الأوزان) المصنف، على سبيل المثال . [ 9 ] [ 10 ]

في مهام التصنيف، تعتمد خوارزمية التعلم الخاضع للإشراف على مجموعة بيانات التدريب لتحديد، أو تعلم، التوليفات المثلى للمتغيرات التي تُنتج نموذجًا تنبؤيًا جيدًا . [ 11 ] والهدف هو إنتاج نموذج مُدرَّب (مُلائم) يُعمَّم جيدًا على بيانات جديدة غير معروفة. [ 12 ] يُقيَّم النموذج المُلائم باستخدام أمثلة "جديدة" من مجموعات البيانات المحجوزة (مجموعات بيانات التحقق والاختبار) لتقدير دقة النموذج في تصنيف البيانات الجديدة. [ 5 ] وللحد من مخاطر مشكلات مثل التخصيص الزائد، لا ينبغي استخدام الأمثلة الموجودة في مجموعات بيانات التحقق والاختبار لتدريب النموذج. [ 5 ]

تميل معظم الأساليب التي تبحث في بيانات التدريب عن العلاقات التجريبية إلى المبالغة في ملاءمة البيانات، مما يعني أنها تستطيع تحديد واستغلال العلاقات الظاهرة في بيانات التدريب التي لا تنطبق بشكل عام.

عندما يتم توسيع مجموعة التدريب باستمرار ببيانات جديدة، فإن هذا هو التعلم التزايدي .

مجموعة بيانات التحقق

مجموعة بيانات التحقق هي مجموعة بيانات من الأمثلة تُستخدم لضبط المعلمات الفائقة (أي بنية النموذج). تُسمى أحيانًا مجموعة التطوير أو "مجموعة التطوير". [ 13 ] من أمثلة المعلمات الفائقة للشبكات العصبية الاصطناعية عدد الوحدات المخفية في كل طبقة. [ 9 ] [ 10 ] يجب أن تتبع هذه المجموعة، وكذلك مجموعة الاختبار (كما هو مذكور أدناه)، نفس التوزيع الاحتمالي لمجموعة بيانات التدريب.

لتجنب فرط التخصيص، عند الحاجة إلى تعديل أيٍّ من معايير التصنيف ، من الضروري وجود مجموعة بيانات للتحقق بالإضافة إلى مجموعتي بيانات التدريب والاختبار. على سبيل المثال، عند البحث عن المصنف الأنسب للمشكلة، تُستخدم مجموعة بيانات التدريب لتدريب مختلف المصنفات المرشحة، وتُستخدم مجموعة بيانات التحقق لمقارنة أدائها واختيار الأنسب، وأخيرًا، تُستخدم مجموعة بيانات الاختبار للحصول على خصائص الأداء مثل الدقة والحساسية والنوعية ومقياس F ، وما إلى ذلك . تعمل مجموعة بيانات التحقق كمجموعة بيانات هجينة: فهي بيانات تدريب تُستخدم للاختبار، ولكنها ليست جزءًا من التدريب الأولي ولا جزءًا من الاختبار النهائي.

تتمثل العملية الأساسية لاستخدام مجموعة بيانات التحقق لاختيار النموذج (كجزء من مجموعة بيانات التدريب، ومجموعة بيانات التحقق، ومجموعة بيانات الاختبار) فيما يلي: [ 10 ] [ 14 ]

بما أن هدفنا هو إيجاد الشبكة ذات الأداء الأمثل على بيانات جديدة، فإن أبسط طريقة لمقارنة الشبكات المختلفة هي تقييم دالة الخطأ باستخدام بيانات مستقلة عن تلك المستخدمة في التدريب. تُدرَّب الشبكات المختلفة بتقليل دالة خطأ مناسبة مُعرَّفة بالنسبة لمجموعة بيانات التدريب. ثم يُقارن أداء الشبكات بتقييم دالة الخطأ باستخدام مجموعة بيانات تحقق مستقلة، وتُختار الشبكة ذات أقل خطأ بالنسبة لمجموعة بيانات التحقق. تُسمى هذه الطريقة طريقة التحقق الجزئي . ولأن هذه العملية قد تؤدي إلى بعض التخصيص الزائد لمجموعة بيانات التحقق، يجب التأكد من أداء الشبكة المختارة بقياس أدائها على مجموعة بيانات ثالثة مستقلة تُسمى مجموعة الاختبار.

يتمثل أحد تطبيقات هذه العملية في التوقف المبكر ، حيث تكون النماذج المرشحة عبارة عن تكرارات متتالية لنفس الشبكة، ويتوقف التدريب عندما يزداد الخطأ في مجموعة التحقق، مع اختيار النموذج السابق (النموذج ذو الحد الأدنى من الخطأ).

مجموعة بيانات الاختبار

مجموعة بيانات الاختبار هي مجموعة بيانات مستقلة عن مجموعة بيانات التدريب، ولكنها تتبع نفس التوزيع الاحتمالي لمجموعة بيانات التدريب. لذا، تُستخدم مجموعة الاختبار فقط لتقييم أداء (أي تعميم) مصنف محدد على بيانات غير مرئية. [ 9 ] [ 10 ] وللقيام بذلك، يُستخدم النموذج للتنبؤ بتصنيفات الأمثلة في مجموعة الاختبار. تُقارن هذه التنبؤات بالتصنيفات الحقيقية للأمثلة لتقييم دقة النموذج. [ 11 ] إذا كان النموذج المُناسب لمجموعة بيانات التدريب والتحقق مناسبًا أيضًا لمجموعة بيانات الاختبار، فهذا يعني حدوث فرط التخصيص بشكل طفيف (انظر الشكل أدناه). أما إذا كان النموذج مناسبًا بشكل أفضل لمجموعة بيانات التدريب أو التحقق مقارنةً بمجموعة بيانات الاختبار، فعادةً ما يشير ذلك إلى فرط التخصيص.

في حالة قلة عدد عينات مجموعة البيانات، تُقسّم عادةً إلى مجموعة تدريب ومجموعة تحقق. يُدرّب النموذج على مجموعة التدريب ويُحسّن باستخدام مجموعة التحقق لزيادة الدقة، إلا أن هذا الأسلوب قد يؤدي إلى فرط التخصيص. يمكن أيضًا استخدام طريقة الاستبعاد [ 15 ] ، حيث تُستخدم مجموعة الاختبار في النهاية بعد التدريب على مجموعة التدريب. تُستخدم تقنيات أخرى، مثل التحقق المتقاطع والتمهيد ، مع مجموعات البيانات الصغيرة. تُولّد طريقة التمهيد العديد من مجموعات البيانات المحاكاة بنفس الحجم عن طريق أخذ عينات عشوائية مع الإحلال من البيانات الأصلية، مما يسمح لنقاط البيانات العشوائية بأن تكون بمثابة مجموعات اختبار لتقييم أداء النموذج. يقسم التحقق المتقاطع مجموعة البيانات إلى عدة أجزاء، مع استخدام جزء فرعي واحد كبيانات اختبار؛ يُدرّب النموذج على الأجزاء المتبقية، ثم يُجرى التحقق المتقاطع لجميع الأجزاء (مع حساب متوسط ​​النتائج وتوحيد النماذج) لتقدير أداء النموذج النهائي. تجدر الإشارة إلى أن بعض المصادر تنصح بعدم استخدام تقسيم واحد، لأنه قد يؤدي إلى فرط التخصيص بالإضافة إلى تقديرات أداء النموذج المتحيزة. [ 12 ]

لهذا السبب، تُقسّم مجموعات البيانات إلى ثلاثة أقسام: بيانات التدريب، وبيانات التحقق، وبيانات الاختبار. تتمثل الممارسة القياسية في التعلّم الآلي في التدريب على مجموعة التدريب وضبط المعلمات الفائقة باستخدام مجموعة التحقق، حيث تختار عملية التحقق النموذج ذو أقل خسارة تحقق، والذي يُختبر بعد ذلك على مجموعة بيانات الاختبار (التي تُحفظ عادةً) لتقييم النموذج النهائي. تُقلل طريقة حفظ مجموعة الاختبار من العمليات الحسابية بتجنب استخدامها بعد كل دورة تدريبية. لا ينبغي أبدًا استخدام مجموعة بيانات الاختبار للتحقق من صحة نموذج التدريب أو ضبط المعلمات الفائقة، لأنها تُوفر تقييمًا دقيقًا وصادقًا لأداء النموذج النهائي على بيانات غير مرئية، ولكن يُمكن استخدامها عدة مرات لتحديد أداء نموذج مُحدّث والكشف عن فرط التخصيص أو الحاجة إلى مزيد من التدريب أو التوقف المبكر. [ 16 ] تُستخدم طرق مثل التحقق المتقاطع ، حيث تُفصل مجموعة الاختبار وتُقسّم مجموعة بيانات التدريب إلى أجزاء، مع استخدام جزء فرعي كمجموعة تحقق لتدريب النموذج. يُعد هذا فعالاً في تقليل التحيز والتباين في النموذج. [ 5 ] [ 12 ] هناك العديد من طرق التحقق المتبادل مثل التحقق المتبادل المتداخل .

تُظهر النقاط الزرقاء مجموعة بيانات التدريب (يسارًا) ومجموعة بيانات الاختبار (يمينًا) من نفس المجتمع الإحصائي. تمّت ملاءمة نموذجين تنبؤيين لبيانات التدريب. تمّ رسم كلا النموذجين المُلاءمين مع مجموعتي التدريب والاختبار. في مجموعة التدريب، يبلغ متوسط ​​مربع الخطأ (MSE) للملاءمة الموضحة باللون البرتقالي 4، بينما يبلغ متوسط ​​مربع الخطأ للملاءمة الموضحة باللون الأخضر 9. في مجموعة الاختبار، يبلغ متوسط ​​مربع الخطأ للملاءمة الموضحة باللون البرتقالي 15، بينما يبلغ متوسط ​​مربع الخطأ للملاءمة الموضحة باللون الأخضر 13. يُظهر المنحنى البرتقالي ملاءمة زائدة لبيانات التدريب، حيث يزداد متوسط ​​مربع الخطأ فيه بمقدار أربعة أضعاف تقريبًا عند مقارنة مجموعة الاختبار بمجموعة التدريب. أما المنحنى الأخضر، فيُظهر ملاءمة زائدة لبيانات التدريب بشكل أقل، حيث يزداد متوسط ​​مربع الخطأ فيه بأقل من الضعف.

التباس في المصطلحات

الاختبار هو تجربة شيء ما لاكتشافه ("إثبات صحة شيء ما أو جودته أو مصداقيته من خلال التجربة" وفقًا للقاموس الدولي التعاوني للغة الإنجليزية)، والتحقق هو إثبات صحة شيء ما ("تأكيد صحة شيء ما أو جعله صالحًا" وفقًا للقاموس الدولي التعاوني للغة الإنجليزية). من هذا المنظور، يُعد الاستخدام الأكثر شيوعًا لمصطلحي "مجموعة الاختبار" و" مجموعة التحقق " هو ​​الاستخدام الموصوف هنا. مع ذلك، في كل من الصناعة والأوساط الأكاديمية، يُستخدم المصطلحان أحيانًا بشكل متبادل، حيث يُنظر إلى العملية الداخلية على أنها اختبار نماذج مختلفة لتحسينها (مجموعة الاختبار كمجموعة تطوير)، بينما النموذج النهائي هو الذي يحتاج إلى التحقق قبل استخدامه فعليًا مع بيانات غير مرئية (مجموعة التحقق). "غالبًا ما تعكس أدبيات التعلم الآلي معنى مجموعتي "التحقق" و"الاختبار". وهذا هو أوضح مثال على الالتباس المصطلحي الذي يسود أبحاث الذكاء الاصطناعي." [ 17 ] ومع ذلك، فإن المفهوم المهم الذي يجب مراعاته هو أن المجموعة النهائية، سواء سُميت اختبارًا أو تحققًا، يجب استخدامها فقط في التجربة النهائية.

أسباب الخطأ

شريط هزلي يوضح مخرجات حاسوبية خاطئة (تجعل درجة حرارة القهوة 5 ملايين درجة ، بناءً على تعريف سابق لـ "ساخنة جدًا"). يمكن تصنيف هذا على أنه خلل في المنطق، بالإضافة إلى إغفال العديد من الظروف البيئية ذات الصلة. [ 18 ]

تُعدّ الأخطاء في تدريب الخوارزميات سببًا رئيسيًا للمخرجات الخاطئة. [ 18 ] تشمل أنواع هذه الأخطاء ما يلي: [ 18 ]

  • لم يتم تضمين الظروف أو الاختلافات الخاصة.
  • بيانات قديمة
  • معلومات إدخال غامضة
  • عدم القدرة على التكيف مع البيئات الجديدة
  • عدم القدرة على طلب المساعدة من إنسان أو من نظام ذكاء اصطناعي آخر عند الحاجة

ومن الأمثلة على إغفال ظروف معينة، حالة تمكن فيها صبي من فتح قفل الهاتف لأن والدته سجلت وجهها تحت إضاءة داخلية ليلية، وهو شرط لم يُدرج بشكل مناسب في تدريب النظام. [ 18 ] [ 19 ]

قد يشمل استخدام المدخلات غير ذات الصلة نسبياً حالات تستخدم فيها الخوارزميات الخلفية بدلاً من الكائن محل الاهتمام للكشف عن الكائنات ، مثل التدريب على صور الأغنام في المراعي، مما يؤدي إلى خطر تفسير كائن مختلف على أنه خروف إذا كان موجوداً في مرعى. [ 18 ]

انظر أيضاً

مراجع

  1. ↑ رون كوهفي؛ فوستر بروفوست (1998). "مسرد المصطلحات" . تعلم الآلة . 30 : 271-274 . doi : 10.1023/A:1007411609915 .
  2. ↑ بيشوب، كريستوفر م. (2006). التعرف على الأنماط والتعلم الآلي . نيويورك: سبرينغر. ص. 7. ISBN  0-387-31073-8يعود أصل التعرف على الأنماط إلى الهندسة، بينما نشأ التعلم الآلي من علوم الحاسوب. ومع ذلك ، يمكن النظر إلى هذين النشاطين على أنهما وجهان لعملة واحدة، وقد شهدا معًا تطورًا كبيرًا خلال السنوات العشر الماضية.
  3. 1 2 جيمس، غاريث (2013). مقدمة في التعلم الإحصائي: مع تطبيقات في لغة البرمجة R. سبرينغر. ص 176. ISBN  978-1461471370.
  4. 1 2 ريبلي، برايان (1996). التعرف على الأنماط والشبكات العصبية . مطبعة جامعة كامبريدج. ص 354. ISBN  978-0521717700.
  5. 1 2 3 4 5 6 براونلي، جيسون (13 يوليو 2017). "ما الفرق بين مجموعات بيانات الاختبار والتحقق؟" . تم الاسترجاع في 12 أكتوبر 2017 .
  6. 1 2 بريشيلت، لوتز؛ جينيفيف ب. أور (2012-01-01). "التوقف المبكر - ولكن متى؟". في غريغوار مونتافون؛ كلاوس-روبرت مولر (محرران). الشبكات العصبية: حيل المهنة . سلسلة محاضرات في علوم الحاسوب. سبرينغر برلين هايدلبرغ. ص 53-67 . doi : 10.1007/978-3-642-35289-8_5 . ISBN  978-3-642-35289-8.
  7. ↑ "التعلم الآلي - هل توجد قاعدة عامة لكيفية تقسيم مجموعة البيانات إلى مجموعات تدريب وتحقق؟" . Stack Overflow . تم الاطلاع عليه بتاريخ 12 أغسطس 2021 .
  8. ↑ فيري، سي.، وكايزر، إس. (2019). الشبكات العصبية للأطفال . دار سورس بوكس ​​للنشر. رقم ISBN 978-1492671206.{{cite book}}: صيانة CS1: أسماء متعددة: قائمة المؤلفين ( رابط )
  9. 1 2 3 ريبلي، بي دي (1996) التعرف على الأنماط والشبكات العصبية ، كامبريدج: مطبعة جامعة كامبريدج، ص 354
  10. 1 2 3 4 " الموضوع: ما هي المجموعة السكانية، والعينة، ومجموعة التدريب، ومجموعة التصميم، ومجموعة التحقق، ومجموعة الاختبار؟ "، الأسئلة الشائعة حول الشبكات العصبية، الجزء 1 من 7: مقدمة ( txt )، comp.ai.neural-nets، سارل، دبليو إس، محرر (1997، آخر تعديل 2002-05-17)
  11. 1 2 لاروز، د.ت.؛ لاروز، س.د. (2014). اكتشاف المعرفة في البيانات : مقدمة في استخراج البيانات . هوبوكين: وايلي. doi : 10.1002/9781118874059 . ISBN  978-0-470-90874-7. OCLC 869460667 . 
  12. 1 2 3 شو، يون؛ جوداكر، رويستون (2018). "حول تقسيم مجموعة التدريب والتحقق: دراسة مقارنة للتحقق المتبادل، والتمهيد، وأخذ العينات المنتظم لتقدير أداء التعميم للتعلم الخاضع للإشراف" . مجلة التحليل والاختبار . 2 (3). سبرينغر ساينس آند بيزنس ميديا ​​ذ.م.م: 249-262 . doi : 10.1007 / s41664-018-0068-2 . ISSN 2096-241X . PMC 6373628. PMID 30842888 .   
  13. ↑ "التعلم العميق" . كورسيرا . تم الاطلاع عليه بتاريخ 18-05-2021 .
  14. ↑ بيشوب، سي إم (1995)، الشبكات العصبية للتعرف على الأنماط ، أكسفورد: مطبعة جامعة أكسفورد، ص 372
  15. ↑ كوهفي، رون (2001-03-03). "دراسة للتحقق المتبادل والتمهيد لتقدير الدقة واختيار النموذج" . 14 .{{cite journal}}يتطلب الاستشهاد بالمجلة ( مساعدة )|journal=
  16. ↑ بيرغمان، ديف. "ما هو التخصيص الزائد؟" . ibm.com . تم الاسترجاع في 15 أكتوبر 2021 .
  17. ↑ ريبلي، برايان د. (10 يناير 2008). "مسرد المصطلحات". التعرف على الأنماط والشبكات العصبية . مطبعة جامعة كامبريدج. ISBN 9780521717700. OCLC 601063414 . 
  18. 1 2 3 4 5 تشاندرا إس إس، بانيرجي دي إن (2022). "أخطاء الإغفال والارتكاب الكامنة وراء إخفاقات الذكاء الاصطناعي" . مجلة الذكاء الاصطناعي والمجتمع . 39 (3): 1-24 . doi : 10.1007/s00146-022-01585-x . PMC 9669536. PMID 36415822 .  
  19. ↑ غرينبيرغ أ (14 نوفمبر 2017). "شاهد وجه طفل يبلغ من العمر 10 سنوات وهو يفتح هاتف والدته آيفون X" . وايرد .