اختيار الطراز

اختيار النموذج هو مهمة انتقاء نموذج من بين عدة نماذج مرشحة بناءً على معيار الأداء لاختيار أفضلها. ^{[ 1 ]} في سياق التعلم الآلي ، وبشكل أعم في التحليل الإحصائي ، قد يكون هذا اختيار نموذج إحصائي من مجموعة نماذج مرشحة، بناءً على بيانات معينة. في أبسط الحالات، تُؤخذ مجموعة بيانات موجودة مسبقًا في الاعتبار. مع ذلك، قد تتضمن المهمة أيضًا تصميم تجارب بحيث تكون البيانات المُجمّعة ملائمة لمشكلة اختيار النموذج. عند وجود نماذج مرشحة ذات قدرة تنبؤية أو تفسيرية متقاربة، يُرجّح أن يكون النموذج الأبسط هو الخيار الأمثل ( مبدأ أوكام ).

يذكر كونيشي وكيتاغاوا (2008 ، ص 75) أن "معظم المشكلات في الاستدلال الإحصائي يمكن اعتبارها مشكلات متعلقة بالنمذجة الإحصائية". وفي هذا السياق، يقول كوكس (2006 ، ص 197) : "إن كيفية تحويل المشكلة الموضوعية إلى نموذج إحصائي غالباً ما تكون الجزء الأكثر أهمية في التحليل".  

قد يشير اختيار النموذج أيضًا إلى مشكلة اختيار عدد قليل من النماذج التمثيلية من مجموعة كبيرة من النماذج الحسابية لغرض اتخاذ القرارات أو التحسين في ظل عدم اليقين. ^{[ 2 ]}

في مجال التعلم الآلي ، تشمل الأساليب الخوارزمية لاختيار النموذج اختيار الميزات ، وتحسين المعلمات الفائقة ، ونظرية التعلم الإحصائي .

يُعدّ اختيار النموذج، في أبسط صوره، أحد المهام الأساسية للبحث العلمي . فغالباً ما يرتبط تحديد المبدأ الذي يُفسّر سلسلة من الملاحظات ارتباطاً مباشراً بنموذج رياضي يتنبأ بتلك الملاحظات. فعلى سبيل المثال، عندما أجرى غاليليو تجاربه على المستوى المائل ، أثبت أن حركة الكرات تتوافق مع القطع المكافئ الذي تنبأ به نموذجه .

من بين العدد الهائل من الآليات والعمليات المحتملة التي قد تكون أنتجت البيانات، كيف يمكن للمرء أن يبدأ باختيار النموذج الأمثل؟ يحدد النهج الرياضي المتبع عادةً من بين مجموعة من النماذج المرشحة، ويجب على الباحث اختيار هذه المجموعة. غالبًا ما تُستخدم نماذج بسيطة مثل كثيرات الحدود ، على الأقل في البداية . يؤكد برنهام وأندرسون (2002) في كتابهما على أهمية اختيار النماذج بناءً على مبادئ علمية سليمة، مثل فهم العمليات أو الآليات الظاهرية (مثل التفاعلات الكيميائية) الكامنة وراء البيانات.

بعد اختيار مجموعة النماذج المرشحة، يُتيح لنا التحليل الإحصائي اختيار أفضلها. ويُعدّ مفهوم " الأفضل" محلّ جدل. تُوازن تقنية اختيار النموذج الجيدة بين جودة المطابقة والبساطة. فالنماذج الأكثر تعقيدًا تكون أكثر قدرة على تكييف شكلها ليتناسب مع البيانات (على سبيل المثال، يمكن لكثير الحدود من الدرجة الخامسة أن يُطابق ست نقاط بدقة)، ولكن قد لا تُمثّل المعاملات الإضافية أي شيء مفيد. (ربما تكون تلك النقاط الست موزّعة عشوائيًا حول خط مستقيم). تُحدّد جودة المطابقة عمومًا باستخدام طريقة نسبة الاحتمال ، أو تقريب لها، مما يؤدي إلى اختبار مربع كاي . ويُقاس التعقيد عادةً بحساب عدد المعاملات في النموذج.

يمكن اعتبار تقنيات اختيار النموذج بمثابة تقديرات لكمية فيزيائية معينة، مثل احتمالية إنتاج النموذج للبيانات المعطاة. ويُعدّ كل من الانحياز والتباين مقياسين مهمين لجودة هذا التقدير؛ كما تُؤخذ الكفاءة في الاعتبار غالبًا.

ومن الأمثلة القياسية لاختيار النموذج هو ملاءمة المنحنى ، حيث يجب علينا، بالنظر إلى مجموعة من النقاط ومعرفة أساسية أخرى (على سبيل المثال، النقاط هي نتيجة لعينات مستقلة ومتطابقة التوزيع )، اختيار منحنى يصف الدالة التي ولدت النقاط.

هناك هدفان رئيسيان للاستدلال والتعلم من البيانات. الأول هو الاكتشاف العلمي، ويُسمى أيضًا الاستدلال الإحصائي، أي فهم آلية توليد البيانات وتفسير طبيعتها. أما الهدف الثاني فهو التنبؤ بالملاحظات المستقبلية أو غير المرئية، ويُسمى أيضًا التنبؤ الإحصائي. في هذا الهدف الثاني، لا يهتم عالم البيانات بالضرورة بوصف احتمالي دقيق للبيانات. بالطبع، قد يهتم المرء بكلا الاتجاهين.

تماشيًا مع الهدفين المختلفين، يمكن أن يتخذ اختيار النموذج اتجاهين: اختيار النموذج للاستدلال واختيار النموذج للتنبؤ. ^{[ 3 ]} يتمثل الاتجاه الأول في تحديد أفضل نموذج للبيانات، والذي يُفضل أن يُقدم توصيفًا موثوقًا لمصادر عدم اليقين لأغراض التفسير العلمي. ولتحقيق هذا الهدف، من الأهمية بمكان ألا يكون النموذج المُختار شديد الحساسية لحجم العينة. وبناءً على ذلك، يُعد مفهوم اتساق الاختيار مناسبًا لتقييم اختيار النموذج، بمعنى أنه سيتم اختيار النموذج الأكثر موثوقية باستمرار عند توفر عدد كافٍ من عينات البيانات.

الاتجاه الثاني هو اختيار نموذج كأداة لتحقيق أداء تنبؤي ممتاز. مع ذلك، في هذا الاتجاه، قد يكون النموذج المُختار هو الفائز المحظوظ بين عدد قليل من المنافسين المتقاربين، ومع ذلك يظل أداؤه التنبؤي هو الأفضل على الإطلاق. في هذه الحالة، يكون اختيار النموذج مناسبًا للهدف الثاني (التنبؤ)، لكن استخدام النموذج المُختار للتحليل والتفسير قد يكون غير موثوق به ومضللًا للغاية. ^{[ 3 ]} علاوة على ذلك، بالنسبة للنماذج شديدة التعقيد التي يتم اختيارها بهذه الطريقة، قد تكون التنبؤات غير منطقية حتى بالنسبة لبيانات تختلف اختلافًا طفيفًا عن تلك التي تم الاختيار بناءً عليها. ^{[ 4 ]}

• تحويل البيانات (الإحصاء)
• تحليل البيانات الاستكشافي
• مواصفات النموذج
• المنهج العلمي

فيما يلي قائمة بمعايير اختيار النموذج. أكثر معايير المعلومات استخداماً هي (1) معيار معلومات أكايكي و(2) عامل بايز و/أو معيار معلومات بايز (الذي يقارب عامل بايز إلى حد ما)، انظر Stoica & Selen (2004) للاطلاع على مراجعة.

• معيار معلومات أكايكي (AIC)، وهو مقياس لمدى جودة مطابقة النموذج الإحصائي المقدر
• عامل بايز
• معيار المعلومات البايزي (BIC)، المعروف أيضًا باسم معيار معلومات شوارتز، هو معيار إحصائي لاختيار النموذج
• معيار الجسر (BC)، وهو معيار إحصائي يمكنه تحقيق أداء أفضل من معياري AIC وBIC بغض النظر عن مدى ملاءمة مواصفات النموذج. ^{[ 5 ]}
• التحقق المتبادل
• معيار معلومات الانحراف (DIC)، وهو معيار آخر لاختيار النموذج ذي التوجه البايزي.
• معدل الاكتشاف الخاطئ
• معيار المعلومات المركزة (FIC)، وهو معيار اختيار يصنف النماذج الإحصائية حسب فعاليتها لمعامل تركيز معين.
• معيار هانان-كوين للمعلومات ، وهو بديل لمعياري أكايكي وبايز.
• يُعد معيار معلومات كاشياب (KIC) بديلاً قوياً لمعياري معلومات أكايكي (AIC) وبايز (BIC)، لأنه يستخدم مصفوفة معلومات فيشر.
• اختبار نسبة الاحتمال
• مالوز سي _بي
• الحد الأدنى لطول الوصف
• الحد الأدنى لطول الرسالة (MML)
• إحصائية PRESS ، والمعروفة أيضًا باسم معيار PRESS
• معيار المعلومات شبه (QIC)، لاختيار النموذج حيث يتم استبدال دالة الاحتمال اللوغاريتمي بدالة الاحتمال شبه اللوغاريتمي (على سبيل المثال، معادلات التقدير المعممة )
• تقليل المخاطر الهيكلية
• الانحدار التدريجي
• معيار معلومات واتانابي-أكايكي (WAIC)، والذي يُطلق عليه أيضًا معيار المعلومات واسع التطبيق.
• معيار المعلومات البايزي الموسع (EBIC) هو امتداد لمعيار المعلومات البايزي العادي (BIC) للنماذج ذات مساحات المعلمات العالية.
• معيار معلومات فيشر الموسع (EFIC) هو معيار لاختيار النموذج لنماذج الانحدار الخطي.
• معيار الحد الأدنى المقيد (CMC) هو أسلوب إحصائي تكراري لاختيار نموذج الانحدار بناءً على الملاحظات الهندسية التالية. في فضاء متجهات معلمات النموذج الكامل، يمثل كل متجه نموذجًا. توجد كرة مركزها متجه المعلمات الحقيقي للنموذج الكامل، حيث يكون النموذج الحقيقي هو أصغر نموذج (في${\displaystyle L_{0}}$(المعيار). عندما يؤول حجم العينة إلى اللانهاية، يتقارب تقدير الاحتمال الأقصى لمتجه المعلمات الحقيقي، وبالتالي يسحب منطقة الثقة لنسبة الاحتمال المتقلصة إلى متجه المعلمات الحقيقي. ستكون منطقة الثقة داخل الكرة باحتمالية تقترب من الواحد. يختار نموذج CMC أصغر نموذج في هذه المنطقة. عندما تستوعب المنطقة متجه المعلمات الحقيقي، يكون اختيار CMC هو النموذج الحقيقي. وبالتالي، فإن احتمال أن يكون اختيار CMC هو النموذج الحقيقي أكبر من أو يساوي مستوى الثقة. ^{[ 6 ]}

من بين هذه المعايير، يعتبر التحقق المتبادل عادةً الأكثر دقة، والأكثر تكلفة من الناحية الحسابية، بالنسبة لمشاكل التعلم الخاضع للإشراف.

يقول برنهام وأندرسون (2002 ، §6.3) ما يلي:

توجد طرق متنوعة لاختيار النموذج. ومع ذلك، من منظور الأداء الإحصائي للطريقة وسياق استخدامها المقصود، لا يوجد سوى فئتين متميزتين من الطرق: الطرق الفعالة والطرق المتسقة . (...) في إطار النموذج التكراري لاختيار النموذج، توجد عمومًا ثلاثة مناهج رئيسية: (أ) تحسين بعض معايير الاختيار، (ب) اختبار الفرضيات، و(ج) الطرق المخصصة.

• أهو، ك.؛ ديريبري، د.؛ بيترسون، ت. (2014)، "اختيار النموذج لعلماء البيئة: وجهات نظر معيار معلومات أكايكي (AIC) ومعيار معلومات بايز (BIC)"، علم البيئة ، 95 (3): 631-636 ، رمز Bibcode : 2014Ecol...95..631A ، doi : 10.1890/13-1452.1 ، PMID 24804445 
• أكايكي، هـ. (1994)، "آثار وجهة النظر المعلوماتية على تطور العلوم الإحصائية"، في بوزدوغان، هـ. (محرر)، وقائع المؤتمر الأمريكي الياباني الأول حول آفاق النمذجة الإحصائية: منهج معلوماتي - المجلد 3 ، دار نشر كلوير الأكاديمية ، الصفحات 27-38 
• أندرسون، د. ر. (2008)، الاستدلال القائم على النماذج في علوم الحياة ، سبرينغر، رقم ISBN 9780387740751
• أندو، ت. (2010)، اختيار النموذج البايزي والنمذجة الإحصائية ، مطبعة سي آر سي ، رقم ISBN 9781439836156
• بريمان، ل. (2001)، "النمذجة الإحصائية: الثقافتان"، العلوم الإحصائية ، 16 : 199-231 ، doi : 10.1214/ss/1009213726
• برنهام، ك.ب.؛ أندرسون، د.ر. (2002)، اختيار النموذج والاستدلال متعدد النماذج: منهج عملي قائم على نظرية المعلومات (الطبعة الثانية  )، سبرينغر-فيرلاغ، رقم ISBN 0-387-95364-7[هذا البحث لديه أكثر من 38000 استشهاد على جوجل سكولار ]
• تشامبرلين، تي سي (1890)، "طريقة الفرضيات العاملة المتعددة"، مجلة ساينس ، 15 (366): 92-96 ، رمز Bibcode : 1890Sci....15R..92 ، doi : 10.1126/science.ns-15.366.92 ، PMID 17782687 (أعيد طبعه عام 1965، مجلة ساينس 148: 754-759)doi : 10.1126/science.148.3671.754 )
• كلايسكنز، ج. (2016)، "اختيار النموذج الإحصائي" (ملف PDF) ، المراجعة السنوية للإحصاء وتطبيقاته ، 3 (1): 233-256 ، رمز Bibcode : 2016AnRSA...3..233C ، doi : 10.1146/annurev-statistics-041715-033413
• كلايسكنز، جي.؛ هيورت، إن إل (2008)، اختيار النموذج ومتوسط ​​النماذج ، مطبعة جامعة كامبريدج، رقم ISBN 9781139471800
• كوكس، د. ر. (2006)، مبادئ الاستدلال الإحصائي ، مطبعة جامعة كامبريدج
• دينغ، ج.؛ تاروخ، ف.؛ يانغ، ي. (2018)، "تقنيات اختيار النموذج - نظرة عامة"، مجلة معالجة الإشارات IEEE ، 35 (6): 16-34 ، arXiv : 1810.09583 ، Bibcode : 2018ISPM...35f..16D ، doi : 10.1109/MSP.2018.2867638 ، S2CID 53035396 
• كاشياب، آر إل (1982)، "الاختيار الأمثل لأجزاء AR وMA في نماذج المتوسط ​​المتحرك التلقائي"، معاملات IEEE في تحليل الأنماط والذكاء الآلي ، PAMI-4 (2)، IEEE: 99-104 ، doi : 10.1109/TPAMI.1982.4767213 ، PMID 21869012 ، S2CID 18484243  
• كونيشي، س.؛ كيتاغاوا، ج. (2008)، معايير المعلومات والنمذجة الإحصائية ، سبرينغر، رمز Bibcode : 2007icsm.book.....K ، ISBN 9780387718866
• لاهيري، ب. (2001)، اختيار النموذج ، معهد الإحصاء الرياضي
• ليب، هـ.؛ بوتشر، ب.م. (2009)، "اختيار النموذج"، في أندرسون، ت.ج. (محرر)، دليل السلاسل الزمنية المالية ، سبرينغر، ص 889-925 ، doi : 10.1007/978-3-540-71297-8_39 ، ISBN  978-3-540-71296-1
• لوكاس، بي إم؛ طومسون، دبليو إل؛ كيندال، دبليو إل؛ غولد، دبليو آر؛ دوهرتي، بي إف جونيور؛ بورنهام، كيه بي؛ أندرسون، دي آر (2007)، "مخاوف بشأن الدعوة إلى تعددية نظرية المعلومات واختبار الفرضيات"، مجلة علم البيئة التطبيقية ، 44 (2): 456-460 ، Bibcode : 2007JApEc..44..456L ، doi : 10.1111/j.1365-2664.2006.01267.x ، S2CID 83816981 
• ماكواري، آلان دي آر؛ تساي، تشيه لينغ (1998)، الانحدار واختيار نموذج السلاسل الزمنية ، سنغافورة: وورلد ساينتيفيك، ISBN 981-02-3242-X
• ماسارت، ب. (2007)، متباينات التركيز واختيار النموذج ، سبرينغر
• ماسارت، ب. (2014)، "مسار غير تقاربي في الاحتمالات والإحصاء" ، في لين، شيهونغ (محرر)، ماضي وحاضر ومستقبل العلوم الإحصائية ، تشابمان وهول ، ص 309-321 ، ISBN  9781482204988
• نافارو، دي جيه (2019)، "بين المطرقة والسندان: التوترات بين الحكم العلمي واختيار النموذج الإحصائي"، الدماغ والسلوك الحاسوبي ، 2 : 28-34 ، doi : 10.1007/s42113-018-0019-z ، hdl : 1959.4/unsworks_64247
• ريسيندي، باولو أنجيلو ألفيس؛ دوريا، تشانغ تشونغ يو (2016)، "تحديد النموذج باستخدام معيار التحديد الفعال"، مجلة التحليل متعدد المتغيرات ، 150 : 229-244 ، arXiv : 1409.7441 ، doi : 10.1016/j.jmva.2016.06.002 ، S2CID 5469654 
• شمويلي، ج. (2010)، "التفسير أم التنبؤ؟" ، العلوم الإحصائية ، 25 (3): 289-310 ، arXiv : 1101.0891 ، doi : 10.1214/10-STS330 ، MR 2791669 ، S2CID 15900983  
• ستويكا، ب.؛ سيلين، ي. (2004)، "اختيار رتبة النموذج: مراجعة لقواعد معيار المعلومات" (ملف PDF) ، مجلة معالجة الإشارات IEEE ، 21 (4): 36-47 ، Bibcode : 2004ISPM...21...36S ، doi : 10.1109/MSP.2004.1311138 ، S2CID 17338979 
• فيت، إي؛ فان دن هوفيل، إي؛ رومين، J.-W. (2012)، "«جميع النماذج خاطئة...»: مقدمة عن عدم اليقين في النماذج (ملف PDF) ، مجلة الإحصاء الهولندية ، 66 (3): 217-236 ، doi : 10.1111/j.1467-9574.2012.00530.x ، S2CID 7793470 
• ويت، إي.؛ ماكولاغ، ب. ( 2001)، فيانا، ماغ؛ ريتشاردز، د. سانت ب. (محرران)، "قابلية توسيع النماذج الإحصائية"، الأساليب الجبرية في الإحصاء والاحتمالات ، ص 327-340 
• فويتوفيتش، آنا؛ بيجاي، توماش (2016)، "التبرير والتأكيد ومشكلة الفرضيات المتنافية"، في كوزنيار، أدريان؛ أودروآز-سيبنيوسكا، جوانا (محرران)، كشف الحقائق والقيم ، دار بريل للنشر ، ص 122-143 ، doi : 10.1163/9789004312654_009 ، ISBN  9789004312654
• أورانج، أراش؛ جانسون، ماغنوس (2018)، "معيار اختيار النموذج للانحدار الخطي عالي الأبعاد" ، معاملات IEEE في معالجة الإشارات ، 66 (13): 3436-3446 ، Bibcode : 2018ITSP...66.3436O ، doi : 10.1109/TSP.2018.2821628 ، ISSN 1941-0476 ، S2CID 46931136  
• ب. جوهاين، براكاش؛ جانسون، ماغنوس (2022)، "معيار معلومات بايزي ثابت المقياس ومتسق لاختيار الترتيب في نماذج الانحدار الخطي"، معالجة الإشارات ، 196 108499، رمز Bibcode : 2022SigPr.19608499G ، doi : 10.1016/j.sigpro.2022.108499 ، ISSN 0165-1684 ، S2CID 246759677