تعلم كيفية الترتيب

📅 آخر تحديث: ٢ أغسطس ٢٠٢٦
✍️ نُشر في: ٢ أغسطس ٢٠٢٦
📷 يحتوي على 14 صور
الموسوعة الحرة

يُعدّ تعلّم الترتيب [ 1 ] ( LTR ) أو الترتيب المُتعلّم آليًا ( MLR ) تطبيقًا لتقنيات التعلّم الآلي ، وغالبًا ما يكون تعلّمًا مُشرفًا أو شبه مُشرف أو مُعزّزًا ، في بناء نماذج الترتيب لأنظمة استرجاع المعلومات والتوصية . [ 2 ] قد تتكوّن بيانات التدريب ، على سبيل المثال، من قوائم عناصر مع تحديد ترتيب جزئي بين العناصر في كل قائمة. ويُستنتج هذا الترتيب عادةً من خلال إعطاء درجة عددية أو ترتيبية أو حكم ثنائي (مثل "مُناسب" أو "غير مُناسب") لكل عنصر. والهدف من بناء نموذج الترتيب هو ترتيب قوائم جديدة غير مُشاهدة بطريقة مُشابهة للترتيب في بيانات التدريب.

التطبيقات

في مجال استرجاع المعلومات

بنية محتملة لمحرك بحث يعتمد على التعلم الآلي

يُعد الترتيب جزءًا أساسيًا من العديد من مشاكل استرجاع المعلومات ، مثل استرجاع المستندات ، والترشيح التعاوني ، وتحليل المشاعر ، والإعلان عبر الإنترنت .

يوضح الشكل المرفق بنية محتملة لمحرك بحث يعتمد على التعلم الآلي.

تتكون بيانات التدريب من الاستعلامات والوثائق المطابقة لها، بالإضافة إلى درجة ملاءمة كل مطابقة. قد يتم إعدادها يدويًا بواسطة مُقيّمين بشريين (أو مُصنّفين ، كما تُسميهم جوجل )، حيث يتحققون من نتائج بعض الاستعلامات ويُحددون مدى ملاءمة كل نتيجة. من غير العملي التحقق من ملاءمة جميع الوثائق، ولذلك تُستخدم عادةً تقنية تُسمى التجميع - حيث يتم فحص أفضل عدد قليل من الوثائق فقط، والتي يتم استرجاعها بواسطة بعض نماذج التصنيف الحالية. قد تُؤدي هذه التقنية إلى تحيز في الاختيار. بدلاً من ذلك، يُمكن استخلاص بيانات التدريب تلقائيًا من خلال تحليل سجلات النقر (أي نتائج البحث التي حصلت على نقرات من المستخدمين)، [ 3 ] أو سلاسل الاستعلامات ، [ 4 ] أو ميزات محركات البحث مثل SearchWiki من جوجل (التي تم استبدالها لاحقًا) . قد تكون سجلات النقر متحيزة بسبب ميل المستخدمين إلى النقر على أفضل نتائج البحث بافتراض أنها مُصنفة بالفعل بشكل جيد.

تستخدم خوارزمية التعلم بيانات التدريب لإنتاج نموذج تصنيف يقوم بحساب مدى ملاءمة المستندات للاستعلامات الفعلية.

عادةً، يتوقع المستخدمون إتمام عملية البحث في وقت قصير (مثل بضع مئات من المللي ثوانٍ للبحث على الويب)، مما يجعل من المستحيل تقييم نموذج تصنيف معقد على كل مستند في المجموعة، ولذلك يُستخدم مخطط من مرحلتين. [ 5 ] أولًا، يتم تحديد عدد قليل من المستندات ذات الصلة المحتملة باستخدام نماذج استرجاع أبسط تسمح بتقييم سريع للاستعلام، مثل نموذج فضاء المتجهات ، والنموذج المنطقي ، و AND الموزون، [ 6 ] أو BM25 . تُسمى هذه المرحلة "الأفضل-"ك{\displaystyle k}تم اقتراح العديد من الطرق الاستدلالية في الأدبيات لتسريع عملية استرجاع المستندات ، مثل استخدام درجة الجودة الثابتة للمستند والفهارس الهرمية. [ 7 ] في المرحلة الثانية، يُستخدم نموذج تعلم آلي أكثر دقة ولكنه مكلف حسابيًا لإعادة ترتيب هذه المستندات.

في مناطق أخرى

تم تطبيق خوارزميات التعلم لترتيب العناصر في مجالات أخرى غير استرجاع المعلومات:

متجهات الميزات

لتسهيل عمل خوارزميات الانحدار الخطي المتعدد، تُمثَّل أزواج الاستعلامات والمستندات عادةً بمتجهات عددية تُسمى متجهات الميزات . يُطلق على هذا النهج أحيانًا اسم " حقيبة الميزات" ، وهو مشابه لنموذج " حقيبة الكلمات" ونموذج فضاء المتجهات المستخدمين في استرجاع المعلومات لتمثيل المستندات.

تُسمى مكونات هذه المتجهات بالميزات أو العوامل أو إشارات الترتيب . ويمكن تقسيمها إلى ثلاث مجموعات ( تُعرض الميزات من استرجاع المستندات كأمثلة):

  • الخصائص الثابتة أو المستقلة عن الاستعلام هي تلك الخصائص التي تعتمد فقط على المستند، وليس على الاستعلام. على سبيل المثال، PageRank أو طول المستند. يمكن حساب هذه الخصائص مسبقًا في وضع عدم الاتصال أثناء الفهرسة. ويمكن استخدامها لحساب درجة الجودة الثابتة للمستند (أو الترتيب الثابت )، والذي يُستخدم غالبًا لتسريع تقييم استعلام البحث. [ 7 ] [ 10 ]
  • الميزات الديناميكية أو تلك التي تعتمد على الاستعلام - تلك الميزات التي تعتمد على كل من محتويات المستند والاستعلام، مثل درجة TF-IDF أو وظائف الترتيب الأخرى غير المعتمدة على التعلم الآلي.
  • ميزات مستوى الاستعلام أو ميزات الاستعلام ، والتي تعتمد فقط على الاستعلام. على سبيل المثال، عدد الكلمات في الاستعلام.

بعض الأمثلة على الميزات التي تم استخدامها في مجموعة بيانات LETOR المعروفة :

  • TF و TF-IDF و BM25 ودرجات نمذجة اللغة لمناطق المستند (العنوان، والنص الأساسي، ونص الروابط، وعنوان URL) لاستعلام معين؛
  • أطوال ومجموعات IDF لمناطق المستند؛
  • PageRank الخاص بالوثيقة ، وترتيب HITS، ومتغيراتها.

يُعد اختيار وتصميم الميزات الجيدة مجالًا مهمًا في التعلم الآلي، وهو ما يسمى هندسة الميزات .

إجراءات التقييم

توجد عدة مقاييس شائعة الاستخدام لتقييم أداء الخوارزمية على بيانات التدريب ومقارنة أداء خوارزميات التعلم المتعدد المختلفة. غالبًا ما تُعاد صياغة مشكلة التعلم للترتيب كمسألة تحسين بناءً على أحد هذه المقاييس.

أمثلة على تصنيف مقاييس الجودة:

يُفضّل استخدام مقياس DCG ومتغيره المعياري NDCG عادةً في البحوث الأكاديمية عند استخدام مستويات متعددة من الصلة. [ 11 ] أما المقاييس الأخرى مثل MAP وMRR والدقة، فهي مُعرّفة فقط للأحكام الثنائية.

في الآونة الأخيرة، تم اقتراح العديد من مقاييس التقييم الجديدة التي تدعي أنها تُحاكي رضا المستخدم عن نتائج البحث بشكل أفضل من مقياس DCG:

يعتمد كلا هذين المقياسين على افتراض أن المستخدم من المرجح أن يتوقف عن النظر إلى نتائج البحث بعد فحص مستند أكثر صلة، مقارنة بفحص مستند أقل صلة.

الأساليب

غالباً ما يتم تصنيف أساليب التعلم للترتيب باستخدام أحد الأساليب الثلاثة التالية: الأسلوب النقطي (حيث يتم ترتيب المستندات الفردية)، والأسلوب الزوجي (حيث يتم ترتيب أزواج المستندات بترتيب نسبي)، والأسلوب القائم على القائمة (حيث يتم ترتيب قائمة كاملة من المستندات).

قام تاي-يان ليو من مايكروسوفت للأبحاث في آسيا بتحليل الخوارزميات الحالية لتعلم ترتيب المشكلات في كتابه " تعلم الترتيب لاسترجاع المعلومات" . [ 1 ] وصنفها إلى ثلاث مجموعات بناءً على مساحات الإدخال، ومساحات الإخراج، ومساحات الفرضيات (الوظيفة الأساسية للنموذج)، ودوال الخسارة : النهج النقطي، والنهج الثنائي، والنهج القائم على القوائم. عمليًا، غالبًا ما يتفوق النهج القائم على القوائم على النهج الثنائي والنهج النقطي. وقد تم تأكيد هذه النتيجة من خلال تجربة واسعة النطاق أجريت على أداء طرق مختلفة لتعلم الترتيب على مجموعة كبيرة من مجموعات البيانات المعيارية. [ 14 ]

في هذا القسم، ودون إشعار آخر،x{\displaystyle x}يشير إلى كائن يتم تقييمه، على سبيل المثال، مستند أو صورة.و(x){\displaystyle f(x)}يشير إلى فرضية ذات قيمة واحدة،ح(⋅){\displaystyle h(\cdot )}يشير إلى دالة ثنائية المتغيرات أو متعددة المتغيرات ول(⋅){\displaystyle L(\cdot )}يرمز إلى دالة الخسارة.

نهج نقطي

في هذه الحالة، يُفترض أن لكل زوج من الاستعلامات والمستندات في بيانات التدريب درجة عددية أو ترتيبية. عندئذٍ، يمكن تقريب مشكلة الترتيب بمشكلة انحدار - أي التنبؤ بدرجة زوج واحد من الاستعلامات والمستندات. وبصورة رسمية، يهدف النهج النقطي إلى تعلم دالة.و(x){\displaystyle f(x)}التنبؤ بالقيمة الحقيقية أو الدرجة الترتيبية للوثيقةx{\displaystyle x}باستخدام دالة الخسارةل(و؛xج،yج){\displaystyle L(f;x_{j},y_{j})}.

يمكن استخدام عدد من خوارزميات التعلم الآلي الخاضعة للإشراف لهذا الغرض. كما يمكن استخدام خوارزميات الانحدار الترتيبي والتصنيف في النهج النقطي عند استخدامها للتنبؤ بدرجة زوج واحد من الاستعلام والمستند، وذلك عند أخذ عدد محدود من القيم .

نهج ثنائي

في هذه الحالة، يتم تقريب مشكلة التعلم للترتيب بمشكلة تصنيف - تعلم مصنف ثنائيح(xu،xv){\displaystyle h(x_{u},x_{v})}يمكن لهذا النظام تحديد أي وثيقة أفضل من بين زوج معين من الوثائق. يأخذ المصنف وثيقتين كمدخلات، والهدف هو تقليل دالة الخسارة.ل(ح؛xu،xv،yu،v){\displaystyle L(h;x_{u},x_{v},y_{u,v})}. تعكس دالة الخسارة عادةً عدد وحجم الانعكاسات في الترتيب المستحث.

في كثير من الحالات، المصنف الثنائيح(xu،xv){\displaystyle h(x_{u},x_{v})}يتم تنفيذه باستخدام دالة تسجيل النقاطو(x){\displaystyle f(x)}على سبيل المثال، يقوم RankNet [ 15 ] بتكييف نموذج احتمالي ويحددح(xu،xv){\displaystyle h(x_{u},x_{v})}باعتبارها الاحتمالية المقدرة للوثيقةxu{\displaystyle x_{u}}جودة أعلى منxv{\displaystyle x_{v}}:

Pu،v(و)=صندوق الدفاع المدني(و(xu)-و(xv))،{\displaystyle P_{u,v}(f)={\text{CDF}}(f(x_{u})-f(x_{v})),}

أينصندوق الدفاع المدني(⋅){\displaystyle {\text{CDF}}(\cdot )}هي دالة توزيع تراكمي ، على سبيل المثال، دالة التوزيع التراكمي اللوجستية القياسية ، أي

صندوق الدفاع المدني(x)=11+خبرة⁡[-x].{\displaystyle {\text{CDF}}(x)={\frac {1}{1+\exp \left[-x\right]}}.}

نهج القائمة

تحاول هذه الخوارزميات تحسين قيمة أحد مقاييس التقييم المذكورة أعلاه بشكل مباشر، وذلك بحساب متوسطها على جميع الاستعلامات في بيانات التدريب. غالبًا ما يكون هذا الأمر صعبًا عمليًا لأن معظم مقاييس التقييم ليست دوالًا متصلة بالنسبة لمعاملات نموذج الترتيب، وبالتالي يجب استخدام تقريبات أو حدود متصلة لمقاييس التقييم. على سبيل المثال، خوارزمية SoftRank. [ 16 ] أما خوارزمية LambdaMART فهي خوارزمية ثنائية أثبتت التجارب قدرتها على تقريب دوال الهدف القائمة على القوائم. [ 17 ]

قائمة الطرق

فيما يلي قائمة جزئية بخوارزميات التعلم للتصنيف المنشورة مع سنوات النشر الأولى لكل طريقة:

سنةاسميكتبملحوظات
1989OPRF [ 18 ]2 نقطةالانحدار متعدد الحدود (بدلاً من التعلم الآلي، يشير هذا العمل إلى التعرف على الأنماط، لكن الفكرة هي نفسها).
1992SLR [ 19 ]2 نقطةالانحدار اللوجستي المرحلي.
1994NMOpt [ 20 ]2 قائمة علىالتحسين غير المتري.
1999MART (أشجار الانحدار الجمعي المتعدد) [ 21 ]2 أزواج
2000تصنيف SVM (RankSVM)2 أزواجيوجد عرض أحدث في [ 3 ] يصف تطبيقًا للتصنيف باستخدام سجلات النقر.
2001المقالبنقطة واحدةالانحدار الترتيبي.
2003تعزيز الرتبة2 أزواج
2005رانك نت2 أزواج
2006IR-SVM [ 22 ]2 أزواجتصنيف SVM مع تطبيع مستوى الاستعلام في دالة الخسارة.
2006لامدا رانكمقارنة ثنائية/قائمةRankNet حيث يتم ضرب دالة الخسارة الزوجية بالتغير في مقياس IR الناتج عن عملية التبديل.
2007AdaRank [ 23 ]3 قائمة
2007صريح2 أزواجيعتمد على RankNet، ويستخدم دالة خسارة مختلفة - خسارة الدقة.
2007GBRank2 أزواج
2007ليست نت3 قائمة
2007مكرانكنقطة واحدة
2007كيو بي رانك2 أزواج
2007RankCosine [ 24 ]3 قائمة
2007RankGP [ 25 ]3 قائمة
2007RankRLS2 أزواج

التصنيف القائم على طريقة المربعات الصغرى المنتظمة. تم توسيع نطاق العمل في [ 26 ] ليشمل تعلم التصنيف من رسوم بيانية عامة للتفضيلات.

2007خريطة SVM3 قائمة
2008LambdaSMART/LambdaMART [ 27 ]مقارنة ثنائية/قائمةالمشروع الفائز في مسابقة Yahoo Learning to Rank عام 2010، باستخدام مجموعة من نماذج LambdaMART. يستند المشروع إلى MART (1999) [ 17 ] ، ويُطلق عليه اسم "LambdaSMART"، اختصارًا لـ Lambda-submodel-MART، أو LambdaMART في حالة عدم وجود نموذج فرعي.
2008ListMLE [ 28 ]3 قائمةاستنادًا إلى ListNet.
2008PermuRank [ 29 ]3 قائمة
2008SoftRank [ 30 ]3 قائمة
2008تحسين التصنيف [ 31 ]2 أزواجنهج شبه موجه لتعلم الترتيب باستخدام تقنية التعزيز.
2008SSRankBoost [ 32 ]2 أزواجامتداد لـ RankBoost للتعلم باستخدام البيانات المصنفة جزئيًا (التعلم شبه الخاضع للإشراف للترتيب).
2008SortNet [ 33 ]2 أزواجSortNet، وهي خوارزمية تصنيف تكيفية تقوم بترتيب الأشياء باستخدام شبكة عصبية كمعيار للمقارنة.
2009MPBoost [ 34 ]2 أزواجنسخة من خوارزمية RankBoost تحافظ على حجم البيانات. الفكرة هي أنه كلما زاد التباين بين تصنيفات زوج من المستندات، زادت صعوبة محاولة الخوارزمية لترتيبها.
2009رتبة بولتز3 قائمةبخلاف الطرق السابقة، ينتج BoltzRank نموذج تصنيف لا ينظر أثناء وقت الاستعلام إلى مستند واحد فقط، بل ينظر أيضًا إلى أزواج من المستندات.
2009رتبة بايز3 قائمةتجمع إحدى الطرق بين نموذج بلاكيت-لوس والشبكة العصبية لتقليل مخاطر بايز المتوقعة، المتعلقة بـ NDCG، من جانب صنع القرار.
2010تعزيز NDCG [ 35 ]3 قائمةنهج تعزيزي لتحسين NDCG.
2010جي بلند2 أزواجيوسع GBRank ليشمل مشكلة التعلم للمزج لحل مشاكل التعلم للترتيب المتعددة بشكل مشترك مع بعض الميزات المشتركة.
2010رتبة الفاصل الزمني2. مقارنة الأزواج ومقارنة القوائم
2010CRR [ 36 ]2- نقطة وزوجيالانحدار والتصنيف المدمجان. يستخدمان التدرج العشوائي لتحسين توليفة خطية من خسارة تربيعية نقطية وخسارة مفصلية ثنائية من آلة المتجهات الداعمة للتصنيف.
2014LCR [ 37 ]2 أزواجطبّقتُ فرضية الرتبة المنخفضة المحلية على الترتيب التعاوني. وحصلتُ على جائزة أفضل ورقة بحثية طلابية في مؤتمر WWW'14.
2015فيس نتثنائياًيقوم بتصنيف صور الوجوه باستخدام مقياس ثلاثي عبر شبكة عصبية تلافيفية عميقة.
2016إكس جي بوستثنائياًيدعم أهداف التصنيف المختلفة ومقاييس التقييم.
2017ES-Rank [ 38 ]قائمةتقنية التعلم للتصنيف باستخدام استراتيجية تطورية مع 7 مقاييس لتقييم اللياقة.
2018DLCM [ 39 ]2 قائمة علىدالة تصنيف متعددة المتغيرات تقوم بترميز عناصر متعددة من قائمة مصنفة أولية (سياق محلي) باستخدام شبكة عصبية متكررة وإنشاء تصنيف النتائج وفقًا لذلك.
2018PolyRank [ 40 ]ثنائياًيتعلم في الوقت نفسه الترتيب والنموذج التوليدي الأساسي من خلال المقارنات الثنائية.
2018FATE-Net/FETA-Net [ 41 ]قائمةبنى قابلة للتدريب من البداية إلى النهاية، والتي تأخذ جميع العناصر في الاعتبار بشكل صريح لنمذجة تأثيرات السياق.
2019FastAP [ 42 ]قائمةيعمل على تحسين الدقة المتوسطة لتعلم التضمينات العميقة.
2019التوتالقوائم والهجينةيتعلم سياسات الترتيب التي تزيد من كفاءة العديد من المقاييس عبر مجموعة البيانات بأكملها.
2019DirectRankerثنائياًتعميم بنية RankNet.
2019GSF [ 43 ]2 قائمة علىدالة تصنيف متعددة المتغيرات غير متغيرة مع التبديل تقوم بتشفير وتصنيف العناصر باستخدام دوال تسجيل جماعية مبنية على الشبكات العصبية العميقة.
2020رامبو [ 44 ]قائمةيعمل على تحسين المقاييس القائمة على الترتيب باستخدام الانتشار العكسي للصندوق الأسود. [ 45 ]
2020PRM [ 46 ]ثنائياًشبكة المحولات التي تشفر كلاً من التبعيات بين العناصر والتفاعلات بين المستخدم والعناصر.
2020SetRank [ 47 ]2 قائمة علىدالة تصنيف متعددة المتغيرات غير متغيرة مع التبديل تقوم بتشفير وتصنيف العناصر باستخدام شبكات الانتباه الذاتي.
2021PiRank [ 48 ]قائمةبدائل قابلة للتفاضل للتصنيف قادرة على استعادة المقاييس المطلوبة بدقة وتتوسع بشكل إيجابي لأحجام القوائم الكبيرة، مما يحسن بشكل كبير معايير الإنترنت على نطاق واسع.
2022تصنيف SASقائمةدمج التلدين المحاكي مع الاستراتيجية التطورية للتعلم الضمني والصريح للترتيب من خلال تصنيفات الصلة.
2022تصنيف VNSقائمةالبحث عن الجوار المتغير في منهجين جديدين في الذكاء الاصطناعي لتعلم الترتيب.
2022تصنيف VNAقائمةدمج التلدين المحاكي مع البحث في الجوار المتغير لتعلم الترتيب.
2023رتبة GVNقائمةدمج خوارزمية الصعود التدريجي مع البحث في الجوار المتغير لتعلم الترتيب.
2025زيلوثنائياً ونقطةً بنقطةاستخدام الأحكام الزوجية ونموذج برادلي-تيري لحساب الدرجات النقطية، على غرار تصنيف إيلو .

ملاحظة: بما أن معظم خوارزميات التعلم الخاضع للإشراف للترتيب يمكن تطبيقها على الحالات النقطية والزوجية والقائمة، فإن الطرق المصممة خصيصًا مع وضع الترتيب في الاعتبار هي فقط تلك المعروضة أعلاه.

تاريخ

قدّم نوربرت فور الفكرة العامة للتعلم الآلي متعدد المستويات (MLR) عام 1992، واصفًا أساليب التعلم في استرجاع المعلومات بأنها تعميم لتقدير المعلمات؛ [ 49 ] وكان قد نشر قبل ذلك بثلاث سنوات صيغةً محددةً من هذا الأسلوب (باستخدام الانحدار متعدد الحدود ). [ 18 ] واقترح بيل كوبر الانحدار اللوجستي للغرض نفسه عام 1992 [ 19 ] واستخدمه مع مجموعته البحثية في بيركلي لتدريب دالة تصنيف ناجحة لـ TREC . ويشير مانينغ وآخرون [ 50 ] إلى أن هذه الأعمال المبكرة حققت نتائج محدودة في وقتها نظرًا لقلة بيانات التدريب المتاحة وضعف تقنيات التعلم الآلي.

وقد عقدت العديد من المؤتمرات، مثل NeurIPS و SIGIR و ICML، ورش عمل مخصصة لمشكلة التعلم من أجل الترتيب منذ منتصف العقد الأول من القرن الحادي والعشرين (العقد).

الاستخدام العملي بواسطة محركات البحث

بدأت محركات البحث التجارية على الإنترنت باستخدام أنظمة تصنيف تعتمد على التعلم الآلي منذ العقد الأول من الألفية الثانية. وكان محرك البحث AltaVista من أوائل محركات البحث التي بدأت باستخدام هذه التقنية (استحوذت عليها لاحقًا شركة Overture ، ثم Yahoo )، حيث أطلق وظيفة تصنيف مُدرَّبة باستخدام خوارزمية تعزيز التدرج في أبريل 2003. [ 51 ] [ 52 ]

عند إطلاقه في عام 2009، كان محرك البحث الخاص بمايكروسوفت بينج مدعومًا بخوارزمية RankNet، [ 53 ] التي تم اختراعها في مايكروسوفت ريسيرش في عام 2005.

في نوفمبر 2009، أعلن محرك البحث الروسي ياندكس [ 54 ] عن تحسين جودة البحث بشكل ملحوظ بفضل استخدام خوارزمية ماتريكس نت الخاصة به ، وهي نسخة معدلة من طريقة تعزيز التدرج التي تستخدم أشجار القرار غير الواعية. [ 55 ] وقد رعى ياندكس مؤخرًا مسابقة تصنيف تعتمد على التعلم الآلي بعنوان "رياضيات الإنترنت 2009" [ 56 ] استنادًا إلى بيانات الإنتاج الخاصة بمحرك البحث. وأعلنت ياهو عن مسابقة مماثلة في عام 2010. [ 57 ]

في عام 2008، نفى بيتر نورفيج، الرئيس التنفيذي لشركة جوجل ، أن يعتمد محرك بحثهم بشكل حصري على تصنيف المواقع باستخدام التعلم الآلي. [ 58 ] ويشير توم كوستيلو، الرئيس التنفيذي لشركة كويل ، إلى أنهم يفضلون النماذج المصممة يدويًا لأنها تتفوق على نماذج التعلم الآلي عند قياسها بمقاييس مثل نسبة النقر إلى الظهور أو الوقت الذي يقضيه المستخدم على الصفحة المقصودة، وذلك لأن نماذج التعلم الآلي "تتعلم ما يقوله المستخدمون أنهم يحبونه، وليس ما يحبونه فعلاً". [ 59 ]

في يناير 2017، أُدرجت هذه التقنية في محرك البحث مفتوح المصدر Apache Solr . [ 60 ] وهي متاحة أيضًا في محركي البحث مفتوحي المصدر OpenSearch و Elasticsearch . [ 61 ] [ 62 ] هذه التطبيقات تجعل تعلم ترتيب نتائج البحث متاحًا على نطاق واسع لمحركات البحث المؤسسية.

نقاط الضعف

على غرار تطبيقات التعرف في مجال رؤية الحاسوب ، وُجد أن خوارزميات الترتيب الحديثة القائمة على الشبكات العصبية عُرضةٌ أيضًا لهجماتٍ خصوميةٍ خفية ، سواءً على المرشحين أو الاستعلامات. [ 63 ] فبإمكانية تغيير ترتيب التصنيف بشكلٍ تعسفيٍّ حتى مع وجود اضطراباتٍ طفيفةٍ لا يُمكن للبشر إدراكها. إضافةً إلى ذلك، وُجد أن الأمثلة الخصومية القابلة للنقل، بغض النظر عن النموذج، ممكنة، مما يُتيح شنّ هجماتٍ خصوميةٍ مُبهمةٍ على أنظمة الترتيب العميق دون الحاجة إلى الوصول إلى تطبيقاتها الأساسية. [ 63 ] [ 64 ]

وعلى النقيض من ذلك، يمكن تحسين متانة أنظمة التصنيف هذه من خلال وسائل دفاعية معادية مثل دفاع مادري. [ 65 ]

انظر أيضاً

مراجع

  1. 1 2 تي-يان ليو (2009)، "التعلم لترتيب نتائج البحث لاسترجاع المعلومات"، أسس واتجاهات في استرجاع المعلومات ، المجلد  3، الصفحات 225-331 ، doi : 10.1561/1500000016 ، ISBN  978-1-60198-244-5شرائح عرض تاي يان ليو في مؤتمر WWW 2009 متاحة على الإنترنت . مؤرشفة بتاريخ 8 أغسطس 2017 على موقع Wayback Machine.
  2. ↑ مهريار مهري ، أفشين رستمي زاده، أميت تالوالكار (2012) أسس التعلم الآلي ، مطبعة معهد ماساتشوستس للتكنولوجيا ، رقم ISBN 9780262018258.
  3. 1 2 يواخيمز، ت. (2002)، "تحسين محركات البحث باستخدام بيانات النقر" (ملف PDF) ، وقائع مؤتمر ACM لاكتشاف المعرفة واستخراج البيانات ، مؤرشف (ملف PDF) من الأصل بتاريخ 29-12-2009 ، تم استرجاعه بتاريخ 11-11-2009
  4. ↑ يواخيمز ت.؛ رادلينسكي ف. (2005)، "سلاسل الاستعلام: تعلم الترتيب من التغذية الراجعة الضمنية" (ملف PDF) ، وقائع مؤتمر ACM لاكتشاف المعرفة واستخراج البيانات ، arXiv : cs/0605035 ، Bibcode : 2006cs........5035R ، مؤرشف (PDF) من الأصل بتاريخ 27-07-2011 ، تم استرجاعه بتاريخ 19-12-2009
  5. ↑ ب. كامبازوغلو؛ هـ. زاراغوزا؛ أ. شابيل؛ ج. تشين؛ س. لياو؛ ز. تشنغ؛ ج. ديغنهاردت، "تحسينات الخروج المبكر لأنظمة الترتيب المُضافة المُتعلمة آليًا" (ملف PDF) ، وقائع المؤتمر الدولي الثالث لجمعية ACM حول البحث على الويب واستخراج البيانات، 2010، WSDM '10. مؤرشف من النسخة الأصلية (PDF) بتاريخ 28 أغسطس 2019 ، تم استرجاعه بتاريخ 23 ديسمبر 2009 .
  6. ↑ برودر أ .؛ كارميل د.؛ هيرسكوفيتشي م.؛ سوفر أ .؛ زين ج. (2003)، "تقييم الاستعلامات بكفاءة باستخدام عملية استرجاع ثنائية المستوى"، وقائع المؤتمر الدولي الثاني عشر لإدارة المعلومات والمعرفة (ملف PDF) ، الصفحات 426-434 ، doi : 10.1145/956863.956944 ، ISBN  978-1-58113-723-1، S2CID 2432701 ، مؤرشف من الأصل (PDF) بتاريخ 21-05-2009 ، تم استرجاعه بتاريخ 15-12-2009 
  7. 1 2 مانينغ سي؛ راغافان بي؛ شوتزه إتش (2008)، مقدمة في استرجاع المعلومات ، مطبعة جامعة كامبريدجالقسم 7.1 مؤرشف بتاريخ 19 يوليو 2009 على موقع Wayback Machine
  8. 1 2 كيفن ك. دوه (2009)، تعلم الترتيب باستخدام البيانات المصنفة جزئيًا (ملف PDF) ، مؤرشف (ملف PDF) من الأصل في 20 يوليو 2011 ، تم استرجاعه في 27 ديسمبر 2009
  9. ↑ Yuanhua Lv, Taesup Moon, Pranam Kolari, Zhaohui Zheng, Xuanhui Wang, and Yi Chang, Learning to Model Relatedness for News Recommendation Archived 2011-08-27 at the Wayback Machine , in International Conference on World Wide Web (WWW), 2011.
  10. ↑ ريتشاردسون، م.؛ براكاش، أ.؛ بريل، إ. (2006). "ما وراء بيج رانك: التعلم الآلي للتصنيف الثابت" (ملف PDF) . وقائع المؤتمر الدولي الخامس عشر للويب العالمي . الصفحات 707-715 . مؤرشف (ملف PDF) من الأصل بتاريخ 15 أغسطس 2009. تم الاطلاع عليه بتاريخ 18 نوفمبر 2009 . 
  11. ↑ "نسخة مؤرشفة" . مؤرشفة من الأصل بتاريخ 2011-01-04 . تم الاطلاع عليها بتاريخ 2009-12-14 .{{cite web}}: CS1 maint: archived copy as title ( link )
  12. ↑ أوليفييه شابيل؛ دونالد ميتزلر؛ يا تشانغ؛ بيير غرينسبان (2009)، "الرتبة التبادلية المتوقعة للصلة المتدرجة" (ملف PDF) ، CIKM ، مؤرشف من الأصل (ملف PDF) بتاريخ 24 فبراير 2012
  13. ↑ جولين أ.؛ كاربوفيتش ب.؛ راسكوفالوف د.؛ سيغالوفيتش إ. (2009)، "ياندكس في مؤتمر ROMIP'2009: تحسين خوارزميات الترتيب باستخدام أساليب التعلم الآلي" (ملف PDF) ، وقائع مؤتمر ROMIP'2009 : 163-168 ، مؤرشف (ملف PDF) من النسخة الأصلية بتاريخ 22-11-2009 ، تم الاطلاع عليه بتاريخ 13-11-2009(باللغة الروسية)
  14. ↑ تاكس، نيك؛ بوكتينغ، ساندر؛ هيمسترا، ديورد (2015)، "مقارنة معيارية شاملة لـ 87 طريقة لتعلم الترتيب" (ملف PDF) ، معالجة المعلومات والإدارة ، 51 (6): 757-772 ، doi : 10.1016/j.ipm.2015.07.002 ، S2CID 22782599 ، مؤرشف من النسخة الأصلية (PDF) بتاريخ 9 أغسطس 2017 ، تم الاطلاع عليه بتاريخ 15 أكتوبر 2017 
  15. ↑ بورجيس، كريس؛ شاكيد، تال؛ رينشو، إيرين؛ لازير، آري؛ ديدز، مات؛ هاميلتون، نيكول؛ هولندر، جريج (2005). "التعلم للترتيب باستخدام خوارزمية التدرج الهبوطي" (ملف PDF) . وقائع المؤتمر الدولي الثاني والعشرين للتعلم الآلي . الصفحات 89-96 . 
  16. ↑ تايلور، إم جيه، جويفر، جيه، روبرتسون، إس إي، ومينكا، تي بي (2008). سوفت رانك: تحسين مقاييس الترتيب غير السلسة. بحث الويب واستخراج البيانات.
  17. 1 2 بورجيس، كريستوفر جيه سي (2010). من رانك نت إلى لامدا رانك إلى لامدا مارت: نظرة عامة (ملف PDF) (تقرير فني). مايكروسوفت للأبحاث. MSR-TR-2010-82 . تاريخ الاسترجاع: 9 أبريل 2026 .
  18. 1 2 فوهر، نوربرت (1989)، "دوال استرجاع متعددة الحدود المثلى القائمة على مبدأ ترتيب الاحتمالات"، معاملات ACM لأنظمة المعلومات ، 7 (3): 183-204 ، doi : 10.1145/65943.65944 ، S2CID 16632383 
  19. 1 2 كوبر، ويليام س.؛ جاي، فريدريك س.؛ دابني، دانيال ب. (1992)، "الاسترجاع الاحتمالي القائم على الانحدار اللوجستي المرحلي"، وقائع المؤتمر الدولي السنوي الخامس عشر لجمعية ACM SIGIR حول البحث والتطوير في استرجاع المعلومات - SIGIR '92 ، الصفحات 198-210 ، doi : 10.1145/133160.133199 ، ISBN  978-0897915236، S2CID 125993 
  20. ↑ بارتيل، برايان ت.؛ كوتريل غاريسون و.؛ بيليو، ريتشارد ك. (1994)، "الدمج التلقائي لأنظمة الاسترجاع المصنفة المتعددة"، سيغير 94 ، ص 173-181 ، doi : 10.1007/978-1-4471-2099-5_18 ، ISBN  978-0387198897، S2CID 18606472 ، مؤرشف من الأصل بتاريخ 13-06-2018 ، تم استرجاعه بتاريخ 12-10-2020 
  21. ↑ فريدمان، جيروم هـ. (2001). "تقريب الدالة الجشعة: آلة تعزيز التدرج" . حوليات الإحصاء . 29 (5): 1189-1232 . Bibcode : 2001AnSta..2903451F . doi : 10.1214/aos/1013203451 . ISSN 0090-5364 . JSTOR 2699986 .  
  22. ↑ كاو، يونبو؛ شو، جون؛ ليو، تي-يان؛ لي، هانغ؛ هوانغ، يالو؛ هون، شياو-وين (2006-08-06). "تكييف خوارزمية SVM للتصنيف لاسترجاع المستندات" . وقائع المؤتمر الدولي السنوي التاسع والعشرين لجمعية ACM SIGIR حول البحث والتطوير في استرجاع المعلومات . SIGIR '06. نيويورك، نيويورك، الولايات المتحدة الأمريكية: جمعية آلات الحوسبة. الصفحات 186-193 . doi : 10.1145/1148170.1148205 . ISBN  978-1-59593-369-0.
  23. ↑ شو، جون؛ لي، هانغ (23 يوليو/تموز 2007). "AdaRank: خوارزمية تعزيز لاسترجاع المعلومات" . وقائع المؤتمر الدولي السنوي الثلاثين لجمعية ACM SIGIR حول البحث والتطوير في استرجاع المعلومات . SIGIR '07. نيويورك، نيويورك، الولايات المتحدة الأمريكية: جمعية آلات الحوسبة. الصفحات 391-398 . doi : 10.1145/1277741.1277809 . ISBN  978-1-59593-597-7.
  24. ^ تشين، تاو؛ تشانغ، شو دونغ؛ تساي، مينغ فنغ؛ وانغ، دي شنغ. ليو، تي يان؛ لي ، هانغ (2008-03-01). "وظائف فقدان مستوى الاستعلام لاسترجاع المعلومات" . معالجة المعلومات وإدارتها . تقييم أنظمة البحث الاستكشافية. 44 (2): 838-855 . دوى : 10.1016/j.ipm.2007.07.016 . ردمك 0306-4573 . 
  25. ↑ لين، جونغ يي؛ ييه، جين يوان؛ تشاو تشونغ ليو (يوليو 2012). "تعلم الترتيب لاسترجاع المعلومات باستخدام البرمجة الجينية متعددة الطبقات" . المؤتمر الدولي لعام 2012 التابع لمعهد مهندسي الكهرباء والإلكترونيات (IEEE) حول الذكاء الحسابي وعلم التحكم الآلي (CyberneticsCom) . معهد مهندسي الكهرباء والإلكترونيات. الصفحات 45-49 . doi : 10.1109/cyberneticscom.2012.6381614 . ISBN  978-1-4673-0892-2.
  26. ^ باهيكالا، تابيو؛ تسيفتسيفادزي، يفجيني؛ إيرولا، أنتي؛ يارفينن، جوني؛ Boberg، Jorma (2009)، “خوارزمية فعالة لتعلم الترتيب من الرسوم البيانية المفضلة”، التعلم الآلي ، 75 (1): 129–165 ، دوى : 10.1007 / s10994-008-5097-z .
  27. ^ وو تشيانغ. بورجس، كريس جي سي؛ سفور، كريستا م.؛ جاو ، جيان فنغ (2008/10/15). التصنيف والتعزيز وتكييف النموذج (PDF) (التقرير الفني). أبحاث مايكروسوفت. MSR-TR-2008-109 . تم الاسترجاع بتاريخ 2026-04-09 .
  28. ↑ شيا، فين؛ ليو، تي-يان؛ وانغ، جو؛ تشانغ، وينشنغ؛ لي، هانغ (5 يوليو/تموز 2008). "نهج القوائم في تعلم الترتيب: النظرية والخوارزمية" . وقائع المؤتمر الدولي الخامس والعشرين للتعلم الآلي - ICML '08 . نيويورك، نيويورك، الولايات المتحدة الأمريكية: رابطة آلات الحوسبة. الصفحات 1192-1199 . doi : 10.1145/1390156.1390306 . ISBN  978-1-60558-205-4.
  29. ↑ شو، جون؛ ليو، تي-يان؛ لو، مين؛ لي، هانغ؛ ما، وي-ينغ (20 يوليو 2008). "التحسين المباشر لمقاييس التقييم في تعلم الترتيب" . وقائع المؤتمر الدولي السنوي الحادي والثلاثين لجمعية ACM SIGIR حول البحث والتطوير في استرجاع المعلومات . SIGIR '08. نيويورك، نيويورك، الولايات المتحدة الأمريكية: جمعية آلات الحوسبة. الصفحات 107-114 . doi : 10.1145/1390334.1390355 . ISBN  978-1-60558-164-4.
  30. ↑ تايلور، مايكل؛ جويفر، جون؛ روبرتسون، ستيفن؛ مينكا، توم (11 فبراير 2008). "SoftRank: تحسين مقاييس الترتيب غير السلس" . وقائع المؤتمر الدولي حول البحث على الويب واستخراج بيانات الويب - WSDM '08 . نيويورك، نيويورك، الولايات المتحدة الأمريكية: رابطة آلات الحوسبة. الصفحات 77-86 . doi : 10.1145/1341531.1341544 . ISBN  978-1-59593-927-2.
  31. ↑ رونغ جين، حامد فالي زاده، هانغ لي، تحسين الترتيب وتطبيقه لاسترجاع المعلومات مؤرشف في 2012-04-06 في Wayback Machine ، في المؤتمر الدولي للشبكة العالمية (WWW)، 2008.
  32. ↑ ماسيح رضا أميني، فينه ترونغ، سيريل غوت، خوارزمية تعزيز لتعلم دوال الترتيب الثنائية مع بيانات مصنفة جزئيًا، مؤرشفة في 2010-08-02 على موقع Wayback Machine ، المؤتمر الدولي ACM SIGIR، 2008. الكود مؤرشف في 2010-07-23 على موقع Wayback Machine وهو متاح لأغراض البحث.
  33. ↑ ليوناردو ريغوتيني، تيزيانو بابيني، ماركو ماجيني، فرانكو سكارسيلي، "SortNet: تعلم الترتيب باستخدام خوارزمية فرز قائمة على الشبكات العصبية" مؤرشف في 25 نوفمبر 2011 على Wayback Machine ، ورشة عمل SIGIR 2008: تعلم الترتيب لاسترجاع المعلومات، 2008
  34. ↑ تشو، تشنغوانغ؛ تشن، ويزو؛ تشو، زيوان ألين؛ وانغ، غانغ؛ وانغ، دونغ؛ تشن، تشنغ (2009-11-02). "خوارزمية تعزيز عامة تحافظ على الحجم لترتيب نتائج البحث" . وقائع المؤتمر الثامن عشر لجمعية ACM حول إدارة المعلومات والمعرفة . CIKM '09. نيويورك، نيويورك، الولايات المتحدة الأمريكية: جمعية آلات الحوسبة. الصفحات 817-826 . doi : 10.1145/1645953.1646057 . ISBN  978-1-60558-512-3.
  35. ↑ حامد فالي زادهجان، رونغ جين، روفاي تشانغ، جيان تشانغ ماو ، التعلم للترتيب عن طريق تحسين مقياس NDCG مؤرشف في 2012-04-06 في Wayback Machine ، في وقائع أنظمة معالجة المعلومات العصبية (NIPS)، 2010.
  36. ↑ سكولي، د. (25 يوليو 2010). "الدمج بين الانحدار والتصنيف" . وقائع المؤتمر الدولي السادس عشر لجمعية ACM SIGKDD حول اكتشاف المعرفة واستخراج البيانات . KDD '10. نيويورك، نيويورك، الولايات المتحدة الأمريكية: جمعية آلات الحوسبة. الصفحات 979-988 . doi : 10.1145/1835804.1835928 . ISBN  978-1-4503-0055-1.
  37. ↑ لي، جون سوك؛ بينجيو، سامي؛ كيم، سيونغيون؛ لبنان، غاي؛ سينغر، يورام (2014-04-07). "التصنيف التعاوني المحلي" . وقائع المؤتمر الدولي الثالث والعشرين حول شبكة الويب العالمية . WWW '14. نيويورك، نيويورك، الولايات المتحدة الأمريكية: رابطة آلات الحوسبة. ص 85-96 . doi : 10.1145/2566486.2567970 . ISBN  978-1-4503-2744-2.
  38. ↑ إبراهيم، عثمان علي صادق؛ لاندا سيلفا، داريو (2017-04-03). "ES-Rank: منهج تعلم استراتيجية التطور للترتيب" . وقائع ندوة الحوسبة التطبيقية (ملف PDF) . SAC '17. نيويورك، نيويورك، الولايات المتحدة الأمريكية: رابطة آلات الحوسبة. الصفحات 944-950 . doi : 10.1145/3019612.3019696 . ISBN  978-1-4503-4486-9.
  39. ↑ آي، تشينغياو؛ بي، كيبينغ؛ جيافينغ، غو؛ كروفت، دبليو. بروس (2018)، "تعلم نموذج سياقي عميق قائم على القوائم لتحسين الترتيب"، المؤتمر الدولي الحادي والأربعون لجمعية ACM SIGIR حول البحث والتطوير في استرجاع المعلومات ، الصفحات 135-144 ، arXiv : 1804.05936 ، doi : 10.1145/3209978.3209985 ، ISBN  9781450356572، S2CID 4956076 
  40. ↑ دافيدوف، أوري؛ أيلون، نير؛ أوليفيرا، إيفو إف دي (2018). "نهج جديد ومرن لتحليل بيانات المقارنة الزوجية" . مجلة أبحاث تعلم الآلة . 19 (60): 1-29 . ISSN 1533-7928 . مؤرشف من الأصل بتاريخ 2019-10-03 . تم الاطلاع عليه بتاريخ 2019-09-17 . 
  41. ↑ بفانشميدت، كارلسون؛ غوبتا، بريثا؛ هولرماير، إيك (2018). "بنى عميقة لتعلم وظائف الترتيب المعتمدة على السياق". arXiv : 1803.05796 [ stat.ML ].
  42. ↑ فاتح جاكير، كون هي، شيدي شيا، برايان كوليس، ستان سكلاروف، التعلم العميق للمقاييس للترتيب مؤرشف في 2019-05-14 في آلة Wayback ، في وقائع مؤتمر IEEE حول رؤية الكمبيوتر والتعرف على الأنماط (CVPR)، 2019.
  43. ↑ آي، تشينغياو؛ وانغ، شوانهوي؛ بروش، سيباستيان؛ غولباندي، نداف؛ بيندرسكي، مايكل؛ ناجورك، مارك (2019)، "تعلم دوال التقييم متعددة المتغيرات الجماعية باستخدام الشبكات العصبية العميقة"، وقائع المؤتمر الدولي لعام 2019 لجمعية ACM SIGIR حول نظرية استرجاع المعلومات ، الصفحات 85-92 ، arXiv : 1811.04415 ، doi : 10.1145/3341981.3344218 ، ISBN  9781450368810، S2CID 199441954 
  44. ↑ رولينك، ميخال؛ موسيل، فيت؛ باولوس، أنسيلم؛ فلاستيليكا، مارين؛ مايكليس، كلاوديو؛ مارتيوس، جورج (18 مارس 2020). "تحسين المقاييس القائمة على الترتيب باستخدام التفاضل الصندوقي الأسود". مؤتمر IEEE/CVF لعام 2020 حول رؤية الحاسوب والتعرف على الأنماط (CVPR) . الصفحات 7617-7627 . arXiv : 1912.03500 . doi : 10.1109/CVPR42600.2020.00764 . ISBN  978-1-7281-7168-5.
  45. ↑ فلاستيليكا، مارين؛ باولوس، أنسيلم؛ موسيل، فيت؛ مارتيوس، جورج؛ رولينك، ميخال (2019). "تفاضل حلول الصندوق الأسود التوافقية". arXiv : 1912.02175 [ cs.LG ].
  46. ↑ ليو، ويون؛ ليو، تشينغ؛ تانغ، رويمينغ؛ تشين، جونيانغ؛ هي، شيوكيانغ؛ هينغ، فينغ آن (19 أكتوبر 2020). "إعادة ترتيب مخصصة باستخدام علاقات العناصر للتجارة الإلكترونية" . وقائع المؤتمر الدولي التاسع والعشرين لجمعية آلات الحوسبة (ACM) حول إدارة المعلومات والمعرفة . CIKM '20. حدث افتراضي، أيرلندا: جمعية آلات الحوسبة. الصفحات 925-934 . doi : 10.1145/3340531.3412332 . ISBN  978-1-4503-6859-9S2CID 224281012. مؤرشف من الأصل بتاريخ 17-10-2021 . تم الاطلاع عليه بتاريخ 26-04-2021 . 
  47. ^ بانغ ، ليانغ. شو، يونيو؛ منظمة العفو الدولية، تشينغياو. لان، يانيان؛ تشنغ، شيويه تشي؛ وين، جيرونغ (2020)، “SetRank”، وقائع مؤتمر ACM SIGIR الدولي الثالث والأربعين حول البحث والتطوير في استرجاع المعلومات ، الصفحات من 499 إلى 508، دوى : 10.1145/3397271.3401104 ، ISBN  9781450380164، S2CID 241534531 
  48. ↑ سويزي، روبن؛ غروفر، أديتيا؛ شارون، برونو؛ إرمون، ستيفانو (27-11-2021). "PiRank: التعلم القابل للتوسع للترتيب عبر الفرز التفاضلي". التطورات في أنظمة معالجة المعلومات العصبية . NeurIPS '21. 34. حدث افتراضي، أيرلندا. arXiv : 2012.06731 .
  49. ↑ فوهر، نوربرت (1992)، "النماذج الاحتمالية في استرجاع المعلومات"، مجلة الكمبيوتر ، 35 (3): 243-255 ، doi : 10.1093/comjnl/35.3.243
  50. ↑ مانينغ سي؛ راغافان بي؛ شوتزه إتش (2008)، مقدمة في استرجاع المعلومات ، مطبعة جامعة كامبريدجالقسم 7.4 مؤرشف بتاريخ 21 يوليو 2009 على موقع Wayback Machine ، والقسم 15.5 مؤرشف بتاريخ 9 مايو 2010 على موقع Wayback Machine .
  51. ↑ جان أو. بيدرسن. قصة MLR مؤرشفة بتاريخ 13 يوليو 2011 في Wayback Machine
  52. ↑ براءة اختراع أمريكية رقم 7,197,497
  53. ↑ "مدونة بحث بينغ: احتياجات المستخدمين، والميزات، والأسس العلمية وراء بينغ" . مؤرشفة من الأصل بتاريخ 25 نوفمبر 2009. تم الاطلاع عليها بتاريخ 19 نوفمبر 2009 .
  54. ↑ مقالة مدونة شركة ياندكس حول نموذج التصنيف الجديد "سنيزينسك" مؤرشفة بتاريخ 1 مارس 2012 في أرشيف الإنترنت (باللغة الروسية)
  55. ↑ لم يتم الكشف عن الخوارزمية، ولكن تم نشر بعض التفاصيل فيتمت أرشفة هذه الصفحة بتاريخ 1 يونيو 2010 على موقع Wayback Machine .تمت أرشفة هذه الصفحة بتاريخ 2010-06-01 في موقع Wayback Machine .
  56. ↑ "صفحة مسابقة ياندكس للرياضيات على الإنترنت لعام 2009" . مؤرشفة من الأصل بتاريخ 17 مارس 2015. تم الاطلاع عليها بتاريخ 11 نوفمبر 2009 .
  57. ↑ "تحدي ياهو لتعلم الترتيب" . مؤرشف من الأصل بتاريخ 2010-03-01 . تم الاطلاع عليه بتاريخ 2010-02-26 .
  58. ↑ راجارامان، أناند (24-05-2008). "هل نماذج التعلم الآلي عرضة لأخطاء كارثية؟" . تم الاطلاع عليه بتاريخ 11-11-2009 .{{cite web}}: CS1 maint: deprecated archiveal service ( link )
  59. ↑ كوستيلو، توم (2009-06-26). "مدونة كويل: كيف حال بينغ؟" .{{cite web}}: CS1 maint: deprecated archiveal service ( link )
  60. ↑ "كيف دمجت بلومبيرغ تقنية التعلم للتصنيف في أباتشي سولر | التقنية في بلومبيرغ" . التقنية في بلومبيرغ . 23 يناير 2017. مؤرشف من الأصل في 1 مارس 2017. تم الاطلاع عليه في 28 فبراير 2017 .
  61. ↑ "تعلم كيفية تحسين ترتيب موقعك في خدمة Amazon OpenSearch - Amazon OpenSearch Service" . docs.aws.amazon.com . تم الاطلاع عليه بتاريخ 22-09-2023 .
  62. ↑ "Elasticsearch Learning to Rank: the documentation — Elasticsearch Learning to Rank documentation" . elasticsearch-learning-to-rank.readthedocs.io . تاريخ الاسترجاع: 22-09-2023 .
  63. 1 2 تشو، مو؛ نيو، زينشينغ؛ وانغ، لو؛ تشانغ، كيلين؛ هوا جانج (2020). “الهجوم والدفاع في تصنيف الخصم”. أرخايف : 2002.11293v2 [ cs.CV ].
  64. ↑ لي، جي؛ جي، رونغ رونغ؛ ليو، هونغ؛ هونغ، شياوبنغ؛ غاو، يو؛ تيان، تشي (2019). "هجوم التشويش الشامل ضد استرجاع الصور" . المؤتمر الدولي لرؤية الحاسوب (ICCV 2019) : 4899-4908 . arXiv : 1812.00552 . مؤرشف من الأصل بتاريخ 2020-07-06 . تم الاسترجاع بتاريخ 2020-07-04 .
  65. ↑ مادري، ألكسندر؛ ماكيلوف، ألكسندر؛ شميدت، لودفيج؛ تسيبراس، ديميتريس؛ فلادو، أدريان (19-06-2017). "نحو نماذج تعلم عميق مقاومة للهجمات الخصومية". arXiv : 1706.06083v4 [ stat.ML ].
المسابقات ومجموعات البيانات العامة