نتفليكس

كانت جائزة نتفليكس عبارة عن مسابقة مفتوحة لأفضل خوارزمية ترشيح تعاوني للتنبؤ بتقييمات المستخدمين للأفلام ، بناءً على التقييمات السابقة دون أي معلومات أخرى عن المستخدمين أو الأفلام، أي دون تحديد هوية المستخدمين باستثناء الأرقام المخصصة للمسابقة.

أقامت شركة نتفليكس ، وهي خدمة بث فيديو، المسابقة، وكانت مفتوحة لأي شخص لا تربطه صلة بنتفليكس (موظفون حاليون وسابقون، وكلاء، أقارب مقربون لموظفي نتفليكس، إلخ) أو مقيم في بعض الدول المحظورة (مثل كوبا أو كوريا الشمالية). ^{[ 1 ]} في 21 سبتمبر/أيلول 2009، مُنحت الجائزة الكبرى وقدرها مليون دولار أمريكي لفريق "براغماتيك كاوس" التابع لشركة بيلكور، والذي تفوق على خوارزمية نتفليكس نفسها في التنبؤ بالتقييمات بنسبة 10.06%. ^{[ 2 ]}

قدّمت نتفليكس مجموعة بيانات تدريبية تضم 100,480,507 تقييمًا، منحها 480,189 مستخدمًا لـ 17,770 فيلمًا. كل تقييم تدريبي عبارة عن رباعية من الشكل التالي <user, movie, date of grade, grade>: [3]، حيث يُمثّل حقلا المستخدم والفيلم معرّفات عددية صحيحة ، بينما تتراوح الدرجات من 1 إلى 5 نجوم ( عدد صحيح ). ^{[ 3 ]}

تحتوي مجموعة البيانات المؤهلة على أكثر من 2,817,131 ثلاثية من الشكل <user, movie, date of grade>، حيث لا تعرف الدرجات إلا لجنة التحكيم. يجب على خوارزمية الفريق المشارك التنبؤ بالدرجات على مجموعة البيانات المؤهلة بأكملها، ولكن يتم إبلاغهم بدرجة نصف البيانات فقط: وهي مجموعة اختبار تضم 1,408,342 تقييمًا. أما النصف الآخر فهو مجموعة اختبار تضم 1,408,789 تقييمًا، وتستخدم لجنة التحكيم الأداء عليها لتحديد الفائزين المحتملين بالجوائز. لا يعرف سوى الحكام أي التقييمات موجودة في مجموعة الاختبار وأيها في مجموعة الاختبار - يهدف هذا الترتيب إلى جعل عملية التحسين التدريجي على مجموعة الاختبار صعبة. يتم تقييم التنبؤات المقدمة مقابل الدرجات الحقيقية في شكل جذر متوسط ​​مربع الخطأ (RMSE)، والهدف هو تقليل هذا الخطأ قدر الإمكان. تجدر الإشارة إلى أنه على الرغم من أن الدرجات الفعلية هي أعداد صحيحة في النطاق من 1 إلى 5، إلا أن التنبؤات المقدمة ليست بالضرورة كذلك. حددت نتفليكس أيضًا مجموعة فرعية من 1,408,395 تقييمًا ضمن مجموعة بيانات التدريب . وقد تم اختيار مجموعات بيانات الاختبار والتقييم والاختبار القصيرة لتتمتع بخصائص إحصائية متشابهة .

باختصار، تبدو البيانات المستخدمة في جائزة نتفليكس كما يلي:

• مجموعة التدريب (99,072,112 تقييمًا لا تشمل مجموعة الاختبار؛ 100,480,507 بما في ذلك مجموعة الاختبار)
  • مجموعة مجسات (1,408,395 تقييمًا)
• مجموعة التأهيل (2,817,131 تقييمًا) تتكون من:
  • مجموعة اختبار (1,408,789 تقييمًا)، تُستخدم لتحديد الفائزين
  • مجموعة أسئلة الاختبار (1,408,342 تقييمًا)، تُستخدم لحساب نتائج لوحة المتصدرين.

لكل فيلم، يُقدّم عنوانه وسنة إصداره في مجموعة بيانات منفصلة. ولا تُقدّم أي معلومات عن المستخدمين. ولحماية خصوصية العملاء، "تمّ التلاعب ببعض بيانات التقييم لبعض العملاء في مجموعتي التدريب والتأهيل عمدًا بواحدة أو أكثر من الطرق التالية: حذف التقييمات؛ إدخال تقييمات وتواريخ بديلة؛ وتعديل تواريخ التقييم." ^{[ 2 ]}

تم تصميم مجموعة التدريب بحيث قيّم المستخدم العادي أكثر من 200 فيلم، وقُيّم الفيلم العادي من قِبل أكثر من 5000 مستخدم. إلا أن البيانات تتسم بتفاوت كبير، فبعض الأفلام في مجموعة التدريب لم تحصل إلا على 3 تقييمات فقط، ^{[ 4 ]} بينما قيّم أحد المستخدمين أكثر من 17000 فيلم. ^{[ 5 ]}

أثير جدلٌ حول اختيار جذر متوسط ​​مربع الخطأ (RMSE) كمقياسٍ أساسي. فقد زُعم أن حتى تحسناً طفيفاً بنسبة 1% في قيمة RMSE يُحدث فرقاً كبيراً في ترتيب أفضل عشرة أفلام مُوصى بها للمستخدم. ^{[ 6 ]}

كانت الجوائز تُمنح بناءً على التحسن في الأداء مقارنةً بخوارزمية نتفليكس الخاصة، المسماة Cinematch ، أو على نتيجة العام السابق إذا تجاوز الفريق عتبة معينة. تُنتج خوارزمية بسيطة تتنبأ بمتوسط ​​درجات كل فيلم في مجموعة الاختبارات من بيانات التدريب، جذر متوسط ​​مربع الخطأ (RMSE) بقيمة 1.0540. تستخدم Cinematch " نماذج إحصائية خطية مباشرة مع الكثير من معالجة البيانات". ^{[ 7 ]} وقد استقر أداء Cinematch بحلول عام 2006. ^{[ 8 ]}

باستخدام بيانات التدريب فقط، حقق برنامج Cinematch معدل خطأ متوسط ​​تربيعي (RMSE) قدره 0.9514 على بيانات الاختبار، أي بتحسن يقارب 10% مقارنةً بالخوارزمية التقليدية. وحقق Cinematch أداءً مماثلاً على مجموعة الاختبار، حيث بلغ 0.9525. وللفوز بالجائزة الكبرى البالغة مليون دولار، كان على الفريق المشارك تحسين هذا الأداء بنسبة 10% إضافية، ليصل إلى 0.8572 على مجموعة الاختبار. ^{[ 2 ]} ويقابل هذا التحسن على مجموعة الاختبار معدل خطأ متوسط ​​تربيعي (RMSE) قدره 0.8563.

طالما لم يفز أي فريق بالجائزة الكبرى، كانت تُمنح جائزة تقديرية قدرها 50,000 دولار أمريكي سنويًا لأفضل نتيجة حتى ذلك الحين. مع ذلك، للفوز بهذه الجائزة، كان على الخوارزمية تحسين متوسط ​​الجذر التربيعي للخطأ (RMSE) في مجموعة الأسئلة بنسبة 1% على الأقل مقارنةً بالفائز السابق بالجائزة التقديرية (أو مقارنةً بـ Cinematch في السنة الأولى). في حال عدم نجاح أي محاولة، لم تُمنح الجائزة التقديرية لتلك السنة.

للفوز بجائزة مرحلية أو الجائزة الكبرى، كان على المشارك تقديم شفرة المصدر ووصف للخوارزمية إلى لجنة التحكيم في غضون أسبوع من تواصلها معه. بعد التحقق، كان على الفائز أيضًا منح ترخيص غير حصري لشركة نتفليكس. تنشر نتفليكس وصف النظام فقط، وليس شفرة المصدر. (للحفاظ على سرية الخوارزمية وشفرة المصدر، يمكن للفريق عدم المطالبة بالجائزة). كما احتفظت لجنة التحكيم بتوقعاتها سرية عن باقي المشاركين. يمكن للفريق إرسال أي عدد من المحاولات لتوقع الدرجات. في البداية، كانت المشاركات محدودة بمرة واحدة أسبوعيًا، ولكن سرعان ما تم تعديلها إلى مرة واحدة يوميًا. تُحتسب أفضل مشاركة للفريق حتى الآن كمشاركته الحالية.

بمجرد أن ينجح أحد الفرق في تحسين متوسط ​​الجذر التربيعي للخطأ بنسبة 10% أو أكثر، تُصدر لجنة التحكيم دعوة أخيرة ، تُمنح فيها جميع الفرق 30 يومًا لإرسال مشاركاتها. عندها فقط، يُطلب من الفريق صاحب أفضل مشاركة تقديم وصف الخوارزمية، وشفرة المصدر، ورخصة غير حصرية، وبعد التحقق بنجاح، يُعلن فوزه بالجائزة الكبرى.

كانت المسابقة ستستمر حتى إعلان الفائز بالجائزة الكبرى. ولو لم يفز أحد بالجائزة الكبرى، لكانت المسابقة ستستمر لمدة خمس سنوات على الأقل (حتى 2 أكتوبر 2011). بعد ذلك التاريخ، كان من الممكن إنهاء المسابقة في أي وقت وفقًا لتقدير نتفليكس وحدها.

بدأت المسابقة في 2 أكتوبر 2006. وبحلول 8 أكتوبر، كان فريق يُدعى WXYZConsulting قد تفوق بالفعل على نتائج Cinematch. ^{[ 9 ]}

بحلول 15 أكتوبر، تفوقت ثلاثة فرق على فريق سينيمش، أحدها بفارق 1.06%، وهو ما يكفي للتأهل لجائزة التقدم السنوية. ^{[ 10 ]} وبحلول يونيو 2007، سجل أكثر من 20,000 فريق للمشاركة في المسابقة من أكثر من 150 دولة. وقدم 2,000 فريق أكثر من 13,000 مجموعة توقعات. ^{[ 3 ]}

خلال السنة الأولى من المسابقة، تبادل عدد قليل من المتصدرين المركز الأول. وكان أبرزهم: ^{[ 11 ]}

• شركة WXYZConsulting، وهي فريق مكون من وي شو ويي تشانغ. (كان الفريق من أبرز المرشحين خلال شهري نوفمبر وديسمبر 2006).
• ML@UToronto A، وهو فريق من جامعة تورنتو بقيادة البروفيسور جيفري هينتون . (كان من أبرز المرشحين خلال أجزاء من أكتوبر إلى ديسمبر 2006).
• فريق "الجاذبية"، وهو فريق مكون من أربعة علماء من جامعة بودابست للتكنولوجيا (كان من أبرز المرشحين خلال الفترة من يناير إلى مايو 2007).
• بيلكور، وهي مجموعة من العلماء من مختبرات AT&T . (متصدرة منذ مايو 2007).
• فريق "دينوسور بلانيت"، وهو فريق مكون من ثلاثة طلاب جامعيين من جامعة برينستون . (كان الفريق متصدراً في 3 سبتمبر 2007 لمدة ساعة واحدة قبل أن يستعيد فريق "بيلكور" الصدارة).

كانت الخوارزميات التي استخدمتها الفرق الرائدة عادةً عبارة عن مجموعة من تحليل القيم المفردة ، وخوارزمية أقرب جار ، والشبكات العصبية ، وما إلى ذلك. ^{[ 12 ] [ 13 ]}

في 12 أغسطس/آب 2007، اجتمع العديد من المتسابقين في بطولة وورشة عمل KDD لعام 2007، التي أقيمت في سان خوسيه، كاليفورنيا . ^{[ 14 ]} وخلال الورشة، قدمت الفرق الأربعة المتصدرة آنذاك تقنياتها. فاز فريق أبحاث IBM - يان ليو، وساهارون روسيت، وكلاوديا بيرليش، وزينجين كو - بالمركز الثالث في المهمة الأولى والمركز الأول في المهمة الثانية.

خلال السنة الثانية من المسابقة، لم تصل سوى ثلاثة فرق إلى المركز الأول:

• بيلكور، وهي مجموعة من العلماء من مختبرات AT&T (المرشح الأوفر حظاً خلال الفترة من مايو 2007 إلى سبتمبر 2008).
• فريق BigChaos، وهو فريق من العلماء النمساويين من شركة Comendo Research & Consulting (الفريق الوحيد المتصدر منذ أكتوبر 2008).
• فريق BellKor في BigChaos، وهو فريق مشترك من الفريقين الفرديين الرائدين (المتصدر منذ سبتمبر 2008)

في ختام المسابقة، أعلنت نتفليكس عن جزء ثانٍ مُخطط له. سيُعرض على المتسابقين بيانات ديموغرافية وسلوكية، تشمل أعمار المستأجرين وجنسهم ومناطق سكنهم وتقييمات أنواع الأفلام والأفلام التي اختاروها سابقًا، ولكن دون ذكر التقييمات. وتتمثل المهمة في التنبؤ بالأفلام التي سيُعجب بها هؤلاء الأشخاص. لن يكون هناك هدف محدد للدقة للفوز بالجائزة. بدلًا من ذلك، سيتم منح 500,000 دولار للفريق المتصدر بعد 6 أشهر، و500,000 دولار أخرى للفريق المتصدر بعد 18 شهرًا. ^{[ 30 ]}

في 12 مارس 2010، أعلنت نتفليكس أنها لن تُقيم مسابقة الجائزة الثانية التي أعلنت عنها في أغسطس السابق. جاء هذا القرار استجابةً لدعوى قضائية ومخاوف تتعلق بالخصوصية من لجنة التجارة الفيدرالية. ^{[ 34 ]} وقد أعرب بعض المشاركين، مثل فولينسكي، عن خيبة أملهم إزاء إلغاء المسابقة. ^{[ 13 ]}

• التعهيد الجماعي
• الابتكار المفتوح
• مسابقة الابتكار
• مسابقة جوائز تحفيزية
• كاغل
• قائمة جوائز علوم الحاسوب

• الموقع الرسمي
• جائزة نتفليكس على موقع RecSysWiki
• كيت غرين (2006-10-06). "تحدي المليون دولار مع نتفليكس" . مجلة التكنولوجيا .
• بيل، ر.؛ بينيت، ج.؛ كورين، ي.؛ فولينسكي، س. (مايو 2009). "جائزة البرمجة المليونية". مجلة IEEE Spectrum . 46 (5): 28-33 . doi : 10.1109/MSPEC.2009.4907383 . ISSN 0018-9235 . 
• إزالة الهوية القوية لمجموعات البيانات الكبيرة المتفرقة بواسطة أرفيند نارايانان وفيتالي شماتيكوف
• روبرت م. بيل، يهودا كورين، وكريس فولينسكي (2010)، "معًا الآن: منظور حول جائزة نتفليكس"، تشانس ، 23 (1): 24، doi : 10.1007/s00144-010-0005-2
• أندريه فويرفيرجر؛ يو هي وشاشي خاتري (2012)، "الأهمية الإحصائية لتحدي نتفليكس"، العلوم الإحصائية ، 27 (2): 202-231 ، arXiv : 1207.5649 ، doi : 10.1214/11-STS368 ، S2CID 43556443 
• جائزة نتفليكس المليون دولار - لم تستخدم نتفليكس خوارزميتها التي تبلغ قيمتها مليون دولار بسبب تكاليف الهندسة (2009) - مؤرشف في 30 يناير 2019 على موقع Wayback Machine