ألفا زيرو

هذه المقالة جزء من سلسلة حول
برمجة الشطرنج
تمثيل مجلس الإدارة 0x88 لوحات بت
وظائف التقييم الشبكات العصبية العميقة ( المحولات ) انتباه الشبكات العصبية القابلة للتحديث بكفاءة وظائف التقييم المصنوعة يدويًا طاولات مربعة الشكل التعلم التعزيزي انحدار التدرج العشوائي التعلم تحت الإشراف ضبط تيكسل التعلم غير الخاضع للإشراف
Graph and tree search algorithms Minimax Alpha-beta pruning Principal variation search Quiescence search Monte Carlo tree search
Chess computers Belle ChessMachine ChipTest Cray Blitz Deep Blue Deep Thought HiTech Hydra Mephisto Saitek
Chess engines AlphaZero Chess Tiger Crafty CuckooChess Deep Fritz Dragon by Komodo Chess Fairy-Max Fritz Fruit GNU Chess HIARCS Houdini Ikarus Junior KnightCap Komodo Leela Chess Zero MChess Pro Mittens MuZero Naum REBEL Rybka Shredder Sjeng SmarThink Stockfish Torch Turochamp Zappa
v t e

Part of a series on
Artificial intelligence
Major goals Artificial general intelligence Intelligent agent Recursive self-improvement Planning Computer vision General game playing Knowledge reasoning Natural language processing Robotics AI safety
Approaches Machine learning Symbolic Deep learning Bayesian networks Evolutionary algorithms Hybrid intelligent systems Systems integration
Applications Bioinformatics Deepfake Earth sciences Finance Generative AI Art Audio Music Government Healthcare Industry Mental health Machine translation Military Physics Projects
Philosophy Artificial consciousness Chinese room Friendly AI Control problem/Takeover Ethics Existential risk Turing test Regulation
History Timeline Progress AI winter AI boom
Glossary Glossary
v t e

AlphaZero هو برنامج كمبيوتر تم تطويره بواسطة شركة أبحاث الذكاء الاصطناعي DeepMind لإتقان ألعاب الشطرنج والشوجي والغو . تستخدم هذه الخوارزمية نهجًا مشابهًا لـ AlphaGo Zero .

في 5 ديسمبر 2017، أصدر فريق DeepMind ورقة بحثية أولية تقدم AlphaZero، ^[1] والتي ستلعب قريبًا ثلاث مباريات من خلال هزيمة محركات الشطرنج البطلة العالمية Stockfish و Elmo وإصدار الثلاثة أيام من AlphaGo Zero. في كل حالة، استخدمت وحدات معالجة الموتر المخصصة (TPUs) التي تم تحسين برامج Google لاستخدامها. ^[2] تم تدريب AlphaZero فقط من خلال اللعب الذاتي باستخدام 5000 وحدة معالجة موتر من الجيل الأول لتوليد الألعاب و 64 وحدة معالجة موتر من الجيل الثاني لتدريب الشبكات العصبية ، كل ذلك بالتوازي ، دون الوصول إلى كتب الافتتاح أو طاولات نهاية اللعبة . بعد أربع ساعات من التدريب، قدر DeepMind أن AlphaZero كان يلعب الشطرنج بتصنيف Elo أعلى من Stockfish 8؛ بعد تسع ساعات من التدريب، هزمت الخوارزمية Stockfish 8 في بطولة مكونة من 100 لعبة يتم التحكم فيها بالوقت (28 فوزًا و 0 خسارة و 72 تعادلًا). ^{[2] [3] [4]} تم تشغيل الخوارزمية المدربة على جهاز واحد مزود بأربع وحدات معالجة حرارية (TPU).

نُشرت ورقة DeepMind حول AlphaZero في مجلة Science في 7 ديسمبر 2018. ^[5] في حين لم يتم إصدار برنامج AlphaZero الفعلي للجمهور، ^[6] تم تنفيذ الخوارزمية الموضحة في الورقة في برنامج متاح للجمهور. في عام 2019، نشرت DeepMind ورقة جديدة تفصل MuZero ، وهي خوارزمية جديدة قادرة على تعميم عمل AlphaZero، ولعب كل من Atari وألعاب الطاولة دون معرفة قواعد أو تمثيلات اللعبة. ^[7]

AlphaZero (AZ) هو متغير أكثر عمومية لخوارزمية AlphaGo Zero (AGZ) ، وهو قادر على لعب الشوغي والشطرنج بالإضافة إلى لعبة Go . تتضمن الاختلافات بين AZ وAGZ ما يلي: ^[2]

• تحتوي AZ على قواعد مبرمجة مسبقًا لتعيين معلمات البحث الفائقة .
• تتم الآن تحديث الشبكة العصبية بشكل مستمر.
• لا يستخدم AZ التناظرات، على عكس AGZ.
• يمكن أن تنتهي لعبة الشطرنج أو الشوغي بالتعادل على عكس لعبة جو؛ لذلك، يأخذ AlphaZero في الاعتبار إمكانية انتهاء اللعبة بالتعادل.

عند مقارنة عمليات البحث الشجرية في مونت كارلو ، فإن AlphaZero يبحث فقط عن 80000 موضع في الثانية في الشطرنج و40000 في الشوغي، مقارنة بـ 70 مليونًا في Stockfish و35 مليونًا في Elmo. يعوض AlphaZero عن العدد الأقل من التقييمات باستخدام شبكته العصبية العميقة للتركيز بشكل أكثر انتقائية على الاختلاف الأكثر وعدًا. ^[2]

تم إنشاء AlphaZero وتدريبه من خلال اللعب ضد نفسه عدة مرات ببساطة، باستخدام 5000 وحدة معالجة حرارية من الجيل الأول لتوليد الألعاب و64 وحدة معالجة حرارية من الجيل الثاني لتدريب الشبكات العصبية . استغرق التدريب عدة أيام، بإجمالي حوالي 41 عامًا من وحدة المعالجة الحرارية. وبالتوازي، تمت مطابقة AlphaZero أثناء التدريب بشكل دوري مع معياره (Stockfish أو Elmo أو AlphaGo Zero) في ألعاب قصيرة مدتها ثانية واحدة لكل حركة لتحديد مدى تقدم التدريب. حكمت DeepMind أن أداء AlphaZero تجاوز المعيار بعد حوالي أربع ساعات من التدريب على Stockfish وساعتين على Elmo وثماني ساعات على AlphaGo Zero. ^[2]

في مباراة الشطرنج التي جمعت بين ألفا زيرو وستوكفيش 8 ( بطل العالم في TCEC 2016 )، تم منح كل برنامج دقيقة واحدة لكل نقلة. كان ألفا زيرو يرفع العلم الإنجليزي، بينما كان ستوكفيش يرفع العلم النرويجي. ^[8] تم تخصيص 64 خيطًا وحجم تجزئة 1 جيجابايت لستوكفيش، ^[2] وهو الإعداد الذي انتقده تورد رومستاد من ستوكفيش لاحقًا باعتباره دون المستوى الأمثل. ^{[9] [ملاحظة 1]} تم تدريب ألفا زيرو على الشطرنج لمدة إجمالية تسع ساعات قبل المباراة. أثناء المباراة، تم تشغيل ألفا زيرو على جهاز واحد بأربع وحدات معالجة حرارية خاصة بالتطبيق . في 100 مباراة من وضع البداية الطبيعي، فاز ألفا زيرو بـ 25 مباراة بصفته الأبيض، وفاز بـ 3 مباريات بصفته الأسود، وتعادل في 72 مباراة المتبقية. ^[10] في سلسلة من اثنتي عشرة مباراة من 100 مباراة (بقيود زمنية أو موارد غير محددة) ضد ستوكفيش بدءًا من أكثر 12 افتتاحية بشرية شعبية، فاز ألفا زيرو بـ 290 مباراة وتعادل 886 وخسر 24. ^[2]

تم تدريب AlphaZero على لعبة الشوغي لمدة ساعتين إجمالاً قبل البطولة. في 100 لعبة شوغي ضد Elmo (نسخة بطولة World Computer Shogi Championship 27 صيف 2017 مع بحث YaneuraOu 4.73)، فاز AlphaZero 90 مرة وخسر 8 مرات وتعادل مرتين. ^[10] كما هو الحال في ألعاب الشطرنج، حصل كل برنامج على دقيقة واحدة لكل حركة، وتم منح Elmo 64 خيطًا وحجم تجزئة 1 جيجابايت. ^[2]

بعد 34 ساعة من التعلم الذاتي للعبة Go وضد AlphaGo Zero، فاز AlphaZero بـ 60 مباراة وخسر 40. ^{[2] [10]}

صرحت شركة DeepMind في طبعتها الأولية، "إن لعبة الشطرنج تمثل قمة أبحاث الذكاء الاصطناعي على مدى عدة عقود. وتستند البرامج الحديثة إلى محركات قوية تبحث في ملايين المواضع، مستفيدة من الخبرة اليدوية في المجال والتكيفات المعقدة للمجال. AlphaZero هي خوارزمية تعلُّم تعزيزي عامة - تم ابتكارها في الأصل للعبة جو - والتي حققت نتائج متفوقة في غضون ساعات قليلة، حيث تبحث في مواضع أقل بألف مرة، دون معرفة المجال باستثناء القواعد." ^{[2] وصف} ديميس هاسابيس من شركة DeepMind ، وهو لاعب شطرنج بنفسه، أسلوب لعب AlphaZero بأنه "غريب": فهو يفوز أحيانًا من خلال تقديم تضحيات غير بديهية، مثل تقديم ملكة وأسقف لاستغلال ميزة موضعية. "إنه مثل الشطرنج من بُعد آخر." ^[11]

نظرًا لصعوبة فرض الفوز على خصم قوي في الشطرنج ، فإن النتيجة +28 –0 = 72 هي هامش كبير من النصر. ومع ذلك، قلل بعض الأساتذة الكبار، مثل هيكارو ناكامورا ومطور كومودو لاري كوفمان ، من أهمية فوز ألفا زيرو، بحجة أن المباراة كانت لتكون أقرب إذا كان للبرامج إمكانية الوصول إلى قاعدة بيانات افتتاحية (نظرًا لأن Stockfish تم تحسينه لهذا السيناريو). ^[12] وأشار رومستاد أيضًا إلى أن Stockfish غير مُحسَّن للحركات ذات الوقت الثابت وأن الإصدار المستخدم كان عمره عام واحد. ^{[9] [13]}

على نحو مماثل، زعم بعض مراقبي الشوغي أن حجم تجزئة إلمو كان منخفضًا للغاية، وأن إعدادات الاستقالة وإعدادات "EnteringKingRule" (راجع shogi § Entering King ) ربما كانت غير مناسبة، وأن إلمو أصبح بالفعل قديمًا مقارنة بالبرامج الأحدث. ^{[14] [15]}

وقد أشارت الصحف إلى أن تدريب الشطرنج استغرق أربع ساعات فقط: "تم إنجازه في وقت قصير لا يتعدى الوقت بين الإفطار والغداء". ^{[3] [16] ووصفت} مجلة Wired برنامج AlphaZero بأنه "أول بطل متعدد المهارات في ألعاب الطاولة باستخدام الذكاء الاصطناعي". ^[17] وأشارت خبيرة الذكاء الاصطناعي جوانا برايسون إلى أن "مهارة جوجل في الدعاية الجيدة" كانت تضعها في موقف قوي ضد المنافسين. "لا يتعلق الأمر فقط بتوظيف أفضل المبرمجين. بل إنه أمر سياسي للغاية أيضًا، لأنه يساعد في جعل جوجل قوية قدر الإمكان عند التفاوض مع الحكومات والهيئات التنظيمية التي تبحث في قطاع الذكاء الاصطناعي". ^[10]

أعرب كبار أساتذة الشطرنج من البشر بشكل عام عن حماسهم تجاه AlphaZero. شبه الأستاذ الكبير الدنماركي بيتر هاين نيلسن لعب AlphaZero بلعب نوع فضائي متفوق. ^[10] وصف الأستاذ الكبير النرويجي جون لودفيج هامر لعب AlphaZero بأنه "شطرنج هجومي مجنون" مع فهم عميق للمواقع. ^{[3] قال} البطل السابق جاري كاسباروف ، "إنه إنجاز رائع، حتى لو كان علينا أن نتوقعه بعد AlphaGo." ^{[12] [18]}

كان الأستاذ الكبير هيكارو ناكامورا أقل إعجابًا، حيث صرح: "لا أضع بالضرورة قدرًا كبيرًا من المصداقية في النتائج ببساطة لأن فهمي هو أن AlphaZero يستخدم في الأساس حاسوب Google العملاق وأن Stockfish لا يعمل على هذا الجهاز؛ كان Stockfish يعمل في الأساس على ما سيكون جهاز الكمبيوتر المحمول الخاص بي. إذا كنت تريد الحصول على مباراة قابلة للمقارنة، فيجب أن يكون Stockfish يعمل على حاسوب عملاق أيضًا." ^[9]

كما لم يعجب وولف مورو، لاعب الشطرنج الأمريكي الأول، بهذا الأمر، حيث زعم أن ألفا زيرو ربما لن يصل إلى الدور نصف النهائي في مسابقة عادلة مثل TCEC حيث تلعب جميع المحركات على أجهزة متساوية. وذكر مورو أيضًا أنه على الرغم من أنه قد لا يكون قادرًا على هزيمة ألفا زيرو إذا لعب ألفا زيرو فتحات صعبة مثل دفاع بتروف ، فلن يتمكن ألفا زيرو من هزيمته في لعبة شطرنج بالمراسلة أيضًا. ^[19]

لاحظ موتوهيرو إيزوزاكي، مؤلف كتاب YaneuraOu، أنه على الرغم من تفوق AlphaZero بشكل شامل على Elmo، إلا أن تصنيف AlphaZero في لعبة الشوغي توقف عن النمو عند نقطة أعلى من Elmo بنحو 100 إلى 200. هذه الفجوة ليست عالية، ويجب أن يكون Elmo وبرامج الشوغي الأخرى قادرة على اللحاق به في غضون عام إلى عامين. ^[20]

تناولت شركة DeepMind العديد من الانتقادات في نسختها النهائية من الورقة البحثية، والتي نُشرت في ديسمبر 2018 في مجلة Science . ^[5] وأوضحوا أيضًا أن AlphaZero لم يكن يعمل على حاسوب فائق؛ بل تم تدريبه باستخدام 5000 وحدة معالجة تنسور (TPUs)، ولكنه كان يعمل فقط على أربع وحدات معالجة تنسور ووحدة معالجة مركزية مكونة من 44 نواة في مبارياته. ^[21]

في النتائج النهائية، تم تشغيل Stockfish 9 dev في ظل نفس الظروف كما في TCEC superfinal: 44 نواة وحدة المعالجة المركزية، وقواعد جداول نهاية اللعبة Syzygy ، وحجم تجزئة 32 جيجابايت. بدلاً من التحكم في الوقت الثابت لنقلة واحدة في الدقيقة، تم منح كلا المحركين 3 ساعات بالإضافة إلى 15 ثانية لكل نقلة لإنهاء اللعبة. تم تشغيل AlphaZero على جهاز مزود بأربع وحدات معالجة حرارية بالإضافة إلى 44 نواة وحدة معالجة مركزية. في مباراة مكونة من 1000 لعبة، فاز AlphaZero بنتيجة 155 فوزًا و6 خسائر و839 تعادلًا. لعبت DeepMind أيضًا سلسلة من الألعاب باستخدام مواضع افتتاح TCEC؛ فاز AlphaZero أيضًا بشكل مقنع. احتاج Stockfish إلى احتمالات زمنية 10 إلى 1 لمطابقة AlphaZero. ^[22]

على غرار Stockfish، عمل Elmo في ظل نفس الظروف التي كانت موجودة في بطولة CSA لعام 2017. كانت نسخة Elmo المستخدمة هي WCSC27 بالاشتراك مع YaneuraOu 2017 Early KPPT 4.79 64AVX2 TOURNAMENT. عمل Elmo على نفس الأجهزة مثل Stockfish: 44 نواة وحدة معالجة مركزية وحجم تجزئة 32 جيجابايت. فاز AlphaZero بنسبة 98.2% من الألعاب عند لعب sente (أي الحصول على الحركة الأولى) و91.2% بشكل عام.

أعجب كبار الأساتذة البشر بشكل عام بألعاب AlphaZero ضد Stockfish. ^[22] قال بطل العالم السابق جاري كاسباروف إنه كان من دواعي سروري مشاهدة AlphaZero يلعب، خاصة وأن أسلوبه كان مفتوحًا وديناميكيًا مثل أسلوبه. ^{[23] [24]}

في مجتمع الشطرنج الحاسوبي، وصفه مطور كومودو مارك ليفلر بأنه "إنجاز مذهل للغاية"، لكنه أشار أيضًا إلى أن البيانات قديمة، حيث اكتسب Stockfish الكثير من القوة منذ يناير 2018 (عندما تم إصدار Stockfish 8). قال زميله المطور لاري كوفمان إن AlphaZero من المحتمل أن يخسر مباراة ضد أحدث إصدار من Stockfish، Stockfish 10، في ظل ظروف بطولة Top Chess Engine Championship (TCEC). زعم كوفمان أن الميزة الوحيدة للمحركات القائمة على الشبكة العصبية هي أنها تستخدم وحدة معالجة الرسومات، لذلك إذا لم يكن هناك أي اعتبار لاستهلاك الطاقة (على سبيل المثال في مسابقة الأجهزة المتساوية حيث كان لكلا المحركين إمكانية الوصول إلى نفس وحدة المعالجة المركزية ووحدة معالجة الرسومات) فإن أي شيء تحققه وحدة معالجة الرسومات يكون "مجانيًا". بناءً على ذلك، ذكر أن أقوى محرك من المرجح أن يكون هجينًا مع الشبكات العصبية والبحث القياسي ألفا-بيتا . ^[25]

ألهمت لعبة AlphaZero مجتمع الشطرنج الحاسوبي لتطوير لعبة Leela Chess Zero ، باستخدام نفس تقنيات AlphaZero. خاضت لعبة Leela العديد من البطولات ضد Stockfish، حيث أظهرت قوة مماثلة تقريبًا لقوة Stockfish، على الرغم من أن Stockfish انسحبت منذ ذلك الحين. ^[26]

في عام 2019، نشرت شركة DeepMind نظام MuZero ، وهو نظام موحد يلعب الشطرنج والشوجي والغو بشكل ممتاز، بالإضافة إلى الألعاب في بيئة التعلم Atari ، دون أن يتم برمجته مسبقًا بقواعدها. ^{[27] [28]}

• ويكي برمجة الشطرنج على AlphaZero
• قائمة تشغيل يوتيوب Chess.com لمباراة AlphaZero vs. Stockfish