سرعة فائقة

DeepSpeed ​​هي مكتبة تحسين مفتوحة المصدر للتدريب الموزع والاستدلال لنماذج التعلم العميق باستخدام PyTorch . ^{[ 1 ]}

صُممت هذه المكتبة لتقليل استهلاك الطاقة الحاسوبية والذاكرة ، ولتدريب نماذج موزعة ضخمة بتوازي أفضل على أجهزة الحاسوب الحالية . ^{[ 2 ] [ 3 ]} تم تحسين DeepSpeed ​​للتدريب بزمن استجابة منخفض وإنتاجية عالية. وهي تتضمن مُحسِّن التكرار الصفري (ZeRO) لتدريب النماذج التي تحتوي على تريليون مُعامل أو أكثر. ^{[ 4 ]} تشمل الميزات التدريب بدقة مختلطة، والتدريب على وحدة معالجة رسومية واحدة، ووحدات معالجة رسومية متعددة، وعُقد متعددة، بالإضافة إلى توازي النماذج المُخصص. شفرة مصدر DeepSpeed ​​مرخصة بموجب رخصة Apache ومتاحة على GitHub . ^{[ 5 ]}

وادعى الفريق تحقيق تحسن في الإنتاجية يصل إلى 6.2 ضعف، وتقارب أسرع بمقدار 2.8 ضعف، وتقليل الاتصالات بمقدار 4.6 ضعف. ^{[ 6 ]}

• مقارنة برامج التعلم العميق
• التعلم العميق
• التعلم الآلي
• TensorFlow

• راجبهانداري، ساميام؛ راسلي، جيف. رواسي، أولاتونجي؛ هو، يوكسيونغ (2019). “ZeRO: تحسين الذاكرة نحو تدريب تريليون نموذج من المعلمات”. أرخايف : 1910.02054 [ cs.LG ].

• الذكاء الاصطناعي على نطاق واسع - أبحاث مايكروسوفت
• جيت هاب - مايكروسوفت/ديب سبيد
• ZeRO و DeepSpeed: تحسينات جديدة للنظام تُمكّن من تدريب نماذج بأكثر من 100 مليار مُعامل - أبحاث مايكروسوفت