ضغط النموذج

الموسوعة الحرة

ضغط النماذج هو أسلوب من أساليب التعلم الآلي لتقليل حجم النماذج المدربة. يمكن للنماذج الكبيرة تحقيق دقة عالية، ولكن غالبًا على حساب متطلبات موارد كبيرة. تهدف تقنيات الضغط إلى ضغط النماذج دون تقليل الأداء بشكل ملحوظ. تتطلب النماذج الأصغر مساحة تخزين أقل، وتستهلك ذاكرة وحسابًا أقل أثناء الاستدلال. [ 1 ]

تُمكّن النماذج المضغوطة من نشرها على الأجهزة ذات الموارد المحدودة مثل الهواتف الذكية ، والأنظمة المدمجة ، وأجهزة الحوسبة الطرفية ، وأجهزة الكمبيوتر الإلكترونية الاستهلاكية . كما يُعدّ الاستدلال الفعال ذا قيمة كبيرة للشركات الكبيرة التي تُقدّم استدلال النماذج الضخمة عبر واجهة برمجة التطبيقات (API)، مما يسمح لها بتقليل التكاليف الحسابية وتحسين أوقات الاستجابة للمستخدمين. [ 2 ]

لا ينبغي الخلط بين ضغط النموذج وتقطير المعرفة ، حيث يتم تدريب نموذج "طالب" أصغر لمحاكاة سلوك الإدخال والإخراج لنموذج "معلم" أكبر (بدلاً من استخدام معلمات "المعلم" المدربة أو أهداف تدريب "المعلم"). [ 3 ]

التقنيات

تُستخدم عدة تقنيات لضغط النموذج.

تشذيب

يؤدي التقليم إلى تقليل كثافة النموذج الكبير عن طريق ضبط بعض المعلمات على الصفر تمامًا. وهذا يقلل فعليًا من عدد المعلمات. وهذا يسمح باستخدام عمليات المصفوفات المتفرقة ، وهي أسرع من عمليات المصفوفات الكثيفة. [ 4 ]

يمكن أن تستند معايير التقليم إلى مقادير المعلمات، والنمط الإحصائي للتنشيطات العصبية ، وقيم هيسيان ، وما إلى ذلك. [ 5 ] [ 6 ]

التكميم

يقلل التكميم من الدقة العددية للأوزان والتنشيطات. على سبيل المثال، بدلاً من تخزين الأوزان كأعداد عشرية ذات 32 بت ، يمكن تمثيلها باستخدام أعداد صحيحة ذات 8 بت. تشغل المعلمات منخفضة الدقة مساحة أقل، وتتطلب قدرة حسابية أقل لإجراء العمليات الحسابية عليها. [ 7 ]

من الممكن أيضًا تحديد كمية بعض المعاملات بدقة أكبر من غيرها، فعلى سبيل المثال، يمكن أن تكون دقة معامل أقل أهمية 8 بت، بينما تكون دقة معامل آخر أكثر أهمية 16 بت. ويتطلب الاستدلال باستخدام هذه النماذج حسابات ذات دقة مختلطة . [ 8 ] [ 9 ]

يمكن استخدام النماذج الكمية أثناء التدريب (بدلاً من استخدامها بعد التدريب). تُطبّق مكتبة PyTorch تقنية الدقة المختلطة التلقائية (AMP)، التي تُجري عمليات التحويل التلقائي، وتوسيع نطاق التدرج، وتوسيع نطاق الخسارة. [ 10 ] [ 11 ]

تحليل العوامل منخفضة الرتبة

يمكن تقريب مصفوفات الأوزان بمصفوفات منخفضة الرتبة . لنفترضدبليو{\displaystyle W}لتكن مصفوفة وزن ذات شكلم×ن{\displaystyle m\times n}. التقريب ذو الرتبة المنخفضة هودبليو≈يوVتي{\displaystyle W\approx UV^{T}}، أينيو{\displaystyle U}وV{\displaystyle V}هي مصفوفات من الأشكالم×ك،ن×ك{\displaystyle m\times k,n\times k}. متىك{\displaystyle k}صغير، وهذا يقلل من عدد المعلمات اللازمة لتمثيلدبليو{\displaystyle W}تقريبًا، ويسرع عملية ضرب المصفوفات بواسطةدبليو{\displaystyle W}.

يمكن إيجاد تقريبات منخفضة الرتبة باستخدام تحليل القيم المفردة (SVD). يُعد اختيار رتبة كل مصفوفة وزن مُعاملًا فائقًا، ويتم تحسينه بشكل مشترك كمسألة تحسين مختلطة منفصلة-متصلة. [ 12 ] كما يمكن تقليص رتبة مصفوفات الوزن بعد التدريب، مع مراعاة تأثير دوال التنشيط مثل ReLU على الرتبة الضمنية لمصفوفات الوزن. [ 13 ]

تمرين

قد يتم فصل ضغط النموذج عن التدريب، أي يتم تدريب النموذج أولاً دون مراعاة كيفية ضغطه، ثم يتم ضغطه. ومع ذلك، يمكن أيضاً دمجه مع التدريب.

تعتمد طريقة "التدريب على نطاق واسع ثم الضغط" على تدريب نموذج كبير لعدد قليل من خطوات التدريب (أقل مما لو تم تدريبه حتى الوصول إلى التقارب)، ثم ضغط النموذج بشكل كبير. وقد وُجد أنه عند نفس ميزانية الحوسبة، تُنتج هذه الطريقة نموذجًا أفضل من النماذج الصغيرة المضغوطة بشكل طفيف. [ 14 ]

في الضغط العميق، [ 15 ] يتكون الضغط من ثلاث خطوات.

  • الحلقة الأولى (التقليم): تقليم جميع الأوزان الأقل من عتبة معينة، ثم ضبط الشبكة بدقة، ثم التقليم مرة أخرى، إلخ.
  • الحلقة الثانية (التكميم): تجميع الأوزان، ثم فرض مشاركة الأوزان بين جميع الأوزان في كل مجموعة، ثم ضبط الشبكة بدقة، ثم التجميع مرة أخرى، إلخ.
  • الخطوة الثالثة: استخدام ترميز هوفمان لضغط النموذج بدون فقدان البيانات.

ذكرت ورقة SqueezeNet أن الضغط العميق حقق نسبة ضغط تبلغ 35 على AlexNet، ونسبة تبلغ حوالي 10 على SqueezeNets. [ 16 ]

مراجع

  1. ↑ تشو، لوبينغ (2019). شرح البيانات الطبية الحيوية على نطاق واسع وتوليف تصنيفات الخبراء والتعلم الواعي بالأجهزة للتصوير الطبي والتدخل بمساعدة الحاسوب: ... ملاحظات في علوم الحاسوب (الكتاب 11851) . سبرينغر. ص  98-101.
  2. ↑ ديفيز، إي آر (2021). الأساليب المتقدمة والتعلم العميق في رؤية الحاسوب (رؤية الحاسوب والتعرف على الأنماط) . دار النشر الأكاديمية. ص 167. ISBN  978-0128221495.
  3. ↑ تشين، هسياو-هوا (2025). الأنظمة اللاسلكية والفضائية: المؤتمر الدولي الرابع عشر لجمعية هندسة الاتصالات، WiSATS 2024، هاربين، الصين، 23-25 ​​أغسطس 2024، وقائع المؤتمر، الجزء الثاني (ملاحظات المحاضرات ... وهندسة الاتصالات) . سبرينغر. ص 141. ISBN  3031862023.
  4. ↑ لوكوتش، ياكوب (2021). نمذجة الوسائط المتعددة: المؤتمر الدولي السابع والعشرون، MMM 2021، براغ، جمهورية التشيك، 22-24 يونيو 2021، وقائع المؤتمر، الجزء الأول (سلسلة محاضرات في علوم الحاسوب، الكتاب 12572) . سبرينغر. ص 668. ISBN  978-3030678326.
  5. ↑ ريد، ر. (سبتمبر 1993). "خوارزميات التقليم - دراسة استقصائية". معاملات IEEE في الشبكات العصبية . 4 (5): 740-747 . doi : 10.1109/72.248452 . PMID 18276504 . 
  6. ↑ بلالوك، ديفيس؛ غونزاليس أورتيز، خوسيه خافيير؛ فرانكل، جوناثان؛ غوتاغ، جون (2020-03-15). "ما هو وضع تقليم الشبكات العصبية؟" . وقائع مؤتمر التعلم الآلي والأنظمة . 2 : 129-146 .
  7. ↑ أهانغا، رضا (2023). تطور أدوات تحليل الأعمال لتحسين الأداء المالي . دار نشر آي جي آي غلوبال. ص 247. رقم ISBN  1668483866.
  8. ↑ عبد الفتاح، أحمد؛ أنزت، هارتويغ؛ بومان، إريك ج.؛ كارسون، إيرين؛ كوجان، تيري؛ دونغارا، جاك؛ غيتس، مارك؛ غروتزماخر، توماس؛ هايام، نيكولاس ج.؛ لي، شيري؛ ليندكويست، نيل؛ ليو، يانغ؛ لو، جينيفر؛ لوشيك، بيوتر؛ ناياك، براتيك؛ برانيش، سري؛ راجامانيكام، سيفا؛ ريبزيل، توبياس؛ سميث، باري؛ سويريدوفيتش، كاسيا؛ توماس، ستيفن؛ توموف، ستانيمير؛ تساي، ياوهونغ م.؛ يامازاكي، إيتشيتارو؛ أوريك ماير يانغ (2020). "دراسة استقصائية للطرق العددية التي تستخدم الحساب المختلط الدقة". arXiv : 2007.06674 [ cs.MS ].
  9. ↑ ميكيفيتشيوس، باوليوس؛ نارانج، شاران؛ ألبين، يوناه؛ دياموس، غريغوري؛ إلسن، إريك؛ غارسيا، ديفيد؛ غينسبيرغ، بوريس؛ هيوستن، مايكل؛ كوتشاييف، أوليكسي (15 فبراير 2018). "التدريب المختلط الدقة". arXiv : 1710.03740 [ cs.AI ].
  10. ↑ "الدقة المختلطة - دليل أداء التدريب في PyTorch" . residentmario.github.io . تم ​​الاطلاع عليه بتاريخ 10-09-2024 .
  11. ↑ "ما يجب أن يعرفه كل مستخدم عن التدريب المختلط الدقة في PyTorch" . PyTorch . تم الاطلاع عليه بتاريخ 10-09-2024 .
  12. ↑ إيدلباييف، ييرلان؛ كاريرا-بيربينان، ميغيل أ. (2020). "ضغط الشبكات العصبية منخفضة الرتبة: تعلم رتبة كل طبقة" . مؤتمر IEEE/CVF لعام 2020 حول رؤية الحاسوب والتعرف على الأنماط، CVPR 2020، سياتل، واشنطن، الولايات المتحدة الأمريكية، 13-19 يونيو 2020. مؤسسة رؤية الحاسوب / IEEE. الصفحات 8046-8056 . doi : 10.1109/CVPR42600.2020.00807 . ISBN  978-1-7281-7168-5.
  13. ↑ ديتمير، سورين؛ كينغ، إميلي جيه؛ ماس، بيتر (2020). "القيم المفردة لطبقات ReLU" . معاملات IEEE في الشبكات العصبية وأنظمة التعلم . المجلد 31. IEEE. الصفحات 3594-3605 . arXiv : 1812.02566 . doi : 10.1109/TNNLS.2019.2945113 .  
  14. ↑ لي، تشوهان؛ والاس، إريك؛ شين، شينغ؛ لين، كيفن؛ كويتزر، كورت؛ كلاين، دان؛ غونزاليس، جوي (21 نوفمبر 2020). "التدريب على نطاق واسع، ثم الضغط: إعادة النظر في حجم النموذج من أجل التدريب والاستدلال الفعالين لنماذج المحولات" . وقائع المؤتمر الدولي السابع والثلاثين للتعلم الآلي . PMLR: 5958–5968 .
  15. ↑ هان، سونغ؛ ماو، هويزي؛ دالي، ويليام جيه. (2016-02-15). "الضغط العميق: ضغط الشبكات العصبية العميقة باستخدام التقليم والتكميم المدرب وتشفير هوفمان". arXiv : 1510.00149 [ cs.CV ].
  16. ↑ إياندولا، فورست ن؛ هان، سونغ؛ موسكيويتش، ماثيو و؛ أشرف، خالد؛ دالي، ويليام ج؛ كويتزر، كورت (2016). "SqueezeNet: دقة بمستوى AlexNet مع عدد أقل من المعلمات بمقدار 50 مرة وحجم نموذج أقل من 0.5 ميجابايت". arXiv : 1602.07360 [ cs.CV ].
  • أوراق بحثية
    • لي، تشو؛ لي، هينغي؛ مينغ، لين (12 مارس 2023). "ضغط النموذج للشبكات العصبية العميقة: دراسة استقصائية" . مجلة الحوسبة . 12 (3). MDPI AG: 60. doi : 10.3390/computers12030060 . ISSN 2073-431X . 
    • دينغ، باي لي؛ لي، غوتشي؛ هان، سونغ؛ شي، لوبينغ؛ شي، يوان (20 مارس 2020). "ضغط النموذج وتسريع الأجهزة للشبكات العصبية: دراسة شاملة". وقائع معهد مهندسي الكهرباء والإلكترونيات . 108 (4): 485-532 . doi : 10.1109/JPROC.2020.2976475 .
    • تشنغ، يو؛ وانغ، دو؛ تشو، بان؛ تشانغ، تاو (23 أكتوبر 2017). "دراسة استقصائية لضغط النماذج وتسريعها للشبكات العصبية العميقة". arXiv : 1710.09282 [ cs.LG ].
    • تشودري، تيجلال؛ ميشرا، فيبول؛ جوسوامي، أنوراغ؛ سارانجاباني، جاغاناثان (8 فبراير 2020). "دراسة شاملة حول ضغط النماذج وتسريعها". مجلة مراجعة الذكاء الاصطناعي . 53 (7). سبرينغر ساينس آند بيزنس ميديا ​​ذ.م.م: 5113-5155 . doi : 10.1007/s10462-020-09816-7 . ISSN 0269-2821 .