تقطير المعرفة

بافتراض وجود نموذج كبير كدالة للمتغير المتجه${\displaystyle \mathbf {x} }$عادةً ما تكون الطبقة الأخيرة من شبكات التصنيف، التي تم تدريبها لمهمة تصنيف محددة ، عبارة عن دالة softmax بالشكل التالي:

${\displaystyle y_{i}(\mathbf {x} |t)={\frac {e^{\frac {z_{i}(\mathbf {x} )}{t}}}{\sum _{j}e^{\frac {z_{j}(\mathbf {x} )}{t}}}}}$

أين${\displaystyle t}$تمثل درجة الحرارة ، وهي مُعامل يتم ضبطه على 1 في دالة softmax القياسية. يقوم مُعامل softmax بتحويل قيم اللوجيت .${\displaystyle z_{i}(\mathbf {x} )}$بالنسبة للاحتمالات الزائفة: تؤدي قيم درجات الحرارة الأعلى إلى توزيعات أكثر مرونة للاحتمالات الزائفة بين فئات المخرجات. تتكون عملية تقطير المعرفة من تدريب شبكة أصغر، تُسمى النموذج المُقطّر ، على مجموعة بيانات تُسمى مجموعة النقل ، والتي قد تتوافق مع مجموعة التدريب الأصلية أو تتكون من بيانات جديدة، وربما غير مُصنّفة. عادةً ما تُستخدم دالة خسارة الإنتروبيا المتقاطعة ، والتي تُحسب بين مخرجات النموذج المُقطّر${\displaystyle \mathbf {y} (\mathbf {x} |t)}$ومخرجات النموذج الكبير${\displaystyle {\hat {\mathbf {y} }}(\mathbf {x} |t)}$على نفس السجل (أو متوسط ​​المخرجات الفردية، إذا كان النموذج الكبير عبارة عن مجموعة)، باستخدام قيمة عالية لدرجة حرارة softmax${\displaystyle t}$لكلا النموذجين: ^{[ 2 ]}

${\displaystyle E(\mathbf {x} |t)=-\sum _{i}{\hat {y}}_{i}(\mathbf {x} |t)\log y_{i}(\mathbf {x} |t).}$

في هذا السياق، تؤدي درجة الحرارة المرتفعة إلى زيادة إنتروبيا المخرجات، وبالتالي توفير المزيد من المعلومات للتعلم للنموذج المُستخلص مقارنةً بالأهداف الصلبة، وفي الوقت نفسه تقليل تباين التدرج بين السجلات المختلفة، مما يسمح بمعدل تعلم أعلى . ^{[ 2 ]}

إذا كانت البيانات الحقيقية متوفرة لمجموعة النقل، فيمكن تعزيز العملية بإضافة الانتروبيا المتقاطعة بين المخرجات إلى الخسارة${\displaystyle y_{i}(\mathbf {x} |1)}$من النموذج المُقطّر المحسوب باستخدام${\displaystyle t=1}$والعلامة التجارية المعروفة${\displaystyle {\bar {y}}_{i}}$

${\displaystyle E(\mathbf {x} |t)=-t^{2}\sum _{i}{\hat {y}}_{i}(\mathbf {x} |t)\log y_{i}(\mathbf {x} |t)-\sum _{i}{\bar {y}}_{i}\log y_{i}(\mathbf {x} |1)}$

حيث يتم ترجيح عنصر الخسارة بالنسبة للنموذج الكبير بمعامل قدره${\displaystyle t^{2}}$بما أن تدرج الفقد بالنسبة لأوزان النموذج يتناسب مع درجة الحرارة، فإنه يتناسب مع عامل${\displaystyle {\frac {1}{t^{2}}}}$[ ^{2 ]​}

بافتراض أن متوسط ​​اللوجيت يساوي صفرًا ، يمكن إثبات أن ضغط النموذج هو حالة خاصة من تقطير المعرفة. تدرج خسارة تقطير المعرفة${\displaystyle E}$فيما يتعلق باللوجيت للنموذج المقطر${\displaystyle z_{i}}$يُعطى بواسطة

$\begin{aligned}{\frac {\partial }{\partial z_{i}}}E&=-{\frac {\partial }{\partial z_{i}}}\sum _{j}{\hat {y}}_{j}\log y_{j}\\&=-{\frac {\partial }{\partial z_{i}}}{\hat {y}}_{i}\log y_{i}+\left(-{\frac {\partial }{\partial z_{i}}}\sum _{k\neq i}{\hat {y}}_{k}\log y_{k}\right)\\&=-{\hat {y}}_{i}{\frac {1}{y_{i}}}{\frac {\partial }{\partial z_{i}}}y_{i}+\sum _{k\neq i}\left(-{\hat {y}}_{k}\cdot {\frac {1}{y_{k}}}\cdot e^{\frac {z_{k}}{t}}\cdot \left(-{\frac {1}{\left(\sum _{j}e^{\frac {z_{j}}{t}}\right)^{2}}}\right)\cdot e^{\frac {z_{i}}{t}}\cdot {\frac {1}{t}}\right)\\&=-{\hat {y}}_{i}{\frac {1}{y_{i}}}{\frac {\partial }{\partial z_{i}}}{\frac {e^{\frac {z_{i}}{t}}}{\sum _{j}e^{\frac {z_{j}}{t}}}}+\sum _{k\neq i}\left({\hat {y}}_{k}\cdot {\frac {1}{y_{k}}}\cdot y_{k}\cdot y_{i}\cdot {\frac {1}{t}}\right)\\&=-{\hat {y}}_{i}{\frac {1}{y_{i}}}\left({\frac {{\frac {1}{t}}e^{\frac {z_{i}}{t}}\sum _{j}e^{\frac {z_{j}}{t}}-{\frac {1}{t}}\left(e^{\frac {z_{i}}{t}}\right)^{2}}{\left(\sum _{j}e^{\frac {z_{j}}{t}}\right)^{2}}}\right)+{\frac {y_{i}\sum _{k\neq i}{\hat {y}}_{k}}{t}}\\&=-{\hat {y}}_{i}{\frac {1}{y_{i}}}\left({\frac {y_{i}}{t}}-{\frac {y_{i}^{2}}{t}}\right)+{\frac {y_{i}(1-{\hat {y}}_{i})}{t}}\\&={\frac {1}{t}}\left(y_{i}-{\hat {y}}_{i}\right)\\&={\frac {1}{t}}\left({\frac {e^{\frac {z_{i}}{t}}}{\sum _{j}e^{\frac {z_{j}}{t}}}}-{\frac {e^{\frac {{\hat {z}}_{i}}{t}}}{\sum _{j}e^{\frac {{\hat {z}}_{j}}{t}}}}\right)\\\end{aligned}}}$

أين${\displaystyle {\hat {z}}_{i}}$هي اللوغاريتمات للنموذج الكبير. بالنسبة للقيم الكبيرة لـ${\displaystyle t}$يمكن تقريب ذلك على النحو التالي

${\displaystyle {\frac {1}{t}}\left({\frac {1+{\frac {z_{i}}{t}}}{N+\sum _{j}{\frac {z_{j}}{t}}}}-{\frac {1+{\frac {{\hat {z}}_{i}}{t}}}{N+\sum _{j}{\frac {{\hat {z}}_{j}}{t}}}}\right)}$

وفي ظل فرضية المتوسط ​​الصفري${\displaystyle \sum _{j}z_{j}=\sum _{j}{\hat {z}}_{j}=0}$يصبح${\displaystyle {\frac {z_{i}-{\hat {z}}_{i}}{NT^{2}}}}$، وهو مشتق من${\displaystyle {\frac {1}{2}}\left(z_{i}-{\hat {z}}_{i}\right)^{2}}$أي أن الخسارة تعادل مطابقة اللوغاريتمات للنموذجين، كما هو الحال في ضغط النموذج. ^{[ 2 ]}

خوارزمية تلف الدماغ الأمثل (OBD) هي كما يلي: ^{[ 8 ]}

استمر حتى الوصول إلى مستوى التباعد أو الأداء المطلوب:

قم بتدريب الشبكة (باستخدام طرق مثل الانتشار العكسي) حتى يتم الحصول على حل معقول

احسب مدى أهمية كل معلمة

احذف بعض المعلمات الأقل بروزًا

حذف مُعامل يعني تثبيت قيمته على الصفر. "أهمية" المُعامل${\displaystyle \theta }$يُعرَّف بأنه${\displaystyle {\frac {1}{2}}(\partial _{\theta }^{2}L)\theta ^{2}}$، أين${\displaystyle L}$هي دالة الخسارة. المشتقة الثانية${\displaystyle \partial _{\theta }^{2}L}$يمكن حسابها بواسطة الانتشار العكسي من الدرجة الثانية .

تتمثل فكرة تحقيق الضرر الدماغي الأمثل في تقريب دالة الخسارة في نطاق المعلمة المثلى${\displaystyle \theta ^{*}}$بواسطة توسيع تايلور :$${\displaystyle L(\theta )\approx L(\theta ^{*})+{\frac {1}{2}}\sum _{i}(\partial _{\theta _{i}}^{2}L(\theta ^{*}))(\theta _{i}-\theta _{i}^{*})^{2}}$$أين${\displaystyle \nabla L(\theta ^{*})\approx 0}$، منذ${\displaystyle \theta ^{*}}$الأمثل، والمشتقات المتقاطعة${\displaystyle \partial _{\theta _{i}}\partial _{\theta _{j}}L}$يتم تجاهلها لتوفير موارد الحوسبة. وبالتالي، فإن أهمية المعلمة تقارب الزيادة في الخسارة إذا تم حذف تلك المعلمة.