التطبيع (التعلم الآلي)

${\displaystyle \gamma }$و${\displaystyle \beta }$يُتيح ذلك للشبكة تعلّم كيفية التراجع عن عملية التطبيع، إذا كان ذلك مفيدًا. ^{[ 3 ]} يمكن تفسير BatchNorm على أنه إزالة التحويلات الخطية البحتة، بحيث تركز طبقاته فقط على نمذجة الجوانب غير الخطية للبيانات، وهو ما قد يكون مفيدًا، حيث يمكن دائمًا إضافة طبقة تحويل خطي إلى الشبكة العصبية. ^{[ 4 ] [ 3 ]}

يُزعم في المنشور الأصلي أن تقنية BatchNorm تعمل عن طريق تقليل انزياح التغاير الداخلي، على الرغم من أن هذا الزعم له مؤيدون ^{[ 5 ] [ 6 ]} ومعارضون ^{[ 7 ] [ 8 ] .}

أوصت الورقة البحثية الأصلية ^{[ 2 ]} باستخدام BatchNorms فقط بعد التحويل الخطي، وليس بعد التنشيط غير الخطي. أي،${\displaystyle \phi (\mathrm {BN} (Wx+b))}$، لا${\displaystyle \mathrm {BN} (\phi (Wx+b))}$. كذلك، التحيز${\displaystyle b}$لا يهم، لأنه سيتم إلغاؤه عن طريق طرح المتوسط ​​اللاحق، لذا فهو على الشكل التالي${\displaystyle \mathrm {BN} (Wx)}$أي أنه إذا سبقت عملية BatchNorm عملية تحويل خطي، فسيتم تعيين حد الانحياز في ذلك التحويل الخطي إلى الصفر. ^{[ 2 ]}

بالنسبة للشبكات العصبية الالتفافية (CNNs)، يجب أن يحافظ BatchNorm على ثبات هذه النماذج عند تغيير موضعها، أي أنه يجب أن يعامل جميع مخرجات النواة نفسها كما لو كانت نقاط بيانات مختلفة ضمن دفعة واحدة. ^{[ 2 ]} يُطلق على هذا أحيانًا اسم Spatial BatchNorm، أو BatchNorm2D، أو per-channel BatchNorm. ^{[ 9 ] [ 10 ]}

على وجه التحديد، لنفترض أن لدينا طبقة التفافية ثنائية الأبعاد معرفة على النحو التالي:

$${\displaystyle x_{h,w,c}^{(l)}=\sum _{h',w',c'}K_{h'-h,w'-w,c,c'}^{(l)}x_{h',w',c'}^{(l-1)}+b_{c}^{(l)}}$$

أين:

• ${\displaystyle x_{h,w,c}^{(l)}}$تنشيط العصبون في الموضع${\displaystyle (h,w)}$في${\displaystyle c}$القناة رقم - من${\displaystyle l}$الطبقة رقم -th.
• ${\displaystyle K_{\Delta h,\Delta w,c,c'}^{(l)}}$هو موتر النواة. كل قناة${\displaystyle c}$يتوافق مع النواة${\displaystyle K_{h'-h,w'-w,c,c'}^{(l)}}$، مع المؤشرات${\displaystyle \Delta h,\Delta w,c'}$.
• ${\displaystyle b_{c}^{(l)}}$هو مصطلح التحيز لـ${\displaystyle c}$القناة رقم - من${\displaystyle l}$الطبقة رقم -th.

للحفاظ على ثبات التحويل، يتعامل BatchNorm مع جميع المخرجات من نفس النواة في نفس الدفعة كبيانات إضافية في الدفعة. أي أنه يتم تطبيقه مرة واحدة لكل نواة.${\displaystyle c}$(بمعنى آخر، مرة واحدة لكل قناة)${\displaystyle c}$), ليس لكل عملية تفعيل${\displaystyle x_{h,w,c}^{(l+1)}}$:

$${\displaystyle {\begin{aligned}\mu _{c}^{(l)}&={\frac {1}{BHW}}\sum _{b=1}^{B}\sum _{h=1}^{H}\sum _{w=1}^{W}x_{(b),h,w,c}^{(l)}\\(\sigma _{c}^{(l)})^{2}&={\frac {1}{BHW}}\sum _{b=1}^{B}\sum _{h=1}^{H}\sum _{w=1}^{W}(x_{(b),h,w,c}^{(l)}-\mu _{c}^{(l)})^{2}\end{aligned}}}$$

أين${\displaystyle B}$حجم الدفعة،${\displaystyle H}$يمثل ارتفاع خريطة المعالم، و${\displaystyle W}$يمثل عرض خريطة المعالم.

أي، على الرغم من وجود فقط${\displaystyle B}$جميع نقاط البيانات في دفعة واحدة${\displaystyle BHW}$تُعامل مخرجات النواة في هذه الدفعة بالتساوي. ^{[ 2 ]}

بعد ذلك، يتم إجراء التطبيع والتحويل الخطي لكل نواة على حدة:

$${\displaystyle {\begin{aligned}{\hat {x}}_{(b),h,w,c}^{(l)}&={\frac {x_{(b),h,w,c}^{(l)}-\mu _{c}^{(l)}}{\sqrt {(\sigma _{c}^{(l)})^{2}+\epsilon }}}\\y_{(b),h,w,c}^{(l)}&=\gamma _{c}{\hat {x}}_{(b),h,w,c}^{(l)}+\beta _{c}\end{aligned}}}$$

تنطبق اعتبارات مماثلة على BatchNorm للالتفافات متعددة الأبعاد.

فيما يلي تطبيق بايثون لـ BatchNorm للالتفافات ثنائية الأبعاد:

استيراد numpy كـ npدالة batchnorm_cnn ( x , gamma , beta , epsilon = 1e-9 ): # حساب المتوسط ​​والتباين لكل قناة. mean = np . mean ( x , axis = ( 0 , 1 , 2 ), keepdims = True ) var = np . var ( x , axis = ( 0 , 1 , 2 ), keepdims = True )# تطبيع موتر الإدخال. x_hat = ( x - mean ) / np . sqrt ( var + epsilon )# قم بتغيير مقياس الموتر المعياري وإزاحته. y = gamma * x_hat + betaأعد y

في الشبكات العصبية المتكررة متعددة الطبقات (RNN)، يُطبق BatchNorm عادةً على الجزء المُدخل إلى الطبقة المخفية فقط ، وليس على الجزء المخفي إلى الطبقة المخفية . ^{[ 11 ]} لنفترض أن الحالة المخفية لـ${\displaystyle l}$الطبقة رقم - في الوقت${\displaystyle t}$يكون${\displaystyle h_{t}^{(l)}}$. الشبكة العصبية المتكررة القياسية، بدون تطبيع، تحقق ما يلي:$${\displaystyle h_{t}^{(l)}=\phi (W^{(l)}h_{t}^{l-1}+U^{(l)}h_{t-1}^{l}+b^{(l)})}$$أين${\displaystyle W^{(l)},U^{(l)},b^{(l)}}$هي الأوزان والانحيازات، و${\displaystyle \phi }$هي دالة التنشيط. بتطبيق BatchNorm، تصبح هذه الدالة$${\displaystyle h_{t}^{(l)}=\phi (\mathrm {BN} (W^{(l)}h_{t}^{l-1})+U^{(l)}h_{t-1}^{l})}$$هناك طريقتان محتملتان لتعريف "الدفعة" في BatchNorm للشبكات العصبية المتكررة: على مستوى الإطار وعلى مستوى التسلسل . عمليًا، لنفترض تطبيق شبكة عصبية متكررة لمعالجة دفعة من الجمل.${\displaystyle h_{b,t}^{(l)}}$كن الحالة الخفية لـ${\displaystyle l}$الطبقة رقم - لـ${\displaystyle t}$الرمز المميز رقم - من${\displaystyle b}$الجملة المدخلة رقم -th. ثم تعني BatchNorm على مستوى الإطار التطبيع على${\displaystyle b}$:$${\displaystyle {\begin{aligned}\mu _{t}^{(l)}&={\frac {1}{B}}\sum _{b=1}^{B}h_{i,t}^{(l)}\\(\sigma _{t}^{(l)})^{2}&={\frac {1}{B}}\sum _{b=1}^{B}(h_{t}^{(l)}-\mu _{t}^{(l)})^{2}\end{aligned}}}$$ويعني التسلسل التطبيع على${\displaystyle (b,t)}$:$${\displaystyle {\begin{aligned}\mu ^{(l)}&={\frac {1}{BT}}\sum _{b=1}^{B}\sum _{t=1}^{T}h_{i,t}^{(l)}\\(\sigma ^{(l)})^{2}&={\frac {1}{BT}}\sum _{b=1}^{B}\sum _{t=1}^{T}(h_{t}^{(l)}-\mu ^{(l)})^{2}\end{aligned}}}$$تُناسب تقنية BatchNorm على مستوى الإطار المهام السببية مثل التنبؤ بالحرف التالي، حيث لا تتوفر الإطارات اللاحقة، مما يُجبر على إجراء التسوية لكل إطار على حدة. أما تقنية BatchNorm على مستوى التسلسل فتُناسب مهامًا مثل التعرف على الكلام، حيث تتوفر التسلسلات كاملةً ولكن بأطوال متغيرة. في الدفعة، تُضاف أصفار إلى التسلسلات الأصغر لتتوافق مع حجم أطول تسلسل في الدفعة. في مثل هذه الحالات، لا يُنصح باستخدام تقنية BatchNorm على مستوى الإطار، لأن عدد الإطارات غير المُضافة يتناقص مع مرور الوقت، مما يؤدي إلى تدهور تقديرات الإحصائيات. ^{[ 11 ]}

من الممكن أيضًا تطبيق BatchNorm على LSTMs . ^{[ 12 ]}

حظيت تقنية BatchNorm بشعبية كبيرة، وقد جرت محاولات عديدة لتحسينها. ومن الأمثلة على ذلك: ^{[ 13 ]}

• التجميع الوهمي: تقسيم الدفعة بشكل عشوائي إلى دفعات فرعية وإجراء BatchNorm بشكل منفصل على كل منها؛
• انخفاض الوزن${\displaystyle \gamma }$و${\displaystyle \beta }$؛
• ودمج تقنية BatchNorm مع تقنية GroupNorm.

تتمثل إحدى المشكلات الخاصة بـ BatchNorm في أنه أثناء التدريب، يتم حساب المتوسط ​​والتباين بشكل فوري لكل دفعة (عادةً كمتوسط ​​متحرك أسي )، ولكن أثناء الاستدلال، يتم تثبيت المتوسط ​​والتباين على القيم المحسوبة أثناء التدريب. يؤدي هذا التباين بين التدريب والاختبار إلى تدهور الأداء. يمكن تقليل هذا التباين عن طريق محاكاة المتوسط ​​المتحرك أثناء الاستدلال: ^{[ 13 ] : المعادلة 3}

$${\displaystyle {\begin{aligned}\mu &=\alpha E[x]+(1-\alpha )\mu _{x,{\text{ train}}}\\\sigma ^{2}&=(\alpha E[x]^{2}+(1-\alpha )\mu _{x^{2},{\text{ train}}})-\mu ^{2}\end{aligned}}}$$

أين${\displaystyle \alpha }$هو مُعامل فائق يتم تحسينه على مجموعة التحقق.

تحاول أعمال أخرى التخلص من BatchNorm، مثل Normalizer-Free ResNet. ^{[ 14 ]}

على سبيل المثال، في الشبكات العصبية الالتفافية، يتم تطبيق معيار الطبقة على جميع التنشيطات في الطبقة. في الترميز السابق، لدينا:

$${\displaystyle {\begin{aligned}\mu ^{(l)}&={\frac {1}{HWC}}\sum _{h=1}^{H}\sum _{w=1}^{W}\sum _{c=1}^{C}x_{h,w,c}^{(l)}\\(\sigma ^{(l)})^{2}&={\frac {1}{HWC}}\sum _{h=1}^{H}\sum _{w=1}^{W}\sum _{c=1}^{C}(x_{h,w,c}^{(l)}-\mu ^{(l)})^{2}\\{\hat {x}}_{h,w,c}^{(l)}&={\frac {{\hat {x}}_{h,w,c}^{(l)}-\mu ^{(l)}}{\sqrt {(\sigma ^{(l)})^{2}+\epsilon }}}\\y_{h,w,c}^{(l)}&=\gamma ^{(l)}{\hat {x}}_{h,w,c}^{(l)}+\beta ^{(l)}\end{aligned}}}$$

لاحظ أن فهرس الدفعة${\displaystyle b}$تتم إزالة مؤشر القناة، بينما${\displaystyle c}$تمت إضافتها.

في الشبكات العصبية المتكررة ^{[ 15 ]} والمحولات [ ^{16 ]} ، يتم تطبيق LayerNorm بشكل فردي على كل خطوة زمنية. على سبيل المثال، إذا ^كان المتجه المخفي في شبكة عصبية متكررة عند الخطوة الزمنية${\displaystyle t}$يكون${\displaystyle x^{(t)}\in \mathbb {R} ^{D}}$، أين${\displaystyle D}$إذا كان بُعد المتجه المخفي هو ، فسيتم تطبيق LayerNorm باستخدام:

$${\displaystyle {\hat {x_{i}}}^{(t)}={\frac {x_{i}^{(t)}-\mu ^{(t)}}{\sqrt {(\sigma ^{(t)})^{2}+\epsilon }}},\quad y_{i}^{(t)}=\gamma _{i}{\hat {x_{i}}}^{(t)}+\beta _{i}}$$

أين:

$${\displaystyle \mu ^{(t)}={\frac {1}{D}}\sum _{i=1}^{D}x_{i}^{(t)},\quad (\sigma ^{(t)})^{2}={\frac {1}{D}}\sum _{i=1}^{D}(x_{i}^{(t)}-\mu ^{(t)})^{2}}$$

تطبيع طبقة الجذر التربيعي المتوسط ​​( RMSNorm ): ^{[ 17 ]}

$${\displaystyle {\hat {x_{i}}}={\frac {x_{i}}{\sqrt {{\frac {1}{D}}\sum _{j=1}^{D}x_{j}^{2}}}},\quad y_{i}=\gamma {\hat {x_{i}}}+\beta }$$

في الأساس، يتم تطبيق LayerNorm${\displaystyle \mu ,\epsilon =0}$يُطلق عليه أيضًا اسم التطبيع L2 . وهو حالة خاصة من التطبيع Lp ، أو التطبيع الأسي .$${\displaystyle {\hat {x_{i}}}={\frac {x_{i}}{\left({\frac {1}{D}}\sum _{j=1}^{D}|x_{j}|^{p}\right)^{1/p}}},\quad y_{i}=\gamma {\hat {x_{i}}}+\beta }$$أين${\displaystyle p>0}$ثابت.

تحسب معيار الطبقة التكيفية ( adaLN )${\displaystyle \gamma ,\beta }$في تقنية LayerNorm، لا يُستمد التطبيع من تنشيط الطبقة نفسها، بل من بيانات أخرى. وقد طُرحت هذه التقنية لأول مرة في الشبكات العصبية الالتفافية (CNNs) ^{[ 18 ]} ، واستُخدمت بفعالية في محولات الانتشار (DiTs) ^{[ 19 ]} . على سبيل المثال، في محول الانتشار، تُعالج معلومات التكييف (مثل متجه ترميز النص) بواسطة مُدرك متعدد الطبقات إلى${\displaystyle \gamma ,\beta }$، والتي يتم تطبيقها بعد ذلك في وحدة LayerNorm الخاصة بالمحول.

استُخدمت تقنية تسوية الاستجابة المحلية ^{[ 22 ]} في شبكة AlexNet . طُبقت هذه التقنية في طبقة التفافية، مباشرةً بعد دالة التنشيط غير الخطية. وقد عُرّفت على النحو التالي:

$${\displaystyle b_{x,y}^{i}={\frac {a_{x,y}^{i}}{\left(k+\alpha \sum _{j=\max(0,i-n/2)}^{\min(N-1,i+n/2)}\left(a_{x,y}^{j}\right)^{2}\right)^{\beta }}}}$$

أين${\displaystyle a_{x,y}^{i}}$هو تنشيط العصبون في الموقع${\displaystyle (x,y)}$والقناة${\displaystyle i}$أي أن كل بكسل في قناة ما يتم قمعه بواسطة تنشيطات نفس البكسل في القنوات المجاورة له.

${\displaystyle k,n,\alpha ,\beta }$يتم اختيار المعلمات الفائقة باستخدام مجموعة التحقق.

كان هذا شكلاً مختلفاً من أشكال تطبيع التباين المحلي السابق . ^{[ 23 ]}

$${\displaystyle b_{x,y}^{i}={\frac {a_{x,y}^{i}}{\left(k+\alpha \sum _{j=\max(0,i-n/2)}^{\min(N-1,i+n/2)}\left(a_{x,y}^{j}-{\bar {a}}_{x,y}^{j}\right)^{2}\right)^{\beta }}}}$$

أين${\displaystyle {\bar {a}}_{x,y}^{j}}$هو متوسط ​​التنشيط في نافذة صغيرة متمركزة حول الموقع${\displaystyle (x,y)}$والقناة${\displaystyle i}$المعلمات الفائقة${\displaystyle k,n,\alpha ,\beta }$ويتم اختيار حجم النافذة الصغيرة باستخدام مجموعة التحقق.

تُعرف الطرق المشابهة باسم التطبيع التقسيمي ، حيث تقسم التنشيطات على عدد يعتمد على التنشيطات. وقد استُلهمت هذه الطرق في الأصل من علم الأحياء، حيث استُخدمت لتفسير الاستجابات غير الخطية للخلايا العصبية القشرية والحجب غير الخطي في الإدراك البصري. ^{[ 24 ]}

تم الاستغناء عن كلا النوعين من التطبيع المحلي من خلال التطبيع الدفعي، وهو شكل أكثر شمولية من التطبيع. ^{[ 25 ]}

ظهرت عملية تطبيع الاستجابة مرة أخرى في ConvNeXT-2 كتطبيع استجابة عالمي . ^{[ 26 ]}

يُعدّ تطبيع المجموعة ( GroupNorm ) ^{[ 27 ]} تقنية تُستخدم حصريًا للشبكات العصبية التلافيفية (CNNs). ويمكن فهمه على أنه تطبيع الطبقة (LayerNorm) للشبكات العصبية التلافيفية، ويُطبّق مرة واحدة لكل مجموعة قنوات.

لنفترض في طبقة${\displaystyle l}$هناك قنوات${\displaystyle 1,2,\dots ,C}$ثم يتم تقسيمها إلى مجموعات${\displaystyle g_{1},g_{2},\dots ,g_{G}}$ثم يتم تطبيق LayerNorm على كل مجموعة.

تُعدّ تقنية تطبيع المثيلات ( InstanceNorm )، أو تطبيع التباين ، تقنية طُوّرت في الأصل لنقل الأنماط العصبية ، وتُستخدم حصريًا مع الشبكات العصبية التلافيفية (CNNs). ^{[ 28 ]} ويمكن فهمها على أنها تطبيع الطبقات (LayerNorm) للشبكات العصبية التلافيفية، حيث تُطبّق مرة واحدة لكل قناة، أو بشكل مكافئ، على أنها تطبيع المجموعات، حيث تتكون كل مجموعة من قناة واحدة.

$${\displaystyle {\begin{aligned}\mu _{c}^{(l)}&={\frac {1}{HW}}\sum _{h=1}^{H}\sum _{w=1}^{W}x_{h,w,c}^{(l)}\\(\sigma _{c}^{(l)})^{2}&={\frac {1}{HW}}\sum _{h=1}^{H}\sum _{w=1}^{W}(x_{h,w,c}^{(l)}-\mu _{c}^{(l)})^{2}\\{\hat {x}}_{h,w,c}^{(l)}&={\frac {{\hat {x}}_{h,w,c}^{(l)}-\mu _{c}^{(l)}}{\sqrt {(\sigma _{c}^{(l)})^{2}+\epsilon }}}\\y_{h,w,c}^{(l)}&=\gamma _{c}^{(l)}{\hat {x}}_{h,w,c}^{(l)}+\beta _{c}^{(l)}\end{aligned}}}$$

يُعدّ التطبيع التكيفي للحالات ( AdaIN ) نوعًا من أنواع التطبيع للحالات، وهو مصمم خصيصًا لنقل الأنماط العصبية باستخدام الشبكات العصبية التلافيفية (CNNs)، وليس فقط الشبكات العصبية التلافيفية بشكل عام. ^{[ 29 ]}

في طريقة AdaIN لنقل الأنماط، نستخدم شبكة عصبية تلافيفية (CNN) وصورتين كمدخلات، إحداهما للمحتوى والأخرى للنمط . تتم معالجة كل صورة من خلال نفس الشبكة العصبية التلافيفية، وفي طبقة معينة.${\displaystyle l}$، يتم تطبيق AdaIn.

يترك${\displaystyle x^{(l),{\text{ content}}}}$كن التفعيل في صورة المحتوى، و${\displaystyle x^{(l),{\text{ style}}}}$يكون التنشيط في صورة النمط. ثم، يقوم AdaIn أولاً بحساب متوسط ​​وتباين تنشيطات صورة المحتوى.${\displaystyle x'^{(l)}}$ثم يستخدمها كـ${\displaystyle \gamma ,\beta }$بالنسبة لـ InstanceNorm على${\displaystyle x^{(l),{\text{ content}}}}$. لاحظ أن${\displaystyle x^{(l),{\text{ style}}}}$يبقى هو نفسه دون تغيير. وبشكل أدق، لدينا:

$${\displaystyle {\begin{aligned}y_{h,w,c}^{(l),{\text{ content}}}&=\sigma _{c}^{(l),{\text{ style}}}\left({\frac {x_{h,w,c}^{(l),{\text{ content}}}-\mu _{c}^{(l),{\text{ content}}}}{\sqrt {(\sigma _{c}^{(l),{\text{ content}}})^{2}+\epsilon }}}\right)+\mu _{c}^{(l),{\text{ style}}}\end{aligned}}}$$