التسوية الدفعية

في الشبكات العصبية، يتم تحقيق توحيد الدُفعات من خلال خطوة توحيد تُثبّت متوسطات وتباينات مُدخلات كل طبقة. من الناحية المثالية، يُجرى التوحيد على مجموعة التدريب بأكملها، ولكن لاستخدام هذه الخطوة بالتزامن مع أساليب التحسين العشوائي ، يصبح من غير العملي استخدام المعلومات الشاملة. لذا، يقتصر التوحيد على كل دفعة صغيرة في عملية التدريب.

لنستخدم B للدلالة على دفعة صغيرة بحجم m من مجموعة التدريب بأكملها. وبالتالي ، يمكن التعبير عن المتوسط ​​والتباين التجريبيين لـ B على النحو التالي:

${\displaystyle \mu _{B}={\frac {1}{m}}\sum _{i=1}^{m}x_{i}}$و${\displaystyle \sigma _{B}^{2}={\frac {1}{m}}\sum _{i=1}^{m}(x_{i}-\mu _{B})^{2}}$.

بالنسبة لطبقة من الشبكة ذات مدخلات ذات أبعاد d ،${\displaystyle x=(x^{(1)},...,x^{(d)})}$ثم يتم تطبيع كل بُعد من أبعاد المدخلات (أي إعادة توسيطه وإعادة تحجيمه) بشكل منفصل،

${\displaystyle {\hat {x}}_{i}^{(k)}={\frac {x_{i}^{(k)}-\mu _{B}^{(k)}}{\sqrt {\left(\sigma _{B}^{(k)}\right)^{2}+\epsilon }}}}$، أين${\displaystyle k\in [1,d]}$و ${\displaystyle i\in [1,m]}$؛${\displaystyle \mu _{B}^{(ك)}}$و${\displaystyle \sigma _{B}^{(k)}}$يمثلان المتوسط ​​والانحراف المعياري لكل بُعد، على التوالي.

${\displaystyle \epsilon }$تُضاف هذه القيمة إلى المقام لتحقيق الاستقرار العددي، وهي قيمة ثابتة موجبة صغيرة جدًا. والنتيجة هي التنشيط المعياري${\displaystyle {\hat {x}}^{(ك)}}$إذا كان متوسطها يساوي صفرًا وتباينها يساوي واحدًا${\displaystyle \epsilon }$لا يؤخذ ذلك في الاعتبار. لاستعادة قدرة تمثيل الشبكة، تتبع ذلك خطوة تحويل كما يلي:

${\displaystyle y_{i}^{(k)}=\gamma ^{(k)}{\hat {x}}_{i}^{(k)}+\beta ^{(k)}}$،

حيث المعلمات${\displaystyle \gamma ^{(k)}}$و${\displaystyle \beta ^{(k)}}$يتم تعلمها لاحقًا في عملية التحسين.

بصورة رسمية، فإن العملية التي تُنفذ عملية التطبيع الدفعي هي عملية تحويل${\displaystyle BN_{\gamma ^{(k)},\beta ^{(k)}}:x_{1...m}^{(k)}\rightarrow y_{1...m}^{(k)}}$يُطلق عليه اسم تحويل التطبيع الدفعي. ناتج تحويل التطبيع الدفعي${\displaystyle y^{(k)}=BN_{\gamma ^{(k)},\beta ^{(k)}}(x^{(k)})}$ثم يتم تمريرها إلى طبقات الشبكة الأخرى، بينما يتم تطبيع الناتج ${\displaystyle {\hat {x}}_{i}^{(k)}}$يبقى داخل الطبقة الحالية.

إن تحويل BN الموصوف هو عملية قابلة للتفاضل ، وتدرج الخسارة${\displaystyle l}$ يمكن حساب المعاملات المختلفة مباشرة باستخدام قاعدة السلسلة .

خاصة،${\displaystyle {\frac {\partial l}{\partial y_{i}^{(k)}}}}$يعتمد ذلك على اختيار دالة التنشيط ، ويمكن التعبير عن التدرج مقابل المعلمات الأخرى كدالة لـ${\displaystyle {\frac {\partial l}{\partial y_{i}^{(k)}}}}$:

${\displaystyle {\frac {\partial l}{\partial {\hat {x}}_{i}^{(k)}}}={\frac {\partial l}{\partial y_{i}^{(k)}}}\gamma ^{(k)}}$،

${\displaystyle {\frac {\partial l}{\partial \gamma ^{(k)}}}=\sum _{i=1}^{m}{\frac {\partial l}{\partial y_{i}^{(k)}}}{\hat {x}}_{i}^{(k)}}$،${\displaystyle {\frac {\partial l}{\partial \beta ^{(k)}}}=\sum _{i=1}^{m}{\frac {\partial l}{\partial y_{i}^{(k)}}}}$،${\displaystyle {\frac {\partial l}{\partial \sigma _{B}^{(k)^{2}}}}=\sum _{i=1}^{m}{\frac {\partial l}{\partial y_{i}^{(k)}}}(x_{i}^{(k)}-\mu _{B}^{(k)})\left(-{\frac {\gamma ^{(k)}}{2}}(\sigma _{B}^{(k)^{2}}+\epsilon )^{-3/2}\right)}$،${\displaystyle {\frac {\partial l}{\partial \mu _{B}^{(k)}}}=\sum _{i=1}^{m}{\frac {\partial l}{\partial y_{i}^{(k)}}}{\frac {-\gamma ^{(k)}}{\sqrt {\sigma _{B}^{(k)^{2}}+\epsilon }}}+{\frac {\partial l}{\partial \sigma _{B}^{(k)^{2}}}}{\frac {1}{m}}\sum _{i=1}^{m}(-2)\cdot (x_{i}^{(k)}-\mu _{B}^{(k)})}$،

و${\displaystyle {\frac {\partial l}{\partial x_{i}^{(k)}}}={\frac {\partial l}{\partial {\hat {x}}_{i}^{(k)}}}{\frac {1}{\sqrt {\sigma _{B}^{(k)^{2}}+\epsilon }}}+{\frac {\partial l}{\partial \sigma _{B}^{(k)^{2}}}}{\frac {2(x_{i}^{(k)}-\mu _{B}^{(k)})}{m}}+{\frac {\partial l}{\partial \mu _{B}^{(k)}}}{\frac {1}{m}}}$.

خلال مرحلة التدريب، تعتمد خطوات التطبيع على الدفعات الصغيرة لضمان تدريب فعال وموثوق. مع ذلك، في مرحلة الاستدلال، لا يكون لهذا الاعتماد فائدة. بدلاً من ذلك، تُحسب خطوة التطبيع في هذه المرحلة باستخدام إحصائيات المجتمع بحيث يمكن أن يعتمد الناتج على المدخلات بطريقة حتمية. متوسط ​​المجتمع،${\displaystyle E[x^{(k)}]}$والتباين،${\displaystyle \operatorname {Var} [x^{(k)}]}$، ويتم حسابها على النحو التالي:

${\displaystyle E[x^{(k)}]=E_{B}[\mu _{B}^{(k)}]}$، و${\displaystyle \operatorname {Var} [x^{(k)}]={\frac {m}{m-1}}E_{B}[\left(\sigma _{B}^{(k)}\right)^{2}]}$.

وبالتالي فإن إحصاءات السكان تمثل تمثيلاً كاملاً للمجموعات الصغيرة.

وبالتالي يصبح تحويل BN في خطوة الاستدلال

$// }}}+\بيتا ^{(ك)}}$،

أين${\displaystyle y^{(k)}}$يتم تمريرها إلى الطبقات التالية بدلاً من${\displaystyle x^{(k)}}$بما أن المعلمات ثابتة في هذا التحويل، فإن إجراء التطبيع الدفعي يقوم أساسًا بتطبيق تحويل خطي على دالة التنشيط.

أحد التفسيرات البديلة ^{[ 5 ]} هو أن التحسن مع التسوية الدفعية يرجع بدلاً من ذلك إلى إنتاج مساحة معلمات أكثر سلاسة وتدرجات أكثر سلاسة، كما هو موضح رسميًا بواسطة ثابت ليبشيتز أصغر .

لنفترض وجود شبكتين متطابقتين، إحداهما تحتوي على طبقات تطبيع الدُفعات والأخرى لا تحتوي عليها، ثم تتم مقارنة سلوك هاتين الشبكتين. لنرمز إلى دوال الخسارة بـ${\displaystyle {\hat {L}}}$و${\displaystyle L}$على التوالي. لنفترض أن مدخلات الشبكتين هي${\displaystyle x}$ويكون الناتج${\displaystyle y}$، والتي من أجلها${\displaystyle y=Wx}$، أين${\displaystyle W}$تمثل هذه الأوزان الطبقة. أما بالنسبة للشبكة الثانية،${\displaystyle y}$بالإضافة إلى ذلك، يمر عبر طبقة تطبيع الدُفعات. يُرمز إلى التنشيط المُطَبَّع بـ${\displaystyle {\hat {y}}}$، والتي لها متوسط ​​صفر وتباين يساوي واحدًا. لنفترض أن التنشيط المحوّل هو${\displaystyle z=\gamma {\hat {y}}+\beta }$ولنفترض${\displaystyle \gamma }$و${\displaystyle \beta }$هي ثوابت. وأخيرًا، نرمز إلى الانحراف المعياري على دفعة صغيرة${\displaystyle {\hat {y_{j}}}\in \mathbb {R} ^{m}}$مثل${\displaystyle \sigma _{j}}$.

أولاً، يمكن إثبات أن مقدار التدرج لشبكة مُعَيَّرة على دفعات،${\displaystyle ||\triangledown _{y_{i}}{\hat {L}}||}$، محدودة، ويتم التعبير عن الحد على النحو التالي

${\displaystyle ||\triangledown _{y_{i}}{\hat {L}}||^{2}\leq {\frac {\gamma ^{2}}{\sigma _{j}^{2}}}{\Bigg (}||\triangledown _{y_{i}}L||^{2}-{\frac {1}{m}}\langle 1,\triangledown _{y_{i}}L\rangle ^{2}-{\frac {1}{m}}\langle \triangledown _{y_{i}}L,{\hat {y}}_{j}\rangle ^{2}{\bigg )}}$.

بما أن مقدار التدرج يمثل ثبات ليبشيتز للخسارة، فإن هذه العلاقة تشير إلى أن الشبكة المُعَيَّرة بالدُفعات يُمكن أن تُحقق ثبات ليبشيتز أكبر نسبيًا. لاحظ أن الحد يصبح أضيق عندما يكون التدرج${\displaystyle \triangledown _{y_{i}}{\hat {L}}}$يرتبط بالتنشيط${\displaystyle {\hat {y_{i}}}}$وهي ظاهرة شائعة. قياس${\displaystyle {\frac {\gamma ^{2}}{\sigma _{j}^{2}}}}$كما أن ذلك مهم، لأن التباين غالباً ما يكون كبيراً.

ثانيًا، يمكن تحديد الشكل التربيعي لمصفوفة هيسيان الخسارة بالنسبة للتنشيط في اتجاه التدرج على النحو التالي:

${\displaystyle (\triangledown _{y_{j}}{\hat {L}})^{T}{\frac {\partial {\hat {L}}}{\partial y_{j}\partial y_{j}}}(\triangledown _{y_{j}}{\hat {L}})\leq {\frac {\gamma ^{2}}{\sigma ^{2}}}{\bigg (}{\frac {\partial {\hat {L}}}{\partial y_{j}}}{\bigg )}^{T}{\bigg (}{\frac {\partial L}{\partial y_{j}\partial y_{j}}}{\bigg )}{\bigg (}{\frac {\partial {\hat {L}}}{\partial y_{j}}}{\bigg )}-{\frac {\gamma }{m\sigma ^{2}}}\langle \triangledown _{y_{j}}L,{\hat {y_{j}}}\rangle {\bigg |}{\bigg |}{\frac {\partial {\hat {L}}}{\partial y_{j}}}{\bigg |}{\bigg |}^{2}}$.

توسيع نطاق${\displaystyle {\frac {\gamma ^{2}}{\sigma _{j}^{2}}}}$يشير هذا إلى أن مصفوفة هيسيان للخسارة مقاومة لتباين الدفعة المصغرة، بينما يشير الحد الثاني على الجانب الأيمن إلى أنها تصبح أكثر سلاسة عندما تكون مصفوفة هيسيان والضرب الداخلي غير سالبين. إذا كانت الخسارة محدبة محليًا ، فإن مصفوفة هيسيان تكون شبه موجبة ، بينما يكون الضرب الداخلي موجبًا إذا${\displaystyle {\hat {g_{j}}}}$يتجه هذا الاتجاه نحو الحد الأدنى للخسارة. ومن ثم، يمكن استنتاج أن التدرج يصبح أكثر قدرة على التنبؤ بشكل عام مع طبقة التطبيع الدفعي.

ثم يتبع ذلك ترجمة الحدود المتعلقة بالخسارة فيما يتعلق بالتنشيط المعياري إلى حد للخسارة فيما يتعلق بأوزان الشبكة:

${\displaystyle {\hat {g_{j}}}\leq {\frac {\gamma ^{2}}{\sigma _{j}^{2}}}(g_{j}^{2}-m\mu _{g_{j}}^{2}-\lambda ^{2}\langle \triangledown _{y_{j}}L,{\hat {y}}_{j}\rangle ^{2})}$، أين${\displaystyle g_{j}=max_{||X||\leq \lambda }||\triangledown _{W}L||^{2}}$و${\displaystyle {\hat {g}}_{j}=max_{||X||\leq \lambda }||\triangledown _{W}{\hat {L}}||^{2}}$.

بالإضافة إلى تحسين سلاسة المشهد، فقد تبين أيضاً أن توحيد الدُفعات يمكن أن يؤدي إلى تهيئة أفضل مع المتباينة التالية:

${\displaystyle ||W_{0}-{\hat {W}}^{*}||^{2}\leq ||W_{0}-W^{*}||^{2}-{\frac {1}{||W^{*}||^{2}}}(||W^{*}||^{2}-\langle W^{*},W_{0}\rangle )^{2}}$، أين${\displaystyle W^{*}}$و${\displaystyle {\hat {W}}^{*}}$تمثل هذه القيم الأوزان المثلى المحلية للشبكتين، على التوالي.

يرى بعض الباحثين أن التحليل المذكور أعلاه لا يُغطي أداء عملية التطبيع الدفعي بشكل كامل، لأن البرهان يقتصر على أكبر قيمة ذاتية، أو ما يُعادلها، اتجاه واحد في المجال عند جميع النقاط. ويُقترح أخذ الطيف الذاتي الكامل في الاعتبار للوصول إلى تحليل قاطع. ^{[ 8 ] [ 5 ]}

بما أنه يُفترض أن طبقات التطبيع الدفعي قد تُقلل من انزياح المتغيرات الداخلية، فقد أُجريت تجربة لقياس مقدار هذا الانخفاض كميًا. أولًا، يجب تعريف مفهوم انزياح المتغيرات الداخلية رياضيًا. تحديدًا، لتحديد مقدار التعديل الذي تُجريه معلمات الطبقة استجابةً للتحديثات في الطبقات السابقة، يُقاس الارتباط بين تدرجات دالة الخسارة قبل وبعد تحديث جميع الطبقات السابقة، إذ يُمكن للتدرجات أن تُجسد الانزياحات الناتجة عن طريقة التدريب من الدرجة الأولى. إذا كان الانزياح الناتج عن التغييرات في الطبقات السابقة صغيرًا، فسيكون الارتباط بين التدرجات قريبًا من 1.

تم حساب معامل الارتباط بين التدرجات لأربعة نماذج: شبكة VGG قياسية ، ^{[ 6 ]} وشبكة VGG مزودة بطبقات تسوية الدُفعات، وشبكة خطية عميقة (DLN) مكونة من 25 طبقة مُدرَّبة باستخدام خوارزمية التدرج الكامل، وشبكة DLN مزودة بطبقات تسوية الدُفعات. ومن المثير للاهتمام، أن النموذجين VGG القياسي وDLN يتميزان بمعاملات ارتباط أعلى بين التدرجات مقارنةً بنظيريهما، مما يشير إلى أن طبقات تسوية الدُفعات الإضافية لا تُقلل من انزياح المتغيرات الداخلية.

على الرغم من أن تقنية التطبيع الدفعي قد طُرحت في الأصل للتخفيف من مشاكل تلاشي أو انفجار التدرج ، إلا أن شبكة التطبيع الدفعي العميق تعاني في الواقع من انفجار التدرج عند التهيئة، بغض النظر عن طريقة معالجة اللاخطية المستخدمة. وبالتالي، فإن مجال التحسين بعيد كل البعد عن السلاسة بالنسبة لشبكة التطبيع الدفعي العميق المُهيأة عشوائيًا. وبشكل أدق، إذا كانت الشبكة${\displaystyle L}$إذا كانت الطبقات، فإن تدرج أوزان الطبقة الأولى يكون له معيار${\displaystyle >c\lambda ^{L}}$بالنسبة للبعض${\displaystyle \lambda >1,c>0}$يعتمد ذلك فقط على اللاخطية. لأي قيمة ثابتة للاخطية،${\displaystyle \lambda }$يقلّ مع ازدياد حجم الدفعة. على سبيل المثال، بالنسبة لدالة ReLU،${\displaystyle \lambda }$انخفاضات إلى${\displaystyle \pi /(\pi -1)\approx 1.467}$مع ازدياد حجم الدفعة إلى ما لا نهاية، يصبح من الصعب عمليًا تدريب شبكات التطبيع الدفعي العميق. ولا يُتغلب على هذه المشكلة إلا باستخدام وصلات التخطي على غرار الشبكات المتبقية . ^{[ 9 ]}

يتناقض هذا التزايد المفاجئ في التدرج على السطح مع خاصية النعومة الموضحة في القسم السابق، ولكنهما في الواقع متسقان. درس القسم السابق تأثير إدخال معيار دفعة واحد في الشبكة، بينما يعتمد التزايد المفاجئ في التدرج على تكديس معايير الدفعات، وهو أمر شائع في الشبكات العصبية العميقة الحديثة.

سبب آخر محتمل لنجاح عملية التطبيع الدفعي هو أنها تفصل بين طول واتجاه متجهات الوزن، وبالتالي تسهل التدريب بشكل أفضل.

من خلال تفسير معيار الدفعة على أنه إعادة تحديد معلمات فضاء الأوزان، يمكن إثبات أن طول الأوزان واتجاهها منفصلان، وبالتالي يمكن تدريبهما بشكل منفصل. بالنسبة لوحدة شبكة عصبية معينة ذات مدخلات${\displaystyle x}$ومتجه الوزن${\displaystyle w}$، نرمز إلى مخرجاته بـ${\displaystyle f(w)=E_{x}[\phi (x^{T}w)]}$، أين${\displaystyle \phi }$هي دالة التنشيط، و${\displaystyle S=E[xx^{T}]}$افترض أن${\displaystyle E[x]=0}$وأن طيف المصفوفة${\displaystyle S}$محدد بـ${\displaystyle 0<\mu =\lambda _{min}(S)}$،${\displaystyle L=\lambda _{max}(S)<\infty }$بحيث${\displaystyle S}$هي متماثلة وموجبة تمامًا. وبالتالي، فإن إضافة تسوية الدُفعات إلى هذه الوحدة ينتج عنه

${\displaystyle f_{BN}(w,\gamma ,\beta )=E_{x}[\phi (BN(x^{T}w))]=E_{x}{\bigg [}\phi {\bigg (}\gamma ({\frac {x^{T}w-E_{x}[x^{T}w]}{var_{x}[x^{T}w]^{1/2}}})+\beta {\bigg )}{\bigg ]}}$، بحسب التعريف.

يمكن تبسيط حد التباين بحيث${\displaystyle var_{x}[x^{T}w]=w^{T}Sw}$افترض أن${\displaystyle x}$متوسطه يساوي صفرًا و${\displaystyle \beta }$إذا أمكن حذفها، فإن ذلك يترتب عليه أن

${\displaystyle f_{BN}(w,\gamma )=E_{x}{\bigg [}\phi {\bigg (}\gamma {\frac {x^{T}w}{(w^{T}Sw)^{1/2}}}{\bigg )}{\bigg ]}}$، أين${\displaystyle (w^{T}Sw)^{\frac {1}{2}}}$هو المعيار المستحث لـ${\displaystyle S}$،${\displaystyle ||w||_{s}}$.

وبالتالي، يمكن استنتاج أن${\displaystyle f_{BN}(w,\gamma )=E_{x}[\phi (x^{T}{\tilde {w}})]}$، أين${\displaystyle {\tilde {w}}=\gamma {\frac {w}{||w||_{s}}}}$، و${\displaystyle \gamma }$و${\displaystyle w}$يُراعى طولها واتجاهها بشكل منفصل. ويمكن استخدام هذه الخاصية لإثبات سرعة تقارب المسائل باستخدام التسوية الدفعية.

باستخدام تفسير إعادة المعلمات، يمكن إثبات أن تطبيق التطبيع الدفعي على مشكلة المربعات الصغرى العادية يحقق معدل تقارب خطي في هبوط التدرج، وهو أسرع من هبوط التدرج العادي مع تقارب دون الخطي فقط.

لنرمز إلى هدف تقليل مشكلة المربعات الصغرى العادية بـ

${\displaystyle \min _{{\tilde {w}}\in R^{d}}f_{OLS}({\tilde {w}})=\min _{{\tilde {w}}\in R^{d}}(E_{x,y}[(y-x^{T}{\tilde {w}})^{2}])=\min _{{\tilde {w}}\in R^{d}}(2u^{T}{\tilde {w}}+{\tilde {w}}^{T}S{\tilde {w}})}$، أين${\displaystyle u=E[-yx]}$و${\displaystyle S=E[xx^{T}]}$.

منذ${\displaystyle {\tilde {w}}=\gamma {\frac {w}{||w||_{s}}}}$وبذلك يصبح الهدف

${\displaystyle \min _{w\in R^{d}\backslash \{0\},\gamma \in R}f_{OLS}(w,\gamma )=\min _{w\in R^{d}\backslash \{0\},\gamma \in R}{\bigg (}2\gamma {\frac {u^{T}w}{||w||_{S}+\gamma ^{2}}}{\bigg )}}$، حيث يتم استبعاد الصفر لتجنب وجود الصفر في المقام.

بما أن الدالة الهدف محدبة بالنسبة إلى${\displaystyle \gamma }$ويمكن حساب قيمتها المثلى عن طريق وضع المشتق الجزئي للدالة الهدف مقابل${\displaystyle \gamma }$إلى صفر. ويمكن تبسيط الهدف أكثر ليصبح

${\displaystyle \min _{w\in R^{d}\backslash \{0\}}\rho (w)=\min _{w\in R^{d}\backslash \{0\}}{\bigg (}-{\frac {w^{T}uu^{T}w}{w^{T}Sw}}{\bigg )}}$.

لاحظ أن هذا الهدف هو شكل من أشكال حاصل قسمة رايلي المعمم

${\displaystyle {\tilde {\rho }}(w)={\frac {w^{T}Bw}{w^{T}Aw}}}$، أين${\displaystyle B\in R^{d\times d}}$هي مصفوفة متناظرة و${\displaystyle A\in R^{d\times d}}$هي مصفوفة متناظرة موجبة التحديد .

ثبت أن معدل تقارب انحدار التدرج لنسبة رايلي المعممة هو

${\displaystyle {\frac {\lambda _{1}-\rho (w_{t+1})}{\rho (w_{t+1}-\lambda _{2})}}\leq {\bigg (}1-{\frac {\lambda _{1}-\lambda _{2}}{\lambda _{1}-\lambda _{min}}}{\bigg )}^{2t}{\frac {\lambda _{1}-\rho (w_{t})}{\rho (w_{t})-\lambda _{2}}}}$، أين${\displaystyle \lambda _{1}}$هي أكبر قيمة ذاتية لـ${\displaystyle B}$،${\displaystyle \lambda _{2}}$هي ثاني أكبر قيمة ذاتية لـ${\displaystyle B}$، و${\displaystyle \lambda _{min}}$هي أصغر قيمة ذاتية لـ${\displaystyle B}$[ ^{10 ]​}

في حالتنا،${\displaystyle B=uu^{T}}$هي مصفوفة من الرتبة الأولى، ويمكن تبسيط نتيجة التقارب وفقًا لذلك. على وجه التحديد، ضع في اعتبارك خطوات انحدار التدرج من الشكل التالي:${\displaystyle w_{t+1}=w_{t}-\eta _{t}\triangledown \rho (w_{t})}$مع حجم الخطوة${\displaystyle \eta _{t}={\frac {w_{t}^{T}Sw_{t}}{2L|\rho (w_{t})|}}}$، وبدءاً من${\displaystyle \rho (w_{0})\neq 0}$، ثم

${\displaystyle \rho (w_{t})-\rho (w^{*})\leq {\bigg (}1-{\frac {\mu }{L}}{\bigg )}^{2t}(\rho (w_{0})-\rho (w^{*}))}$.

تُشير مشكلة تعلم أنصاف الفضاءات إلى تدريب البيرسيبترون ، وهو أبسط أشكال الشبكات العصبية. وتتمثل مشكلة التحسين في هذه الحالة في:

${\displaystyle \min _{{\tilde {w}}\in R^{d}}f_{LH}({\tilde {w}})=E_{y,x}[\phi (z^{T}{\tilde {w}})]}$، أين${\displaystyle z=-yx}$و${\displaystyle \phi }$هي دالة خسارة اختيارية.

لنفترض أن${\displaystyle \phi }$دالة قابلة للتفاضل بلا حدود ولها مشتقة محدودة. افترض أن دالة الهدف${\displaystyle f_{LH}}$يكون${\displaystyle \zeta }$- سلس ، وهذا حل${\displaystyle \alpha ^{*}=argmin_{\alpha }||\triangledown f(\alpha w)||^{2}}$موجود ومحدود بحيث${\displaystyle -\infty <\alpha ^{*}<\infty }$افترض أيضًا${\displaystyle z}$هو متغير عشوائي طبيعي متعدد المتغيرات . بافتراض التوزيع الغاوسي، يمكن إثبات أن جميع النقاط الحرجة تقع على نفس الخط، لأي اختيار لدالة الخسارة.${\displaystyle \phi }$. على وجه التحديد، تدرج${\displaystyle f_{LH}}$يمكن تمثيلها على النحو التالي

${\displaystyle \triangledown _{\tilde {w}}f_{LH}({\tilde {w}})=c_{1}({\tilde {w}})u+c_{2}({\tilde {w}})S{\tilde {w}}}$، أين ${\displaystyle c_{1}({\tilde {w}})=E_{z}[\phi ^{(1)}(z^{T}{\tilde {w}})]-E_{z}[\phi ^{(2)}(z^{T}{\tilde {w}})](u^{T}{\tilde {w}})}$،${\displaystyle c_{2}({\tilde {w}})=E_{z}[\phi ^{(2)}(z^{T}{\tilde {w}})]}$، و${\displaystyle \phi ^{(i)}}$هو${\displaystyle i}$المشتقة النونية لـ${\displaystyle \phi }$.

وبجعل التدرج يساوي صفرًا، يترتب على ذلك أن النقاط الحرجة المحدودة${\displaystyle {\tilde {w}}_{*}}$يمكن التعبير عنها على النحو التالي${\displaystyle {\tilde {w}}_{*}=g_{*}S^{-1}u}$، أين${\displaystyle g_{*}}$يعتمد على${\displaystyle {\tilde {w}}_{*}}$و${\displaystyle \phi }$. وبدمج هذه الخاصية العالمية مع فصل اتجاه الطول، يمكن إثبات أن مشكلة التحسين هذه تتقارب خطيًا.

أولاً، تم تصميم نوع مختلف من خوارزمية التدرج الهبوطي مع تطبيع الدُفعات، وهو التدرج الهبوطي في المعلمات المُطَبَّعة (GDNP)، لدالة الهدف.${\displaystyle \min _{w\in R^{d}\backslash \{0\},\gamma \in R}f_{LH}(w,\gamma )}$بحيث يتم تحديث اتجاه وطول الأوزان بشكل منفصل. لنرمز إلى معيار إيقاف GDNP بـ

${\displaystyle h(w_{t},\gamma _{t})=E_{z}[\phi '(z^{T}{\tilde {w}}_{t})](u^{T}w_{t})-E_{z}[\phi ''(z^{T}{\tilde {w}}_{t})](u^{T}w_{t})^{2}}$.

لنفترض أن حجم الخطوة هو

${\displaystyle s_{t}=s(w_{t},\gamma _{t})=-{\frac {||w_{t}||_{S}^{3}}{Lg_{t}h(w_{t},\gamma _{t})}}}$.

لكل خطوة، إذا${\displaystyle h(w_{t},\gamma _{t})\neq 0}$ثم قم بتحديث الاتجاه كما يلي

${\displaystyle w_{t+1}=w_{t}-s_{t}\triangledown _{w}f(w_{t},\gamma _{t})}$.

ثم قم بتحديث الطول وفقًا لـ

${\displaystyle \gamma _{t}={\text{Bisection}}(T_{s},f,w_{t})}$، أين${\displaystyle {\text{Bisection()}}}$هي خوارزمية التنصيف الكلاسيكية ، و${\displaystyle T_{s}}$يمثل إجمالي عدد التكرارات التي تم تشغيلها في خطوة التنصيف.

لنرمز إلى العدد الإجمالي للتكرارات بـ${\displaystyle T_{d}}$إذن، الناتج النهائي لـ GDNP هو

${\displaystyle {\tilde {w}}_{T_{d}}=\gamma _{T_{d}}{\frac {w_{T_{d}}}{||w_{T_{d}}||_{S}}}}$.

وبالتالي، فإن خوارزمية GDNP تقوم بتعديل خطوة تطبيع الدفعات بشكل طفيف لتسهيل التحليل الرياضي.

يمكن إثبات أنه في GDNP، المشتق الجزئي لـ${\displaystyle f_{LH}}$يتقارب عنصر الطول إلى الصفر بمعدل خطي، بحيث

${\displaystyle (\partial _{\gamma }f_{LH}(w_{t},a_{t}^{(T_{s})})^{2}\leq {\frac {2^{-T_{s}}\zeta |b_{t}^{(0)}-a_{t}^{(0)}|}{\mu ^{2}}}}$، أين${\displaystyle a_{t}^{(0)}}$و${\displaystyle b_{t}^{0}}$هما نقطتا البداية لخوارزمية التنصيف على اليسار وعلى اليمين، على التوالي.

علاوة على ذلك، لكل تكرار، معيار تدرج${\displaystyle f_{LH}}$بالنسبة إلى${\displaystyle w}$يتقارب خطيًا، بحيث

${\displaystyle ||w_{t}||_{S}^{2}||\triangledown f_{LH}(w_{t},g_{t})||_{S^{-1}}^{2}\leq {\bigg (}1-{\frac {\mu }{L}}{\bigg )}^{2t}\Phi ^{2}\gamma _{t}^{2}(\rho (w_{0})-\rho ^{*})}$.

وبدمج هاتين المتباينتين، يمكن بالتالي الحصول على حد للتدرج بالنسبة إلى${\displaystyle {\tilde {w}}_{T_{d}}}$:

${\displaystyle ||\triangledown _{\tilde {w}}f({\tilde {w}}_{T_{d}})||^{2}\leq {\bigg (}1-{\frac {\mu }{L}}{\bigg )}^{2T_{d}}\Phi ^{2}(\rho (w_{0})-\rho ^{*})+{\frac {2^{-T_{s}}\zeta |b_{t}^{(0)}-a_{t}^{(0)}|}{\mu ^{2}}}}$، بحيث يكون من المضمون أن تتقارب الخوارزمية خطيًا.

على الرغم من أن البرهان يعتمد على افتراض المدخلات الغاوسية، إلا أنه تم إثبات ذلك أيضًا في التجارب التي أظهرت أن GDNP يمكن أن يسرع عملية التحسين بدون هذا القيد.

لنفترض وجود شبكة عصبية متعددة الطبقات (MLP) ذات طبقة مخفية واحدة و${\displaystyle m}$وحدات مخفية مع تعيين من المدخلات${\displaystyle x\in R^{d}}$إلى ناتج قياسي موصوف على النحو التالي

${\displaystyle F_{x}({\tilde {W}},\Theta )=\sum _{i=1}^{m}\theta _{i}\phi (x^{T}{\tilde {w}}^{(i)})}$، أين${\displaystyle {\tilde {w}}^{(i)}}$و${\displaystyle \theta _{i}}$تمثل أوزان المدخلات والمخرجات للوحدة${\displaystyle i}$وبالمثل، و${\displaystyle \phi }$هي دالة التنشيط ويُفترض أنها دالة tanh .

ويمكن بعد ذلك تحسين أوزان الإدخال والإخراج باستخدام

${\displaystyle \min _{{\tilde {W}},\Theta }(f_{NN}({\tilde {W}},\Theta )=E_{y,x}[l(-yF_{x}({\tilde {W}},\Theta ))])}$، أين${\displaystyle l}$هي دالة خسارة،${\displaystyle {\tilde {W}}=\{{\tilde {w}}^{(1)},...,{\tilde {w}}^{(m)}\}}$، و${\displaystyle \Theta =\{\theta ^{(1)},...,\theta ^{(m)}\}}$.

ضع في اعتبارك الثابت${\displaystyle \Theta }$والتحسين فقط${\displaystyle {\tilde {W}}}$، يمكن إثبات أن النقاط الحرجة لـ${\displaystyle f_{NN}({\tilde {W}})}$وحدة مخفية معينة${\displaystyle i}$،${\displaystyle {\hat {w}}^{(i)}}$تصطف جميعها على خط واحد اعتمادًا على المعلومات الواردة إلى الطبقة المخفية، بحيث

${\displaystyle {\hat {w}}^{(i)}={\hat {c}}^{(i)}S^{-1}u}$، أين${\displaystyle {\hat {c}}^{(i)}\in R}$هو كمية قياسية،${\displaystyle i=1,...,m}$.

يمكن إثبات هذه النتيجة عن طريق تحديد تدرج${\displaystyle f_{NN}}$إلى الصفر وحل نظام المعادلات.

طبّق خوارزمية GDNP على مسألة التحسين هذه عن طريق التناوب بين عمليات التحسين على الوحدات المخفية المختلفة. تحديدًا، لكل وحدة مخفية، شغّل خوارزمية GDNP لإيجاد الحل الأمثل.${\displaystyle W}$و${\displaystyle \gamma }$باختيار نفس معيار التوقف وحجم الخطوة، يترتب على ذلك ما يلي:

${\displaystyle ||\triangledown _{{\tilde {w}}^{(i)}}f({\tilde {w}}_{t}^{(i)})||_{S^{-1}}^{2}\leq {\bigg (}1-{\frac {\mu }{L}}{\bigg )}^{2t}C(\rho (w_{0})-\rho ^{*})+{\frac {2^{-T_{s}^{(i)}}\zeta |b_{t}^{(0)}-a_{t}^{(0)}|}{\mu ^{2}}}}$.

بما أن معلمات كل وحدة مخفية تتقارب خطيًا، فإن مسألة التحسين بأكملها لها معدل تقارب خطي. ^{[ 8 ]}