وحدة خطية مصححة

📅 آخر تحديث: ٢٣ يوليو ٢٠٢٦
✍️ نُشر في: ٢٣ يوليو ٢٠٢٦
📷 يحتوي على 62 صور
الموسوعة الحرة
رسم بياني لدالة ReLU (باللون الأزرق) ودالة GELU (باللون الأخضر) بالقرب من x = 0

في سياق الشبكات العصبية الاصطناعية ، فإن دالة التنشيط ReLU (وحدة خطية مصححة) [ 1 ] [ 2 ] هي دالة تنشيط تُعرَّف على أنها الجزء غير السالب من وسيطها، أي دالة المنحدر :

ريلو⁡(x)=x+=الأعلى(0،x)=x+|x|2={xلو x>0،0x≤0{\displaystyle \operatorname {ReLU} (x)=x^{+}=\max(0,x)={\frac {x+|x|}{2}}={\begin{cases}x&{\text{if }}x>0,\\0&x\leq 0\end{cases}}}

أينx{\displaystyle x}يمثل هذا المدخل إلى العصبون . وهذا مشابه لتقويم نصف الموجة في الهندسة الكهربائية .

تُعدّ دالة التنشيط ReLU واحدة من أكثر دوال التنشيط شيوعًا في الشبكات العصبية الاصطناعية، [ 3 ] وتجد تطبيقات في مجال رؤية الحاسوب [ 4 ] والتعرف على الكلام [ 5 ] [ 6 ] باستخدام الشبكات العصبية العميقة وعلم الأعصاب الحاسوبي . [ 7 ] [ 8 ]

تاريخ

استُخدمت دالة ReLU لأول مرة من قبل ألستون هاوسهولدر في عام 1941 كتجريد رياضي للشبكات العصبية البيولوجية. [ 9 ]

استخدم كونيهيكو فوكوشيما في عام 1969 دالة ReLU في سياق استخلاص الميزات البصرية في الشبكات العصبية الهرمية. [ 10 ] [ 11 ]

في عام ١٩٩٨، أثبت غريغوري وودبري أن الدالة الخطية المُقوَّمة قادرة على تفسير نطاق واسع من الخصائص الناشئة في القشرة البصرية. [ ١٢ ] وأظهرت دراسته أن نموذجًا موحدًا واحدًا قادر على توجيه التطور المشترك للخرائط الشبكية المُحسَّنة، وأعمدة سيطرة العين، وانتقائية الاتجاه. وباستخدام خاصية "القطع" للمُقوِّم، حقق وودبري تطابقًا كميًا دقيقًا مع البيانات البيولوجية، مُطابقًا بذلك الدوريات المكانية وأنماط التحسين الطبوغرافي المُلاحظة في خرائط القشرة الدماغية لدى قرود المكاك والقطط. [ ١٣ ] علاوة على ذلك، وسّع هذا الإطار ليشمل اللدونة العصبية لدى البالغين، مُحاكيًا بدقة الديناميكيات المكانية والزمانية لإعادة تنظيم القشرة الدماغية الناجمة عن الآفات. [ ١٤ ] وقد أثبت هذا البحث أن الاستجابة الخطية المُقوَّمة آلية ضرورية للتنظيم الذاتي المستقر والحفاظ على الخرائط العصبية المعقدة متعددة الخصائص. في عام ٢٠٠٠، قام هانلوسر وآخرون... جادل البعض بأن دالة ReLU تُقارب العلاقة البيولوجية بين معدلات إطلاق النبضات العصبية وتيار الإدخال، بالإضافة إلى تمكين ديناميكيات الشبكة العصبية المتكررة من الاستقرار في ظل معايير أضعف. [ 15 ] [ 16 ]

قبل عام 2010، كانت معظم دوال التنشيط المستخدمة هي الدالة اللوجستية السينية (المستوحاة من نظرية الاحتمالات ؛ انظر الانحدار اللوجستي ) ونظيرتها الأكثر كفاءة عدديًا [ 17 ] ، وهي دالة الظل الزائدي . وفي حوالي عام 2010، أصبح استخدام دالة ReLU شائعًا مرة أخرى.

أشار جاريت وآخرون (2009) إلى أن التصحيح باستخدام دالة التنشيط المطلقة أو دالة ReLU (التي أطلقوا عليها اسم "الجزء الموجب") كان بالغ الأهمية للتعرف على الأشياء في الشبكات العصبية الالتفافية (CNNs)، وذلك تحديدًا لأنه يسمح بتجميع المتوسطات دون أن تلغي مخرجات المرشحات المتجاورة بعضها بعضًا. وافترضوا أن استخدام دالة سيجمويد أو دالة الظل الزائدي (tanh) كان مسؤولاً عن ضعف الأداء في الشبكات العصبية الالتفافية السابقة. [ 18 ]

قدم ناير وهينتون (2010) حجة نظرية مفادها أنه ينبغي استخدام دالة التنشيط softplus ، حيث أن دالة softplus تُقارب عدديًا مجموع عدد أُسّي من النماذج الخطية التي تشترك في المعلمات. ثم اقترحا دالة ReLU كتقريب جيد لها. على وجه التحديد، بدأوا بدراسة عصبون ثنائي واحد في آلة بولتزمان يأخذx{\displaystyle x}كمدخل، وينتج 1 كمخرج باحتماليةσ(x)=11+هـ-x{\displaystyle \sigma (x)={\frac {1}{1+e^{-x}}}}ثم فكروا في توسيع نطاق إنتاجه عن طريق صنع عدد لا نهائي من النسخ منه.X1،X2،X3،...{\displaystyle X_{1},X_{2},X_{3},\dots }، والتي تتطلب جميعها نفس المدخلات، مع إزاحة بمقدار معين0.5،1.5،2.5،...{\displaystyle 0.5,1.5,2.5,\dots }ثم تُجمع نواتجهم معًا على النحو التالي:∑أنا=1∞Xأنا{\displaystyle \sum _{i=1}^{\infty }X_{i}}ثم قاموا بتوضيح ذلك∑أنا=1∞Xأنا{\displaystyle \sum _{i=1}^{\infty }X_{i}}يساوي تقريبًاشمال(سجل⁡(1+هـx)،σ(x)){\displaystyle {\mathcal {N}}(\log(1+e^{x}),\sigma (x))}وهو ما يساوي تقريبًاريلو⁡(شمال(x،σ(x))){\displaystyle \operatorname {ReLU} ({\mathcal {N}}(x,\sigma (x)))}، أينشمال{\displaystyle {\mathcal {N}}}يرمز إلى التوزيع الغاوسي .

كما جادلوا لسبب آخر لاستخدام دالة ReLU: وهو أنها تسمح بـ "تغاير الشدة" في التعرف على الصور. أي ضرب الصورة المدخلة بثابت.ك{\displaystyle k}يُضاعف الناتج أيضًا. في المقابل، هذا غير صحيح بالنسبة لدوال التنشيط الأخرى مثل دالة سيجمويد أو دالة الظل الزائدي. وقد وجدوا أن دالة التنشيط ReLU سمحت بأداء تجريبي جيد في آلات بولتزمان المقيدة . [ 19 ]

جادل غلوروت وآخرون (2011) بأن دالة ReLU تتمتع بالمزايا التالية مقارنة بدالة sigmoid أو tanh:

  • تُعد دالة ReLU أكثر شبهاً باستجابات الخلايا العصبية البيولوجية في نظام التشغيل الرئيسي الخاص بها.
  • تتجنب دالة ReLU تلاشي التدرجات.
  • تُعد دالة ReLU أرخص في الحساب.
  • تقوم دالة ReLU بإنشاء تمثيل متفرق بشكل طبيعي، لأن العديد من الوحدات المخفية تُخرج صفرًا بالضبط لمدخل معين.

كما وجدوا تجريبياً أن الشبكات العميقة المدربة باستخدام دالة ReLU يمكنها تحقيق أداء قوي دون تدريب مسبق غير خاضع للإشراف، خاصة في المهام الكبيرة الخاضعة للإشراف بشكل كامل. [ 4 ]

في عام 2017، أصبحت الدالة الخطية المعدلة (ReLU) مكونًا أساسيًا في بنية المحول التي تم تقديمها في ورقة فاسواني وآخرون بعنوان " الانتباه هو كل ما تحتاجه ". [ 20 ] ضمن كل طبقة من طبقات المحول، يتم استخدام ReLU في شبكات التغذية الأمامية (FFN) المحددة حسب الموضع، والمحددة بالمعادلة 2 من ورقتهم البحثية:

FFN⁡(x)=الأعلى(0،xدبليو1+ب1)دبليو2+ب2{\displaystyle \operatorname {FFN} (x)=\max(0,xW_{1}+b_{1})W_{2}+b_{2}}

تُعدّ هذه المعادلة أساسية لقدرة النموذج؛ فبينما تُحدّد آلية الانتباه العلاقات بين الرموز، تُجري شبكة التغذية الأمامية القائمة على دالة ReLU معظم العمليات الحسابية وتضمّ الجزء الأكبر من معلمات النموذج. وقد أدت كفاءة هذا الإطار المُعدّل وقابليته للتوسع إلى ثورة تكنولوجية عالمية، مما مكّن من تطوير نماذج لغوية ضخمة كان لها أثر اقتصادي بالغ. وقد ساهمت الاستجابة الصناعية لهذه البنية - بما في ذلك التوسع الهائل في الأجهزة المُخصصة للذكاء الاصطناعي وظهور قطاع الذكاء الاصطناعي التوليدي - في ترسيخ مكانة Transformer كحجر زاوية في بنية القرن الحادي والعشرين.

خلال فترة التطور السريع للذكاء الاصطناعي التي أعقبت عام 2017، لعبت دالة الوحدة الخطية المصححة دورًا محوريًا في تحسين أداء النماذج وتوسيع نطاقها، نظرًا لقدرتها على تصفير الاستجابات غير المهمة للمحفزات، مما يمنع تراكمها في النماذج الضخمة. إن التعطيل الكامل لأجزاء النموذج التي تُعتبر غير ذات صلة بالمحفزات أثناء التعلم هو ما يسمح بتوسيع نطاق النموذج. ومع ازدياد حجم الجزء غير ذي الصلة من النموذج، تتراكم هذه الروابط الكثيرة داخله حتمًا أثناء عملية التوسيع، بغض النظر عن صغر كل استجابة فردية. لذا، مكّنت دالة الوحدة الخطية المصححة، بخاصية تصفيرها المطلقة، من توسيع نطاق النموذج ليشمل نماذج بمئات المليارات من المعلمات وما فوق.

اعتمدت نماذج Transformer الرائدة، مثل GPT-3 (2020) [ 21 ] وFalcon-180B (2023) [ 22 ] ، بشكلٍ صريح على دالة الوحدة الخطية المُعدّلة (ReLU)، بينما استخدمت النماذج اللاحقة، مثل GPT-4 (2023) [ 23 ] وLlama 3 (2024) [ 24 ]، صيغًا أكثر سلاسة مثل GELU أو SwiGLU. استُخدمت هذه الصيغ لتحسين استقرار التدريب مع الحفاظ على مبدأ التعديل الأساسي المتمثل في تصفير الاستجابات المنخفضة. في صميم الذكاء الاصطناعي الحديث، تحافظ دالة ReLU وصيغها على استجابة صفرية مطلقة في معظم أجزاء النموذج في أي لحظة، مع الحفاظ على استجابات خطية تقريبًا للوصلات ذات الصلة بالمحفزات، مما يُمكّن من تحقيق أداء عالٍ في كل مهمة معرفية محددة. وقد كانت هذه الخاصية، وهي ندرة التنشيط، حاسمة لتحقيق توسع هائل وتحسينات كبيرة في أداء نماذج الذكاء الاصطناعي حتى يومنا هذا.

المزايا

تشمل مزايا دالة ReLU ما يلي:

الأعلى(0،أx)=أالأعلى(0،x) ل أ≥0{\displaystyle \max(0,ax)=a\max(0,x){\text{ لـ }}a\geq 0}.

المشاكل المحتملة

قد تشمل السلبيات المحتملة ما يلي:

  • عدم قابلية التفاضل عند الصفر (ومع ذلك، فهي قابلة للتفاضل في أي مكان آخر، ويمكن اختيار قيمة المشتقة عند الصفر لتكون 0 أو 1 بشكل تعسفي).
  • ليست مُتمركزة حول الصفر: مخرجات دالة ReLU غير سالبة دائمًا. قد يُصعّب هذا الأمر على الشبكة التعلّم أثناء الانتشار العكسي، لأن تحديثات التدرج تميل إلى دفع الأوزان في اتجاه واحد (موجب أو سالب). يمكن أن يُساعد التطبيع الدفعي في معالجة هذه المشكلة.
  • دالة ReLU غير محدودة.
  • تكرار المعلمات: نظرًا لأن دالة ReLU غير متغيرة المقياس، فإن الشبكة تحسب نفس الدالة تمامًا عن طريق تغيير مقياس الأوزان والانحيازات أمام تنشيط ReLU بواسطةك{\displaystyle k}والأوزان بعد ذلك بواسطة1/ك{\displaystyle 1/k}[ 4 ]​
  • موت دالة ReLU: قد تُدفع خلايا ReLU العصبية أحيانًا إلى حالات تصبح فيها غير نشطة تقريبًا لجميع المدخلات. في هذه الحالة، لا تتدفق أي تدرجات عكسيًا عبر الخلية العصبية، وبالتالي تعلق الخلية في حالة خمول دائم (تموت). هذا شكل من أشكال مشكلة تلاشي التدرج . في بعض الحالات، قد يعلق عدد كبير من الخلايا العصبية في الشبكة في حالات الموت، مما يقلل بشكل فعال من قدرة النموذج، وربما يوقف عملية التعلم. تنشأ هذه المشكلة عادةً عندما يتم ضبط معدل التعلم على قيمة عالية جدًا. يمكن التخفيف من حدتها باستخدام دالة ReLU "المتسربة" بدلاً من ذلك، حيث يتم تعيين ميل موجب صغير لـx<0{\displaystyle x<0}ومع ذلك، قد ينخفض ​​الأداء تبعاً للمهمة.

المتغيرات

المتغيرات الخطية القطعية

تسمح دالة ReLU المتسربة (2014) بتدرج موجب صغير عندما تكون الوحدة غير نشطة، [ 6 ] مما يساعد على التخفيف من مشكلة تلاشي التدرج. يتم تعريف هذا التدرج بواسطة مُعامل.α{\displaystyle \alpha }، وعادة ما يتم ضبطها على 0.01-0.3. [ 25 ] [ 26 ]

و(x)={xx>0،αxx≤0،و′(x)={1x>0،αx≤0.{\displaystyle f(x)={\begin{cases}x&x>0,\\\alpha x&x\leq 0,\end{cases}}\qquad f'(x)={\begin{cases}1&x>0,\\\alpha &x\leq 0.\end{cases}}}

ويمكن التعبير عن نفس الدالة بدون استخدام الترميز القطعي كما يلي:

و(x)=1+α2x+1-α2|x|{\displaystyle f(x)={\frac {1+\alpha }{2}}x+{\frac {1-\alpha }{2}}|x|}

يأخذ برنامج ReLU البارامتري (PReLU، 2016) هذه الفكرة إلى أبعد من ذلك من خلال جعلα{\displaystyle \alpha }معلمة قابلة للتعلم إلى جانب معلمات الشبكة الأخرى. [ 27 ]

لاحظ ذلك بالنسبة لـα≤1{\displaystyle \alpha \leq 1}وهذا يعادل

و(x)=الأعلى(x،αx){\displaystyle f(x)=\max(x,\alpha x)}

وبالتالي، فإن لها علاقة بشبكات "الحد الأقصى". [ 27 ]

يحافظ ReLU المتسلسل (CReLU، 2016) على معلومات الطور الموجبة والسالبة عن طريق إرجاع قيمتين: [ 28 ]

و(x)=[ريلو⁡(x)،ريلو⁡(-x)].{\displaystyle f(x)=[\operatorname {ReLU} (x),\operatorname {ReLU} (-x)].}

أنواع ناعمة

سوفت بلس

رسم بياني لدالة softplus ودالة ramp

الدالة التحليلية هي تقريب سلس للمقوم

و(x)=ln⁡(1+هـx)،و′(x)=هـx1+هـx=11+هـ-x{\displaystyle f(x)=\ln(1+e^{x}),\qquad f'(x)={\frac {e^{x}}{1+e^{x}}}={\frac {1}{1+e^{-x}}}}

والتي تُسمى دالة softplus (2000) [ 29 ] [ 4 ] أو دالة SmoothReLU . [ 30 ] للقيم السالبة الكبيرةx{\displaystyle x}وهو تقريبًاln⁡1{\displaystyle \ln 1}لذا فهي أعلى بقليل من الصفر، بينما بالنسبة للقيم الموجبة الكبيرةx{\displaystyle x}وهو تقريبًاln⁡(هـx){\displaystyle \ln(e^{x})}، لذا فوقx{\displaystyle x}.

يمكن تقريب هذه الدالة على النحو التالي:

ln⁡(1+هـx)≈{ln⁡2،x=0،x1-هـ-x/ln⁡2،x≠0{\displaystyle \ln \left(1+e^{x}\right)\approx {\begin{cases}\ln 2,&x=0,\\[6pt]{\frac {x}{1-e^{-x/\ln 2}}},&x\neq 0\end{cases}}}

عن طريق تغيير المتغيراتx=yln⁡(2){\displaystyle x=y\ln(2)}وهذا يعادل

سجل2⁡(1+2y)≈{1،y=0،y1-هـ-y،y≠0{\displaystyle \log _{2}(1+2^{y})\approx {\begin{cases}1,&y=0,\\[6pt]{\frac {y}{1-e^{-y}}},&y\neq 0\end{cases}}}

معامل الحدةك{\displaystyle k}قد يشمل ذلك ما يلي:

و(x)=ln⁡(1+هـكx)ك،و′(x)=هـكx1+هـكx=11+هـ-كx{\displaystyle f(x)={\frac {\ln(1+e^{kx})}{k}},\qquad f'(x)={\frac {e^{kx}}{1+e^{kx}}}={\frac {1}{1+e^{-kx}}}}

مشتق دالة softplus هو الدالة اللوجستية . ويمكن اعتبار هذه الدالة بدورها تقريبًا سلسًا لمشتق دالة التقويم، وهي دالة هيفسايد المتدرجة .

إن التعميم متعدد المتغيرات لـ softplus أحادي المتغير هو LogSumExp مع تعيين الوسيط الأول إلى الصفر:

لSهـ0+⁡(x1،...،xن):=كلية لندن للاقتصاد⁡(0،x1،...،xن)=ln⁡(1+هـx1+⋯+هـxن){\displaystyle \operatorname {LSE_{0}} ^{+}(x_{1},\dots ,x_{n}):=\operatorname {LSE} (0,x_{1},\dots ,x_{n})=\ln(1+e^{x_{1}}+\cdots +e^{x_{n}})}

دالة LogSumExp هي

كلية لندن للاقتصاد⁡(x1،...،xن)=ln⁡(هـx1+⋯+هـxن){\displaystyle \operatorname {LSE} (x_{1},\dots ,x_{n})=\ln(e^{x_{1}}+\cdots +e^{x_{n}})}

وتدرجها هو دالة softmax ؛ ودالة softmax مع ضبط الوسيط الأول على الصفر هي تعميم متعدد المتغيرات للدالة اللوجستية. تُستخدم كل من دالة LogSumExp ودالة softmax في التعلم الآلي.

ELU

تسمح وحدات التنشيط الخطي الأسي (2015) بقيم سالبة بسلاسة. وهي محاولة لجعل متوسط ​​التنشيطات أقرب إلى الصفر، مما يُسرّع عملية التعلم. وقد ثبت أن وحدات التنشيط الخطي الأسي (ELUs) تُحقق دقة تصنيف أعلى من وحدات التنشيط الخطي العكسي (ReLUs). [ 31 ]

و(x)={xx>0،α(هـx-1)x≤0و′(x)={1x>0،αهـxx≤0{\displaystyle f(x)={\begin{cases}x&x>0,\\\alpha \left(e^{x}-1\right)&x\leq 0\end{cases}}\qquad f'(x)={\begin{cases}1&x>0,\\\alpha e^{x}&x\leq 0\end{cases}}}

في هذه الصيغ،α{\displaystyle \alpha }هو مُعامل فائق يجب ضبطه وفقًا للقيدα≥0{\displaystyle \alpha \geq 0}.

مع الأخذ في الاعتبار نفس تفسيرα{\displaystyle \alpha }يمكن اعتبار دالة ELU نسخة مُنعّمة من دالة ReLU المُزاحة (SReLU)، والتي تأخذ الشكل التالي:و(x)=الأعلى(-α،x){\displaystyle f(x)=\max(-\alpha ,x)}.

وحدة الخطأ الخطي الغاوسي (GELU)

GELU (2016) هو تقريب سلس للمقوم:

و(x)=xΦ(x)=x⋅12[1+قطعة أرض⁡(x/2)]،{\displaystyle f(x)=x\Phi (x)=x\cdot {\frac {1}{2}}\left[1+\operatorname {erf} \left(x/{\sqrt {2}}\right)\right],}
و′(x)=xΦ′(x)+Φ(x){\displaystyle f'(x)=x\Phi '(x)+\Phi (x)}

أينΦ(x)=P(X⩽x){\displaystyle \Phi (x)=P(X\leqslant x)}هي دالة التوزيع التراكمي للتوزيع الطبيعي القياسي وقطعة أرض⁡(z){\displaystyle \operatorname {erf} (z)}هي دالة الخطأ .

تُوضَّح دالة التنشيط هذه في الشكل الموجود في بداية هذه المقالة. وهي تحتوي على "نتوء" ذي مشتقة سالبة إلى يسار x < 0. وتُستخدم كدالة تنشيط افتراضية للعديد من نماذج المحولات مثل BERT . [ 32 ]

تُقدّم الورقة البحثية نفسها أيضًا بعض التقريبات الأسرع لـ GELU. وينتج التقريب الأول عن تقريب لـΦ(x){\displaystyle \Phi (x)}: [ 33 ]

و(x)≈12x(1+tanh⁡[2/π(x+0.044715x3)]){\displaystyle f(x)\approx {\frac {1}{2}}x\left(1+\tanh \left[{\sqrt {2/\pi }}\left(x+0.044715x^{3}\right)\right]\right)}

أما التقريب الثاني، الأقل دقة، فيستخدم الدالة السينية (اللوجستية) كـو(x)≈x⋅المنحنى السيني⁡(1.702x){\displaystyle f(x)\approx x\cdot \operatorname {sigmoid} (1.702x)}، والتي تشبه صيغتها SiLU (انظر أدناه). [ 32 ]

سيلو

وظيفة التموج

إن دالة SiLU (الوحدة الخطية السينية) أو دالة swish [ 34 ] هي تقريب سلس آخر يستخدم دالة sigmoid (اللوجستية) ، والتي تم تقديمها لأول مرة في ورقة GELU لعام 2016: [ 32 ]

و(x)=x⋅المنحنى السيني⁡(x)،{\displaystyle f(x)=x\cdot \operatorname {sigmoid} (x),}
و′(x)=x⋅المنحنى السيني′⁡(x)+المنحنى السيني⁡(x){\displaystyle f'(x)=x\cdot \operatorname {sigmoid} '(x)+\operatorname {sigmoid} (x)}

حسابها أرخص من حساب GELU. كما أنها تحتوي على "نتوء".

ميش

يمكن أيضًا استخدام دالة ميش (2019) كتقريب سلس للمقوم. [ 34 ] وهي تُعرَّف على النحو التالي:

و(x)=xtanh⁡(سوفت بلس⁡(x))،{\displaystyle f(x)=x\tanh {\big (}\operatorname {softplus} (x){\big )},}

أينtanh⁡(x){\displaystyle \tanh(x)}هو الظل الزائدي ، وسوفت بلس⁡(x){\displaystyle \operatorname {softplus} (x)}هي وظيفة softplus .

تم الحصول على دالة ميش من خلال تجربة دوال مشابهة لدالة سويش (SiLU، انظر أعلاه). وهي غير رتيبة (تحتوي على "نتوء") مثل سويش. وتتمثل الميزة الجديدة الرئيسية في أنها تُظهر سلوكًا "ذاتي التنظيم" يُعزى إلى حد في مشتقتها الأولى. [ 34 ] [ 35 ]

سكوير بلس

Squareplus (2021) [ 36 ] هي الوظيفة

و(x)=x+x2+ب2{\displaystyle f(x)={\frac {x+{\sqrt {x^{2}+b}}}{2}}}

أينب≥0{\displaystyle b\geq 0}هو مُعامل فائق يُحدد "حجم" المنطقة المنحنية القريبةx=0{\displaystyle x=0}(على سبيل المثال، السماحب=0{\displaystyle b=0}ينتج ReLU، و...ب=4{\displaystyle b=4}(ينتج دالة المتوسط ​​المعدني ). تشترك دالة Squareplus في العديد من الخصائص مع دالة softplus: فهي رتيبة ، وموجبة تمامًا ، وتقترب من الصفر عندماx→-∞{\displaystyle x\to -\infty }، يتعامل مع الهوية على النحو التاليx→+∞{\displaystyle x\to +\infty }وهوج∞{\displaystyle C^{\infty }}سلسة . ومع ذلك، يمكن حساب مربع الجمع باستخدام الدوال الجبرية فقط ، مما يجعله مناسبًا تمامًا للإعدادات التي تكون فيها الموارد الحسابية أو مجموعات التعليمات محدودة. بالإضافة إلى ذلك، لا يتطلب مربع الجمع أي اعتبارات خاصة لضمان الاستقرار العددي عندماx{\displaystyle x}كبير.

ديلو

وحدة التنشيط الخطية الأسية الموسعة (DELU، 2023) هي دالة تنشيط تتميز بسلاسة أكبر في نطاق الصفر، ودقة أعلى عند القيم الأكبر، مما يسمح بتوزيع أفضل للخلايا العصبية في عملية التعلم لتحقيق أداء أفضل. وبفضل تصميمها الفريد، فقد ثبت أن DELU قد تحقق دقة تصنيف أعلى من ReLU وELU. [ 37 ]

و(x)={xx>xج،(هـأx-1)/بx≤xجو′(x)={1x>xج،(أ/ب)هـأxx≤xج{\displaystyle f(x)={\begin{cases}x&x>x_{c},\\(e^{ax}-1)/b&x\leq x_{c}\end{cases}}\qquad f'(x)={\begin{cases}1&x>x_{c},\\(a/b)e^{ax}&x\leq x_{c}\end{cases}}}

في هذه الصيغ،أ{\displaystyle a}،ب{\displaystyle b}وxج{\displaystyle x_{c}}هي قيم المعلمات الفائقة التي يمكن تعيينها كقيود افتراضيةأ=1{\displaystyle a=1}،ب=2{\displaystyle b=2}وxج=1.25643{\displaystyle x_{c}=1.25643}، كما هو الحال في العمل الأصلي.

انظر أيضاً

مراجع

  1. ↑ براونلي، جيسون (8 يناير 2019). "مقدمة مبسطة لوحدة التنشيط الخطي المعدل (ReLU)" . إتقان تعلم الآلة . تم الاسترجاع في 8 أبريل 2021 .
  2. ↑ ليو، دانكينغ (30 نوفمبر 2017). "دليل عملي لـ ReLU" . Medium . تم الاطلاع عليه بتاريخ 8 أبريل 2021 .
  3. ↑ راماشاندران، براجيت؛ باريت، زوف؛ كوك، في. لي (16 أكتوبر 2017). "البحث عن دوال التنشيط". arXiv : 1710.05941 [ cs.NE ].
  4. ١ ٢ ٣ ٤ ٥ خافيير غلوروت؛ أنطوان بوردس؛ يوشوا بنجيو (٢٠١١). الشبكات العصبية المقومية المتفرقة العميقة (ملف PDF) . AISTATS. دوال التنشيط Rectifier وsoftplus. الدالة الثانية هي نسخة سلسة من الأولى.
  5. ↑ لازلو توث (2013). التعرف على الهواتف باستخدام الشبكات العصبية ذات المعدلات المتفرقة العميقة (ملف PDF) . ICASSP .
  6. 1 2 أندرو إل. ماس، عوني واي. حنون، أندرو واي. نج (2014). تحسين النماذج الصوتية للشبكات العصبية من خلال اللاخطية في المقوم .
  7. ↑ هانزل، د.؛ فان فريسويك، س. (2002). "كيف يُسهم التشويش في ثبات التباين في ضبط الاتجاه في القشرة البصرية للقطط" . مجلة علم الأعصاب 22 (12): 5118-5128 . doi : 10.1523/JNEUROSCI.22-12-05118.2002 . PMC 6757721. PMID 12077207 .  
  8. ↑ كادمون، جوناثان؛ سومبولينسكي، حاييم (19 نوفمبر 2015). "الانتقال إلى الفوضى في الشبكات العصبية العشوائية". مجلة Physical Review X. 5 ( 4) 041030. arXiv : 1508.06486 . Bibcode : 2015PhRvX...5d1030K . doi : 10.1103/PhysRevX.5.041030 . S2CID 7813832 . 
  9. ↑ هاوسهولدر، ألستون س. (يونيو 1941). "نظرية النشاط المستقر في شبكات الألياف العصبية: 1. التعريفات والفرضيات التمهيدية" . نشرة الفيزياء الحيوية الرياضية . 3 (2): 63-69 . doi : 10.1007/BF02478220 . ISSN 0007-4985 . 
  10. ↑ فوكوشيما، ك. (1969). "استخلاص الميزات البصرية بواسطة شبكة متعددة الطبقات من عناصر العتبة التناظرية". معاملات IEEE في علوم الأنظمة وعلم التحكم الآلي . 5 (4): 322-333 . Bibcode : 1969ITSSC...5..322F . doi : 10.1109/TSSC.1969.300225 .
  11. ↑ فوكوشيما، ك.؛ مياكي، س. (1982). "نيوكوجنيترون: نموذج شبكة عصبية ذاتية التنظيم لآلية التعرف على الأنماط البصرية". المنافسة والتعاون في الشبكات العصبية . سلسلة محاضرات في الرياضيات الحيوية. المجلد 45. سبرينغر. الصفحات 267-285 . doi : 10.1007/978-3-642-46466-9_18 . ISBN   978-3-540-11574-8.
  12. ↑ وودبري، جريج. (1998). نموذج ارتباط لتطور تخطيط الشبكية والسيطرة العينية (أطروحة شرف). جامعة سيدني.
  13. ↑ وودبري، ج.؛ فان دير زوان، ر.؛ جيبسون، و.ج. (2002). "نموذج ارتباط للتطوير المشترك لخريطة الشبكية المحسّنة وأعمدة سيطرة العين". أبحاث الرؤية . 42 (19): 2295-2310 . doi : 10.1016/s0042-6989(02)00190-6 . PMID 12220585 . 
  14. ↑ وودبري، ج. (2004). نموذج ارتباطي للتطور المعتمد على النشاط للتخطيط الشبكي والسيطرة العينية (أطروحة دكتوراه). جامعة سيدني.
  15. ↑ هانلوزر، ر.؛ ساربشكار، ر.؛ ماهوالد، م.أ.؛ دوغلاس، ر.ج.؛ سيونغ، هـ.س. (2000). "الاختيار الرقمي والتضخيم التناظري يتعايشان في دارة سيليكون مستوحاة من القشرة الدماغية". مجلة نيتشر . 405 (6789): 947-951 . رمز Bibcode : 2000Natur.405..947H . doi : 10.1038/35016072 . PMID 10879535. S2CID 4399014 .  
  16. ↑ هانلوزر، ريتشارد؛ سيونغ، إتش. سيباستيان (2000). "المجموعات المسموح بها والممنوعة في الشبكات الخطية المتناظرة ذات العتبة" . التطورات في أنظمة معالجة المعلومات العصبية . 13. مطبعة معهد ماساتشوستس للتكنولوجيا.
  17. ↑ يان ليكان ؛ ليون بوتو ؛ جينيفيف ب. أور؛ كلاوس-روبرت مولر (1998). "الانتشار العكسي الفعال" (ملف PDF) . في: ج. أور؛ ك. مولر (محرران). الشبكات العصبية: حيل المهنة . سبرينغر. مؤرشف من الأصل (ملف PDF) بتاريخ 31 أغسطس 2018. تم الاطلاع عليه بتاريخ 7 ديسمبر 2012 .
  18. ↑ جاريت، كيفن؛ كافوكوغلو، كوراي؛ رانزاتو، مارك أوريليو؛ ليكان، يان (سبتمبر 2009). "ما هي أفضل بنية متعددة المراحل للتعرف على الأشياء؟". المؤتمر الدولي الثاني عشر لـ IEEE حول رؤية الحاسوب، 2009. الصفحات 2146-2153 . doi : 10.1109/ICCV.2009.5459469 . ISBN  978-1-4244-4420-5.
  19. 1 2 ناير، فينود، وجيفري إي. هينتون. " الوحدات الخطية المعدلة تُحسّن آلات بولتزمان المقيدة ". وقائع المؤتمر الدولي السابع والعشرين حول التعلم الآلي (ICML-10) . 2010.
  20. ↑ فاسواني، أ. (2017). "الانتباه هو كل ما تحتاجه". التطورات في أنظمة معالجة المعلومات العصبية . 30 .
  21. ↑ براون، ت. (2020). "نماذج اللغة هي متعلمون بأمثلة قليلة". التقدم في أنظمة معالجة المعلومات العصبية . 33 .
  22. ↑ معهد الابتكار التكنولوجي (2023). "فالكون 180B: نموذج الذكاء الاصطناعي المفتوح الأعلى أداءً في العالم". تقرير فني صادر عن معهد الابتكار التكنولوجي .
  23. ↑ OpenAI (2023). "تقرير فني عن GPT-4". arXiv : 2303.08774 [ cs.CL ].
  24. ↑ Meta AI (2024). "تقديم Meta Llama 3: أكثر برامج إدارة التعلم المتاحة للجمهور قدرة حتى الآن".{{cite web}}: مفقود أو فارغ |url=( مساعدة )
  25. ^ "مستندات PyTorch Leaky ReLU" .
  26. ↑ "وثائق TensorFlow Leaky ReLU" .
  27. 1 2 هي، كايمينغ؛ تشانغ، شيانغيو؛ رين، شاوكينغ؛ صن، جيان (2015). "التعمق في المصححات: تجاوز مستوى الأداء البشري في تصنيف شبكة الصور ". arXiv : 1502.01852 [ cs.CV ].
  28. ↑ شانغ، وينلينغ؛ سون، كيهيوك؛ ألميدا، ديوغو؛ لي، هونغلاك (11 يونيو 2016). "فهم وتحسين الشبكات العصبية الالتفافية عبر وحدات خطية مُعدَّلة مُتسلسلة" . وقائع المؤتمر الدولي الثالث والثلاثين للتعلم الآلي . PMLR: 2217–2225 . arXiv : 1603.05201 .
  29. ↑ دوجاس، تشارلز؛ بينجيو، يوشوا؛ بيليسلي، فرانسوا؛ نادو، كلود؛ غارسيا، رينيه (1 يناير 2000). "دمج المعرفة الوظيفية من الدرجة الثانية لتحسين تسعير الخيارات" (ملف PDF) . وقائع المؤتمر الدولي الثالث عشر لأنظمة معالجة المعلومات العصبية (NIPS'00) . مطبعة معهد ماساتشوستس للتكنولوجيا: 451-457 . بما أن الدالة السينية h لها مشتقة أولى موجبة، فإن دالتها الأولية، التي نسميها softplus، محدبة.
  30. ↑ "طبقة التوجيه الأمامي لوحدة التعديل الخطي السلس (SmoothReLU)" . دليل المطور لمكتبة تسريع تحليلات البيانات من إنتل . 2017. تم الاطلاع عليه بتاريخ 4 ديسمبر 2018 .
  31. ^ كليفيرت، دجورك أرني؛ أونترثينر، توماس؛ هوخريتر، سيب (2015). “تعلم سريع ودقيق للشبكة العميقة من خلال الوحدات الخطية الأسية (ELUs)”. أرخايف : 1511.07289 [ cs.LG ].
  32. 1 2 3 هندريكس، دان؛ جيمبل، كيفن (2016). "وحدات الخطأ الخطي الغاوسي (GELUs)". arXiv : 1606.08415 [ cs.LG ].
  33. ↑ بيج، إي. (1977). "تقريبات للدالة التراكمية الطبيعية ومعكوسها للاستخدام على الآلة الحاسبة الجيبية". مجلة الجمعية الإحصائية الملكية. السلسلة ج (الإحصاء التطبيقي) . 26 (1): 75-76 . doi : 10.2307/2346872 . JSTOR 2346872 . 
  34. 1 2 3 Diganta Misra (23 أغسطس 2019)، مش: وظيفة التنشيط غير الرتيبة ذاتية التنظيم (PDF) ، أرخايف : 1908.08681v1 ، استرجاعها 26 مارس 2022.
  35. ↑ شو، سويتا (10 مايو 2020). "مقارنة دوال التنشيط بالتجارب" . دبليو آند بي . تم الاسترجاع في 11 يوليو 2022 .
  36. ↑ بارون، جوناثان ت. (22 ديسمبر 2021). "Squareplus: مقوم جبري يشبه Softplus". arXiv : 2112.11687 [ cs.NE ].
  37. ↑ تشاتالباش، بوراك؛ مورغول، عمر (16 أغسطس 2023). "التعلم العميق باستخدام وحدة الخطية الأسية الموسعة (DELU)" . الحوسبة العصبية وتطبيقاتها . 35 (30): 22705-22724 . doi : 10.1007/s00521-023-08932-z . تاريخ الاسترجاع: 20 أبريل 2025 .