دالة سوفتماكس

^{تقوم دالة softmax، المعروفة أيضًا باسم softargmax [1]: 184 أو الدالة الأسية المعيارية [} 2 ] : 198 ^{، بتحويل مجموعة من K} عددًا حقيقيًا إلى ^{توزيع احتمالي على K} نتيجة محتملة . وهي تعميم للدالة اللوجستية متعددة الأبعاد ، وتُستخدم في الانحدار اللوجستي متعدد الحدود . غالبًا ما تُستخدم دالة softmax كدالة التنشيط الأخيرة في الشبكة العصبية لتطبيع مخرجات الشبكة إلى توزيع احتمالي على فئات المخرجات المتوقعة.

تأخذ دالة softmax كمدخل مجموعة z من K أعداد حقيقية، وتقوم بتطبيعها إلى توزيع احتمالي يتكون من K احتمالات تتناسب مع الأسس الأسية للأعداد المدخلة. أي، قبل تطبيق softmax، قد تكون بعض مكونات المجموعة سالبة، أو أكبر من واحد؛ وقد لا يكون مجموعها مساويًا لـ 1؛ ولكن بعد تطبيق softmax، سيكون كل مكون ضمن الفترة${\displaystyle (0,1)}$وستكون قيمة المكونات مجتمعة تساوي 1، بحيث يمكن تفسيرها على أنها احتمالات. علاوة على ذلك، فإن المكونات المدخلة الأكبر ستتوافق مع احتمالات أكبر.

بشكل رسمي، دالة softmax القياسية (الوحدة)${\displaystyle \sigma$ :\mathbb {R} ^{K}\to (0,1)^{K}} , حيث ⁠${\displaystyle K>1}$، يأخذ مجموعة${\displaystyle \mathbf {z} =(z_{1},\dotsc ,z_{K})\in \mathbb {R} ^{K}}$ويحسب كل عنصر من عناصر المتجه${\displaystyle \sigma (\mathbf {z} )\in (0,1)^{K}}$مع

$${\displaystyle \sigma (\mathbf {z} )_{i}={\frac {e^{z_{i}}}{\sum _{j=1}^{K}e^{z_{j}}}}\,.}$$

بعبارة أخرى، تقوم دالة softmax بتطبيق الدالة الأسية القياسية على كل عنصر${\displaystyle z_{i}}$من مجموعة المدخلات${\displaystyle \mathbf {z} }$(يتألف من${\displaystyle K}$الأعداد الحقيقية)، ويتم تطبيع هذه القيم عن طريق القسمة على مجموع جميع هذه الدوال الأسية. يضمن التطبيع أن يكون مجموع مكونات متجه الإخراج${\displaystyle \sigma (\mathbf {z} )}$يساوي 1. يُشتق مصطلح "softmax" من تأثيرات التضخيم للدالة الأسية على أي قيمة عظمى في مجموعة المدخلات. على سبيل المثال، دالة softmax القياسية لـ${\displaystyle (1,2,8)}$يبلغ تقريبًا${\displaystyle (0.001,0.002,0.997)}$، وهو ما يعادل تخصيص جميع وزن الوحدة الإجمالي تقريبًا في النتيجة لموقع العنصر الأقصى للصف (من 8).

بشكل عام، يمكن استخدام أساس مختلف b > 0 بدلاً من e . وكما ذكرنا سابقًا، إذا كانت b > 1، فإن مكونات الإدخال الأكبر ستؤدي إلى احتمالات إخراج أكبر، وزيادة قيمة b ستؤدي إلى توزيعات احتمالية أكثر تركيزًا حول مواضع أكبر قيم الإدخال. وعلى العكس، إذا كانت 0 < b < 1، فإن مكونات الإدخال الأصغر ستؤدي إلى احتمالات إخراج أكبر، وتقليل قيمة b سيؤدي إلى توزيعات احتمالية أكثر تركيزًا حول مواضع أصغر قيم الإدخال.${\displaystyle b=e^{\beta }}$أو${\displaystyle b=e^{-\beta }}$^{[ أ ]} (لـβ) ^{[ ب ]} ينتج عنه التعبيرات التالية: ^{[ ج ]}

$${\displaystyle \sigma (\mathbf {z} )_{i}={\frac {e^{\beta z_{i}}}{\sum _{j=1}^{K}e^{\beta z_{j}}}}{\text{ or }}\sigma (\mathbf {z} )_{i}={\frac {e^{-\beta z_{i}}}{\sum _{j=1}^{K}e^{-\beta z_{j}}}}{\text{ for }}i=1,\dotsc ,K.}$$

تُعرف القيمة المتناسبة مع مقلوب β أحيانًا باسم درجة الحرارة :${\textstyle \beta =1/kT}$حيث k عادةً ما تكون 1 أو ثابت بولتزمان، و T هي درجة الحرارة. تؤدي درجة الحرارة المرتفعة إلى توزيع أكثر انتظامًا للمخرجات (أي مع إنتروبيا أعلى ؛ أي أنها "أكثر عشوائية")، بينما تؤدي درجة الحرارة المنخفضة إلى توزيع أكثر حدة للمخرجات، مع هيمنة قيمة واحدة.

في بعض المجالات، تكون القاعدة ثابتة، بما يتوافق مع مقياس ثابت، ^{[ d ]} بينما في مجالات أخرى يتم تغيير المعلمة β (أو T ).

دالة softmax هي تعميم متعدد المتغيرات للدالة اللوجستية .

تُستخدم دالة softmax في العديد من طرق التصنيف متعدد الفئات ، مثل الانحدار اللوجستي متعدد الحدود (المعروف أيضًا باسم انحدار softmax)، ^{[ 2 ] : 206-209 [ 6 ]} ، وتحليل التمييز الخطي متعدد الفئات ، ومصنفات بايز البسيطة ، والشبكات العصبية الاصطناعية . ^{[ 7 ]} وبالتحديد، في الانحدار اللوجستي متعدد الحدود وتحليل التمييز الخطي، يكون مُدخل الدالة هو نتيجة K من الدوال الخطية المختلفة ، ويكون الاحتمال المُتوقع للفئة j، بالنظر إلى مجموعة بيانات x ومتجه ترجيح w، كما يلي:

$${\displaystyle P(y=j\mid \mathbf {x} )={\frac {e^{\mathbf {x} ^{\mathsf {T}}\mathbf {w} _{j}}}{\sum _{k=1}^{K}e^{\mathbf {x} ^{\mathsf {T}}\mathbf {w} _{k}}}}}$$

يمكن اعتبار ذلك بمثابة تركيب لـ K من الدوال الخطية${\displaystyle \mathbf {x} \mapsto \mathbf {x} ^{\mathsf {T}}\mathbf {w} _{1},\ldots ,\mathbf {x} \mapsto \mathbf {x} ^{\mathsf {T}}\mathbf {w} _{K}}$ودالة سوفتماكس (حيث${\displaystyle \mathbf {x} ^{\mathsf {T}}\mathbf {w} }$يشير إلى الضرب الداخلي لـ${\displaystyle \mathbf {x} }$و${\displaystyle \mathbf {w} }$تُكافئ هذه العملية تطبيق عامل خطي مُعرَّف بواسطة${\displaystyle \mathbf {w} }$إلى مجموعات${\displaystyle \mathbf {x} }$وبالتالي تحويل المدخلات الأصلية، التي ربما تكون ذات أبعاد عالية، إلى متجهات في فضاء ذي K بُعد${\displaystyle \mathbb {R} ^{K}}$.

في تطبيقات الشبكات العصبية، غالبًا ما يكون عدد النتائج المحتملة (K) كبيرًا، كما هو الحال في نماذج اللغة العصبية التي تتنبأ بالنتيجة الأكثر ترجيحًا من بين مفردات قد تحتوي على ملايين الكلمات المحتملة. ^{[ 9 ]} وهذا قد يُسهّل حسابات طبقة softmax (أي عمليات ضرب المصفوفات لتحديد${\displaystyle z_{i}}$^{[ 9 ] [ 10 ]} علاوة على ذلك، تتطلب طريقة الانتشار العكسي للتدرج الهبوطي لتدريب مثل هذه الشبكة العصبية حساب دالة softmax لكل مثال تدريبي، وقد يصبح عدد الأمثلة التدريبية كبيرًا. وقد أصبح الجهد الحسابي المطلوب لدالة softmax عاملًا رئيسيًا مُحددًا في تطوير نماذج اللغة العصبية الأكبر حجمًا، مما حفز البحث عن حلول متنوعة لتقليل أوقات التدريب. ^{[ 9 ] [ 10 ]}

تشمل الأساليب التي تعيد تنظيم طبقة softmax لتحسين كفاءة الحساب كلاً من softmax الهرمي و softmax التفاضلي . ^{[ 9 ]} يستخدم softmax الهرمي (الذي قدمه مورين وبينجيو عام 2005) بنية شجرة ثنائية حيث تمثل النتائج (كلمات المفردات) الأوراق، بينما تمثل العقد الوسيطة "فئات" مختارة من النتائج، لتشكل متغيرات كامنة . ^{[ 10 ] [ 11 ]} يمكن بعد ذلك حساب الاحتمالية المطلوبة (قيمة softmax) للورقة (النتيجة) كحاصل ضرب احتمالات جميع العقد على المسار من الجذر إلى تلك الورقة. ^{[ 10 ]} من الناحية المثالية، عندما تكون الشجرة متوازنة، سيؤدي ذلك إلى تقليل التعقيد الحسابي من${\displaystyle O(K)}$ل${\displaystyle O(\log _{2}K)}$^{[ 11 ]} عمليًا، تعتمد النتائج على اختيار استراتيجية جيدة لتجميع النتائج في فئات. [ ^{10 ] [ 11 ] استُخدمت} شجرة هوفمان لهذا الغرض في نماذج word2vec من جوجل ( التي طُرحت عام 2013) لتحقيق قابلية التوسع. ^{[ 9 ]}

يعتمد نوع ثانٍ من الحلول على تقريب دالة softmax (أثناء التدريب) باستخدام دوال خسارة مُعدّلة تتجنب حساب عامل التطبيع الكامل. ^{[ 9 ]} وتشمل هذه الطرق أساليب تقيّد مجموع التطبيع بعينة من النتائج (مثل أخذ العينات المهمة، وأخذ العينات المستهدفة). ^{[ 9 ] [ 10 ]}

تُعتبر دالة softmax القياسية غير مستقرة عدديًا بسبب عمليات الأسس الكبيرة. أما طريقة softmax الآمنة فتحسب بدلاً من ذلك$${\displaystyle \sigma (\mathbf {z} )_{i}={\frac {e^{\beta (z_{i}-m)}}{\sum _{j=1}^{K}e^{\beta (z_{j}-m)}}}}$$أين${\displaystyle m=\max _{i}z_{i}}$هي أكبر قيمة معنية. يضمن طرحها أن تكون نتيجة عمليات الأسس 1 على الأكثر، انظر إلى ثبات التحويل في الخصائص الرياضية.

تأخذ آلية الانتباه في المحولات ثلاثة وسائط: "متجه الاستعلام".${\displaystyle q}$، قائمة بـ "المتجهات الرئيسية"${\displaystyle k_{1},\dots ,k_{N}}$وقائمة بـ "متجهات القيم"${\displaystyle v_{1},\dots ,v_{N}}$، ويُخرج مجموعًا مرجحًا باستخدام دالة softmax على متجهات القيم:$${\displaystyle o=\sum _{i=1}^{N}{\frac {e^{q^{T}k_{i}-m}}{\sum _{j=1}^{N}e^{q^{T}k_{j}-m}}}v_{i}}$$تتضمن طريقة softmax القياسية عدة حلقات على المدخلات، والتي ستكون مقيدة بعرض نطاق الذاكرة .

يمكن حسابها بكفاءة على مجموعة وحدات معالجة الرسومات باستخدام خوارزمية FlashAttention .

هندسياً، تقوم دالة softmax برسم خريطة للفضاء الإقليدي${\displaystyle \mathbb {R} ^{K}}$إلى حدود المعيار​${\displaystyle (K-1)}$-simplex ، أي تقليل البعد بمقدار واحد (المدى هو${\displaystyle (K-1)}$المعقد البسيط ذو الأبعاد n في${\displaystyle K}$الفضاء ذو ​​الأبعاد)، بسبب القيد الخطي الذي ينص على أن مجموع جميع المخرجات يساوي 1 مما يعني أنه يقع على مستوى فائق .

على طول القطر الرئيسي${\displaystyle (x,\,x,\,\dots ,\,x),}$دالة softmax هي ببساطة دالة التوزيع المنتظم على المخرجات.${\displaystyle (1/n,\dots ,1/n)}$: الدرجات المتساوية تؤدي إلى احتمالات متساوية.

وبشكل أعم، فإن دالة softmax ثابتة تحت الإزاحة بنفس القيمة في كل إحداثية: إضافة${\displaystyle \mathbf {c} =(c,\,\dots ,\,c)}$للمدخلات${\displaystyle \mathbf {z} }$العائد${\displaystyle \sigma (\mathbf {z} +\mathbf {c} )=\sigma (\mathbf {z} )}$لأنه يضرب كل أس بنفس العامل،${\displaystyle e^{c}}$(لأن${\displaystyle e^{z_{i}+c}=e^{z_{i}}\cdot e^{c}}$وبالتالي، فإن النسب لا تتغير: $${\displaystyle \sigma (\mathbf {z} +\mathbf {c} )_{j}={\frac {e^{z_{j}+c}}{\sum _{k=1}^{K}e^{z_{k}+c}}}={\frac {e^{z_{j}}\cdot e^{c}}{\sum _{k=1}^{K}e^{z_{k}}\cdot e^{c}}}=\sigma (\mathbf {z} )_{j}.}$$

هندسيًا، تكون دالة softmax ثابتة على طول الأقطار: هذا هو البُعد الذي يتم حذفه، ويتوافق مع كون مُخرَج softmax مستقلًا عن أي تغيير في قيم الإدخال (اختيار قيمة صفرية). يمكن تطبيع قيم الإدخال بافتراض أن المجموع يساوي صفرًا (طرح المتوسط).${\displaystyle \mathbf {c} }$أين${\textstyle c={\frac {1}{n}}\sum z_{i}}$ثم تأخذ دالة softmax المستوى الفائق للنقاط التي مجموعها يساوي صفرًا،${\textstyle \sum z_{i}=0}$، إلى مجموعة بسيطة مفتوحة من القيم الموجبة التي مجموعها يساوي 1${\textstyle \sum \sigma (\mathbf {z} )_{i}=1}$وبالمثل، كما يتغير الأس من 0 إلى 1،${\displaystyle e^{0}=1}$وهي إيجابية.

على النقيض من ذلك، فإن دالة softmax ليست ثابتة تحت تغيير المقياس. على سبيل المثال،${\displaystyle \sigma {\bigl (}(0,\,1){\bigr )}={\bigl (}1/(1+e),\,e/(1+e){\bigr )}}$لكن${\displaystyle \sigma {\bigl (}(0,2){\bigr )}={\bigl (}1/\left(1+e^{2}\right),\,e^{2}/\left(1+e^{2}\right){\bigr )}.}$

الدالة اللوجستية القياسية هي حالة خاصة لمحور أحادي البعد في فضاء ثنائي الأبعاد، ولنقل المحور السيني في المستوى (س، ص) . يتم تثبيت أحد المتغيرات عند الصفر (مثلاً).${\displaystyle z_{2}=0}$)، لذا${\displaystyle e^{0}=1}$والمتغير الآخر يمكن أن يتغير، فلنرمز إليه بـ${\displaystyle z_{1}=x}$، لذا${\textstyle e^{z_{1}}/\sum _{k=1}^{2}e^{z_{k}}=e^{x}/\left(e^{x}+1\right),}$الدالة اللوجستية القياسية، و${\textstyle e^{z_{2}}/\sum _{k=1}^{2}e^{z_{k}}=1/\left(e^{x}+1\right),}$مكملها (أي أن مجموعهما يساوي 1). ويمكن التعبير عن المدخل أحادي البعد بدلاً من ذلك على شكل خط${\displaystyle (x/2,\,-x/2)}$، مع المخرجات${\displaystyle e^{x/2}/\left(e^{x/2}+e^{-x/2}\right)=e^{x}/\left(e^{x}+1\right)}$و${\displaystyle e^{-x/2}/\left(e^{x/2}+e^{-x/2}\right)=1/\left(e^{x}+1\right).}$

استُخدمت دالة softmax في الميكانيكا الإحصائية كتوزيع بولتزمان في الورقة التأسيسية لبولتزمان (1868) ، ^{[ 12 ]} وتم صياغتها ونشرها في الكتاب المدرسي المؤثر لجيبس (1902) . ^{[ 13 ]}

يُنسب استخدام دالة softmax في نظرية القرار إلى ر. دنكان لوس ، ^{[ 14 ] : 1} الذي استخدم بديهية استقلال البدائل غير ذات الصلة في نظرية الاختيار العقلاني لاستنتاج دالة softmax في بديهية اختيار لوس للتفضيلات النسبية.

في مجال التعلم الآلي، يُنسب مصطلح "softmax" إلى جون إس. بريدل في ورقتين بحثيتين نُشرتا في مؤتمر عام 1989، بريدل (1990أ) : ^{[ 14 ] : 1} وبريدل (1990ب) : ^{[ 3 ].}

نهتم بالشبكات العصبية غير الخطية ذات التغذية الأمامية (الشبكات العصبية متعددة الطبقات، أو MLPs) ذات المخرجات المتعددة. نرغب في التعامل مع مخرجات الشبكة كاحتمالات للبدائل ( مثل فئات الأنماط)، بناءً على المدخلات. نبحث عن اللاخطية المناسبة للمخرجات ومعايير ملائمة لتكييف معلمات الشبكة ( مثل الأوزان). نشرح تعديلين: حساب الاحتمالية، وهو بديل لتقليل الخطأ التربيعي، وتعميم متعدد المدخلات للدالة اللوجستية غير الخطية باستخدام دالة أسية معيارية ( softmax ). ^{[ 15 ] : 227}

بالنسبة لأي مدخلات، يجب أن تكون جميع المخرجات موجبة ويجب أن يكون مجموعها واحدًا.

بالنظر إلى مجموعة من القيم غير المقيدة ،${\displaystyle V_{j}(x)}$يمكننا ضمان كلا الشرطين باستخدام تحويل أسي معياري :$${\displaystyle Q_{j}(x)=\left.e^{V_{j}(x)}\right/\sum _{k}e^{V_{k}(x)}}$$ يمكن اعتبار هذا التحويل تعميمًا متعدد المدخلات للدالة اللوجستية، حيث يعمل على طبقة المخرجات بأكملها. وهو يحافظ على ترتيب قيم المدخلات، ويُعد تعميمًا قابلًا للتفاضل لعملية "الفائز يأخذ كل شيء" لاختيار القيمة القصوى. لهذا السبب، نُفضل الإشارة إليه باسم softmax . ^{[ 16 ] : 213}

عند إدخال القيم (1، 2، 3، 4، 1، 2، 3) ، تكون قيمة دالة softmax تقريبًا (0.024، 0.064، 0.175، 0.475، 0.024، 0.064، 0.175) . يتركز معظم الناتج في موضع القيمة "4" في المدخل الأصلي. هذا هو الغرض الأساسي من استخدام هذه الدالة: إبراز القيم الأكبر وإخفاء القيم الأقل منها بكثير. لكن تجدر الإشارة إلى أن تغير درجة الحرارة يؤثر على الناتج. عند ضرب درجة الحرارة في 10، تصبح المدخلات فعليًا (0.1، 0.2، 0.3، 0.4، 0.1، 0.2، 0.3)، وتكون قيمة دالة softmax تقريبًا (0.125، 0.138، 0.153، 0.169، 0.125، 0.138، 0.153) . وهذا يدل على أن درجات الحرارة المرتفعة تقلل من قيمة الحد الأقصى.

حساب هذا المثال باستخدام كود بايثون :

>>> import numpy as np >>> z = np.array ([ 1.0 , 2.0 , 3.0 , 4.0 , 1.0 , 2.0 , 3.0 ] ) >>> beta = 1.0 >>> np.exp ( beta * z ) / np.sum ( np.exp ( beta * z )) array ( [ 0.02364054 , 0.06426166, 0.1746813, 0.474833, 0.02364054,  0.06426166, 0.1746813 ] )

تُنتج دالة softmax تنبؤات احتمالية موزعة بكثافة على نطاقها . ويمكن استخدام دوال أخرى مثل sparsemax أو α- entmax عند الرغبة في الحصول على تنبؤات احتمالية متفرقة. ^{[ 17 ]} كما يمكن استخدام حيلة إعادة تمثيل Gumbel-softmax عند الحاجة إلى محاكاة أخذ العينات من توزيع منفصل-منفصل بطريقة قابلة للتفاضل.

• سوفت بلس
• الانحدار اللوجستي متعدد الحدود
• توزيع ديريشليه – طريقة بديلة لأخذ عينات من التوزيعات الفئوية
• دالة التقسيم
• الميل الأسي – تعميم لدالة Softmax لتوزيعات احتمالية أكثر عمومية