أقصى درجات السلاسة

بالنسبة للقيم الموجبة الكبيرة للمعامل${\displaystyle \alpha >0}$الصيغة التالية هي تقريب سلس وقابل للتفاضل لدالة القيمة القصوى. أما بالنسبة للقيم السالبة للمعامل ذات القيمة المطلقة الكبيرة، فإنها تقارب القيمة الدنيا.

${\displaystyle {\mathcal {S}}_{\alpha }(x_{1},\ldots ,x_{n})={\frac {\sum _{i=1}^{n}x_{i}e^{\alpha x_{i}}}{\sum _{i=1}^{n}e^{\alpha x_{i}}}}}$

${\displaystyle {\mathcal {S}}_{\alpha }}$له الخصائص التالية:

1. ${\displaystyle {\mathcal {S}}_{\alpha }\to \max }$مثل${\displaystyle \alpha \to \infty }$
2. ${\displaystyle {\mathcal {S}}_{0}}$هو المتوسط ​​الحسابي لمدخلاته
3. ${\displaystyle {\mathcal {S}}_{\alpha }\to \min }$مثل${\displaystyle \alpha \to -\infty }$

تدرج${\displaystyle {\mathcal {S}}_{\alpha }}$ترتبط ارتباطًا وثيقًا بدالة softmax ويتم تحديدها بواسطة

${\displaystyle \nabla _{x_{i}}{\mathcal {S}}_{\alpha }(x_{1},\ldots ,x_{n})={\frac {e^{\alpha x_{i}}}{\sum _{j=1}^{n}e^{\alpha x_{j}}}}[1+\alpha (x_{i}-{\mathcal {S}}_{\alpha }(x_{1},\ldots ,x_{n}))].}$

وهذا يجعل دالة softmax مفيدة لتقنيات التحسين التي تستخدم التدرج الهبوطي .

يُطلق على هذا العامل أحيانًا اسم عامل بولتزمان، ^{[ 1 ]} نسبة إلى توزيع بولتزمان .

ومن القيم القصوى السلسة الأخرى LogSumExp :

${\displaystyle \mathrm {LSE} _{\alpha }(x_{1},\ldots ,x_{n})={\frac {1}{\alpha }}\log \sum _{i=1}^{n}\exp \alpha x_{i}}$

ويمكن أيضًا تطبيع ذلك إذا${\displaystyle x_{i}}$جميعها غير سالبة، مما ينتج عنه دالة ذات مجال${\displaystyle [0,\infty )^{n}}$والمدى${\displaystyle [0,\infty )}$:

${\displaystyle g(x_{1},\ldots ,x_{n})=\log \left(\sum _{i=1}^{n}\exp x_{i}-(n-1)\right)}$

ال${\displaystyle (n-1)}$يُصحح هذا المصطلح حقيقة أن${\displaystyle \exp(0)=1}$عن طريق إلغاء جميع الدوال الأسية الصفرية باستثناء دالة واحدة، و${\displaystyle \log 1=0}$إذا كان كل شيء${\displaystyle x_{i}}$صفر.

يُعرَّف عامل mellowmax ^{[ 1 ] على النحو التالي:}

${\displaystyle \mathrm {mm} _{\alpha }(x)={\frac {1}{\alpha }}\log {\frac {1}{n}}\sum _{i=1}^{n}\exp \alpha x_{i}}$

إنه عامل غير متوسع .${\displaystyle \alpha \to \infty }$، فهو يعمل كقيمة قصوى.${\displaystyle \alpha \to 0}$، فهو يعمل كمتوسط ​​حسابي.${\displaystyle \alpha \to -\infty }$يعمل هذا المؤثر كقيمة دنيا. ويمكن اعتباره تجسيدًا خاصًا للمتوسط ​​الحسابي شبه الحسابي . كما يمكن اشتقاقه من مبادئ نظرية المعلومات كوسيلة لتنظيم السياسات ذات دالة التكلفة المحددة بواسطة تباعد كولباك-لايبير. وقد استُخدم هذا المؤثر سابقًا في مجالات أخرى، مثل هندسة الطاقة. ^{[ 2 ]}

ومن الأمثلة الأخرى على الحد الأقصى السلس معيار p :

${\displaystyle \|(x_{1},\ldots ,x_{n})\|_{p}=\left(\sum _{i=1}^{n}|x_{i}|^{p}\right)^{\frac {1}{p}}}$

والتي تتقارب إلى${\displaystyle \|(x_{1},\ldots ,x_{n})\|_{\infty }=\max _{1\leq i\leq n}|x_{i}|}$مثل${\displaystyle p\to \infty }$.

تتمثل إحدى مزايا معيار p في كونه معيارًا . وبذلك فهو ثابت المقياس ( متجانس ):${\displaystyle \|(\lambda x_{1},\ldots ,\lambda x_{n})\|_{p}=|\lambda |\cdot \|(x_{1},\ldots ,x_{n})\|_{p}}$وهو يحقق متباينة المثلث .

يُطلق على عامل التشغيل الثنائي التالي اسم وحدة الحد الأقصى السلس (SMU): ^{[ 3 ]}

${\displaystyle {\begin{aligned}\textstyle \max _{\varepsilon }(a,b)&={\frac {a+b+|a-b|_{\varepsilon }}{2}}\\&={\frac {a+b+{\sqrt {(a-b)^{2}+\varepsilon }}}{2}}\end{aligned}}}$

أين${\displaystyle \varepsilon \geq 0}$هو مُعامل.${\displaystyle \varepsilon \to 0}$،${\displaystyle |\cdot |_{\varepsilon }\to |\cdot |}$وبالتالي${\displaystyle \textstyle \max _{\varepsilon }\to \max }$.