أسلوب عنق الزجاجة المعلوماتي

بما أن طريقة عنق الزجاجة تُصاغ بعبارات احتمالية وليست إحصائية، فإن كثافة الاحتمال الأساسية عند نقاط العينة${\displaystyle X={x_{i}}\,}$يجب تقديرها. هذه مشكلة معروفة ولها حلول متعددة وصفها سيلفرمان . ^{[ 10 ]} في الطريقة الحالية، يتم إيجاد احتمالات العينة المشتركة باستخدام طريقة مصفوفة انتقال ماركوف ، وهذا له بعض التآزر الرياضي مع طريقة عنق الزجاجة نفسها.

مقياس المسافة المتزايد بشكل تعسفي${\displaystyle f\,}$بين جميع أزواج العينات ومصفوفة المسافة هي${\displaystyle d_{i,j}=f{\Big (}{\Big |}x_{i}-x_{j}{\Big |}{\Big )}}$ثم احتمالات الانتقال بين أزواج العينات${\displaystyle P_{i,j}=\exp(-\lambda d_{i,j})\,}$بالنسبة للبعض${\displaystyle \lambda >0\,}$يجب حسابها. يتم التعامل مع العينات كحالات، ونسخة مُعَيَّرة من${\displaystyle P\,}$باعتبارها مصفوفة احتمالية انتقال حالة ماركوف، فإن متجه احتمالات "الحالات" بعد${\displaystyle t\,}$خطوات، مشروطة بالحالة الأولية${\displaystyle p(0)\,}$، يكون${\displaystyle p(t)=P^{t}p(0)\,}$متجه احتمالية التوازن${\displaystyle p(\infty )\,}$معطاة بالطريقة المعتادة بواسطة المتجه الذاتي المهيمن للمصفوفة${\displaystyle P\,}$وهو أمر مستقل عن متجه التهيئة${\displaystyle p(0)\,}$. تحدد طريقة انتقال ماركوف هذه احتمالًا عند نقاط العينة يُزعم أنه يتناسب مع كثافات الاحتمالات هناك.

تفسيرات أخرى لاستخدام القيم الذاتية لمصفوفة المسافة${\displaystyle d\,}$تمت مناقشتها في كتاب سيلفرمان " تقدير الكثافة للإحصاء وتحليل البيانات" . ^{[ 10 ]}

في مثال التجميع المرن التالي، متجه المرجع${\displaystyle Y\,}$يحتوي على فئات العينة والاحتمال المشترك${\displaystyle p(X,Y)\,}$يُفترض أن يكون معروفًا. مجموعة ناعمة${\displaystyle c_{k}\,}$يتم تعريفها من خلال توزيعها الاحتمالي على عينات البيانات${\displaystyle x_{i}:\,\,\,p(c_{k}|x_{i})}$قدّم تيشبي وآخرون ^{[ 1 ]} مجموعة المعادلات التكرارية التالية لتحديد المجموعات، والتي تُعدّ في نهاية المطاف تعميمًا لخوارزمية بلاهوت-أريموتو ، المُطوّرة في نظرية معدل التشوه . ويبدو أن تطبيق هذا النوع من الخوارزميات في الشبكات العصبية ينبع من حجج الإنتروبيا التي تظهر عند تطبيق توزيعات جيبس ​​في التلدين الحتمي. ^{[ 11 ] [ 12 ]}

${\displaystyle {\begin{cases}p(c|x)=Kp(c)\exp {\Big (}-\beta \,D^{KL}{\Big [}p(y|x)\,||\,p(y|c){\Big ]}{\Big )}\\p(y|c)=\textstyle \sum _{x}p(y|x)p(c|x)p(x){\big /}p(c)\\p(c)=\textstyle \sum _{x}p(c|x)p(x)\\\end{cases}}}$

تتوسع وظيفة كل سطر من التكرار على النحو التالي

السطر 1: هذه مجموعة احتمالات شرطية ذات قيم مصفوفية

${\displaystyle A_{i,j}=p(c_{i}|x_{j})=Kp(c_{i})\exp {\Big (}-\beta \,D^{KL}{\Big [}p(y|x_{j})\,||\,p(y|c_{i}){\Big ]}{\Big )}}$

تباعد كولباك -لايبير${\displaystyle D^{KL}\,}$بين${\displaystyle Y\,}$المتجهات الناتجة عن بيانات العينة${\displaystyle x\,}$وتلك التي تم إنشاؤها بواسطة وكيل المعلومات المختزل الخاص بها${\displaystyle c\,}$يتم تطبيقها لتقييم مدى دقة المتجه المضغوط بالنسبة للبيانات المرجعية (أو الفئوية)${\displaystyle Y\,}$وفقًا لمعادلة عنق الزجاجة الأساسية.${\displaystyle D^{KL}(a||b)\,}$هو تباعد كولباك-لايبير بين التوزيعات${\displaystyle a,b\,}$

${\displaystyle D^{KL}(a||b)=\sum _{i}p(a_{i})\log {\Big (}{\frac {p(a_{i})}{p(b_{i})}}{\Big )}}$

و${\displaystyle K\,}$هو توحيد قياسي. يعني الترجيح بالأس السالب للمسافة أن احتمالات التجميع المسبقة يتم تقليلها في السطر 1 عندما يكون تباعد كولباك-لايبير كبيرًا، وبالتالي تزداد احتمالية المجموعات الناجحة بينما تتلاشى احتمالية المجموعات غير الناجحة.

السطر 2: مجموعة ثانية من الاحتمالات الشرطية ذات القيم المصفوفية. بحسب التعريف

${\displaystyle {\begin{aligned}p(y_{i}|c_{k})&=\sum _{j}p(y_{i}|x_{j})p(x_{j}|c_{k})\\&=\sum _{j}p(y_{i}|x_{j})p(x_{j},c_{k}){\big /}p(c_{k})\\&=\sum _{j}p(y_{i}|x_{j})p(c_{k}|x_{j})p(x_{j}){\big /}p(c_{k})\\\end{aligned}}}$

حيث متطابقات بايز${\displaystyle p(a,b)=p(a|b)p(b)=p(b|a)p(a)\,}$تُستخدم.

السطر 3: يحدد هذا السطر التوزيع الهامشي للمجموعات${\displaystyle c\,}$

${\displaystyle {\begin{aligned}p(c_{i})&=\sum _{j}p(c_{i},x_{j})&=\sum _{j}p(c_{i}|x_{j})p(x_{j})\end{aligned}}}$

هذه نتيجة قياسية.

وتشمل المدخلات الأخرى للخوارزمية توزيع العينة الهامشية${\displaystyle p(x)\,}$والتي تم تحديدها بالفعل بواسطة المتجه الذاتي المهيمن لـ${\displaystyle P\,}$ودالة تباعد كولباك-لايبير ذات القيم المصفوفية

${\displaystyle D_{i,j}^{KL}=D^{KL}{\Big [}p(y|x_{j})\,||\,p(y|c_{i}){\Big ]}{\Big )}}$

مستمدة من تباعد العينات واحتمالات الانتقال.

المصفوفة${\displaystyle p(y_{i}|c_{j})\,}$يمكن تهيئتها عشوائيًا أو بتخمين معقول، بينما المصفوفة${\displaystyle p(c_{i}|x_{j})\,}$لا يحتاج إلى قيم مسبقة. على الرغم من أن الخوارزمية تتقارب، فقد توجد عدة نقاط دنيا يجب حلها. ^{[ 13 ]}

تتناول الحالة التالية عملية التجميع في مضاعف رباعي الأرباع مع مدخلات عشوائية.${\displaystyle u,v\,}$وفئتان من المخرجات،${\displaystyle \pm 1\,}$، تم إنشاؤه بواسطة${\displaystyle y=\operatorname {sign} (uv)\,}$تحتوي هذه الوظيفة على مجموعتين منفصلتين مكانيًا لكل فئة، وبالتالي توضح أن الطريقة يمكنها التعامل مع مثل هذه التوزيعات.

تم أخذ 20 عينة، موزعة بشكل متساوٍ على المربع${\displaystyle [-1,1]^{2}\,}$إن عدد المجموعات المستخدمة، بالإضافة إلى عدد الفئات (اثنتان في هذه الحالة)، لا يؤثر بشكل كبير على الأداء، وقد تم عرض النتائج لمجموعتين باستخدام المعلمات.${\displaystyle \lambda =3,\,\beta =2.5}$.

دالة المسافة هي${\displaystyle d_{i,j}={\Big |}x_{i}-x_{j}{\Big |}^{2}}$أين${\displaystyle x_{i}=(u_{i},v_{i})^{T}\,}$بينما التوزيع الشرطي${\displaystyle p(y|x)\,}$هي مصفوفة 2  ×  20

${\displaystyle {\begin{aligned}&Pr(y_{i}=1)=1{\text{ if }}\operatorname {sign} (u_{i}v_{i})=1\,\\&Pr(y_{i}=-1)=1{\text{ if }}\operatorname {sign} (u_{i}v_{i})=-1\,\end{aligned}}}$

ولا شيء في أي مكان آخر.

يتضمن المجموع في السطر 2 قيمتين فقط تمثلان قيم التدريب +1 أو -1 ، ولكنه مع ذلك يعمل بشكل جيد. يوضح الشكل مواقع العينات العشرين، حيث يمثل '0' قيمة Y = 1، ويمثل 'x' قيمة Y = -1 . ويظهر منحنى التوزيع عند مستوى نسبة الاحتمالية الموحدة.

${\displaystyle L={\frac {\Pr(1)}{\Pr(-1)}}=1}$

كعينة جديدة${\displaystyle x'\,}$يتم مسح المربع ضوئيًا. من الناحية النظرية، يجب أن يتوافق المحيط مع${\displaystyle u=0\,}$و${\displaystyle v=0\,}$الإحداثيات، ولكن بالنسبة لأعداد العينات الصغيرة هذه، فقد اتبعوا بدلاً من ذلك التجمعات الزائفة لنقاط العينة.

تُشبه هذه الخوارزمية إلى حد ما الشبكة العصبية ذات الطبقة المخفية الواحدة. ويتم تمثيل العقد الداخلية بواسطة المجموعات.${\displaystyle c_{j}\,}$والطبقتان الأولى والثانية من أوزان الشبكة هما الاحتمالات الشرطية${\displaystyle p(c_{j}|x_{i})\,}$و${\displaystyle p(y_{k}|c_{j})\,}$على التوالي. ومع ذلك، وخلافًا للشبكة العصبية التقليدية، تعتمد الخوارزمية كليًا على الاحتمالات كمدخلات بدلًا من قيم العينة نفسها، بينما تمثل القيم الداخلية وقيم المخرجات جميعها توزيعات كثافة احتمالية شرطية . وتُغلف الدوال غير الخطية بمقياس المسافة.${\displaystyle f(.)\,}$(أو دوال التأثير/دوال الأساس الشعاعي ) واحتمالات الانتقال بدلاً من الدوال السينية .

تتقارب خوارزمية بلاهوت-أريموتو ثلاثية الخطوط بسرعة، غالبًا في عشرات التكرارات، وذلك عن طريق التغيير${\displaystyle \beta \,}$،${\displaystyle \lambda \,}$و${\displaystyle f\,}$ويمكن تحقيق مستويات مختلفة من التركيز على السمات، وذلك بحسب عدد المجموعات.

تعريف التجميع الإحصائي المرن${\displaystyle p(c_{i}|x_{j})\,}$يوجد بعض التداخل مع مفهوم العضوية الضبابية اللفظية في المنطق الضبابي .