التنبؤ المنظم

يُعدّ تصنيف التسلسل فئة من المشكلات الشائعة في معالجة اللغات الطبيعية، حيث تكون بيانات الإدخال غالبًا متسلسلة، مثل جمل النصوص. تظهر مشكلة تصنيف التسلسل بأشكال متعددة، مثل تصنيف أجزاء الكلام (POS tagging) والتعرف على الكيانات المسماة . في تصنيف أجزاء الكلام، على سبيل المثال، يجب "تصنيف" كل كلمة في التسلسل بعلامة فئة تمثل نوعها.

هذا	DT
يكون	VBZ
أ	DT
تم وضع علامة	جاي جاي
جملة.	NN

يتمثل التحدي الرئيسي لهذه المشكلة في حل الغموض : في المثال أعلاه، يمكن أن تكون كلمتا "sentence" و "tagged" في اللغة الإنجليزية أفعالًا أيضًا .

على الرغم من إمكانية حل هذه المشكلة ببساطة عن طريق تصنيف الكلمات الفردية ، إلا أن هذا النهج لا يأخذ في الحسبان حقيقة أن الوسوم لا تظهر بشكل مستقل؛ بل إن كل وسم يُظهر اعتمادًا شرطيًا قويًا على وسم الكلمة السابقة. يمكن استغلال هذه الحقيقة في نموذج تسلسلي، مثل نموذج ماركوف المخفي أو حقل عشوائي شرطي ^{[ 2 ]} ، الذي يتنبأ بتسلسل الوسوم الكامل للجملة (بدلاً من الوسوم الفردية فقط) باستخدام خوارزمية فيتربي .

إحدى أسهل الطرق لفهم خوارزميات التنبؤ الهيكلي العام هي خوارزمية البيرسيبترون الهيكلي لكولينز . ^{​​[ 3 ]} تجمع هذه الخوارزمية بين خوارزمية البيرسيبترون لتعلم المصنفات الخطية وخوارزمية الاستدلال ( خوارزمية فيتربي الكلاسيكية عند استخدامها على بيانات التسلسل) ويمكن وصفها بشكل مجرد على النحو التالي:

1. أولاً، قم بتعريف دالة${\displaystyle \phi (x,y)}$ذلك يرسم خريطة لعينة تدريبية${\displaystyle x}$وتوقع المرشح${\displaystyle y}$إلى متجه طوله${\displaystyle n}$(${\displaystyle x}$و${\displaystyle y}$قد يكون له أي بنية؛${\displaystyle n}$يعتمد ذلك على المشكلة، ولكن يجب تحديده لكل نموذج). لنفترض${\displaystyle GEN}$تكون دالة تقوم بتوليد تنبؤات المرشحين.
2. ثم:

يترك${\displaystyle w}$ليكن متجه وزن طوله${\displaystyle n}$

لعدد محدد مسبقًا من التكرارات:

لكل عينة${\displaystyle x}$في مجموعة التدريب مع المخرجات الحقيقية${\displaystyle t}$:

توقع${\displaystyle {\hat {y}}}$:${\displaystyle {\hat {y}}={\operatorname {arg\,max} }\,\{y\in GEN(x)\}\,(w^{T},\phi (x,y))}$

تحديث${\displaystyle w}$(من${\displaystyle {\hat {y}}}$تجاه${\displaystyle t}$):${\displaystyle w=w+c(-\phi (x,{\hat {y}})+\phi (x,t))}$، أين${\displaystyle c}$معدل التعلم .

عمليًا، إيجاد قيمة argmax على${\displaystyle {GEN}({x})}$يتم ذلك باستخدام خوارزمية مثل فيتربي أو خوارزمية المجموع الأقصى ، بدلاً من البحث الشامل من خلال مجموعة كبيرة بشكل أسي من المرشحين.

إن فكرة التعلم تشبه فكرة التعلم في الشبكات العصبية متعددة الفئات .