معدل الخطأ في الكلمات

معدل خطأ الكلمات ( WER ) هو مقياس شائع لأداء أنظمة التعرف على الكلام أو الترجمة الآلية . يتراوح معدل خطأ الكلمات عادةً بين 0 و1، حيث يشير 0 إلى أن النصين المُقارنين متطابقان تمامًا، بينما يشير 1 (أو أعلى) إلى أنهما مختلفان تمامًا ولا يوجد بينهما أي تشابه. وبالتالي، فإن معدل خطأ كلمات يبلغ 0.8 يعني أن نسبة الخطأ في الجمل المُقارنة هي 80%.

تكمن الصعوبة العامة في قياس الأداء في أن تسلسل الكلمات المُتعرَّف عليه قد يختلف في طوله عن تسلسل الكلمات المرجعي (المفترض أنه الصحيح). يُشتق معدل الخطأ في الكلمات (WER) من مسافة ليفنشتاين ، ويعمل على مستوى الكلمة بدلاً من مستوى الصوت . يُعدّ WER أداة قيّمة لمقارنة الأنظمة المختلفة، وكذلك لتقييم التحسينات داخل النظام الواحد. مع ذلك، لا يُقدّم هذا النوع من القياس أي تفاصيل حول طبيعة أخطاء الترجمة، ولذا يلزم إجراء المزيد من الأبحاث لتحديد المصدر (المصادر) الرئيسي للخطأ وتوجيه أي جهد بحثي نحوه.

تُحل هذه المشكلة أولاً بمحاذاة تسلسل الكلمات المُتعرَّف عليه مع تسلسل الكلمات المرجعي (المنطوق) باستخدام محاذاة السلاسل الديناميكية. ويتم دراسة هذه المسألة من خلال نظرية تُسمى قانون القوة، والتي تنص على العلاقة بين الحيرة ومعدل خطأ الكلمات. ^{[ 1 ]}

ويمكن حساب معدل الخطأ في الكلمات على النحو التالي:

${\displaystyle {\mathit {WER}}={\frac {S+D+I}{N}}={\frac {S+D+I}{S+D+C}}}$

أين

• S هو عدد عمليات الاستبدال،
• يمثل D عدد عمليات الحذف،
• يمثل I عدد عمليات الإدخال،
• C هو عدد الكلمات الصحيحة،
• N هو عدد الكلمات في المرجع (N=S+D+C)

يكمن المنطق وراء مصطلحي "الحذف" و"الإضافة" في كيفية الانتقال من المرجع إلى الفرضية. فإذا كان لدينا المرجع "هذه ويكيبيديا" والفرضية "هذه _ ويكيبيديا"، فإننا نسمي ذلك حذفًا.

لاحظ أنه بما أن N هو عدد الكلمات في المرجع، فإن معدل خطأ الكلمات يمكن أن يكون أكبر من 1.0، أي إذا كان عدد عمليات الإدخال I أكبر من عدد الكلمات الصحيحة C.

عند الإبلاغ عن أداء نظام التعرف على الكلام، يتم أحيانًا استخدام دقة الكلمات (WAcc) بدلاً من ذلك:

${\displaystyle {\mathit {WAcc}}=1-{\mathit {WER}}={\frac {NSDI}{N}}={\frac {CI}{N}}}$

بما أن معدل الخطأ في الكلمات يمكن أن يكون أكبر من 1.0، فإن دقة الكلمات يمكن أن تكون أقل من 0.0.

يشيع الاعتقاد بأن انخفاض معدل أخطاء الكلمات يدل على دقة أعلى في التعرف على الكلام، مقارنةً بارتفاعه. إلا أن دراسة واحدة على الأقل أظهرت أن هذا قد لا يكون صحيحًا. ففي تجربة أجرتها مايكروسوفت للأبحاث ، تبين أنه إذا تم تدريب المشاركين وفقًا لـ "هدف التحسين للفهم" (وانغ، أسيرو، وشيلبا، 2003)، فإنهم سيُظهرون دقة أعلى في فهم اللغة مقارنةً بغيرهم ممن أظهروا معدل أخطاء كلمات أقل، مما يدل على أن الفهم الحقيقي للغة المنطوقة يعتمد على أكثر من مجرد دقة عالية في التعرف على الكلمات . ^{[ 2 ]}

إحدى مشكلات استخدام صيغة عامة كالصيغة المذكورة أعلاه هي عدم مراعاة تأثير أنواع الأخطاء المختلفة على احتمالية نجاح العملية، فبعض الأخطاء قد تكون أكثر تأثيرًا من غيرها، وبعضها الآخر قد يكون أسهل تصحيحًا. ومن المرجح أن تكون هذه العوامل خاصة بالبنية النحوية قيد الاختبار. وثمة مشكلة أخرى تتمثل في أنه حتى مع أفضل محاذاة، لا تستطيع الصيغة التمييز بين خطأ الاستبدال وخطأ الحذف والإضافة معًا.

اقترح هانت (1990) استخدام مقياس مرجح لدقة الأداء حيث يتم ترجيح أخطاء الاستبدال بوحدة واحدة، بينما يتم ترجيح أخطاء الحذف والإدراج بـ 0.5 فقط، على النحو التالي:

${\displaystyle {\mathit {WER}}={\frac {S+0.5D+0.5I}{N}}}$

مع ذلك، ثمة جدل قائم حول مدى ملاءمة استخدام صيغة هانت لتقييم أداء نظام واحد، إذ طُوّرت كوسيلة لمقارنة الأنظمة المرشحة المتنافسة بموضوعية أكبر. ويزيد الأمر تعقيدًا ما إذا كانت الصيغة تسمح بتصحيح الأخطاء، وإن كانت كذلك، فما مدى سهولة هذه العملية للمستخدم. لذا، ثمة وجاهة في القول بضرورة تطوير مقاييس الأداء بما يتناسب مع النظام المحدد الذي يُقاس.

بغض النظر عن المقياس المستخدم، تكمن إحدى المشكلات النظرية الرئيسية في تقييم أداء أي نظام في تحديد ما إذا كان النطق خاطئًا، أي هل يكمن الخطأ في المستخدم أم في نظام التعرف على الكلمات. وقد يكون هذا الأمر بالغ الأهمية في نظام مصمم للتعامل مع غير الناطقين الأصليين بلغة معينة أو مع اللهجات الإقليمية القوية.

يُعدّ معدل سرعة الكلام أثناء عملية القياس مصدرًا للتفاوت بين الأفراد، وكذلك حاجتهم للراحة أو أخذ نفس. وقد يتطلب الأمر ضبط جميع هذه العوامل بطريقة أو بأخرى.

فيما يتعلق بإملاء النصوص، من المتفق عليه عمومًا أن دقة الأداء بمعدل أقل من 95٪ غير مقبولة، ولكن هذا قد يكون مرتبطًا بالبنية النحوية و/أو المجال، على سبيل المثال ما إذا كان هناك ضغط زمني على المستخدمين لإكمال المهمة، وما إذا كانت هناك طرق بديلة للإنجاز، وما إلى ذلك.

يُشار أحيانًا إلى مصطلح "معدل الخطأ في الكلمة الواحدة" على أنه النسبة المئوية للتعرفات غير الصحيحة لكل كلمة مختلفة في مفردات النظام.

يُشار إلى معدل خطأ الكلمات أيضًا باسم مسافة التحرير المعيارية للطول . ^{[ 3 ]} تُعرَّف مسافة التحرير المعيارية بين X وY، d (X,Y)، بأنها الحد الأدنى لـ W(P) / L(P)، حيث P هو مسار التحرير بين X وY، وW(P) هو مجموع أوزان عمليات التحرير الأساسية لـ P، وL(P) هو عدد هذه العمليات (طول P). ^{[ 4 ]}

• بلو
• مقياس F
• نيزك
• المعهد الوطني للمعايير والتكنولوجيا (النظام المتري)
• أحمر (متري)