الترجمة الآلية الإحصائية

الترجمة الآلية الإحصائية ( SMT ) هي منهج للترجمة الآلية يُولّد الترجمات بناءً على نماذج إحصائية تُستمد معاييرها من تحليل مجموعات نصوص ثنائية اللغة . ويختلف هذا المنهج الإحصائي عن مناهج الترجمة الآلية القائمة على القواعد، وكذلك عن الترجمة الآلية القائمة على الأمثلة ^{[ 1 ]،} التي حلت محل المنهج السابق القائم على القواعد والذي كان يتطلب وصفًا صريحًا لكل قاعدة لغوية، وهو أمر مكلف، وغالبًا ما كان غير قابل للتعميم على لغات أخرى.

طُرحت أولى أفكار الترجمة الآلية الإحصائية على يد وارن ويفر عام ١٩٤٩، ^{[ ٢ ]} بما في ذلك تطبيق نظرية المعلومات لكلود شانون . أُعيد تقديم الترجمة الآلية الإحصائية في أواخر الثمانينيات وأوائل التسعينيات من القرن العشرين على يد باحثين في مركز توماس ج. واتسون للأبحاث التابع لشركة آي بي إم . ^{[ ٣ ] [ ٤ ] [ ٥ ]} وقبل ظهور الترجمة الآلية العصبية، كانت هذه الطريقة الأكثر دراسةً على نطاق واسع في مجال الترجمة الآلية.

تستند فكرة الترجمة الآلية الإحصائية إلى نظرية المعلومات . تتم ترجمة المستند وفقًا لتوزيع الاحتمالات.${\displaystyle p(e|f)}$ذلك خيط${\displaystyle e}$في اللغة المستهدفة (على سبيل المثال، الإنجليزية) هي ترجمة لسلسلة نصية${\displaystyle f}$في اللغة المصدر (على سبيل المثال، الفرنسية).

مشكلة نمذجة التوزيع الاحتمالي${\displaystyle p(e|f)}$تم تناول هذه المسألة بعدة طرق. إحدى الطرق التي تُناسب التطبيق الحاسوبي هي تطبيق نظرية بايز ، أي${\displaystyle p(e|f)\propto p(f|e)p(e)}$، حيث نموذج الترجمة${\displaystyle p(f|e)}$يمثل احتمال أن تكون السلسلة المصدرية هي ترجمة السلسلة الهدفية، ونموذج اللغة${\displaystyle p(e)}$يمثل هذا احتمال رؤية سلسلة اللغة المستهدفة. هذا التقسيم جذاب لأنه يقسم المشكلة إلى مشكلتين فرعيتين: إيجاد أفضل ترجمة.${\displaystyle {\tilde {e}}}$يتم ذلك عن طريق اختيار الخيار الذي يعطي أعلى احتمال:

${\displaystyle {\tilde {e}}=arg\max _{e\in e^{*}}p(e|f)=arg\max _{e\in e^{*}}p(f|e)p(e)}$.

يتطلب تطبيق هذا الأمر بدقة إجراء بحث شامل من خلال فحص جميع السلاسل النصية.${\displaystyle e^{*}}$في اللغة الأصلية. يُعدّ إجراء البحث بكفاءة مهمةً يقوم بها مُفكِّك الترجمة الآلية ، الذي يستخدم النص الأجنبي، والأساليب الاستدلالية، وغيرها من الطرق لتقليص نطاق البحث مع الحفاظ على جودة مقبولة. ويمكن ملاحظة هذا التوازن بين الجودة والوقت المُستغرق في مجال التعرّف على الكلام أيضًا .

نظرًا لعدم قدرة أنظمة الترجمة على تخزين جميع النصوص الأصلية وترجماتها، تُترجم الوثيقة عادةً جملةً جملة. تُقارب نماذج اللغة عادةً بنماذج n -gram المُنعّمة ، وقد طُبقت مناهج مماثلة على نماذج الترجمة، لكن هذا يُضيف تعقيدًا إضافيًا بسبب اختلاف أطوال الجمل وترتيب الكلمات في اللغات.

كانت نماذج الترجمة الإحصائية في البداية تعتمد على الكلمات (النماذج من 1 إلى 5 من شركة IBM، ونموذج ماركوف المخفي من ستيفان فوغل ^{[ 6 ]} ، والنموذج 6 من فرانز جوزيف أوش ^{[ 7 ]} )، ولكن تم إحراز تقدم كبير مع إدخال النماذج القائمة على العبارات . ^{[ 8 ]} وقد تضمنت الأعمال اللاحقة بناء الجملة أو البنى شبه النحوية. ^{[ 9 ]}

تتمثل أبرز فوائد الترجمة الآلية الإحصائية (SMT) مقارنةً بالنهج القائم على القواعد فيما يلي:

• استخدام أكثر كفاءة للموارد البشرية والبيانات
  • توجد العديد من المجموعات المتوازية بتنسيق قابل للقراءة آلياً، بالإضافة إلى المزيد من البيانات أحادية اللغة.
  • بشكل عام، لا يتم تصميم أنظمة الترجمة الآلية الإحصائية لتناسب أي زوج محدد من اللغات.
• ترجمات أكثر سلاسة بفضل استخدام نموذج لغوي

• قد يكون إنشاء مجموعة البيانات مكلفاً.
• يصعب التنبؤ بالأخطاء المحددة وإصلاحها.
• قد تتميز النتائج بطلاقة سطحية تخفي مشاكل الترجمة. ^{[ 10 ]}
• عادة ما تكون الترجمة الآلية الإحصائية أقل فعالية بالنسبة لأزواج اللغات ذات ترتيب الكلمات المختلف بشكل كبير.
• إن الفوائد التي تم الحصول عليها للترجمة بين لغات أوروبا الغربية لا تمثل النتائج بالنسبة لأزواج اللغات الأخرى، وذلك بسبب صغر حجم مجموعات التدريب والاختلافات النحوية الأكبر.

في الترجمة القائمة على الكلمات، تُعدّ الكلمة في اللغة الأصلية الوحدة الأساسية للترجمة. عادةً ما يختلف عدد الكلمات في الجمل المترجمة، وذلك بسبب الكلمات المركبة، والصرف، والتعابير الاصطلاحية. تُسمى نسبة أطوال سلاسل الكلمات المترجمة "الخصوبة"، وهي تُشير إلى عدد الكلمات الأجنبية التي تُنتجها كل كلمة أصلية. يفترض علم المعلومات بالضرورة أن كل كلمة تُغطي المفهوم نفسه. لكن هذا ليس صحيحًا في الواقع. على سبيل المثال، يمكن ترجمة كلمة " corner" الإنجليزية إلى الإسبانية إما بـ "rincón" أو "esquina" ، وذلك بحسب ما إذا كانت تعني زاويتها الداخلية أو الخارجية.

لا يمكن للترجمة البسيطة القائمة على الكلمات أن تترجم بين لغات ذات تعدد لفظي متفاوت. يمكن تعديل أنظمة الترجمة القائمة على الكلمات بسهولة نسبية لتتعامل مع التعدد اللفظي العالي، بحيث يمكنها ربط كلمة واحدة بعدة كلمات، ولكن ليس العكس . على سبيل المثال، إذا كنا نترجم من الإنجليزية إلى الفرنسية، فإن كل كلمة إنجليزية يمكن أن تُنتج أي عدد من الكلمات الفرنسية - وأحيانًا لا تُنتج أي كلمة على الإطلاق. ولكن لا توجد طريقة لربط كلمتين إنجليزيتين معًا لإنتاج كلمة فرنسية واحدة.

ومن الأمثلة على نظام الترجمة القائم على الكلمات حزمة GIZA++ المتاحة مجانًا ( GPLed )، والتي تتضمن برنامج التدريب لنماذج IBM ونموذج HMM والنموذج 6. ^{[ 7 ]}

لا يُستخدم الترجمة القائمة على الكلمات على نطاق واسع اليوم؛ فالأنظمة القائمة على العبارات أكثر شيوعًا. ولا تزال معظم هذه الأنظمة تستخدم GIZA++ لمحاذاة النصوص . وتُستخدم هذه المحاذاة لاستخراج العبارات أو استنتاج قواعد بناء الجملة. ^{[ 11 ]} ولا تزال مطابقة الكلمات في النصوص الثنائية مشكلةً تُناقش بنشاط في الأوساط العلمية. وبسبب شيوع استخدام GIZA++، توجد الآن العديد من تطبيقاتها الموزعة على الإنترنت. ^{[ 12 ]}

في الترجمة القائمة على العبارات، يهدف الباحثون إلى تقليل قيود الترجمة القائمة على الكلمات من خلال ترجمة سلاسل كاملة من الكلمات، حتى وإن اختلفت أطوالها. تُسمى هذه السلاسل من الكلمات "كتلاً" أو "عبارات". وهي عادةً ليست عبارات لغوية بالمعنى الدقيق، بل هي "عبارات لغوية " تم استخلاصها باستخدام أساليب إحصائية من مدونات لغوية. وقد أظهرت الدراسات أن حصر العبارات في العبارات اللغوية (مجموعات الكلمات ذات الأساس النحوي، انظر الفئات النحوية ) يُقلل من جودة الترجمة. ^{[ 13 ]}

تُطابق العبارات المختارة بشكلٍ فردي بناءً على جدول ترجمة العبارات، ويمكن إعادة ترتيبها. يمكن تعلم هذا الجدول بناءً على محاذاة الكلمات، أو مباشرةً من مجموعة بيانات متوازية. يُدرَّب النموذج الثاني باستخدام خوارزمية تعظيم التوقع ، على غرار نموذج IBM القائم على الكلمات . ^{[ 14 ]}

تعتمد الترجمة النحوية على فكرة ترجمة الوحدات النحوية ، بدلاً من الكلمات المفردة أو سلاسل الكلمات (كما في الترجمة الآلية القائمة على العبارات)، أي أشجار التحليل (الجزئية) للجمل/العبارات. ^{[ 15 ]} وحتى تسعينيات القرن الماضي، مع ظهور المحللات الاحتمالية القوية ، لم يلقَ النظير الإحصائي للفكرة القديمة للترجمة النحوية رواجاً. ومن أمثلة هذا النهج الترجمة الآلية القائمة على تحديد العلاقة بين الموضع والوظيفة، ولاحقاً قواعد اللغة المتزامنة الخالية من السياق .

يجمع أسلوب الترجمة الهرمية القائم على العبارات بين المنهجين القائمين على العبارات والمنهج القائم على التركيب النحوي. ويستخدم هذا الأسلوب قواعد نحوية متزامنة خالية من السياق ، ولكن يمكن بناء هذه القواعد النحوية من خلال توسيع أساليب الترجمة القائمة على العبارات دون الرجوع إلى المكونات النحوية ذات الدوافع اللغوية. وقد طُرحت هذه الفكرة لأول مرة في نظام هيرو لشيانغ (2005). ^{[ 9 ]}

يُعدّ نموذج اللغة عنصرًا أساسيًا في أي نظام ترجمة آلية إحصائية، إذ يُسهم في جعل الترجمة سلسة قدر الإمكان. وهو عبارة عن دالة تأخذ الجملة المترجمة وتُعيد احتمال نطقها من قِبل متحدث أصلي. فعلى سبيل المثال، يُعطي نموذج اللغة الجيد احتمالًا أعلى للجملة "the house is small" مقارنةً بـ "small the is house". إلى جانب ترتيب الكلمات ، قد تُساعد نماذج اللغة أيضًا في اختيار الكلمات: فإذا كانت للكلمة الأجنبية عدة ترجمات مُحتملة، فقد تُعطي هذه الدوال احتمالات أفضل لبعض الترجمات في سياقات مُحددة في اللغة الهدف. ^{[ 14 ]}

• بدأت خدمة ترجمة جوجل (التحول إلى الترجمة الآلية العصبية في عام 2016) ^{[ 16 ]}

• مترجم مايكروسوفت (بدأ الانتقال إلى الترجمة الآلية العصبية في عام 2016) ^{[ 17 ]}

• Yandex.Translate (تم التحول إلى نهج هجين يتضمن الترجمة الآلية العصبية في عام 2017) ^{[ 18 ]}

تشمل مشاكل الترجمة الآلية الإحصائية ما يلي:

• قائمة مشروحة لموارد معالجة اللغة الطبيعية الإحصائية — تتضمن روابط لبرامج الترجمة الآلية الإحصائية المتاحة مجانًا