نموذج لغة التخزين المؤقت

نموذج لغة التخزين المؤقت هو نوع من نماذج اللغة الإحصائية . تُستخدم هذه النماذج في مجال معالجة اللغات الطبيعية ضمن علوم الحاسوب ، وتُخصص احتمالات لتسلسلات معينة من الكلمات باستخدام توزيع احتمالي . تُعد نماذج اللغة الإحصائية مكونات أساسية لأنظمة التعرف على الكلام والعديد من أنظمة الترجمة الآلية ، حيث تُحدد لهذه الأنظمة تسلسلات الكلمات المحتملة وغير المحتملة. تتميز نماذج لغة التخزين المؤقت باحتوائها على مكون تخزين مؤقت ، وتُخصص احتمالات عالية نسبيًا للكلمات أو تسلسلات الكلمات التي تظهر في مواضع أخرى من النص. يُستخدم نموذج لغة التخزين المؤقت بشكل أساسي، وإن لم يكن حصريًا، في أنظمة التعرف على الكلام.

لفهم أهمية احتواء نموذج اللغة الإحصائي على مكون ذاكرة تخزين مؤقتة، يمكننا تخيل شخص يُملي رسالة عن الأفيال على نظام التعرف على الكلام. ستُخصص نماذج اللغة N-gram القياسية (غير المُدعمة بذاكرة التخزين المؤقت) احتمالية منخفضة جدًا لكلمة "elephant" لأنها كلمة نادرة جدًا في اللغة الإنجليزية . إذا لم يكن نظام التعرف على الكلام مُدعمًا بذاكرة التخزين المؤقت، فقد ينزعج الشخص الذي يُملي الرسالة: ففي كل مرة تُنطق فيها كلمة "elephant"، قد يتم التعرف على سلسلة كلمات أخرى ذات احتمالية أعلى وفقًا لنموذج اللغة N-gram (مثل "tell a plan"). سيتعين حذف هذه السلاسل الخاطئة يدويًا واستبدالها في النص بكلمة "elephant" في كل مرة تُنطق فيها. أما إذا كان النظام يحتوي على نموذج لغة مُدعم بذاكرة التخزين المؤقت، فمن المُحتمل أن يتم التعرف على كلمة "elephant" بشكل خاطئ في المرة الأولى التي تُنطق فيها، وسيتعين إدخالها في النص يدويًا. مع ذلك، من هذه النقطة فصاعدًا، يُدرك النظام احتمالية تكرار كلمة "فيل" - إذ تزداد احتمالية ظهورها، مما يزيد من احتمالية التعرف عليها بشكل صحيح عند نطقها. وبمجرد تكرار كلمة "فيل" عدة مرات، يُرجّح أن يتعرف عليها النظام بشكل صحيح في كل مرة تُنطق فيها حتى يتم إملاء الحرف بالكامل. تُعد هذه الزيادة في احتمالية ظهور كلمة "فيل" مثالًا على نتائج التعلم الآلي ، وتحديدًا التعرف على الأنماط .

توجد متغيرات لنموذج لغة التخزين المؤقت حيث لا يتم تعيين احتمالات أعلى للكلمات المفردة فحسب، بل يتم تعيين احتمالات أعلى أيضًا لتسلسلات الكلمات المتعددة التي حدثت سابقًا (على سبيل المثال، إذا ظهرت كلمة "سان فرانسيسكو" بالقرب من بداية النص، فسيتم تعيين احتمال أعلى للحالات اللاحقة منها).

طُرح نموذج لغة التخزين المؤقت لأول مرة في ورقة بحثية نُشرت عام ١٩٩٠، ^{[ ١ ]} وبعدها أجرى فريق التعرف على الكلام في شركة IBM تجارب على هذا المفهوم. ووجد الفريق أن تطبيق شكل من أشكال نموذج لغة التخزين المؤقت أدى إلى انخفاض بنسبة ٢٤٪ في معدلات أخطاء الكلمات بمجرد إملاء أول بضع مئات من الكلمات في المستند. ^{[ ٢ ]} وخلصت دراسة تفصيلية لتقنيات نمذجة اللغة إلى أن نموذج لغة التخزين المؤقت كان من بين التقنيات الجديدة القليلة التي حققت تحسينات على نهج N-gram القياسي: "تُظهر نتائج التخزين المؤقت لدينا أن التخزين المؤقت هو التقنية الأكثر فائدة لتقليل التعقيد عند أحجام بيانات التدريب الصغيرة والمتوسطة ". ^{[ ٣ ]}

أثار تطوير نموذج لغة التخزين المؤقت اهتماماً كبيراً بين المهتمين باللغويات الحاسوبية بشكل عام ومعالجة اللغة الطبيعية الإحصائية بشكل خاص: ومؤخراً، ظهر اهتمام بتطبيق نموذج لغة التخزين المؤقت في مجال الترجمة الآلية الإحصائية. ^{[ 4 ]}

يعتمد نجاح نموذج لغة التخزين المؤقت في تحسين التنبؤ بالكلمات على ميل الإنسان لاستخدام الكلمات بشكل متقطع: فعند مناقشة موضوع معين في سياق محدد، يختلف معدل استخدام كلمات معينة اختلافًا كبيرًا عن معدل استخدامها عند مناقشة مواضيع أخرى في سياقات مختلفة. ولا تُجسّد نماذج لغة N-gram التقليدية، التي تعتمد كليًا على معلومات من عدد قليل جدًا (أربع أو ثلاث أو اثنتين) من الكلمات التي تسبق الكلمة المراد تحديد احتمال استخدامها، هذا التقطع بشكل كافٍ.

في الآونة الأخيرة، تمّ تكييف مفهوم نموذج لغة التخزين المؤقت - الذي صُمّم في الأصل لنموذج اللغة الإحصائي N-gram - للاستخدام في النموذج العصبي. على سبيل المثال، طبّقت دراسات حديثة على نماذج لغة التخزين المؤقت المستمرة في بيئة الشبكة العصبية المتكررة (RNN) مفهوم التخزين المؤقت على نطاقات أوسع بكثير من ذي قبل، مما أدى إلى انخفاضات كبيرة في التعقيد. ^{[ 5 ]} ويتضمن خط بحثي حديث آخر دمج مكون التخزين المؤقت في نموذج لغة عصبية تغذية أمامية (FN-LM) لتحقيق تكيف سريع مع المجال. ^{[ 6 ]}

انظر أيضاً

مراجع

↑ كون، ر.؛ دي موري، ر. (يونيو 1990). "نموذج لغة طبيعية قائم على ذاكرة التخزين المؤقت للتعرف على الكلام" (ملف PDF) . معاملات IEEE في تحليل الأنماط والذكاء الآلي . 12 (6): 570-583 . doi : 10.1109/34.56193 . ISSN 1939-3539 . مؤرشف من الأصل (ملف PDF) بتاريخ 1 سبتمبر 2011. تم الاطلاع عليه بتاريخ 24 سبتمبر 2011 . ( خلاصة )
↑ ف. جيلينك؛ ب. ميريالدو؛ س. روكوس؛ م. شتراوس (1991). "نموذج لغوي ديناميكي للتعرف على الكلام" (ملف PDF) . مجلة الجمعية الصوتية الأمريكية . 98 (2): 293-295 . doi : 10.3115/112405.112464 . S2CID 11601499. مؤرشف من النسخة الأصلية (ملف PDF) بتاريخ 14 يونيو 2006. المؤتمر: الكلام واللغة الطبيعية، وقائع ورشة عمل عقدت في باسيفيك غروف، كاليفورنيا، الولايات المتحدة الأمريكية، 19-22 فبراير 1999.
↑ جوشوا ت. غودمان (2001). بعض التقدم في نمذجة اللغة: نسخة موسعة . ريدموند، واشنطن (الولايات المتحدة الأمريكية): مايكروسوفت للأبحاث. arXiv : cs/0108005v1 . Bibcode : 2001cs........8005G . تقرير فني MSR-TR-2001-72.
↑ تيدمان، يورغ (2010). تكييف السياق في الترجمة الآلية الإحصائية باستخدام نماذج ذات ذاكرة تخزين مؤقتة تتلاشى أُسّيًا (ملف PDF) . وقائع ورشة عمل 2010 حول تكييف المجال لمعالجة اللغة الطبيعية، ACL 2010. أوبسالا، السويد: رابطة اللغويات الحاسوبية. الصفحات 8-15 .
↑ إدوارد غراف؛ مصطفى سيسيه؛ أرماند جولان (2017). "نموذج ذاكرة تخزين مؤقت غير محدود لنمذجة اللغة عبر الإنترنت باستخدام مفردات مفتوحة" . وقائع مؤتمر NIPS'17، المؤتمر الدولي الحادي والثلاثون لأنظمة معالجة المعلومات العصبية . لونغ بيتش، كاليفورنيا: رابطة آلات الحوسبة. الصفحات 6044-6054 . ISBN 978-1-5108-6096-4.
↑ كاريل بينيس؛ سانتوش كيسيراجو؛ لوكاس بورجيت (2018). المتجهات i في نمذجة اللغة: طريقة فعّالة لتكييف المجال لنماذج التغذية الأمامية . مؤتمر Interspeech 2018. حيدر آباد، الهند: Interspeech. الصفحات 3383-3387 . doi : 10.21437/Interspeech.2018-1070 . S2CID 52192034 .

للمزيد من القراءة

جيلينك، فريدريك (1997). الأساليب الإحصائية للتعرف على الكلام . مطبعة معهد ماساتشوستس للتكنولوجيا . ISBN 0-262-10066-5أُرشف من المصدر الأصلي بتاريخ 2011-08-05 . تم الاطلاع عليه بتاريخ 2011-09-24 .

[1] كون، ر.؛ دي موري، ر. (يونيو 1990). "نموذج لغة طبيعية قائم على ذاكرة التخزين المؤقت للتعرف على الكلام" (ملف PDF) . معاملات IEEE في تحليل الأنماط والذكاء الآلي . 12 (6): 570-583 . doi : 10.1109/34.56193 . ISSN 1939-3539 . مؤرشف من الأصل (ملف PDF) بتاريخ 1 سبتمبر 2011. تم الاطلاع عليه بتاريخ 24 سبتمبر 2011 . ( خلاصة )

[2] ف. جيلينك؛ ب. ميريالدو؛ س. روكوس؛ م. شتراوس (1991). "نموذج لغوي ديناميكي للتعرف على الكلام" (ملف PDF) . مجلة الجمعية الصوتية الأمريكية . 98 (2): 293-295 . doi : 10.3115/112405.112464 . S2CID 11601499. مؤرشف من النسخة الأصلية (ملف PDF) بتاريخ 14 يونيو 2006. المؤتمر: الكلام واللغة الطبيعية، وقائع ورشة عمل عقدت في باسيفيك غروف، كاليفورنيا، الولايات المتحدة الأمريكية، 19-22 فبراير 1999.

[3] جوشوا ت. غودمان (2001). بعض التقدم في نمذجة اللغة: نسخة موسعة . ريدموند، واشنطن (الولايات المتحدة الأمريكية): مايكروسوفت للأبحاث. arXiv : cs/0108005v1 . Bibcode : 2001cs........8005G . تقرير فني MSR-TR-2001-72.

[4] تيدمان، يورغ (2010). تكييف السياق في الترجمة الآلية الإحصائية باستخدام نماذج ذات ذاكرة تخزين مؤقتة تتلاشى أُسّيًا (ملف PDF) . وقائع ورشة عمل 2010 حول تكييف المجال لمعالجة اللغة الطبيعية، ACL 2010. أوبسالا، السويد: رابطة اللغويات الحاسوبية. الصفحات 8-15 .

[5] إدوارد غراف؛ مصطفى سيسيه؛ أرماند جولان (2017). "نموذج ذاكرة تخزين مؤقت غير محدود لنمذجة اللغة عبر الإنترنت باستخدام مفردات مفتوحة" . وقائع مؤتمر NIPS'17، المؤتمر الدولي الحادي والثلاثون لأنظمة معالجة المعلومات العصبية . لونغ بيتش، كاليفورنيا: رابطة آلات الحوسبة. الصفحات 6044-6054 . ISBN 978-1-5108-6096-4.

[6] كاريل بينيس؛ سانتوش كيسيراجو؛ لوكاس بورجيت (2018). المتجهات i في نمذجة اللغة: طريقة فعّالة لتكييف المجال لنماذج التغذية الأمامية . مؤتمر Interspeech 2018. حيدر آباد، الهند: Interspeech. الصفحات 3383-3387 . doi : 10.21437/Interspeech.2018-1070 . S2CID 52192034 .

[ ١ ]

[ ٢ ]

[ ٣ ]

[ 4 ]

[ 5 ]

[ 6 ]