إلمو

📅 آخر تحديث: ٣١ يوليو ٢٠٢٦
✍️ نُشر في: ٣١ يوليو ٢٠٢٦
📷 يحتوي على 7 صور
الموسوعة الحرة
بنية ELMo. تقوم أولاً بمعالجة رموز الإدخال إلى متجهات تضمين بواسطة طبقة تضمين (وهي في الأساس جدول بحث)، ثم تطبق زوجًا من LSTMs الأمامية والخلفية لإنتاج سلسلتين من المتجهات المخفية، ثم تطبق زوجًا آخر من LSTMs الأمامية والخلفية، وهكذا.
كيفية تحويل الرمز المميز بشكل متتابع عبر طبقات متزايدة من ELMo. في البداية، يتم تحويل الرمز المميز إلى متجه بواسطة طبقة خطية، مما ينتج عنه متجه التضمين.هـ0{\displaystyle e_{0}}في الطبقة التالية، تقوم شبكة LSTM الأمامية بإنتاج متجه مخفيح٠٠{\displaystyle h_{00}}بينما ينتج نموذج LSTM العكسي متجهًا مخفيًا آخرح٠٠ر{\displaystyle h_{00r}}في الطبقة التالية، ينتج كل من LSTMح10{\displaystyle h_{10}}وح10ر{\displaystyle h_{10r}}وهكذا دواليك.

ELMo ( تضمينات من نموذج اللغة ) هي طريقة لتضمين الكلمات ، تُستخدم لتمثيل سلسلة من الكلمات كسلسلة مقابلة من المتجهات. [ 1 ] طُوّرت هذه الطريقة من قِبل باحثين في معهد ألين للذكاء الاصطناعي ، [ 2 ] وجامعة واشنطن ، وأُطلقت لأول مرة في فبراير 2018. وهي عبارة عن شبكة LSTM ثنائية الاتجاه ، تأخذ مدخلات على مستوى الأحرف وتُنتج تضمينات على مستوى الكلمات، وقد دُرّبت على مجموعة بيانات تضم حوالي 30 مليون جملة ومليار كلمة.

تُحقق بنية ELMo فهمًا سياقيًا للرموز . يُعد التمثيل السياقي العميق للكلمات مفيدًا للعديد من مهام معالجة اللغة الطبيعية ، مثل حل الإحالات المرجعية وحل تعدد المعاني .

كان لـ ELMo أهمية تاريخية كبيرة كونه رائدًا في مجال التدريب التوليدي الذاتي الإشراف، والذي يتبعه ضبط دقيق ، حيث يتم تدريب نموذج كبير لإعادة إنتاج مجموعة بيانات كبيرة، ثم يتم تعزيز هذا النموذج الكبير بأوزان إضافية خاصة بكل مهمة، ويتم ضبطه بدقة على بيانات المهام الخاضعة للإشراف. لقد كانت خطوة أساسية في التطور نحو نمذجة اللغة القائمة على المحولات .

بنيان

ELMo عبارة عن شبكة LSTM ثنائية الاتجاه متعددة الطبقات مبنية فوق طبقة تضمين الرموز. ويتكون ناتج جميع شبكات LSTM المتصلة معًا من تضمين الرموز.

تُحوّل طبقة التضمين أولًا تسلسل النص المُدخل إلى سلسلة من المتجهات. ثم يُنفّذ جزآن بالتوازي عليه. الجزء الأمامي عبارة عن شبكة LSTM ثنائية الطبقات تضم 4096 وحدة و512 إسقاطًا بُعديًا، مع وصلة متبقية من الطبقة الأولى إلى الثانية. أما الجزء الخلفي فيمتلك نفس البنية، لكنه يُعالج التسلسل من الخلف إلى الأمام. تُدمج مخرجات جميع المكونات الخمسة (طبقة التضمين، وطبقتي LSTM الأماميتين، وطبقتي LSTM الخلفيتين) وتُضرب في مصفوفة خطية ("مصفوفة الإسقاط") لإنتاج تمثيل ذي 512 بُعدًا لكل رمز مُدخل.

تم تدريب نموذج ELMo مسبقًا على مجموعة نصوص تضم مليار كلمة. [ 3 ] يتم تدريب الجزء الأمامي من خلال التنبؤ المتكرر بالرمز المميز التالي، ويتم تدريب الجزء الخلفي من خلال التنبؤ المتكرر بالرمز المميز السابق.

بعد تدريب نموذج ELMo مسبقًا، تُثبّت معاييره، باستثناء مصفوفة الإسقاط، التي يمكن ضبطها بدقة لتقليل الخسارة في مهام لغوية محددة. يُعدّ هذا مثالًا مبكرًا على نموذج التدريب المسبق والضبط الدقيق . وقد أثبتت الورقة البحثية الأصلية ذلك من خلال تحسين أحدث التقنيات في ست مهام معيارية لمعالجة اللغة الطبيعية.

تمثيل الكلمات السياقي

تُحقق بنية ELMo فهمًا سياقيًا للرموز. فعلى سبيل المثال، تعالج وحدة LSTM الأمامية الأولى في ELMo كل رمز مُدخل في سياق جميع الرموز السابقة، بينما تعالج وحدة LSTM الخلفية الأولى كل رمز في سياق جميع الرموز اللاحقة. ثم تُدمج وحدة LSTM الأمامية الثانية هذه المعلومات لزيادة فهم سياق كل رمز.

يُعدّ تمثيل الكلمات السياقي العميق مفيدًا للعديد من مهام معالجة اللغة الطبيعية، مثل حلّ الإحالات المرجعية وحلّ تعدد المعاني. على سبيل المثال، لنأخذ الجملة التالية:

ذهبت إلى البنك لسحب النقود.

لكي يتمكن النموذج من تمثيل الرمز "bank"، يجب عليه حل تعدد معانيه في السياق.

  • ستقوم أول شبكة LSTM أمامية بمعالجة كلمة "bank" في سياق "She went to the"، مما يسمح لها بتمثيل الكلمة كموقع يتجه إليه الشخص.
  • ستقوم أول شبكة LSTM عكسية بمعالجة كلمة "bank" في سياق "سحب الأموال"، مما يسمح لها بتوضيح الكلمة على أنها تشير إلى مؤسسة مالية.
  • ثم يمكن لشبكة LSTM الأمامية الثانية معالجة كلمة "bank" باستخدام متجه التمثيل الذي توفره شبكة LSTM الخلفية الأولى، مما يسمح لها بتمثيلها على أنها مؤسسة مالية يتجه إليها الشخص المعني.

السياق التاريخي

يُعدّ ELMo حلقةً في تطور تاريخي لنمذجة اللغة. لنأخذ مثالاً بسيطاً على مشكلة تصنيف المستندات ، حيث نريد إسناد تصنيف (مثل "بريد مزعج"، "ليس بريداً مزعجاً"، "سياسة"، "رياضة") إلى نص معين.

أبسط الطرق هي طريقة " حقيبة الكلمات "، حيث تُعامل كل كلمة في المستند بشكل مستقل، ويُستخدم تكرارها كميزة للتصنيف. كانت هذه الطريقة غير مكلفة حسابيًا، لكنها تجاهلت ترتيب الكلمات وسياقها داخل الجملة. وقد طورت GloVe و Word2Vec هذه الطريقة من خلال تعلم تمثيلات متجهة ثابتة (تضمينات) للكلمات بناءً على أنماط تكرارها المشترك في مجموعات نصوص كبيرة.

على غرار BERT (ولكن على عكس نماذج "حقيبة الكلمات" مثل Word2Vec وGloVe)، فإن تمثيلات الكلمات في ELMo حساسة للسياق، حيث تُنتج تمثيلات مختلفة للكلمات التي تتشارك نفس التهجئة. وقد تم تدريبها على مجموعة بيانات تضم حوالي 30 مليون جملة ومليار كلمة. [ 3 ] سابقًا، استُخدمت شبكة LSTM ثنائية الاتجاه لتمثيل الكلمات في سياقها. [ 4 ] طبّقت ELMo هذه الفكرة على نطاق واسع، محققةً أداءً متميزًا.

بعد نشر بنية Transformer في عام 2017 ، تم تغيير بنية ELMo من LSTM ثنائي الاتجاه متعدد الطبقات إلى مُشفِّر Transformer، مما أدى إلى ظهور BERT . يتبع BERT آلية عمل مشابهة للتدريب المسبق والضبط الدقيق، ولكنه يستخدم Transformer مما يتيح تدريبًا أكثر توازيًا.

مراجع

  1. ↑ بيترز إم إي، نيومان إم، إيير إم، غاردنر إم، كلارك سي، لي كيه، زيتلموير إل (2018). "تمثيلات الكلمات السياقية العميقة". arXiv : 1802.05365 [ cs.CL ].
  2. ^ "AllenNLP - ELMo — معهد ألين للذكاء الاصطناعي" . 21 أغسطس 2025.
  3. 1 2 تشيلبا، سيبريان؛ ميكولوف، توماس؛ شوستر، مايك؛ جي، تشي؛ برانتس، ثورستن؛ كوهن، فيليب؛ روبنسون، توني (2014-03-04). "معيار مليار كلمة لقياس التقدم في نمذجة اللغة الإحصائية". arXiv : 1312.3005 [ cs.CL ].
  4. ↑ ميلامود، أورين؛ غولدبيرغر، جاكوب؛ داغان، إيدو (2016). "Context2vec: تعلم تضمين السياق العام باستخدام LSTM ثنائي الاتجاه". وقائع المؤتمر العشرين لـ SIGNLL حول التعلم الحاسوبي للغة الطبيعية . سترودسبيرغ، بنسلفانيا، الولايات المتحدة الأمريكية: رابطة اللغويات الحاسوبية. ص 51-61 . doi : 10.18653/v1/k16-1006 .