تضمين الجملة

الموسوعة الحرة

في معالجة اللغات الطبيعية ، يُعدّ تضمين الجملة (أو تضمين المستند) تمثيلاً لنص اللغة الطبيعية كمتجه من الأرقام يُشفّر معلومات دلالية ذات معنى [ 1 ] [ 2 ] [ 3 ] [ 4 ] [ 5 ] [ 6 ] [ 7 ] . ويعود أصل التسمية إلى القيود الأولية التي كانت تُفرض على هذا النهج في تضمين سلاسل نصية أطول من الجملة، إلا أن هذا لم يعد قيداً قائماً.

تعتمد أحدث تقنيات تضمين الجمل على تمثيل الطبقة المخفية المُتعلمة لنماذج مُحولات الجمل المُخصصة. وقد ريّد نموذج BERT نهجًا يتضمن استخدام رمز [CLS] مُخصص يُضاف إلى بداية كل جملة مُدخلة إلى النموذج؛ حيث يُشفّر متجه الحالة المخفية النهائي لهذا الرمز معلومات حول الجملة، ويمكن ضبطه بدقة لاستخدامه في مهام تصنيف الجمل. مع ذلك، عمليًا، يُحقق تضمين جملة BERT باستخدام رمز [CLS] أداءً ضعيفًا، غالبًا ما يكون أسوأ من مجرد حساب متوسط ​​تضمينات الكلمات غير السياقية [ 8 ] . لاحقًا، حقق نموذج SBERT أداءً فائقًا في تضمين الجمل [ 8 ] من خلال ضبط تضمينات رمز [CLS] في BERT بدقة باستخدام بنية شبكة عصبية سيامية على مجموعة بيانات SNLI.

تعتمد مناهج أخرى بشكل غير مباشر على فكرة الدلالات التوزيعية المطبقة على الجمل. يقوم نموذج Skip-Thought بتدريب بنية مُشفِّر-مُفكِّك لمهمة التنبؤ بالجمل المتجاورة؛ وقد ثبت أن أداء هذا النموذج أسوأ من أداء مناهج أخرى مثل InferSent أو SBERT.

يتمثل أحد التوجهات البديلة في تجميع تمثيلات الكلمات ، مثل تلك التي يُنتجها Word2vec ، في تمثيلات الجمل. وأبسط هذه الطرق هي حساب متوسط ​​متجهات الكلمات، والمعروفة باسم "حقيبة الكلمات المتصلة" (CBOW). [ 9 ] مع ذلك، فقد طُرحت حلول أكثر تعقيدًا تعتمد على تكميم متجهات الكلمات. ومن هذه الحلول "متجه تمثيلات الكلمات المُجمّعة محليًا" (VLAWE)، [ 10 ] والذي أظهر تحسينات في الأداء في مهام تصنيف النصوص اللاحقة.

التطبيقات

شهدت تقنية تضمين الجمل في السنوات الأخيرة اهتمامًا متزايدًا نظرًا لتطبيقاتها في قواعد المعرفة القابلة للاستعلام باللغة الطبيعية، وذلك من خلال استخدام فهرسة المتجهات للبحث الدلالي. على سبيل المثال، تستخدم LangChain محولات الجمل لفهرسة المستندات. تحديدًا، يتم إنشاء الفهرسة عن طريق توليد تضمينات لأجزاء المستندات وتخزين أزواج (جزء المستند، التضمين). بعد ذلك، عند إدخال استعلام باللغة الطبيعية، يمكن توليد تضمين لهذا الاستعلام. ثم تُستخدم خوارزمية بحث عن أعلى k تشابه بين تضمين الاستعلام وتضمينات أجزاء المستندات لاسترجاع أجزاء المستندات الأكثر صلة كمعلومات سياقية لمهام الإجابة على الأسئلة . يُعرف هذا النهج أيضًا رسميًا باسم التوليد المُعزز بالاسترجاع . [ 11 ]

على الرغم من أن تمثيلات الجمل ليست شائعة الاستخدام مثل BERTScore، إلا أنها تُستخدم بشكل شائع لتقييم تشابه الجمل، وهو ما يُستخدم عادةً في مهمة تحسين معلمات توليد نموذج لغوي كبير. غالبًا ما يتم ذلك من خلال مقارنة الجمل المرشحة بالجمل المرجعية. باستخدام تشابه جيب التمام لتمثيلات الجمل المرشحة والمرجعية كدالة تقييم، يمكن استخدام خوارزمية البحث الشبكي لأتمتة تحسين المعلمات الفائقة .

تقييم

توجد مناهج متعددة لتقييم جودة تمثيلات الجمل، تغطي عادةً حالة استخدام واحدة أو أكثر في النماذج. يسعى بعضها إلى قياس مدى دلالة التمثيل من خلال اختبار ما إذا كانت الجمل المتشابهة دلاليًا تظهر متقاربة، بينما يقيس البعض الآخر تشابه الجمل أو ما إذا كانت التمثيلات تعكس الاستلزام باستخدام مجموعات بيانات مثل Sentences Involving Compositional Knowledge (SICK) [ 12 ] وSTS Bencmark [ 13 ] . وتسعى مناهج أخرى إلى قياس جودة التمثيلات من خلال أدائها في حالات استخدام لاحقة مثل التجميع والتصنيف والبحث الدلالي . وقد أصبحت أطر عمل شاملة مثل BEIR [ 14 ] وMTEB [ 15 ] [ 16 ] ، التي تجمع بين العديد من هذه المناهج، المعيار المعتمد لتقييم جودة التمثيلات عبر مختلف المجالات واللغات.

انظر أيضاً

مراجع

  1. ↑ بركان، أورين؛ رازين، نعوم؛ ملكيئيل، ايتسيك؛ كاتز، أوري؛ كاسيولارو، آفي؛ كونيجشتاين ، نعوم (2019). “نمذجة الجملة اليقظة القابلة للتطوير عبر تضمين الجملة المقطرة”. أرخايف : 1908.05161 [ cs.LG ].
  2. ↑ أفضل ما توصلت إليه تقنيات تضمين الكلمات والجمل العالمية حاليًا
  3. ^ سير دانيال. يانغ، ينفي؛ كونغ، شنغ يي؛ هوا، نان؛ ليمتياكو، نيكول؛ جون، شارع رومني؛ ثابت، نوح؛ جواجاردو سيسبيديس، ماريو؛ يوان، ستيف؛ قطران، كريس؛ سونغ، يون هسوان؛ ستروب، بريان. كورزويل ، راي (2018). “التشفير الجملة العالمية”. أرخايف : 1803.11175 [ cs.CL ].
  4. ^ وو ، ليديل. فيش، آدم. شوبرا، سوميت؛ آدامز، كيث. بورد، أنطوان؛ ويستون، جايسون (2017). “StarSpace: تضمين كل الأشياء!”. أرخايف : 1709.03856 [ cs.CL ].
  5. ↑ سانجيف أرورا، يينغيو ليانغ، وتينغيو ما. "خط أساس بسيط ولكن يصعب التغلب عليه لتضمين الجمل."، 2016؛ openreview:SyK00v5xx .
  6. ^ تريفان، ميرسيا. يونيسكو، بوجدان؛ جاديا، كريستيان؛ إيونيسكو، دان (2015). “طريقة معالجة الإشارات الرقمية للرسم البياني للتحليل الدلالي”. ندوة اليوبيل الدولية العاشرة لـ IEEE لعام 2015 حول الذكاء الحسابي التطبيقي والمعلوماتية . الصفحات من 187 إلى 192. دوى : 10.1109/SACI.2015.7208196 . رقم ISBN  978-1-4799-9911-8. S2CID 17099431 . 
  7. ↑ بازيل، بييرباولو؛ كابوتو، أنالينا؛ سيميرارو، جيوفاني (2012). "دراسة حول الدلالات التركيبية للكلمات في الفضاءات التوزيعية". المؤتمر الدولي السادس للحوسبة الدلالية IEEE لعام 2012. الصفحات 154-161 . doi : 10.1109/ICSC.2012.55 . ISBN  978-1-4673-4433-3. S2CID 552921 . 
  8. 1 2 ريمرز، نيلز؛ غوريفيتش، إيرينا (2019). "Sentence-BERT: تضمين الجمل باستخدام شبكات BERT السيامية". arXiv : 1908.10084 [ cs.CL ].
  9. ↑ ميكولوف، توماس؛ تشين، كاي؛ كورادو، جريج؛ دين، جيفري (2013-09-06). "التقدير الفعال لتمثيلات الكلمات في الفضاء المتجهي". arXiv : 1301.3781 [ cs.CL ].
  10. ↑ إيونسكو، رادو تيودور؛ بوتنارو، أندريه (2019). "متجه تضمينات الكلمات المجمعة محليًا" . وقائع مؤتمر الشمال لعام 2019. مينيابوليس، مينيسوتا: رابطة اللغويات الحاسوبية. ص 363-369 . doi : 10.18653 /v1/N19-1033 . S2CID 85500146 .  
  11. ↑ لويس، باتريك؛ بيريز، إيثان؛ بيكتوس، ألكسندرا؛ بيتروني، فابيو؛ كاربوخين، فلاديمير؛ غويال، نامان؛ كوتلر، هاينريش؛ لويس، مايك؛ ييه، وين-تاو؛ روكتاشيل، تيم؛ ريدل، سيباستيان؛ كيلا، دوي (2020). "التوليد المُعزز بالاسترجاع لمهام معالجة اللغة الطبيعية كثيفة المعرفة". arXiv : 2005.11401 [ cs.CL ].
  12. ↑ ماركو ماريلي، ستيفانو مينيني، ماركو باروني، لويزا بنتيفوجلي، رافاييلا برناردي، وروبرتو زامباريلي. "علاج مريض لتقييم النماذج الدلالية التوزيعية التركيبية." في LREC، ص 216-223. 2014.
  13. ↑ سير، دانيال؛ دياب، منى؛ أغيري، إينيكو؛ لوبيز-غازبيو، إينيغو؛ سبيسيا، لوسيا (أغسطس 2017). بيثارد، ستيفن؛ كاربوات، مارين؛ أبيدياناكي، ماريانا؛ محمد، سيف م.؛ سير، دانيال؛ يورغنز، ديفيد (محررون). "مهمة SemEval-2017 رقم 1: التقييم الموجه متعدد اللغات وعبر اللغات للتشابه النصي الدلالي" . وقائع ورشة العمل الدولية الحادية عشرة حول التقييم الدلالي (SemEval-2017) . فانكوفر، كندا: رابطة اللغويات الحاسوبية: 1-14 . arXiv : 1708.00055 . doi : 10.18653/v1/S17-2001 .
  14. ↑ ثاكور، ناندان؛ ريمرز، نيلز؛ روكلي، أندرياس؛ سريفاستافا، أبهيشيك؛ جوريفيتش، إيرينا (2021-08-29). "BEIR: معيار غير متجانس لتقييم نماذج استرجاع المعلومات بدون استخدام بيانات تجريبية" .{{cite journal}}يتطلب الاستشهاد بالمجلة ( مساعدة )|journal=
  15. ↑ مونينغهوف، نيكلاس؛ تازي، نعمان؛ ماغن، لويك؛ ريمرز، نيلز (مايو 2023). فلاخوس، أندرياس؛ أوغنشتاين، إيزابيل (محررون). "MTEB: معيار تضمين النصوص الضخمة" . وقائع المؤتمر السابع عشر للفرع الأوروبي لرابطة اللغويات الحاسوبية . دوبروفنيك، كرواتيا: رابطة اللغويات الحاسوبية: 2014-2037 . doi : 10.18653/v1/2023.eacl-main.148 .
  16. ^ إنيفولدسن ، كينيث. تشونغ، إسحاق. قربوع، إمين؛ كاردوس، مارتون؛ ماثور، اشوين. ستاب، ديفيد؛ غالا جاي. سبليني، وسام؛ كرزمينسكي ، دومينيك (19/02/2025). "MMTEB: المعيار الضخم لتضمين النص متعدد اللغات" . arXiv.org . تم الاسترجاع بتاريخ 2026-06-08 .