تضمين الكلمات

📅 آخر تحديث: ٣١ يوليو ٢٠٢٦
✍️ نُشر في: ٣١ يوليو ٢٠٢٦
📷 يحتوي على 1 صور
الموسوعة الحرة
توضيح لتضمين الكلمات. كل كلمة تمثل نقطة في فضاء ما. يُمكّن تضمين الكلمات المعالج من إجراء عمليات دلالية مثل الحصول على عاصمة دولة معينة.

في معالجة اللغة الطبيعية ، يُعدّ تمثيل الكلمات تمثيلاً للكلمة. ويُستخدم هذا التمثيل في تحليل النصوص . عادةً، يكون التمثيل عبارة عن متجه ذي قيم حقيقية يُشفّر معنى الكلمة، بحيث يُتوقع أن تكون الكلمات الأقرب في فضاء المتجهات متشابهة في المعنى. [ 1 ] يمكن الحصول على تمثيلات الكلمات باستخدام تقنيات نمذجة اللغة وتعلم الميزات ، حيث تُربط الكلمات أو العبارات من المفردات بمتجهات من الأعداد الحقيقية .

تشمل طرق توليد هذا الربط الشبكات العصبية ، [ 2 ] وتقليل الأبعاد على مصفوفة التواجد المشترك للكلمات ، [ 3 ] [ 4 ] [ 5 ] والنماذج الاحتمالية، [ 6 ] وطريقة قاعدة المعرفة القابلة للتفسير، [ 7 ] والتمثيل الصريح من حيث السياق الذي تظهر فيه الكلمات. [ 8 ]

لقد ثبت أن تضمينات الكلمات والعبارات، عند استخدامها كتمثيل إدخال أساسي، تعزز الأداء في مهام معالجة اللغة الطبيعية مثل التحليل النحوي [ 9 ] وتحليل المشاعر . [ 10 ]

تطور وتاريخ هذا النهج

في علم الدلالة التوزيعية ، وهو منهج كمي لفهم المعنى في اللغة المرصودة، تُستخدم تمثيلات الكلمات أو نماذج فضاء السمات الدلالية كتمثيل للمعرفة منذ فترة. [ 11 ] تهدف هذه النماذج إلى تحديد وتصنيف أوجه التشابه الدلالي بين العناصر اللغوية بناءً على خصائصها التوزيعية في عينات كبيرة من البيانات اللغوية. طُرحت الفكرة الأساسية القائلة بأن "الكلمة تتميز بما يحيط بها" في مقال لجون روبرت فيرث عام 1957 ، [ 12 ] ولكنها متجذرة أيضًا في الأعمال المعاصرة حول أنظمة البحث [ 13 ] وفي علم النفس المعرفي. [ 14 ]

يعتمد مفهوم الفضاء الدلالي، الذي تُمثَّل فيه المفردات (الكلمات أو المصطلحات متعددة الكلمات) كمتجهات أو تضمينات، على التحديات الحسابية المتمثلة في استخلاص الخصائص التوزيعية واستخدامها في التطبيقات العملية لقياس التشابه بين الكلمات أو العبارات أو المستندات بأكملها. يُعدّ نموذج الفضاء المتجهي لاسترجاع المعلومات الجيل الأول من نماذج الفضاء الدلالي. [ 15 ] [ 16 ] [ 17 ] تُنتج نماذج الفضاء المتجهي هذه، المُطبَّقة في أبسط صورها، فضاءً متجهيًا متفرقًا للغاية ذو أبعاد عالية (انظر: لعنة الأبعاد ). وقد أدّى تقليل عدد الأبعاد باستخدام أساليب الجبر الخطي، مثل تحليل القيم المفردة، إلى ظهور التحليل الدلالي الكامن في أواخر ثمانينيات القرن العشرين، ومنهجية الفهرسة العشوائية لجمع سياقات التواجد المشترك للكلمات. [ 18 ] [ 19 ] [ 20 ] [ 21 ] في عام 2000، قام بينجيو وآخرون... تم تقديم هذه التقنية في سلسلة من الأوراق البحثية بعنوان "نماذج اللغة الاحتمالية العصبية" لتقليل الأبعاد العالية لتمثيلات الكلمات في السياقات من خلال "تعلم تمثيل موزع للكلمات". [ 22 ] [ 23 ] [ 24 ]

قدمت دراسة نُشرت في مؤتمر NeurIPS (NIPS) 2002 استخدام كل من تضمينات الكلمات والمستندات بتطبيق طريقة تحليل الارتباط الكنسي باستخدام النواة على مجموعات النصوص ثنائية اللغة (ومتعددة اللغات)، كما قدمت مثالاً مبكراً للتعلم الذاتي لتضمينات الكلمات. [ 25 ]

تأتي تمثيلات الكلمات بنمطين مختلفين، أحدهما يُعبَّر فيه عن الكلمات كمتجهات للكلمات المتزامنة، والآخر يُعبَّر فيه عن الكلمات كمتجهات للسياقات اللغوية التي تظهر فيها الكلمات؛ وقد دُرِسَ هذان النمطان في دراسة لافيلي وآخرون، 2004. [ 26 ] نشر رويس وساول في مجلة ساينس كيفية استخدام " التضمين الخطي المحلي " (LLE) لاكتشاف تمثيلات هياكل البيانات عالية الأبعاد. [ 27 ] تعتمد معظم تقنيات تضمين الكلمات الجديدة بعد عام 2005 تقريبًا على بنية الشبكة العصبية بدلًا من النماذج الاحتمالية والجبرية، وذلك استنادًا إلى العمل التأسيسي الذي قام به يوشوا بنجيو [ 28 ] وزملاؤه. [ 29 ] [ 30 ]

تبنّت العديد من المجموعات البحثية هذا النهج بعد التطورات النظرية التي تحققت عام 2010 في جودة المتجهات وسرعة تدريب النموذج، فضلًا عن التطورات في مجال الأجهزة التي أتاحت استكشاف نطاق أوسع من المعلمات بكفاءة. في عام 2013، ابتكر فريق في جوجل بقيادة توماس ميكولوف أداة word2vec ، وهي مجموعة أدوات لتضمين الكلمات تُمكن من تدريب نماذج فضاء المتجهات بسرعة أكبر من الأساليب السابقة. وقد استُخدم نهج word2vec على نطاق واسع في التجارب، وكان له دورٌ محوري في زيادة الاهتمام بتضمين الكلمات كتقنية، ونقل هذا المجال البحثي من نطاق البحث المتخصص إلى نطاق أوسع من التجارب، مما مهّد الطريق في نهاية المطاف للتطبيق العملي. [ 31 ]

تعدد المعاني والتجانس اللفظي

تاريخيًا، كان أحد أبرز عيوب نماذج تمثيل الكلمات الثابتة أو نماذج فضاء متجهات الكلمات هو دمج الكلمات ذات المعاني المتعددة في تمثيل واحد (متجه واحد في الفضاء الدلالي). بعبارة أخرى، لا يتم التعامل مع تعدد المعاني والتجانس اللفظي بشكل صحيح. على سبيل المثال، في جملة "The club I tried yesterday was great!"، ليس من الواضح ما إذا كانت كلمة " club" مرتبطة بمعنى شطيرة النادي ، أو النادي ، أو مضرب الغولف ، أو أي معنى آخر قد تحمله. إن ضرورة استيعاب المعاني المتعددة للكلمة الواحدة في متجهات مختلفة (تمثيلات متعددة المعاني) هي الدافع وراء العديد من المساهمات في معالجة اللغات الطبيعية لفصل التمثيلات أحادية المعنى إلى تمثيلات متعددة المعاني. [ 32 ] [ 33 ]

يمكن تقسيم معظم المناهج التي تُنتج تمثيلات متعددة المعاني إلى فئتين رئيسيتين لتمثيل معاني الكلمات، وهما: غير الخاضعة للإشراف والقائمة على المعرفة. [ 34 ] وبالاعتماد على نموذج Word2vec Skip-gram، يقوم نموذج Multi-Sense Skip-Gram (MSSG) [ 35 ] بتمييز معاني الكلمات وتمثيلها في آنٍ واحد، مما يُحسّن وقت التدريب، مع افتراض عدد محدد من المعاني لكل كلمة. أما في نموذج Non-Parametric Multi-Sense Skip-Gram (NP-MSSG)، فيمكن أن يختلف هذا العدد باختلاف كل كلمة. وبدمج المعرفة المسبقة لقواعد البيانات المعجمية (مثل WordNet و ConceptNet و BabelNet ) وتمثيلات الكلمات وإزالة الغموض عن معانيها ، يقوم نموذج Most Suitable Sense Annotation (MSSA) [ 36 ] بتصنيف معاني الكلمات من خلال منهج غير خاضع للإشراف وقائم على المعرفة، مع مراعاة سياق الكلمة في نافذة منزلقة مُحددة مسبقًا. بمجرد إزالة الغموض عن الكلمات، يمكن استخدامها في تقنية تضمين الكلمات القياسية، مما ينتج عنه تضمينات متعددة المعاني. تسمح بنية MSSA بإجراء عملية إزالة الغموض والتعليق بشكل متكرر وبطريقة ذاتية التحسين. [ 37 ]

من المعروف أن استخدام التضمينات متعددة المعاني يحسن الأداء في العديد من مهام معالجة اللغة الطبيعية، مثل تحديد أجزاء الكلام ، وتحديد العلاقات الدلالية، والترابط الدلالي ، والتعرف على الكيانات المسماة ، وتحليل المشاعر. [ 38 ] [ 39 ]

منذ أواخر العقد الثاني من الألفية الثانية، تم تطوير نماذج تضمين ذات دلالة سياقية مثل ELMo و BERT . [ 40 ] على عكس نماذج تضمين الكلمات الثابتة، فإن هذه النماذج تعمل على مستوى الرموز، حيث يمتلك كل ظهور للكلمة نموذج تضمين خاص به. تعكس هذه النماذج بشكل أفضل الطبيعة متعددة المعاني للكلمات، لأن ظهور الكلمة في سياقات متشابهة يقع في مناطق متقاربة من فضاء تضمين BERT. [ 41 ] [ 42 ]

بالنسبة للتسلسلات البيولوجية: BioVectors

اقترح أسغاري ومفرد [ 43 ] تمثيلات الكلمات للوحدات النحوية ( n- grams) في التسلسلات البيولوجية (مثل الحمض النووي DNA ، والحمض النووي الريبوزي RNA ، والبروتينات ) لتطبيقات المعلوماتية الحيوية . ويُطلق على هذه التمثيلات اسم المتجهات الحيوية (BioVec) للإشارة إلى التسلسلات البيولوجية عمومًا، بينما تُستخدم متجهات البروتين (ProtVec) للبروتينات (تسلسلات الأحماض الأمينية)، ومتجهات الجينات (GeneVec) لتسلسلات الجينات. ويمكن استخدام هذا التمثيل على نطاق واسع في تطبيقات التعلم العميق في علم البروتينات وعلم الجينوم . وتشير النتائج التي قدمها أسغاري ومفرد [ 43 ] إلى أن المتجهات الحيوية (BioVectors) قادرة على وصف التسلسلات البيولوجية من حيث التفسيرات البيوكيميائية والبيوفيزيائية للأنماط الكامنة.

تصميم الألعاب

اقترح ربيع وكوك [ 44 ] استخدام تمثيلات الكلمات في تصميم الألعاب كوسيلة لاكتشاف أساليب اللعب الناشئة باستخدام سجلات بيانات اللعب. تتطلب هذه العملية نسخ الأحداث التي تجري أثناء اللعبة بلغة رسمية ، ثم استخدام النص الناتج لإنشاء تمثيلات الكلمات. تشير النتائج التي قدمها ربيع وكوك [ 44 ] إلى أن المتجهات الناتجة قادرة على استيعاب المعرفة المتخصصة حول ألعاب مثل الشطرنج ، والتي لا تُذكر صراحةً في قواعد اللعبة.

تضمينات الجمل

تم توسيع نطاق هذه الفكرة لتشمل تمثيل الجمل الكاملة أو حتى المستندات، كما في مفهوم متجهات الفكر . في عام ٢٠١٥، اقترح بعض الباحثين "متجهات الفكر المتجاوزة" كوسيلة لتحسين جودة الترجمة الآلية . [ ٤٥ ] ومن الأساليب الحديثة والشائعة لتمثيل الجمل، نموذج Sentence-BERT، أو SentenceTransformers، الذي يُعدّل نموذج BERT المُدرّب مسبقًا باستخدام هياكل الشبكات السيامية والثلاثية. [ ٤٦ ]

برمجة

تتضمن البرامج المستخدمة لتدريب واستخدام تمثيلات الكلمات: Word2vec من تطوير توماش ميكولوف ، و GloVe من جامعة ستانفورد ، [ 47 ] وGN-GloVe، [ 48 ] وتمثيلات Flair، [ 38 ] وELMo من تطوير AllenNLP ، [ 49 ] و BERT ، [ 50 ] وfastText و Gensim ، [ 51 ] و Indra، [ 52 ] و Deeplearning4j . وتُستخدم تقنيات تحليل المكونات الرئيسية (PCA) وتقريب وإسقاط المشعب الموحد (UMAP) وتضمين الجوار العشوائي الموزع T (t-SNE) لتقليل أبعاد فضاءات متجهات الكلمات وتصوير تمثيلات الكلمات وتجمعاتها . [ 53 ] [ 54 ]

أمثلة على التطبيق

على سبيل المثال، تُستخدم دالة fastText أيضًا لحساب تضمينات الكلمات لمجموعات النصوص في Sketch Engine المتوفرة عبر الإنترنت. [ 55 ]

الآثار الأخلاقية

قد تحتوي تمثيلات الكلمات على التحيزات والصور النمطية الموجودة في مجموعة البيانات المُدرَّبة، كما أشار بولوكباشي وآخرون في ورقة بحثية نُشرت عام 2016 بعنوان "هل الرجل بالنسبة لمبرمج الحاسوب كالمرأة بالنسبة لربة المنزل؟ إزالة التحيزات من تمثيلات الكلمات". فقد أظهرت تمثيلات الكلمات word2vec المتاحة للجمهور (والشائعة الاستخدام) والمُدرَّبة على نصوص أخبار جوجل (وهي مجموعة بيانات شائعة الاستخدام)، والتي تتكون من نصوص كتبها صحفيون محترفون، ارتباطات غير متناسبة بين الكلمات تعكس تحيزات جنسية وعرقية عند استخراج تشبيهات الكلمات. [ 56 ] على سبيل المثال، أحد التشبيهات التي تم إنشاؤها باستخدام تمثيل الكلمات المذكور هو "الرجل بالنسبة لمبرمج الحاسوب كالمرأة بالنسبة لربة المنزل". [ 57 ] [ 58 ]

أظهرت الأبحاث التي أجراها جييو تشاو وآخرون أن استخدام نماذج تمثيل الكلمات المدربة هذه دون إشراف دقيق من شأنه أن يُديم على الأرجح التحيزات الموجودة في المجتمع، والتي تنشأ من خلال بيانات التدريب غير المُعدّلة. علاوة على ذلك، قد تُضخّم نماذج تمثيل الكلمات هذه التحيزات. [ 59 ] [ 60 ]

انظر أيضاً

مراجع

  1. ↑ جورافسكي، دانيال؛ إتش. جيمس، مارتن (2000). معالجة الكلام واللغة: مقدمة في معالجة اللغة الطبيعية، واللغويات الحاسوبية، والتعرف على الكلام . أبر سادل ريفر، نيوجيرسي: برنتيس هول. ISBN 978-0-13-095069-7.
  2. ↑ ميكولوف، توماس؛ سوتسكيفر، إيليا؛ تشين، كاي؛ كورادو، جريج؛ دين، جيفري (2013). "التمثيلات الموزعة للكلمات والعبارات وتكوينها". arXiv : 1310.4546 [ cs.CL ].
  3. ↑ ليبريه، ريمي؛ كولوبيرت، رونان (2013). "تضمين الكلمات من خلال تحليل المكونات الرئيسية لهيلينجر". مؤتمر الفرع الأوروبي لرابطة اللغويات الحاسوبية (EACL) . المجلد 2014. arXiv : 1312.5542 . 
  4. ↑ ليفي، عمر؛ غولدبيرغ، يواف (2014). تضمين الكلمات العصبية كتحليل ضمني للمصفوفات (PDF) . NIPS.
  5. ↑ لي، ييتان؛ شو، لينلي (2015). إعادة النظر في تضمين الكلمات: منظور جديد لتعلم التمثيل وتحليل المصفوفات الصريح (ملف PDF) . المجلة الدولية للمؤتمر حول الذكاء الاصطناعي (IJCAI).
  6. ↑ جلوبيرسون، أمير (2007). "التضمين الإقليدي لبيانات التواجد المشترك" (ملف PDF) . مجلة أبحاث تعلم الآلة .
  7. ↑ قريشي، م. عاطف؛ غرين، ديريك (2018-06-04). "EVE: تقنية تضمين قائمة على المتجهات قابلة للتفسير باستخدام ويكيبيديا". مجلة نظم المعلومات الذكية . 53 : 137-165 . arXiv : 1702.06891 . doi : 10.1007/s10844-018-0511-x . ISSN 0925-9902 . S2CID 10656055 .  
  8. ↑ ليفي، عمر؛ غولدبرغ، يواف (2014). الانتظامات اللغوية في تمثيلات الكلمات المتفرقة والصريحة (ملف PDF) . CoNLL. ص 171-180 . 
  9. ↑ سوشر، ريتشارد؛ باور، جون؛ مانينغ، كريستوفر؛ نغ، أندرو (2013). التحليل النحوي باستخدام قواعد المتجهات التركيبية (ملف PDF) . وقائع مؤتمر ACL. مؤرشف من الأصل (ملف PDF) بتاريخ 11 أغسطس 2016. تم الاطلاع عليه بتاريخ 14 أغسطس 2014 .
  10. ↑ سوشر، ريتشارد؛ بيريلجين، أليكس؛ وو، جين؛ تشوانغ، جيسون؛ مانينغ، كريس؛ نغ، أندرو؛ بوتس، كريس (2013). نماذج عميقة متكررة للتركيب الدلالي على قاعدة بيانات شجرة المشاعر (ملف PDF) . EMNLP.
  11. ↑ سالغرين، ماغنوس. "تاريخ موجز لتضمين الكلمات" .
  12. ↑ فيرث، جيه آر (1957). "ملخص لنظرية اللغة 1930-1955". دراسات في التحليل اللغوي : 1-32 .أُعيد طبعه في كتاب FR Palmer، محرر (1968). أوراق مختارة من JR Firth 1952–1959 . لندن: لونغمان.{{cite book}}: CS1 maint: publisher location ( link )
  13. ↑ لوهن، إتش بي (1953). "طريقة جديدة لتسجيل المعلومات والبحث عنها". التوثيق الأمريكي . 4 : 14-16 . doi : 10.1002/asi.5090040104 .
  14. ↑ أوسجود، سي إي؛ سوسي، جي جي؛ تانينباوم، بي إتش (1957). قياس المعنى . مطبعة جامعة إلينوي.
  15. ↑ سالتون، جيرارد (1962). "بعض التجارب في توليد روابط الكلمات والمستندات". وقائع المؤتمر المشترك للحاسوب الذي عُقد في الفترة من 4 إلى 6 ديسمبر 1962 - AFIPS '62 (خريف) . الصفحات 234-250 . doi : 10.1145/1461518.1461544 . ISBN  978-1-4503-7879-6. S2CID 9937095 . {{cite book}}عدم توافق رقم ISBN / التاريخ ( مساعدة )
  16. ↑ سالتون، جيرارد؛ وونغ، أ؛ يانغ، سي إس (1975). "نموذج فضاء متجهي للفهرسة التلقائية". اتصالات رابطة مكائن ​​الحوسبة . 18 (11): 613-620 . doi : 10.1145/361219.361220 . hdl : 1813/6057 . S2CID 6473756 . 
  17. ↑ دوبين، ديفيد (2004). "الورقة البحثية الأكثر تأثيرًا التي لم يكتبها جيرارد سالتون" . مؤرشفة من الأصل في 18 أكتوبر 2020. تم الاطلاع عليها في 18 أكتوبر 2020 .
  18. ↑ كانيرفا، بنتي، كريستوفرسون، جان وهولست، أندرس (2000): الفهرسة العشوائية لعينات النصوص للتحليل الدلالي الكامن ، وقائع المؤتمر السنوي الثاني والعشرين لجمعية العلوم المعرفية، ص 1036. ماوا، نيو جيرسي: إيرلبوم، 2000.
  19. ^ كارلجرين ، جوسي. سالغرين، ماغنوس (2001). أوساكا، يوشينوري؛ كانيرفا، بنتي؛ آسوه، هيديكي (محرران). "من الكلمات إلى الفهم". أسس الذكاء في العالم الحقيقي . منشورات CSLI: 294-308 .
  20. ↑ سالغرين، ماغنوس (2005) مقدمة في الفهرسة العشوائية ، وقائع ورشة عمل أساليب وتطبيقات الفهرسة الدلالية في المؤتمر الدولي السابع للمصطلحات وهندسة المعرفة، TKE 2005، 16 أغسطس، كوبنهاغن، الدنمارك
  21. ↑ Sahlgren, Magnus, Holst, Anders and Pentti Kanerva (2008) Permutations as a Means to Encode Order in Word Space , In Proceedings of the 30th Annual Conference of the Cognitive Science Society: 1300–1305.
  22. ↑ بينجيو، يوشوا؛ ريجان، دوشارم؛ باسكال، فنسنت (2000). "نموذج لغوي احتمالي عصبي" (ملف PDF) . NeurIPS .
  23. ↑ بينجيو، يوشوا ؛ دوشارم، ريجان؛ فنسنت، باسكال؛ جوفان، كريستيان (2003). "نموذج لغوي احتمالي عصبي" (ملف PDF) . مجلة أبحاث تعلم الآلة . 3 : 1137-1155 .
  24. ^ بنجيو ، يوشوا. شوينك، هولجر. سينيكال، جان سيباستيان؛ مورين، فريدريك. جوفان، جان لوك (2006). “نموذج اللغة الاحتمالية العصبية”. دراسات في الغموض والحوسبة الناعمة . المجلد. 194. سبرينغر. ص 137 – 186. دوى : 10.1007 / 3-540-33486-6_6 . رقم ISBN   978-3-540-30609-2.
  25. ↑ فينكوروف، أليكسي؛ كريستيانيني، نيلو؛ شاو-تايلور، جون (2002). استنتاج تمثيل دلالي للنص عبر تحليل الارتباط بين اللغات (PDF) . التطورات في أنظمة معالجة المعلومات العصبية. المجلد 15. 
  26. ↑ لافيلي، ألبرتو؛ سيباستياني، فابريزيو؛ زانولي، روبرتو (2004). تمثيلات المصطلحات التوزيعية: مقارنة تجريبية . المؤتمر الدولي الثالث عشر لجمعية الحوسبة الآلية (ACM) حول إدارة المعلومات والمعرفة. الصفحات 615-624 . doi : 10.1145/1031171.1031284 . 
  27. ↑ رويس، سام ت.؛ سول، لورانس ك. (2000). "تقليل الأبعاد غير الخطي عن طريق التضمين الخطي المحلي". مجلة ساينس . 290 (5500): 2323-2326 . رمز Bibcode : 2000Sci...290.2323R . CiteSeerX 10.1.1.111.3313 . doi : 10.1126/science.290.5500.2323 . PMID 11125150. S2CID 5987139 .   
  28. ↑ he:יהושע בנג'יו
  29. ↑ مورين، فريدريك؛ بينجيو، يوشوا (2005). "نموذج لغة الشبكة العصبية الاحتمالية الهرمية" (ملف PDF) . في: كويل، روبرت ج.؛ غراماني، زوبين (محرران). وقائع ورشة العمل الدولية العاشرة حول الذكاء الاصطناعي والإحصاء . وقائع بحوث تعلم الآلة. المجلد R5. الصفحات 246-252 .  
  30. ↑ منيه، أندري؛ هينتون، جيفري (2009). "نموذج لغوي هرمي موزع قابل للتوسع" . التطورات في أنظمة معالجة المعلومات العصبية . 21 (NIPS 2008). كوران أسوشيتس، إنك: 1081-1088 .
  31. ↑ "word2vec" . أرشيف جوجل للأكواد . تم الاطلاع عليه بتاريخ 23 يوليو 2021 .
  32. ↑ ريزينجر، جوزيف؛ موني، ريموند ج. (2010). نماذج فضاء المتجهات متعددة النماذج الأولية لمعنى الكلمات . المجلد: تقنيات اللغة البشرية: المؤتمر السنوي لعام 2010 لفرع أمريكا الشمالية لجمعية اللغويات الحاسوبية. لوس أنجلوس، كاليفورنيا: جمعية اللغويات الحاسوبية. الصفحات 109-117 . ISBN   978-1-932432-65-7تم الاطلاع عليه بتاريخ 25 أكتوبر 2019 .
  33. ↑ هوانغ، إريك. (2012). تحسين تمثيلات الكلمات من خلال السياق العالمي ونماذج الكلمات المتعددة . OCLC 857900050 . 
  34. ↑ كاماتشو-كولادوس، خوسيه؛ بيليفار، محمد طاهر (2018). "من تضمينات الكلمة إلى تضمينات المعنى: دراسة استقصائية حول التمثيلات المتجهة للمعنى". arXiv : 1805.04032 [ cs.CL ].
  35. ↑ نيلاكانتان، أرفيند؛ شانكار، جيفان؛ باسوس، ألكسندر؛ ماكالوم، أندرو (2014). "التقدير غير البارامتري الفعال للتضمينات المتعددة لكل كلمة في فضاء المتجهات". وقائع مؤتمر 2014 حول الأساليب التجريبية في معالجة اللغة الطبيعية (EMNLP) . سترودسبيرغ، بنسلفانيا، الولايات المتحدة الأمريكية: رابطة اللغويات الحاسوبية. الصفحات 1059-1069 . arXiv : 1504.06654 . doi : 10.3115/v1/d14-1113 . S2CID 15251438 .  
  36. ↑ رواس، تيري؛ غروسكي، ويليام؛ أيزاوا، أكيكو (2019-12-01). "تضمينات متعددة المعاني من خلال عملية إزالة الغموض عن معاني الكلمات". أنظمة الخبراء وتطبيقاتها . 136 : 288-303 . arXiv : 2101.08700 . doi : 10.1016/j.eswa.2019.06.026 . hdl : 2027.42/145475 . ISSN 0957-4174 . S2CID 52225306 .  
  37. ↑ أغري، غينادي؛ بيتروف، دانيال؛ كيسكينوفا، سيمونا (2019-03-01). "استوديو إزالة الغموض عن معاني الكلمات: نظام مرن لاستخراج ميزات إزالة الغموض عن معاني الكلمات" . المعلومات . 10 (3): 97. doi : 10.3390/info10030097 . ISSN 2078-2489 . 
  38. 1 2 أكبيك، آلان؛ بليث، دنكان؛ فولغراف، رولاند (2018). "تضمينات السلاسل السياقية لتصنيف التسلسلات" . وقائع المؤتمر الدولي السابع والعشرين للغويات الحاسوبية . سانتا فيه، نيو مكسيكو، الولايات المتحدة الأمريكية: رابطة اللغويات الحاسوبية: 1638-1649 .
  39. ↑ لي، جيوي؛ جورافسكي، دان (2015). "هل تُحسّن تضمينات المعاني المتعددة فهم اللغة الطبيعية؟". وقائع مؤتمر 2015 حول الأساليب التجريبية في معالجة اللغة الطبيعية . سترودسبيرغ، بنسلفانيا، الولايات المتحدة الأمريكية: رابطة اللغويات الحاسوبية. ص 1722-1732 . arXiv : 1506.01070 . doi : 10.18653/v1/ d15-1200 . S2CID 6222768 .  
  40. ↑ ديفلين، جاكوب؛ تشانغ، مينغ-وي؛ لي، كينتون؛ توتانوفا، كريستينا (يونيو 2019). "وقائع مؤتمر الشمال لعام 2019" . وقائع مؤتمر فرع أمريكا الشمالية لعام 2019 لجمعية اللغويات الحاسوبية: تقنيات اللغة البشرية، المجلد 1 (أوراق بحثية طويلة وقصيرة) . جمعية اللغويات الحاسوبية: 4171-4186 . doi : 10.18653/v1/N19-1423 . S2CID 52967399 . 
  41. ↑ لوسي، لي، وديفيد بامان. "توصيف التباين في اللغة الإنجليزية عبر مجتمعات وسائل التواصل الاجتماعي باستخدام BERT." معاملات رابطة اللغويات الحاسوبية 9 (2021): 538-556.
  42. ↑ ريف، إميلي، آن يوان، مارتن واتنبرغ، فرناندو ب. فيغاس، آندي كوينين، آدم بيرس، وبين كيم. "تصور وقياس هندسة BERT." التقدم في أنظمة معالجة المعلومات العصبية 32 (2019).
  43. 1 2 أصغري، إحسان الدين؛ موفراد، محمد ر.ك. (2015). "التمثيل الموزع المستمر للتسلسلات البيولوجية لعلم البروتينات وعلم الجينوم العميق" . PLOS ONE . 10 (11) e0141287. arXiv : 1503.05140 . Bibcode : 2015PLoSO..1041287A . doi : 10.1371/journal.pone.0141287 . PMC 4640716. PMID 26555596 .  
  44. 1 2 ربيعي، يونس؛ كوك، مايكل (2021-10-04). "الكشف عن ديناميكيات اللعبة من خلال تضمينات الكلمات لبيانات اللعب" . وقائع مؤتمر AAAI حول الذكاء الاصطناعي والترفيه الرقمي التفاعلي . 17 (1): 187-194 . doi : 10.1609/aiide.v17i1.18907 . ISSN 2334-0924 . S2CID 248175634 .  
  45. ^ كيروس، ريان. تشو، يوكون؛ صلاح الدينوف، رسلان؛ زيميل، ريتشارد س. تورالبا، أنطونيو؛ أورتاسون، راكيل. فيدلر ، سانجا (2015). "نواقل تخطي الفكر". أرخايف : 1506.06726 [ cs.CL ].
  46. ↑ ريمرز، نيلز، وإيرينا غوريفيتش. "Sentence-BERT: تضمين الجمل باستخدام شبكات BERT السيامية". في وقائع مؤتمر 2019 حول الأساليب التجريبية في معالجة اللغة الطبيعية والمؤتمر الدولي المشترك التاسع حول معالجة اللغة الطبيعية (EMNLP-IJCNLP)، الصفحات 3982-3992. 2019.
  47. ↑ "قفاز" .
  48. ^ تشاو، جييو؛ وآخرون . (2018) (2018). “تعلم تضمين الكلمات المحايدة جنسانياً”. أرخايف : 1809.01496 [ cs.CL ]. 
  49. ↑ "إلمو" . 16 أكتوبر 2024.
  50. ↑ بيريس، تيلمو؛ شلينجر، إيفا؛ غاريت، دان (2019-06-04). "ما مدى تعدد اللغات في نموذج BERT متعدد اللغات؟". arXiv : 1906.01502 [ cs.CL ].
  51. ↑ "جينسيم" .
  52. ^ "إندرا" . جيثب . 2018-10-25.
  53. ↑ قاسمي، محمد؛ مارك، روجر؛ نعمتي، شميم (2015). "تصور تطور المشاعر السريرية باستخدام تمثيلات متجهة للملاحظات السريرية" (ملف PDF) . مؤتمر الحوسبة في طب القلب 2015 (CinC) . المجلد 2015. الصفحات 629-632 . doi : 10.1109/CIC.2015.7410989 . ISBN   978-1-5090-0685-4. PMC 5070922 . PMID 27774487 .  
  54. ↑ ماكينيس، ليلاند؛ هيلي، جون؛ ميلفيل، جيمس (2020-09-18). "UMAP: تقريب وإسقاط متعدد الشعب الموحد لتقليل الأبعاد". arXiv : 1802.03426 [ stat.ML ].
  55. ↑ "عارض التضمين" . عارض التضمين . الحوسبة المعجمية. مؤرشف من الأصل في 8 فبراير 2018. تم الاسترجاع في 7 فبراير 2018 .
  56. ↑ بولوكباشي، تولغا؛ تشانغ، كاي-وي؛ زو، جيمس؛ ساليغراما، فينكاتيش؛ كالاي، آدم (2016). "هل الرجل بالنسبة لمبرمج الحاسوب كالمرأة بالنسبة لربة المنزل؟ إزالة التحيز من تضمينات الكلمات". arXiv : 1607.06520 [ cs.CL ].
  57. ↑ بولوكباشي، تولغا؛ تشانغ، كاي-وي؛ زو، جيمس؛ ساليغراما، فينكاتيش؛ كالاي، آدم (21-07-2016). "هل الرجل بالنسبة لمبرمج الحاسوب كالمرأة بالنسبة لربة المنزل؟ إزالة التحيز من تضمينات الكلمات". arXiv : 1607.06520 [ cs.CL ].
  58. ↑ دينغ، أدجي ب.؛ رويز، فرانسيسكو جيه آر؛ بلي، ديفيد إم. (2020). "نمذجة المواضيع في فضاءات التضمين" . معاملات رابطة اللغويات الحاسوبية . 8 : 439-453 . arXiv : 1907.04907 . doi : 10.1162/tacl_a_00325 .
  59. ↑ تشاو، جييو؛ وانغ، تيانلو؛ ياتسكار، مارك؛ أوردونيز، فيسنتي؛ تشانغ، كاي-وي (2017). "الرجال يحبون التسوق أيضًا: الحد من تضخيم التحيز الجنسي باستخدام قيود على مستوى المدونة" . وقائع مؤتمر 2017 حول الأساليب التجريبية في معالجة اللغة الطبيعية . الصفحات 2979-2989 . doi : 10.18653/v1/D17-1323 . 
  60. ↑ بيتريسكي، دافور؛ هاشم، إبراهيم ج. (2022-05-26). "تضمينات الكلمات متحيزة. ولكن أي تحيز تعكس؟" . الذكاء الاصطناعي والمجتمع . 38 (2): 975-982 . doi : 10.1007/s00146-022-01443-w . ISSN 1435-5655 . S2CID 249112516 .