Word2vec

تعتمد فكرة CBOW على تمثيل كل كلمة بمتجه، بحيث يكون من الممكن التنبؤ بالكلمة باستخدام مجموع متجهات جيرانها. تحديدًا، لكل كلمة${\displaystyle w_{i}}$في مجموعة النصوص، يُستخدم ترميز الكلمة أحادي الترميز كمدخل للشبكة العصبية. أما مخرج الشبكة العصبية فهو توزيع احتمالي على القاموس، يمثل تنبؤًا بالكلمات الفردية في جوارها.${\displaystyle w_{i}}$الهدف من التدريب هو تحقيق أقصى قدر من الكفاءة${\displaystyle \sum _{i}\ln \Pr(w_{i}\mid w_{i+j}\colon j\in N)}$أين${\displaystyle N}$هي مجموعة من المؤشرات (غير الصفرية) التي تمثل المواقع النسبية للكلمات القريبة التي تعتبر في${\displaystyle w_{i}}$حيّها.

على سبيل المثال، إذا أردنا أن يتم التنبؤ بكل كلمة في المدونة من خلال كل كلمة أخرى ضمن نطاق صغير من 4 كلمات، فإن مجموعة المؤشرات النسبية للكلمات المجاورة ستكون كالتالي:${\displaystyle N=\{-2,-1,+1,+2\}}$والهدف هو تحقيق أقصى قدر من${\displaystyle \sum _{i}\ln \Pr(w_{i}\mid w_{i-2},w_{i-1},w_{i+1},w_{i+2})}$.

في نموذج "حقيبة الكلمات" القياسي، يُعبَّر عن سياق الكلمة بعدد الكلمات المجاورة لها (أو ما يُعرف بمخطط الكلمات ). على سبيل المثال، تُمثَّل كلمة "sat" في جملة "the cat sat on the mat" بالصيغة {"the": 2, "cat": 1, "on": 1}. لاحظ أن الكلمة الأخيرة "mat" لا تُستخدم لتمثيل "sat"، لأنها خارج نطاق الكلمات المجاورة.${\displaystyle N=\{-2,-1,+1,+2\}}$.

في نموذج "حقيبة الكلمات" المتصلة، يتم ضرب المدرج التكراري بمصفوفة.${\displaystyle V}$للحصول على تمثيل متصل لسياق الكلمة. المصفوفة${\displaystyle V}$يُطلق عليه أيضًا اسم قاموس . أعمدته هي متجهات الكلمات.${\displaystyle D}$الأعمدة، حيث${\displaystyle D}$حجم القاموس. ليكن${\displaystyle d}$ليكن طول كل متجه كلمة. لدينا${\displaystyle V\in \mathbb {R} ^{d\times D}}$.

على سبيل المثال، ضرب الرسم البياني للكلمات {"the": 2, "cat": 1, "on": 1} بـ${\displaystyle V}$، نحصل${\displaystyle 2v_{\text{the}}+v_{\text{cat}}+v_{\text{on}}}$.

ثم يتم ضرب هذا بمصفوفة أخرى${\displaystyle V'}$شكل${\displaystyle \mathbb {R} ^{D\times d}}$كل صف منها عبارة عن متجه كلمة${\displaystyle v'}$ينتج عن ذلك متجه بطول${\displaystyle D}$، مدخل واحد لكل مدخل في القاموس. ثم، يتم تطبيق دالة softmax للحصول على توزيع احتمالي على القاموس.

يمكن تصور هذا النظام كشبكة عصبية، تشبه في جوهرها المشفر التلقائي ، ذات بنية خطية-خطية- سوفتماكس ، كما هو موضح في الرسم التخطيطي. يتم تدريب النظام باستخدام خوارزمية التدرج الهبوطي لتقليل خسارة الإنتروبيا المتقاطعة .

في الصيغة الكاملة، تكون خسارة الإنتروبيا المتقاطعة كما يلي:$${\displaystyle -\sum _{i}\ln {\frac {e^{v_{w_{i}}'\cdot (\sum _{j\in N}v_{w_{j+i}})}}{\sum _{w'}e^{v_{w'}'\cdot (\sum _{j\in N}v_{{w'}_{j+i}})}}}}$$حيث المجموع الخارجي${\displaystyle \sum _{i}}$يتعلق الأمر بالكلمات في مجموعة النصوص، الكمية${\displaystyle \sum _{j\in N}v_{w_{j+i}}}$هو مجموع متجهات جيران الكلمة، إلخ.

بمجرد تدريب هذا النظام، نحصل على مصفوفتين مدربتين.${\displaystyle V,V'}$إما متجهات الأعمدة لـ${\displaystyle V}$أو متجهات الصفوف لـ${\displaystyle V'}$يمكن أن تُستخدم كقاموس. على سبيل المثال، يمكن تمثيل كلمة "sat" إما بالعمود رقم "sat" من${\displaystyle V}$أو الصف "السبت" من${\displaystyle V'}$من الممكن أيضًا تعريفها ببساطة${\displaystyle V'=V^{\top }}$وفي هذه الحالة لن يكون هناك خيار بعد الآن.

تتمثل فكرة skip-gram في تمثيل كل كلمة بمتجه، بحيث يكون من الممكن التنبؤ بمتجهات جيرانها باستخدام متجه الكلمة.

لا تزال البنية خطية-خطية-سوفتماكس، كما هو الحال في CBOW، ولكن تم تبديل المدخلات والمخرجات. تحديدًا، لكل كلمة${\displaystyle w_{i}}$في مجموعة النصوص، يُستخدم ترميز الكلمة أحادي الترميز كمدخل للشبكة العصبية. أما مخرج الشبكة العصبية فهو توزيع احتمالي على القاموس، يمثل تنبؤًا بالكلمات الفردية في جوارها.${\displaystyle w_{i}}$الهدف من التدريب هو تحقيق أقصى قدر من الكفاءة${\displaystyle \sum _{i}\sum _{j\in N}\ln \Pr(w_{j+i}\mid w_{i})}$.

الصيغة الكاملة لدالة الخسارة هي$${\displaystyle -\sum _{i}\sum _{j\in N}\ln {\frac {e^{v_{w_{j+i}}'\cdot v_{w_{i}}}}{\sum _{w'}e^{v_{w'}'\cdot v_{w_{i}}}}}}$$كما هو الحال مع CBOW، بمجرد تدريب هذا النظام، نحصل على مصفوفتين مدربتين.${\displaystyle V,V'}$إما متجهات الأعمدة لـ${\displaystyle V}$أو متجهات الصفوف لـ${\displaystyle V'}$يمكن استخدامه كقاموس. ومن الممكن أيضًا تعريفه ببساطة${\displaystyle V'=V^{\top }}$وفي هذه الحالة لن يكون هناك خيار بعد الآن.

في الأساس، تتشابه خوارزمية skip-gram وخوارزمية CBOW تمامًا في بنيتها. ويكمن الاختلاف الوحيد بينهما في دالة الهدف أثناء التدريب.

يمكن تدريب نموذج word2vec باستخدام دالة softmax الهرمية و/أو أخذ العينات السلبية. لتقريب دالة الاحتمال الشرطي التي يسعى النموذج إلى تعظيمها، تستخدم دالة softmax الهرمية شجرة هوفمان لتقليل العمليات الحسابية. أما دالة أخذ العينات السلبية، فتتعامل مع مشكلة التعظيم عن طريق تقليل دالة الاحتمال للحالات السلبية المأخوذة كعينة. ووفقًا للمؤلفين، فإن دالة softmax الهرمية تعمل بشكل أفضل مع الكلمات غير المتكررة، بينما تعمل دالة أخذ العينات السلبية بشكل أفضل مع الكلمات المتكررة ومع المتجهات منخفضة الأبعاد. ^{[ 3 ]} ومع ازدياد عدد دورات التدريب، تفقد دالة softmax الهرمية جدواها. ^{[ 15 ]}

غالباً ما لا توفر الكلمات عالية التردد والكلمات منخفضة التردد معلومات كافية. ويمكن تقليل عدد الكلمات التي يزيد ترددها عن عتبة معينة، أو يقل عن عتبة معينة، أو إزالتها لتسريع عملية التدريب. ^{[ 16 ]}

تتحسن جودة تمثيل الكلمات مع زيادة الأبعاد، ولكن بعد الوصول إلى حد معين، يتضاءل التحسن الطفيف. ^{[ 1 ]} عادةً، يتم ضبط أبعاد المتجهات بين 100 و1000.

يُحدد حجم نافذة السياق عدد الكلمات التي تسبق كلمة معينة وتليها، والتي تُعتبر كلمات سياقية لها. ووفقًا لملاحظة المؤلفين، فإن القيمة الموصى بها هي 10 لنموذج skip-gram و5 لنموذج CBOW. ^{[ 3 ]}

تُنشئ مكتبة doc2vec تمثيلات موزعة لأجزاء نصية متغيرة الطول ، مثل الجمل أو الفقرات أو المستندات الكاملة. ^{[ 17 ] [ 18 ]} وقد تم تطبيق doc2vec في أدوات C و Python و Java / Scala (انظر أدناه)، كما تدعم إصدارات Java وPython استنتاج تضمينات المستندات على مستندات جديدة غير مرئية.

يُقدّر نموذج doc2vec التمثيلات الموزعة للمستندات بطريقة مشابهة لكيفية تقدير نموذج word2vec لتمثيلات الكلمات: يستخدم doc2vec أحد نموذجين معماريين، وكلاهما يُشابه النموذج المستخدم في word2vec. النموذج الأول، وهو نموذج الذاكرة الموزعة لمتجهات الفقرات (PV-DM)، مطابق لنموذج CBOW باستثناء أنه يُضيف مُعرّفًا فريدًا للمستند كجزء من السياق الإضافي. أما النموذج الثاني، وهو نموذج حقيبة الكلمات الموزعة لمتجه الفقرات (PV-DBOW)، فهو مطابق لنموذج skip-gram باستثناء أنه يُحاول التنبؤ بنافذة كلمات السياق المحيطة من مُعرّف الفقرة بدلاً من الكلمة الحالية. ^{[ 17 ]}

يتمتع برنامج doc2vec أيضًا بالقدرة على استخلاص المعاني الدلالية لسياقات إضافية تحيط بالكلمات؛ إذ يمكنه تقدير التمثيلات الدلالية للمتحدثين أو سماتهم، والمجموعات، والفترات الزمنية. على سبيل المثال، استُخدم doc2vec لتقدير المواقف السياسية للأحزاب في مختلف مجالس الكونغرس والبرلمانات في الولايات المتحدة والمملكة المتحدة، ^{[ 19 ]} على التوالي، وفي مؤسسات حكومية مختلفة. ^{[ 20 ]}

يُعدّ top2vec امتدادًا آخر لـ word2vec، حيث يستفيد من تضمينات كلٍّ من المستندات والكلمات لتقدير تمثيلات موزعة للمواضيع. ^{[ 21 ] [ 22 ]} يأخذ top2vec تضمينات المستندات المُستخلصة من نموذج doc2vec ويُقلّلها إلى بُعد أقل (عادةً باستخدام UMAP ). ثمّ يتمّ مسح فضاء المستندات باستخدام HDBSCAN ، ^{[ 23 ]} ويتمّ العثور على مجموعات من المستندات المتشابهة. بعد ذلك، يُعتبر مركز المستندات المُحدّدة في مجموعة ما هو متجه موضوع تلك المجموعة. أخيرًا، يبحث top2vec في الفضاء الدلالي عن تضمينات الكلمات القريبة من متجه الموضوع لتحديد "معنى" الموضوع. ^{[ 21 ]} قد يتمّ تعيين الكلمة ذات التضمينات الأكثر تشابهًا مع متجه الموضوع كعنوان للموضوع، بينما قد تُعتبر تضمينات الكلمات البعيدة غير ذات صلة.

على عكس نماذج المواضيع الأخرى مثل LDA ، يوفر top2vec مقاييس "المسافة" المعيارية بين موضوعين، أو بين موضوع وتمثيلات أخرى (كلمات، مستندات، أو غير ذلك). وبالاستعانة بنتائج HDBSCAN، يمكن للمستخدمين إنشاء تسلسلات هرمية للمواضيع، أو مجموعات من المواضيع والمواضيع الفرعية ذات الصلة.

علاوة على ذلك، يمكن للمستخدم استخدام نتائج دالة top2vec لاستنتاج مواضيع المستندات غير النموذجية. بعد استنتاج تمثيل التضمين لمستند جديد، يكفي البحث في فضاء المواضيع عن أقرب متجه موضوعي.

اقترح أسغاري ومفرد امتدادًا لمتجهات الكلمات لـ n-grams في التسلسلات البيولوجية (مثل الحمض النووي DNA ، والحمض النووي الريبي RNA ، والبروتينات ) لتطبيقات المعلوماتية الحيوية . ^{[ 24 ]} يُطلق على هذا الامتداد اسم المتجهات الحيوية ( BioVec ) للإشارة إلى التسلسلات البيولوجية بشكل عام، مع استخدام متجهات البروتين (ProtVec) للبروتينات (تسلسلات الأحماض الأمينية) ومتجهات الجينات (GeneVec) لتسلسلات الجينات. يمكن استخدام هذا التمثيل على نطاق واسع في تطبيقات التعلم الآلي في علم البروتينات وعلم الجينوم. تشير النتائج إلى أن المتجهات الحيوية قادرة على توصيف التسلسلات البيولوجية من حيث التفسيرات البيوكيميائية والبيوفيزيائية للأنماط الكامنة. ^{[ 24 ]} وقد أظهر متغير مشابه، dna2vec، وجود ارتباط بين درجة تشابه نييدلمان-وونش وتشابه جيب التمام لمتجهات كلمات dna2vec. ^{[ 25 ]}

اقترح بانيرجي وآخرون ^{[ 26 ]} امتدادًا لمتجهات الكلمات لإنشاء تمثيل متجهي كثيف لتقارير الأشعة غير المنظمة. يتمثل أحد أكبر التحديات التي تواجه Word2vec في كيفية التعامل مع الكلمات غير المعروفة أو الخارجة عن نطاق المفردات (OOV) والكلمات المتشابهة صرفيًا. إذا لم يصادف نموذج Word2vec كلمة معينة من قبل، فسيُضطر إلى استخدام متجه عشوائي، وهو عادةً ما يكون بعيدًا عن التمثيل الأمثل. قد يُمثل هذا مشكلة خاصة في مجالات مثل الطب، حيث يمكن استخدام المرادفات والكلمات ذات الصلة اعتمادًا على الأسلوب المُفضل لأخصائي الأشعة، وقد تكون الكلمات نادرة الاستخدام في مجموعة كبيرة من النصوص.

يجمع نموذج IWE بين تقنية Word2vec وتقنية رسم خرائط القاموس الدلالي لمعالجة التحديات الرئيسية لاستخلاص المعلومات من النصوص السريرية، والتي تشمل غموض أسلوب السرد الحر، والاختلافات المعجمية، واستخدام عبارات غير نحوية ومختصرة، والترتيب العشوائي للكلمات، وكثرة استخدام الاختصارات والمختصرات. ومن الجدير بالذكر أن نموذج IWE (الذي تم تدريبه على مجموعة بيانات مؤسسية واحدة) نجح في الانتقال إلى مجموعة بيانات مؤسسية أخرى، مما يدل على قابلية تعميم جيدة لهذا النهج عبر المؤسسات.

يؤثر استخدام معلمات نموذجية مختلفة وأحجام مجموعات بيانات مختلفة بشكل كبير على جودة نموذج word2vec. ويمكن تحسين الدقة بعدة طرق، منها اختيار بنية النموذج (CBOW أو Skip-Gram)، وزيادة مجموعة بيانات التدريب، وزيادة عدد أبعاد المتجه، وزيادة حجم نافذة الكلمات التي يأخذها الخوارزمية في الاعتبار. ويصاحب كل تحسين من هذه التحسينات زيادة في التعقيد الحسابي، وبالتالي زيادة في وقت توليد النموذج. ^{[ 1 ]}

في النماذج التي تستخدم مجموعات بيانات كبيرة وعددًا كبيرًا من الأبعاد، يُحقق نموذج skip-gram أعلى دقة إجمالية، ويُنتج باستمرار أعلى دقة في العلاقات الدلالية، بالإضافة إلى أعلى دقة نحوية في معظم الحالات. ومع ذلك، فإن نموذج CBOW أقل تكلفة حسابية ويُحقق نتائج دقة مماثلة. ^{[ 1 ]}

بشكل عام، تزداد الدقة مع زيادة عدد الكلمات المستخدمة وعدد الأبعاد. ويشير ميكولوف وآخرون ^{[ 1 ]} إلى أن مضاعفة كمية بيانات التدريب تؤدي إلى زيادة في التعقيد الحسابي تعادل مضاعفة عدد أبعاد المتجهات.

درس ألتزيلر وزملاؤه (2017) أداء Word2vec في اختبارين دلاليين لأحجام مختلفة من النصوص. ^{[ 32 ]} ووجدوا أن Word2vec يتميز بمنحنى تعلم حاد ، متفوقًا على تقنية أخرى لتضمين الكلمات، وهي التحليل الدلالي الكامن (LSA)، عند تدريبه على نصوص متوسطة إلى كبيرة الحجم (أكثر من 10 ملايين كلمة). مع ذلك، أظهر LSA أداءً أفضل مع نصوص تدريب صغيرة. بالإضافة إلى ذلك، أظهروا أن أفضل إعدادات المعلمات تعتمد على المهمة ونص التدريب. ومع ذلك، بالنسبة لنماذج skip-gram المدربة على نصوص متوسطة الحجم، ذات 50 بُعدًا، يبدو أن حجم نافذة 15 و10 عينات سلبية يُعد إعدادًا جيدًا للمعلمات.

• ج
• سي شارب
• بايثون (سبارك)
• بايثون (تينسورفلو)
• بايثون (جينسيم)
• جافا/سكالا
• R