نموذج اللغة

نموذج اللغة n -gram هو نموذج إحصائي للغة يحسب احتمالية الكلمة التالية في سلسلة من الكلمات السابقة ضمن نافذة ثابتة الحجم. إذا تم اعتبار كلمة واحدة سابقة، فهو نموذج ثنائي الكلمات؛ وإذا تم اعتبار كلمتين، فهو نموذج ثلاثي الكلمات؛ وإذا تم اعتبار n  −  1 كلمة، فهو نموذج n -gram. ^{[ 14 ]}

تُستخدم رموز خاصة للدلالة على بداية الجملة ونهايتها${\displaystyle \langle s\rangle }$و${\displaystyle \langle /s\rangle }$لتجنب إسناد احتمال صفري للكلمات غير المرئية، يتم تخفيض احتمال كل كلمة مرئية قليلاً لإفساح المجال للكلمات غير المرئية في مجموعة النصوص المعطاة . ولتحقيق ذلك، تُستخدم طرق تنعيم متنوعة ، بدءًا من التنعيم البسيط "بإضافة واحد" (إسناد عدد 1 للكلمات غير المرئية ، كمعلومات مسبقة غير مفيدة ) وصولًا إلى تقنيات أكثر تطورًا، مثل خصم جود-تورينج أو نماذج التراجع .

لقد تم استبدال نماذج n- gram للكلمات إلى حد كبير بنماذج الشبكات العصبية المتكررة ، والتي بدورها تم استبدالها بنماذج Transformer التي يشار إليها غالبًا باسم نماذج اللغة الكبيرة . ^{[ 15 ]}

يُعد نموذج لغة Skip-gram محاولةً للتغلب على مشكلة ندرة البيانات التي واجهها النموذج السابق (أي نموذج لغة الكلمات n- gram). لم تعد الكلمات المُمثلة في متجه التضمين بالضرورة متتالية، بل يمكن أن تترك فجوات يتم تخطيها (ومن هنا جاءت تسمية "skip-gram"). ^{[ 16 ]}

بشكل رسمي، فإن k -skip- n -gram عبارة عن سلسلة فرعية بطول n حيث تظهر المكونات على مسافة لا تزيد عن k من بعضها البعض.

على سبيل المثال، في نص الإدخال:

تهطل الأمطار في إسبانيا بشكل رئيسي على السهول

تتضمن مجموعة 1-skip-2-grams جميع الثنائيات (2-grams)، بالإضافة إلى التسلسلات الفرعية.

في إسبانيا ، أمطار ، في الشلالات ، إسبانيا بشكل رئيسي ، تسقط على ، بشكل رئيسي على ، وعلى السهول .

في نموذج skip-gram، تُمثَّل العلاقات الدلالية بين الكلمات بتراكيب خطية ، مما يُجسِّد شكلاً من أشكال التركيبية . على سبيل المثال، في بعض هذه النماذج، إذا كانت v هي الدالة التي تُحوِّل الكلمة w إلى تمثيلها المتجهي ذي n بُعد، فإن

$${\displaystyle v(\mathrm {king} ) -v(\mathrm {ذكر} )+v(\mathrm {أنثى} )\approx v(\mathrm {ملكة} )}$$

حيث يتم تحديد قيمة ≈ بدقة من خلال اشتراط أن يكون طرفها الأيمن هو أقرب قيمة مجاورة لقيمة طرفها الأيسر. ^{[ 17 ] [ 18 ]}

نموذج اللغة الضخم ( LLM) هو نموذج ذكاء اصطناعي (عادةً ما يكون شبكة عصبية ) يُدرَّب على كميات هائلة من النصوص لمهام معالجة اللغة الطبيعية ، وخاصةً توليد اللغة . تستطيع نماذج اللغة الضخمة عادةً توليد النصوص وتلخيصها وترجمتها وتحليلها في سياقات متعددة، وهي تقنية أساسية وراء روبوتات المحادثة الحديثة . ^{[ 21 ]} قد تؤدي بيانات التدريب المتحيزة أو غير الدقيقة إلى تقليل موثوقية مخرجات نموذج اللغة الضخم. ^{[ 22 ]}

تعتمد نماذج التعلم اللغوي عادةً على بنية المحولات . ^{[ 23 ]} تُعدّ المحولات المُدرّبة مسبقًا (GPTs) نوعًا من نماذج التعلم اللغوي، حيث تُدرّب مسبقًا للتنبؤ بالكلمة التالية. ^{[ 24 ]} بعد ذلك، غالبًا ما تُضبط GPTs بدقة لتنفيذ التعليمات والعمل كمساعدين. ^{[ 25 ]}

تحاول التقييمات المعيارية لنماذج التعلم الآلي قياس استدلال النموذج ، والدقة الواقعية، والتوافق ، والسلامة . ^{[ 26 ]}