GPT-J

GPT-J أو GPT-J-6B هو نموذج لغوي كبير مفتوح المصدر (LLM) طورته شركة EleutherAI عام 2021. وكما يوحي اسمه، فهو نموذج تحويلي مُدرَّب مسبقًا لتوليد نصوص شبيهة بنصوص البشر، تستكمل النص المُدخل. يشير الرقم "6B" الاختياري في الاسم إلى احتوائه على 6 مليارات مُعامل. ^{[ 1 ]} النموذج مُتاح على GitHub ، لكن واجهة الويب الخاصة به لم تعد تتواصل معه. توقف تطويره عام 2021. ^{[ 2 ]}

يُعدّ GPT-J نموذجًا مشابهًا لـ GPT-3، ويحتوي على 6 مليارات مُعامل. ومثل GPT-3، فهو نموذج تحويلي ذاتي الانحدار ، يعتمد على وحدة فك التشفير فقط، ومصمم لحل مهام معالجة اللغة الطبيعية (NLP) من خلال التنبؤ بكيفية استمرار النص.

يحتوي النموذج على 28 طبقة تحويل و16 رأس انتباه. يبلغ حجم مفرداته 50257 رمزًا ، وهو نفس حجم مفردات GPT-2 . ^{[ 1 ]} ويبلغ حجم نافذة السياق 2048 رمزًا. ^{[ 3 ]}

تم تدريب النموذج على مجموعة بيانات Pile ، ^{[ 1 ]} باستخدام مكتبة Mesh Transformer JAX في JAX للتعامل مع مخطط التوازي. ^{[ 1 ] [ 4 ]}

صُمم نموذج GPT-J لتوليد نصوص إنجليزية من مدخلات محددة. لم يُصمم لترجمة أو توليد نصوص بلغات أخرى، أو لتحقيق أداء متميز دون ضبط النموذج مسبقًا لمهمة محددة. ومثل جميع نماذج التعلم الآلي، لم يُبرمج لتقديم معلومات دقيقة من الناحية الواقعية، بل لتوليد نصوص بناءً على الاحتمالات فقط. ^{[ 1 ]}