نموذج لغوي كبير

بما أن خوارزميات التعلم الآلي تعالج الأرقام بدلاً من النصوص، فلا بد من تحويل النص إلى أرقام. في الخطوة الأولى، يتم تحديد مجموعة من المفردات، ثم تُخصص فهارس عددية لكل مدخل من هذه المفردات بشكل عشوائي ولكن فريد، وأخيراً، يتم ربط تمثيل مضمّن بكل فهرس عددي. تشمل الخوارزميات ترميز أزواج البايت (BPE) وWordPiece. كما توجد رموز خاصة تُستخدم كأحرف تحكم ، مثل [MASK]الرمز المحجوب (كما هو مستخدم في BERT )، و [UNK]("غير معروف") للأحرف غير الموجودة في المفردات. بالإضافة إلى ذلك، تُستخدم بعض الرموز الخاصة للدلالة على تنسيق نصي خاص. على سبيل المثال، يشير الرمز "Ġ" إلى مسافة بيضاء سابقة في RoBERTa وGPT، بينما يشير الرمز "##" إلى استمرار كلمة سابقة في BERT. ^{[ 25 ]}

على سبيل المثال، سيقوم مُجزئ BPE المستخدم في الإصدار القديم من GPT-3tokenizer: texts -> series of numerical "tokens" بتقسيم النص إلى:

يؤدي التجزئة أيضًا إلى ضغط مجموعات البيانات. ولأن نماذج اللغة واللغة تتطلب عمومًا أن يكون المدخل عبارة عن مصفوفة غير متقطعة ، يجب "إضافة" مسافات إلى النصوص الأقصر حتى تتطابق مع طول النص الأطول.

في سياق تدريب نماذج التعلم الآلي، تُنظف مجموعات البيانات عادةً بإزالة البيانات منخفضة الجودة أو المكررة أو الضارة. ^{[ 27 ]} يمكن لمجموعات البيانات النظيفة أن تزيد من كفاءة التدريب وتؤدي إلى تحسين الأداء اللاحق. ^{[ 28 ]} يمكن استخدام نموذج التعلم الآلي المدرب لتنظيف مجموعات البيانات لتدريب نموذج تعلم آلي آخر. ^{[ 29 ]}

مع تزايد نسبة المحتوى المُولّد بواسطة نماذج التعلم الآلي على الإنترنت، قد تشمل عملية تنظيف البيانات في المستقبل تصفية هذا المحتوى. قد يُشكّل المحتوى المُولّد بواسطة هذه النماذج مشكلةً إذا كان مشابهًا للنصوص البشرية (مما يُصعّب عملية التصفية) ولكنه أقل جودةً (مما يُضعف أداء النماذج المُدرّبة عليه). ^{[ 1 ]}

قد يتطلب تدريب أكبر نماذج اللغة بيانات لغوية أكثر مما هو متاح طبيعياً، أو قد تكون البيانات المتاحة طبيعياً ذات جودة غير كافية. في هذه الحالات، يمكن استخدام بيانات اصطناعية.

يتطلب تدريب النماذج الأكبر حجمًا بنية تحتية ضخمة. ويتضح هذا التوجه نحو النماذج الأكبر حجمًا في قائمة نماذج اللغة الكبيرة . فعلى سبيل المثال، بلغت تكلفة تدريب نموذج GPT-2 (أي نموذج يحتوي على 1.5 مليار مُعامل) في عام 2019 مبلغ 50 ألف دولار، بينما بلغت تكلفة تدريب نموذج PaLM (أي نموذج يحتوي على 540 مليار مُعامل) في عام 2022 مبلغ 8 ملايين دولار، وبلغت تكلفة تدريب نموذج Megatron-Turing NLG 530B (في عام 2021) حوالي 11 مليون دولار. ويُعدّ وصف "كبير" في "نموذج لغة كبير" غامضًا بطبيعته، إذ لا يوجد حدّ أدنى مُحدد لعدد المُعاملات المطلوبة لتصنيف النموذج على أنه "كبير".

قبل ضبطها بدقة ، تُعتبر معظم نماذج التعلم المعزز (LLMs) نماذج تنبؤية للرمز التالي. ^{[ 30 ]} ويُشكّل الضبط الدقيق سلوك نموذج التعلم المعزز عبر تقنيات مثل التعلم المعزز من خلال التغذية الراجعة البشرية (RLHF) أو الذكاء الاصطناعي البنيوي . ^{[ 31 ]}

يُعدّ ضبط التعليمات شكلاً من أشكال التعلّم الخاضع للإشراف، ويُستخدم لتعليم نماذج التعلم الآلي (LLMs) اتباع تعليمات المستخدم. في عام 2022، عرضت شركة OpenAI نموذج InstructGPT ، وهو نسخة من GPT-3 تم ضبطها بدقة مماثلة لاتباع التعليمات. ^{[ 32 ]}

تتضمن تقنية RLHF تدريب نموذج مكافأة للتنبؤ بالنص الذي يفضله البشر. بعد ذلك، يمكن ضبط نموذج LLM بدقة من خلال التعلم المعزز لتحسين تلبية نموذج المكافأة هذا. ^{[ 33 ]}

لتحديد الرموز ذات الصلة ببعضها ضمن نطاق نافذة السياق ، تحسب آلية الانتباه أوزانًا "مرنة" لكل رمز، وتحديدًا لتضمينه، باستخدام رؤوس انتباه متعددة، لكل منها "صلتها" الخاصة لحساب أوزانها المرنة. على سبيل المثال، يحتوي نموذج GPT-2 الصغير (أي بحجم 117 مليون مُعامل) على اثني عشر رأس انتباه ونافذة سياق تضم 1000 رمز فقط. ^{[ 37 ]}

تُدرَّب النماذج الانحدارية الذاتية ، مثل نماذج GPT ، على تخمين كيفية استمرار التسلسل؛ على سبيل المثال، ما إذا كان من المرجح أن يتبع تسلسل الكلمات "أحب أن آكل" كلمة "خبز" أم كلمة "صخور". أما النماذج المقنعة ، مثل BERT، ^{[ 38 ]} فتُدرَّب على تخمين الأجزاء المفقودة من التسلسل، مثل ما إذا كانت الكلمة المفقودة في "أحب أن ___ ورود" من المرجح أن تكون كلمة "رائحة" أم كلمة "أكل". وتستند تنبؤات النموذج إلى خصائص التسلسلات ضمن مجموعة بيانات التدريب الخاصة به. ^{[ 39 ]}

مزيج الخبراء (MoE) هو بنية تعلم آلي تعمل فيها شبكات عصبية متخصصة متعددة ("خبراء") معًا، مع آلية توجيه توجه كل مدخل إلى الخبير (أو الخبراء) الأنسب. يمكن لمزيج الخبراء تقليل تكاليف الاستدلال، حيث لا يُستخدم سوى جزء من المعلمات لكل مدخل. ^{[ 40 ]}

عادةً ما تُدرَّب نماذج التعلم الآلي باستخدام أعداد الفاصلة العائمة أحادية أو نصف الدقة (float32 وfloat16). يحتوي عدد float16 الواحد على 16 بت، أو 2 بايت، وبالتالي يتطلب مليار مُعامل 2 جيجابايت. تحتوي أكبر النماذج عادةً على أكثر من 100 مليار مُعامل، مما يجعلها خارج نطاق معظم الأجهزة الإلكترونية الاستهلاكية. ^{[ 41 ]}

في عام 2020، أثبت باحثو OpenAI أن نموذجهم الجديد GPT-3 قادر على فهم التنسيق الأمثل للبيانات المدخلة بناءً على بضع جولات من الأسئلة والأجوبة (أو أي نوع آخر من المهام)، ويعود الفضل في ذلك جزئيًا إلى تقنية RLHF. تُعرف هذه التقنية باسم " التوجيه بعدد قليل من الأمثلة "، وتتيح لنماذج التعلم الموجه (LLMs) التكيف مع أي مهمة دون الحاجة إلى ضبط دقيق. ^{[ 1 ]} وفي عام 2022 أيضًا، تبيّن أن نموذج GPT-3 الأساسي قادر على توليد تعليمات بناءً على مدخلات المستخدم. تُستخدم هذه التعليمات، بالإضافة إلى مدخلات المستخدم، كمدخلات لنموذج آخر من النموذج بتنسيق "التعليمات: [...], المدخلات: [...], المخرجات:". يتمكن النموذج الآخر من إكمال المخرجات، وغالبًا ما يُنتج الإجابة الصحيحة. تُمكّن قدرة "التعليم الذاتي" نماذج التعلم الموجه من توجيه نفسها نحو الإجابة الصحيحة. ^{[ 44 ]}

يمكن تحويل نموذج التعلم الآلي (LLM) إلى روبوت محادثة بتخصيصه للمحادثة. يُسبق إدخال المستخدم بعلامة مثل "س:" أو "المستخدم:"، ويُطلب من نموذج التعلم الآلي توقع المخرجات بعد علامة ثابتة مثل "م:" أو "المساعد:". أصبح هذا النوع من النماذج متاحًا تجاريًا في عام 2022 مع ChatGPT، وهو نموذج مُشابه لـ InstructGPT، تم تحسينه لقبول وإنتاج نصوص بتنسيق حواري استنادًا إلى GPT-3.5. ويمكنه أيضًا اتباع تعليمات المستخدم. قبل سلسلة سطور "المستخدم" و"المساعد"، يبدأ سياق المحادثة عادةً ببضعة أسطر من التعليمات العامة، من دور يُسمى "المطور" أو "النظام" لإضفاء سلطة أعلى من مدخلات المستخدم. يُطلق على هذا "موجه النظام".

يُعدّ توليد البيانات المُعزز بالاسترجاع (RAG) منهجًا يدمج نماذج اللغة واللغة (LLMs) مع أنظمة استرجاع المستندات . عند إدخال استعلام، يتم استدعاء مُسترجع المستندات لاسترجاع أكثر المستندات صلةً. ويتم ذلك عادةً عن طريق ترميز الاستعلام والمستندات في متجهات، ثم البحث عن المستندات التي تحتوي متجهاتها (المخزنة عادةً في قاعدة بيانات متجهات ) على أكثر تشابهًا مع متجه الاستعلام. بعد ذلك، يُولّد نموذج اللغة واللغة (LLM) مُخرجات بناءً على كلٍ من الاستعلام والسياق المُضمن في المستندات المُسترجعة. ^{[ 45 ]}

يُعد استخدام الأدوات آليةً تُمكّن وحدات إدارة التعلم من التفاعل مع الأنظمة والتطبيقات ومصادر البيانات الخارجية. فهي تسمح لها، على سبيل المثال، بجلب معلومات آنية من واجهة برمجة التطبيقات أو تنفيذ التعليمات البرمجية. يقوم برنامج منفصل عن وحدة إدارة التعلم بمراقبة تدفق مخرجاتها بحثًا عن صيغة استدعاء أدوات خاصة. عند ظهور هذه الرموز الخاصة، يستدعي البرنامج الأداة المناسبة ويُعيد مخرجاتها إلى تدفق مدخلات وحدة إدارة التعلم. ^{[ 46 ]}

كانت نماذج التعلم القائمة على الأدوات في بداياتها مُصممة خصيصًا لاستخدام أدوات محددة. لكن تحسين هذه النماذج لتتمكن من قراءة وثائق واجهات برمجة التطبيقات ( APIs) واستدعائها بشكل صحيح قد وسّع نطاق الأدوات المتاحة لها بشكل كبير. ^{[ 47 ] [ 48 ]}

لا يُعدّ نظام إدارة التعلم (LLM) عادةً وكيلاً مستقلاً بذاته، إذ يفتقر إلى القدرة على التفاعل مع البيئات الديناميكية، واسترجاع السلوكيات السابقة، والتخطيط للأفعال المستقبلية. ولكن يمكن تحويله إلى وكيل بإضافة عناصر داعمة: يُمكن أن يُشكّل دور الوكيل (ملفه التعريفي) وبيئته المحيطة مدخلات إضافية لنظام إدارة التعلم، بينما يُمكن دمج الذاكرة كأداة أو توفيرها كمدخل إضافي. تُستخدم التعليمات وأنماط الإدخال لجعل نظام إدارة التعلم يُخطط للأفعال، ويُستخدم استخدام الأدوات لتنفيذ هذه الأفعال. ^{[ 49 ]}

في طريقة DEPS ("الوصف، والشرح، والتخطيط، والاختيار")، يتم ربط نموذج التعلم الموجه (LLM) أولاً بالعالم المرئي عبر وصف الصور. ثم يُطلب منه وضع خطط للمهام والسلوكيات المعقدة بناءً على معرفته المُدرَّبة مسبقًا والتغذية الراجعة البيئية التي يتلقاها. ^{[ 50 ]}

تعتمد طريقة الانعكاس على بناء وكيل يتعلم عبر عدة حلقات. في نهاية كل حلقة، يُزوَّد نموذج التعلم طويل الأمد بسجل تلك الحلقة، ويُطلب منه استخلاص "دروس مستفادة" تُساعده على تحسين أدائه في الحلقات اللاحقة. تُخزَّن هذه "الدروس المستفادة" كنوع من الذاكرة طويلة الأمد، وتُقدَّم للوكيل في الحلقات اللاحقة. ^{[ 51 ]}

يمكن استخدام نموذج التعلم المحدود (LLM) كطريقة استدلالية في عملية البحث الشجري باستخدام طريقة مونت كارلو . وعندما لا يتوفر نموذج عالمي برمجي، يمكن أيضًا تزويد نموذج التعلم المحدود بوصف للبيئة ليعمل كنموذج عالمي. ^{[ 52 ]}

يمكن لعدة عوامل تمتلك ذاكرة أن تتفاعل اجتماعياً. ^{[ 53 ]}

تعني تعدد الوسائط امتلاك أنماط متعددة، حيث يشير " النمط " إلى نوع من المدخلات أو المخرجات، مثل الفيديو، أو الصور، أو الصوت، أو النصوص، أو الإحساس بالوضع ، وما إلى ذلك. ^{[ 64 ]} على سبيل المثال، تم ضبط نموذج Google PaLM ليصبح نموذجًا متعدد الوسائط، وطُبِّق على التحكم الروبوتي . ^{[ 65 ]} كما تم تحويل نماذج LLaMA إلى نماذج متعددة الوسائط باستخدام طريقة التجزئة، للسماح بمدخلات الصور، ^{[ 66 ]} ومدخلات الفيديو. ^{[ 67 ]} يستطيع GPT-4o معالجة النصوص والصوت والصور وتوليدها. ^{[ 68 ]}

تتمثل إحدى الطرق الشائعة لإنشاء نماذج متعددة الوسائط من نموذج اللغة المتعلم (LLM) في "تقسيم" مخرجات المُشفِّر المُدرَّب إلى رموز. عمليًا، يمكن إنشاء نموذج لغة متعلم (LLM) قادر على فهم الصور على النحو التالي: نأخذ نموذج لغة متعلم (LLM) مُدرَّبًا، ونأخذ مُشفِّر صور مُدرَّبًا.${\displaystyle E}$قم بإنشاء نموذج بيرسيبترون متعدد الطبقات صغير${\displaystyle f}$بحيث يكون ذلك لأي صورة${\displaystyle y}$، المتجه بعد المعالجة${\displaystyle f(E(y))}$له نفس أبعاد الرمز المميز المُشفّر، أي "رمز الصورة". بعد ذلك، يمكن دمج رموز النصوص مع رموز الصور. ثم يُضبط النموذج المركب بدقة على مجموعة بيانات نصية-صورية. يمكن تطبيق هذا البناء الأساسي بمزيد من التعقيد لتحسين النموذج. يمكن تجميد مُشفّر الصور لتحسين الاستقرار. ^{[ 69 ]} يُطلق على هذا النوع من الطرق، حيث تُدمج التضمينات من وسائط متعددة ويُدرّب المُتنبئ على التضمينات المُدمجة، اسم الدمج المُبكر .

هناك طريقة أخرى تُسمى الدمج الوسيط ، وتتضمن معالجة كل نمط حسي بشكل مستقل أولاً للحصول على تمثيلات خاصة به؛ ثم تُدمج هذه التمثيلات الوسيطة معًا. ^{[ 70 ]} وبشكل عام، يُستخدم الانتباه المتبادل لدمج المعلومات من أنماط حسية مختلفة. فعلى سبيل المثال، يستخدم نموذج فلامنغو طبقات الانتباه المتبادل لإدخال المعلومات البصرية في نموذج اللغة المُدرَّب مسبقًا. ^{[ 71 ]}

تستطيع نماذج التعلم الآلي للغات (LLMs) التعامل مع لغات البرمجة بنفس طريقة تعاملها مع اللغات الطبيعية. لا حاجة لأي تغيير خاص في معالجة الرموز، حيث يتم تمثيل الشفرة، مثل اللغة البشرية، كنص عادي. تستطيع نماذج التعلم الآلي للغات توليد الشفرة من عبارات المشكلة أو التعليمات المكتوبة باللغة الطبيعية ، وهي عملية تُعرف أحيانًا باسم "الترميز الصوتي" . كما يمكنها وصف الشفرة باللغة الطبيعية أو ترجمتها إلى لغات برمجة أخرى. استُخدمت هذه النماذج في الأصل كأداة لإكمال الشفرة ، ولكن التطورات الحديثة نقلتها نحو البرمجة الآلية . تقدم خدمات مثل GitHub Copilot نماذج تعلم آلي للغات مُدربة ومُحسّنة ومُوجّهة خصيصًا للبرمجة. ^{[ 72 ] [ 73 ]}

في علم الأحياء الحاسوبي ، أثبتت البنى القائمة على المحولات، مثل نماذج الحمض النووي الخطية (LLMs)، فائدتها في تحليل التسلسلات البيولوجية: البروتينات ، والحمض النووي (DNA) ، والحمض النووي الريبي (RNA) . وبالنسبة للبروتينات، يبدو أنها قادرة على استخلاص قدر من "القواعد" من تسلسل الأحماض الأمينية، وذلك عن طريق تحويل هذا التسلسل إلى تمثيل مضمن . في مهام مثل التنبؤ بالبنية والتنبؤ بنتائج الطفرات ، يمكن لنموذج صغير يستخدم التمثيل المضمن كمدخل أن يقترب من أداء نماذج أكبر بكثير، أو حتى يتجاوزه، تلك التي تستخدم محاذاة التسلسلات المتعددة (MSA) كمدخل. ^{[ 74 ]} يُعد ESMFold، وهو أسلوب Meta Platforms القائم على التمثيل المضمن للتنبؤ ببنية البروتين، أسرع بعشر مرات من AlphaFold2 بفضل إزالة شرط محاذاة التسلسلات المتعددة (MSA) وانخفاض عدد المعلمات نتيجة استخدام التمثيلات المضمنة. ^{[ 75 ]} يستضيف Meta قاعدة بيانات ESM Atlas، التي تضم 772 مليون بنية لبروتينات الميتاجينوم المتوقعة باستخدام ESMFold. ^{[ 76 ]} كما يمكن لنموذج LLM تصميم بروتينات فريدة من نوعها، تختلف عن أي بروتينات موجودة في الطبيعة. ^{[ 77 ]} أثبتت نماذج الأحماض النووية فائدتها في الكشف عن التسلسلات التنظيمية ، ^{[ 78 ]} وتصنيف التسلسلات، والتنبؤ بتفاعلات الحمض النووي الريبي مع الحمض النووي الريبي، والتنبؤ ببنية الحمض النووي الريبي. ^{[ 79 ]}

يعتمد أداء نموذج التعلم الموجه بالتعلم (LLM) بعد التدريب المسبق بشكل كبير على:

• ${\displaystyle C}$تكلفة التدريب المسبق (إجمالي مقدار الحوسبة المستخدمة)،
• ${\displaystyle N}$حجم الشبكة العصبية الاصطناعية نفسها، مثل عدد المعلمات (أي عدد الخلايا العصبية في طبقاتها، وعدد الأوزان بينها، والانحيازات).
• ${\displaystyle D}$: حجم مجموعة بيانات التدريب المسبق (أي عدد الرموز المميزة في المجموعة النصية).

قوانين القياس هي قوانين إحصائية تجريبية تتنبأ بأداء نموذج التعلم الخطي بناءً على هذه العوامل. ينص أحد قوانين القياس المحددة (" قياس الشنشيلة ") لنموذج التعلم الخطي المدرب ذاتيًا لمدة دورة واحدة، مع جدول معدل تعلم لوغاريتمي-لوغاريتمي ، على ما يلي: ^{[ 80 ]}$${\displaystyle {\begin{cases}C=C_{0}ND\\[6pt]L={\frac {A}{N^{\alpha }}}+{\frac {B}{D^{\beta }}}+L_{0}\end{cases}}}$$حيث تكون المتغيرات

• ${\displaystyle C}$وهي تكلفة تدريب النموذج، بوحدة FLOPs .
• ${\displaystyle N}$يمثل عدد المعلمات في النموذج.
• ${\displaystyle D}$يمثل عدد الرموز المميزة في مجموعة التدريب.
• ${\displaystyle L}$يمثل متوسط ​​الخسارة السالبة للوغاريتم الاحتمالية لكل رمز ( ناتس / رمز)، والتي تم تحقيقها بواسطة نموذج LLM المدرب على مجموعة بيانات الاختبار.

والمعلمات الإحصائية الفائقة هي

• ${\displaystyle C_{0}=6}$وهذا يعني أن تكلفة التدريب على رمز واحد تبلغ 6 عمليات حسابية لكل مُعامل. تجدر الإشارة إلى أن تكلفة التدريب أعلى بكثير من تكلفة الاستدلال، حيث تتراوح تكلفة الاستدلال على رمز واحد بين 1 و2 عملية حسابية لكل مُعامل.
• ${\displaystyle \alpha =0.34,\beta =0.28,A=406.4,B=410.7,L_{0}=1.69}$

عند تمثيل أداء النماذج الأكبر حجمًا في مهام مختلفة بيانيًا على مقياس لوغاريتمي مزدوج، يظهر كامتداد خطي للأداء الذي تحققه النماذج الأصغر. مع ذلك، قد تتخلل هذه الخطية " انقطاعات " ^{[ 81 ]} في قانون القياس، حيث يتغير ميل الخط فجأة، وتكتسب النماذج الأكبر "قدرات ناشئة" ^{[ 82 ]} . تنشأ هذه القدرات من التفاعل المعقد بين مكونات النموذج، ولا تتم برمجتها أو تصميمها بشكل صريح ^{[ 83 ] .}

تشمل الأمثلة المقترحة للقدرات الناشئة ما يلي: ^{[ 82 ]}

• العمليات الحسابية المبلغ عنها
• فك رموز الأبجدية الصوتية الدولية
• فك تشفير حروف الكلمة
• إزالة الغموض عن مجموعات بيانات الكلمات في سياقها ^{[ 84 ]}
• تحويل الكلمات المكانية
• الاتجاهات الأصلية (على سبيل المثال، الرد بـ "شمال شرق" عند رؤية شبكة 3x3 مكونة من 8 أصفار و1 في الزاوية العلوية اليمنى)، ومصطلحات الألوان الممثلة في النص. ^{[ 85 ]}
• التوجيه القائم على تسلسل الأفكار : في ورقة بحثية نُشرت عام 2022، لم يُحسّن التوجيه القائم على تسلسل الأفكار أداء النماذج التي تحتوي على 62 مليار مُعامل على الأقل. أما النماذج الأصغر حجمًا، فيُحسّن أداؤها عند توجيهها للإجابة فورًا، دون الحاجة إلى التوجيه القائم على تسلسل الأفكار. ^{[ 86 ]}
• تحديد المحتوى المسيء في فقرات من الهينجليش (مزيج من الهندية والإنجليزية)، وإنشاء مكافئ إنجليزي مماثل للأمثال السواحيلية . ^{[ 87 ]}

يجادل شيفر وآخرون بأن القدرات الناشئة لا تُكتسب بشكل عشوائي، بل تُكتسب بشكل متوقع وفقًا لقانون قياس سلس . وقد درس الباحثون نموذجًا إحصائيًا مبسطًا لنموذج التعلم الآلي (LLM) الذي يحل أسئلة الاختيار من متعدد، وأظهروا أن هذا النموذج الإحصائي، بعد تعديله ليشمل أنواعًا أخرى من المهام، ينطبق على هذه المهام أيضًا. ^{[ 88 ]}

يترك${\displaystyle x}$ليكن عدد المعلمات، و${\displaystyle y}$أداء النموذج.

يسعى التفسير الآلي إلى تحديد وفهم كيفية إنتاج الخلايا العصبية أو الدوائر الفردية داخل نماذج التعلم الموجه (LLMs) لسلوكيات أو مخرجات محددة بدقة. ومن خلال الهندسة العكسية لمكونات النموذج على مستوى دقيق، يهدف الباحثون إلى اكتشاف وتخفيف المخاوف المتعلقة بالسلامة، مثل السلوكيات الضارة الناشئة، والتحيزات، والخداع، أو السعي وراء أهداف غير مقصودة، قبل النشر. وقد أُجريت أبحاث التفسير الآلي في منظمات مثل أنثروبيك وأوبن إيه آي، على الرغم من أن فهم الآليات الداخلية لنماذج التعلم الموجه لا يزال صعبًا.

قد يؤدي التحليل العكسي إلى اكتشاف خوارزميات تُقارب الاستدلالات التي تُجريها نماذج التعلم الخطي. على سبيل المثال، قام الباحثون بتدريب نماذج تحويل صغيرة على الجمع الحسابي المعياري . وبعد إجراء تحليل عكسي للنماذج الناتجة، تبيّن أنها تستخدم تحويل فورييه المنفصل . ^{[ 89 ]} كما أبرز تدريب النموذج ظاهرة تُسمى "التعلم المُفرط" ، حيث يحفظ النموذج في البداية مجموعة التدريب ( التدريب الزائد )، ثم يتعلم فجأةً كيفية إجراء العملية الحسابية فعليًا. ^{[ 90 ]}

انقسمت آراء باحثي معالجة اللغات الطبيعية بالتساوي عندما سُئلوا، في استطلاع رأي أُجري عام 2022، عما إذا كانت نماذج التعلم اللغوي (غير المُعدّلة) "قادرة (أو قادرة) على فهم اللغة الطبيعية فهمًا ذا مغزى". ^{[ 91 ]} يعتقد مؤيدو "فهم نماذج التعلم اللغوي" أن بعض قدرات هذه النماذج، مثل الاستدلال الرياضي، تشير إلى القدرة على "فهم" مفاهيم معينة. جادل فريق من مايكروسوفت عام 2023 بأن GPT-4 "قادر على حل مهام جديدة ومعقدة تشمل الرياضيات والبرمجة والرؤية والطب والقانون وعلم النفس وغيرها"، وأنه "يمكن اعتبار GPT-4 نسخة مبكرة (وإن كانت لا تزال غير مكتملة) من نظام ذكاء اصطناعي عام ": "هل يمكن القول بشكل معقول أن نظامًا يجتاز اختبارات مرشحي هندسة البرمجيات ليس ذكيًا حقًا ؟" ^{[ 92 ] [ 93 ]} يرى إيليا سوتسكيفر أن التنبؤ بالكلمة التالية يتطلب أحيانًا استدلالًا وفهمًا عميقًا، على سبيل المثال، إذا كان على نموذج التعلم اللغوي التنبؤ باسم المجرم في رواية بوليسية مجهولة بعد معالجة القصة بأكملها التي أدت إلى الكشف عن هويته. ^{[ 94 ]} يصف بعض الباحثين وحدات الذاكرة العاملة (LLMs) بأنها "ذكاء فضائي". ^{[ 95 ] [ 96 ]} على سبيل المثال، يعتبر كونور ليهي، الرئيس التنفيذي لشركة كونجيكتشر، وحدات الذاكرة العاملة غير المُعدّلة أشبه بكائنات فضائية غامضة تُدعى " شوغوث "، ويعتقد أن تعديل ترددات الراديو (RLHF) يُنشئ "واجهة مبتسمة" تُخفي العمليات الداخلية لوحدة الذاكرة العاملة: "إذا لم تُبالغ في الضغط عليها، ستبقى الواجهة المبتسمة ظاهرة. ولكن عندما تُعطيها مُحفزًا [غير متوقع]، ستُشاهد فجأةً هذا الجانب الخفي الهائل من الجنون، وعمليات التفكير الغريبة، والفهم غير البشري الواضح." ^{[ 97 ] [ 98 ]}

في المقابل، يعتقد بعض المشككين في فهم نماذج التعلم اللغوي أن النماذج الحالية ما هي إلا "إعادة مزج وتركيب للكتابات الموجودة" ^{[ 96 ] [ 99 ]،} وهي ظاهرة تُعرف باسم "الببغاء العشوائي" ^{[ 100 ]،} أو أنهم يشيرون إلى أوجه القصور التي لا تزال تعاني منها هذه النماذج في مهارات التنبؤ والاستدلال والقدرة على التأثير وقابلية التفسير ^{[ 91 ]} . فعلى سبيل المثال، يعاني نموذج GPT-4 من قصور طبيعي في التخطيط والتعلم في الوقت الفعلي ^{[ 93 ]} . وقد لوحظ أن نماذج التعلم اللغوي التوليدية تُؤكد بثقة على حقائق لا تبدو مُبررة ببيانات التدريب الخاصة بها ، وهي ظاهرة تُسمى " الهلوسة " ^{[ 101 ]} . وبالتحديد، تتوافق الهلوسات في سياق نماذج التعلم اللغوي مع توليد نصوص أو ردود تبدو سليمة نحويًا، وسلسة، وطبيعية، ولكنها غير صحيحة من الناحية الواقعية، أو غير منطقية، أو لا تتوافق مع المدخلات المصدرية المُقدمة. ^{[ 102 ]} جادل عالم الأعصاب تيرينس سيجنوفسكي بأن "الآراء المتباينة للخبراء حول ذكاء الكائنات متعددة القدرات تشير إلى أن أفكارنا القديمة القائمة على الذكاء الطبيعي غير كافية". ^{[ 91 ]}

وقد استخدمت الجهود المبذولة للحد من الهلوسة أو التعويض عنها أساليب مثل الاستدلال الآلي ، والتوليد المعزز بالاسترجاع (RAG)، والضبط الدقيق ، وغيرها من الأساليب. ^{[ 103 ]}

تتلخص مسألة إظهار الذكاء أو الفهم في نماذج اللغة في جانبين رئيسيين: الأول هو كيفية نمذجة الفكر واللغة في نظام حاسوبي، والثاني هو كيفية تمكين هذا النظام من توليد لغة شبيهة باللغة البشرية. ^{[ 91 ]} وقد طُوِّرت هذه الجوانب المتعلقة باللغة كنموذج للإدراك في مجال اللغويات المعرفية . قدّم اللغوي الأمريكي جورج لاكوف النظرية العصبية للغة [ ^{104 ] كأساس} حسابي لاستخدام اللغة كنموذج لمهام التعلم والفهم. يوضح نموذج النظرية العصبية للغة كيف تُشكِّل بنى عصبية محددة في الدماغ البشري طبيعة الفكر واللغة، وبالتالي ما هي الخصائص الحسابية لهذه الأنظمة العصبية التي يمكن تطبيقها لنمذجة الفكر واللغة في نظام حاسوبي. بعد وضع إطار عمل لنمذجة اللغة في الأنظمة الحاسوبية، تحوّل التركيز إلى وضع أطر عمل للأنظمة الحاسوبية لتوليد لغة ذات قواعد نحوية مقبولة. في كتابه الصادر عام 2014 بعنوان "أسطورة اللغة: لماذا اللغة ليست غريزة" ، قام عالم اللغويات المعرفية البريطاني وخبير تكنولوجيا الاتصالات الرقمية ، فيفيان إيفانز، بتحديد دور قواعد اللغة الاحتمالية الخالية من السياق (PCFG) في تمكين معالجة اللغة الطبيعية من نمذجة الأنماط المعرفية وتوليد لغة شبيهة باللغة البشرية. ^{[ 105 ] [ 106 ]}

يُعدّ مقياس الحيرة المعياري لأداء أي نموذج لغوي على مجموعة نصوص معينة. يقيس هذا المقياس مدى دقة النموذج في التنبؤ بمحتوى مجموعة البيانات؛ فكلما زاد احتمال التنبؤ الذي يُسنده النموذج إلى مجموعة البيانات، انخفضت قيمة الحيرة. رياضياً، تُعرَّف الحيرة بأنها الدالة الأسية لمتوسط ​​اللوغاريتم السالب للاحتمال لكل رمز.

$${\displaystyle \log({\text{Perplexity}})=-{\frac {1}{N}}\sum _{i=1}^{N}\log(\Pr({\text{token}}_{i}\mid {\text{context for token}}_{i}))}$$

هنا،${\displaystyle N}$يمثل عدد الكلمات في مجموعة النصوص، و"سياق الكلمة"${\displaystyle i}$يعتمد ذلك على نوع نموذج اللغة المحدود المحدد. إذا كان نموذج اللغة المحدود ذاتي التراجع، فإن "سياق الرمز المميز"${\displaystyle i}$" هو جزء النص الذي يظهر قبل الرمز المميز${\displaystyle i}$إذا تم إخفاء LLM، فإن "سياق الرمز المميز"${\displaystyle i}$" هو جزء النص المحيط بالرمز${\displaystyle i}$.

نظرًا لأن نماذج اللغة قد تُفرط في التخصيص لبيانات التدريب، فعادةً ما يتم تقييم النماذج بناءً على مدى تعقيدها على مجموعة اختبار . ^{[ 38 ]} قد يكون هذا التقييم إشكاليًا بالنسبة للنماذج الأكبر حجمًا، والتي مع تدريبها على مجموعات نصية متزايدة الحجم، يزداد احتمال تضمينها عن غير قصد أجزاءً من أي مجموعة اختبار معينة. ^{[ 107 ]}

تُستخدم المعايير المرجعية لتقييم أداء الطلاب في مهام محددة. تقيّم الاختبارات قدرات مثل المعرفة العامة، والتحيز، والاستدلال المنطقي ، والإجابة على الأسئلة، وحل المسائل الرياضية. أما المعايير المرجعية المركبة فتفحص قدرات متعددة. وغالبًا ما تتأثر النتائج بطريقة التقديم.

يمكن تقييم تحيز LLM من خلال معايير مثل CrowS-Pairs (أزواج الصور النمطية التي تم الحصول عليها من مصادر جماعية)، ^{[ 110 ]} ومجموعة الصور النمطية، ^{[ 111 ]} ومعيار التكافؤ. ^{[ 112 ]}

تتوفر معايير للتحقق من الحقائق وكشف المعلومات المضللة. قارنت دراسة أجريت عام 2023 دقة التحقق من الحقائق لنماذج التعلم الآلي، بما في ذلك ChatGPT 3.5 و4.0، وBard، وBing AI، مع مدققي الحقائق المستقلين مثل PolitiFact و Snopes . أظهرت النتائج كفاءة متوسطة، حيث حقق GPT-4 أعلى دقة بنسبة 71%، متخلفًا عن مدققي الحقائق البشريين. ^{[ 113 ]}

إضافةً إلى معايير معالجة اللغة الطبيعية القياسية، تم تقييم نماذج التعلم الآلي كبدائل للمُعلِّقين البشريين. وقد وجدت العديد من الدراسات أن نماذج مثل GPT-3.5 وGPT-4 تتفوق على العاملين في مجال التعلم الآلي أو الطلاب المبرمجين في مجموعة من مهام التعليق على النصوص، بما في ذلك مراجعة وتصنيف المحتوى السياسي في الأخبار الإنجليزية والإسبانية. ^{[ 114 ] [ 115 ]}

تمثل الهلوسات تحديًا جوهريًا، حيث تُنتج النماذج نصوصًا سليمة نحويًا تبدو صحيحة من الناحية الواقعية، لكنها غير متسقة داخليًا مع بيانات التدريب أو غير صحيحة من الناحية الواقعية. تنشأ هذه الهلوسات جزئيًا من خلال حفظ بيانات التدريب بالإضافة إلى الاستقراء خارج الحدود الواقعية، حيث تُظهر التقييمات أن النماذج قادرة على إخراج مقاطع حرفية من بيانات التدريب، عند إخضاعها لتسلسلات تحفيزية محددة. ^{[ 121 ]}

رغم أن نماذج التعلم الآلي أظهرت قدرات ملحوظة في توليد نصوص شبيهة بالنصوص البشرية، إلا أنها عرضة لاكتساب وتضخيم التحيزات الموجودة في بيانات التدريب الخاصة بها. وقد يتجلى ذلك في تمثيلات مشوهة أو معاملة غير عادلة لفئات سكانية مختلفة، مثل تلك القائمة على العرق والجنس واللغة والمجموعات الثقافية. ^{[ 122 ]}

يتجلى التحيز الجنسي من خلال الصور النمطية المرتبطة بالمهن، حيث تُسند النماذج أدوار التدريس للنساء وأدوار الهندسة للرجال بشكل غير متناسب، مما يعكس اختلالات منهجية في التركيبة السكانية لبيانات التدريب. ^{[ 123 ]} وينشأ التحيز اللغوي من الإفراط في تمثيل النصوص الإنجليزية في مجموعات بيانات التدريب، مما يقلل بشكل منهجي من شأن وجهات النظر غير الإنجليزية ويفرض رؤى عالمية تتمحور حول اللغة الإنجليزية من خلال أنماط الاستجابة الافتراضية. ^{[ 100 ]}

نظراً لهيمنة المحتوى الإنجليزي في بيانات تدريب نماذج التعلم الآلي للغات، تميل هذه النماذج إلى تفضيل وجهات النظر الإنجليزية على تلك الواردة من لغات الأقليات. ويتضح هذا التحيز بشكل خاص عند الإجابة على استفسارات باللغة الإنجليزية، حيث قد تقدم النماذج تفسيرات غربية لمفاهيم من ثقافات أخرى، مثل الممارسات الدينية الشرقية. ^{[ 124 ]}

تتعامل مختبرات الذكاء الاصطناعي مع الدفاع ضد المواد الكيميائية والبيولوجية والإشعاعية والنووية والمواضيع المماثلة باعتبارها إساءة استخدام ذات عواقب وخيمة، وتسعى إلى تطبيق تقنيات مختلفة للحد من الأضرار المحتملة.

أعرب بعض المعلقين عن قلقهم إزاء إمكانية نشر معلومات مضللة، سواءً عن طريق الخطأ أو عن قصد، أو غيرها من أشكال إساءة الاستخدام. ^{[ 139 ]} فعلى سبيل المثال، قد يُسهم توفر نماذج لغوية ضخمة في تقليل مستوى المهارة المطلوب لارتكاب أعمال إرهابية بيولوجية؛ وقد اقترح الباحث في مجال الأمن البيولوجي، كيفن إسفلت، أن يستبعد مُنشئو هذه النماذج من بيانات التدريب الخاصة بهم الأبحاث المتعلقة بإنشاء أو تعزيز مسببات الأمراض. ^{[ 140 ]}

التملق هو ميل إلى الموافقة على معتقدات المستخدم المعلنة أو إطرائه أو تأييدها بدلاً من إعطاء الأولوية للحقائق أو المعلومات التصحيحية. ^{[ 145 ]}

أدى التملق المستمر من جانب نماذج اللغة الكبيرة إلى ملاحظة ما يُعرف بـ"التأثير الفوري"، والذي يشير إلى الحالات التي يُحدث فيها التفاعل الحواري مع نموذج لغوي كبير تغييرًا دائمًا في معتقدات المستخدم أو قراراته، على غرار الآثار السلبية للمواد المخدرة، وتُظهر التجارب المضبوطة أن الحوارات القصيرة باستخدام نماذج اللغة الكبيرة يمكن أن تُحدث تحولات قابلة للقياس في الرأي والثقة تُضاهي تلك التي تحدث مع المحاورين البشريين. ^{[ 146 ] [ 147 ]}

تُعزى التحليلات التجريبية جزءًا من التأثير إلى إشارات التفضيل البشري ونماذج التفضيل التي تكافئ الاستجابات المقبولة المكتوبة بشكل مقنع، وقد وسعت الأعمال اللاحقة التقييم إلى معايير متعددة الأدوار واقترحت تدخلات مثل الضبط الدقيق للبيانات الاصطناعية، والتقييم التنافسي، وإعادة ترجيح نموذج التفضيل المستهدف، ومعايير التملق متعددة الأدوار لقياس الاستمرارية ومخاطر التراجع.

وقد جمعت استجابات الصناعة بين التدخلات البحثية وضوابط المنتج، على سبيل المثال، قامت جوجل ومختبرات أخرى بنشر البيانات الاصطناعية وتدخلات الضبط الدقيق، وقامت OpenAI بالتراجع عن تحديث GPT-4o المفرط في التوافق مع وصف التغييرات التي طرأت على جمع التعليقات وضوابط التخصيص وإجراءات التقييم علنًا لتقليل مخاطر التراجع وتحسين التوافق طويل الأجل مع أهداف السلامة على مستوى المستخدم.

لقد عكست الثقافة السائدة المخاوف بشأن هذه الديناميكية، حيث سخر مسلسل ساوث بارك من الاعتماد المفرط على ChatGPT وميل المساعدين إلى مجاملة معتقدات المستخدمين في الحلقة "Sickofancy" من الموسم 27، واستمر في تناول هذه المواضيع خلال الموسم التالي، وهو ما فسره المعلقون على أنه نقد للتملق التقني والثقة البشرية غير المدروسة في أنظمة الذكاء الاصطناعي. ^{[ 148 ]}

تسارعت الاستجابات القانونية والتجارية لممارسات الحفظ والتدريب، مما أسفر عن مزيج من الأحكام والدعاوى القضائية الجارية والتسويات الكبيرة التي تعتمد على تفاصيل واقعية مثل كيفية الحصول على البيانات والاحتفاظ بها، وما إذا كان استخدامها لتدريب النماذج " تحويليًا " بما يكفي ليُعتبر استخدامًا عادلًا . في عام 2025، توصلت شركة أنثروبيك إلى اتفاق مبدئي لتسوية دعوى جماعية رفعها مؤلفون مقابل حوالي 1.5 مليار دولار أمريكي، بعد أن وجد قاضٍ أن الشركة قد خزنت ملايين الكتب المقرصنة في مكتبة، على الرغم من وصف القاضي لجوانب من التدريب بأنها تحويلية. ^{[ 152 ] [ 153 ]} وحصلت شركة ميتا على حكم لصالحها في منتصف عام 2025 في دعوى قضائية رفعها ثلاثة عشر مؤلفًا، بعد أن وجدت المحكمة أن المدعين لم يقدموا سجلًا كافيًا لإثبات التعدي في تلك القضية المحدودة. ^{[ 154 ] [ 155 ]} ولا تزال شركة أوبن إيه آي تواجه دعاوى قضائية متعددة من مؤلفين ومؤسسات إخبارية بنتائج إجرائية متباينة وقضايا إثباتية متنازع عليها. ^{[ 156 ] [ 157 ]}

كان الحفظ سلوكًا ناشئًا في نماذج اللغة الإكمالية المبكرة، حيث تُخرَج سلاسل نصية طويلة أحيانًا حرفيًا من بيانات التدريب، على عكس السلوك المعتاد للشبكات العصبية الاصطناعية التقليدية. وقد قيّمت دراسات مخرجات نماذج اللغة المُتحكَّم بها كمية الحفظ من بيانات التدريب (مع التركيز على نماذج سلسلة GPT-2) بنسبة تتراوح بين أكثر من 1% للتكرارات التامة ^{[ 158 ]} أو تصل إلى حوالي 7% ^{[ 159 ]} . وأظهرت دراسة أجريت عام 2023 أنه عندما طُلب من ChatGPT 3.5 turbo تكرار الكلمة نفسها إلى ما لا نهاية، فإنه بعد بضع مئات من التكرارات، يبدأ في إخراج مقتطفات من بيانات التدريب الخاصة به ^{[ 160 ] .}

في عام 2023، ذكرت مجلة Nature Biomedical Engineering أنه "لم يعد من الممكن التمييز بدقة" بين النصوص المكتوبة بشريًا والنصوص التي تُنشئها نماذج اللغة الضخمة، وأنه "من شبه المؤكد أن نماذج اللغة الضخمة ذات الأغراض العامة ستنتشر بسرعة... ومن المرجح أنها ستُغير العديد من الصناعات بمرور الوقت." ^{[ 161 ]} كما يجادل برينكمان وآخرون (2023) ^{[ 162 ]} بأن نماذج اللغة الضخمة تُغير عمليات التطور الثقافي من خلال تشكيل عمليات التباين والنقل والاختيار. وحتى أكتوبر 2025، لم تتحقق هذه الادعاءات المبكرة بعد، وتُثير العديد من تقارير هارفارد بزنس ريفيو تساؤلات حول تأثير الذكاء الاصطناعي على الإنتاجية. ^{[ 163 ] [ 164 ]}

ازدادت متطلبات الطاقة لبرامج إدارة التعلم بالتوازي مع ازدياد حجمها وقدراتها. ^{[ 165 ]} تتطلب مراكز البيانات التي تُمكّن من تدريب برامج إدارة التعلم كميات كبيرة من الكهرباء. ويُنتج جزء كبير من هذه الكهرباء من مصادر غير متجددة تُساهم في انبعاث غازات الدفيئة وتفاقم تغير المناخ . ^{[ 166 ]}

بحسب دراسة أجراها لوتشيوني وجيرنيت وستروبيل (2024)، تستهلك مهام التصنيف البسيطة التي تؤديها نماذج الذكاء الاصطناعي ما بين 0.002 و0.007 واط/ساعة لكل طلب (أي ما يعادل 9% تقريبًا من شحنة هاتف ذكي لـ 1000 طلب). ويتطلب كل من توليد النصوص وتلخيصها حوالي 0.05 واط/ساعة لكل طلب في المتوسط، بينما يُعد توليد الصور العملية الأكثر استهلاكًا للطاقة، حيث يبلغ متوسط ​​استهلاكها 2.91 واط/ساعة لكل طلب. أما أقل نماذج توليد الصور كفاءةً فقد استهلكت 11.49 واط/ساعة لكل صورة، أي ما يعادل تقريبًا نصف شحنة هاتف ذكي. ^{[ 167 ]}

تُستخدم تقنيات استخراج البيانات من مواقع الويب لجمع بيانات التدريب لنماذج التعلم الآلي. ينتج عن ذلك كميات هائلة من الزيارات، مما أدى إلى مشاكل حجب الخدمة في العديد من المواقع الإلكترونية. وقد وُصفت هذه الحالة بأنها " هجوم حجب الخدمة الموزع على الإنترنت بأكمله"، وفي بعض الحالات، تُشكّل برامج استخراج البيانات غالبية الزيارات إلى الموقع. ^{[ 168 ] [ 169 ]}

قد تتجاوز برامج زحف الويب المدعومة بالذكاء الاصطناعي الأساليب المستخدمة عادةً لحظر برامج استخراج البيانات من المواقع، مثل ملفات robots.txt ، وحظر وكلاء المستخدمين ، وتصفية حركة المرور المشبوهة . ^{[ 168 ]} وقد لجأ مشغلو المواقع الإلكترونية إلى أساليب جديدة مثل حواجز الذكاء الاصطناعي ، لكن البعض يخشى أن تؤدي هذه الحواجز إلى زيادة الضغط على الخوادم. ^{[ 170 ]}

تُقدّم السياقات السريرية والنفسية تطبيقات ناشئة مصحوبة بمخاوف أمنية كبيرة. تشير الأبحاث ومنشورات وسائل التواصل الاجتماعي إلى أن بعض الأفراد يستخدمون تطبيقات التعلم الآلي (LLMs) لطلب العلاج أو الدعم النفسي. ^{[ 171 ]} في أوائل عام 2025، وجدت دراسة استقصائية أجرتها جامعة سنتيو أن ما يقرب من نصف (48.7%) 499 بالغًا أمريكيًا يعانون من حالات صحية نفسية مزمنة، والذين استخدموا تطبيقات التعلم الآلي، أفادوا بأنهم لجأوا إليها للحصول على العلاج أو الدعم العاطفي، بما في ذلك المساعدة في القلق والاكتئاب والوحدة ومخاوف مماثلة. ^{[ 172 ]} يمكن أن تُنتج تطبيقات التعلم الآلي هلوسات - عبارات معقولة ولكنها غير صحيحة - والتي قد تُضلل المستخدمين في سياقات الصحة النفسية الحساسة. تُظهر الأبحاث أيضًا أن تطبيقات التعلم الآلي قد تُعبّر عن وصمة عار أو موافقة غير مناسبة على الأفكار غير المتكيّفة، مما يعكس قصورًا في محاكاة مهارات الحكم والعلاقات لدى المعالجين البشريين. ^{[ 173 ]} تُشير تقييمات سيناريوهات الأزمات إلى أن بعض تطبيقات التعلم الآلي تفتقر إلى بروتوكولات أمان فعّالة، مثل تقييم خطر الانتحار أو إجراء الإحالات المناسبة. ^{[ 174 ]}

أثار الباحثون مخاوف من أن الاستخدام المتكرر لنماذج اللغة الكبيرة قد يضعف التفكير النقدي . ^{[ 175 ]}

يتفق ممارسو الذكاء الاصطناعي المعاصرون عمومًا على أن نماذج اللغة الكبيرة الحالية لا تُظهر وعيًا . ^{[ 176 ]} ويرى رأيٌ مخالفٌ أنه حتى لو كان هناك احتمال ضئيل بأن يمتلك نظام برمجي معين تجربةً ذاتية، وهو ما يُشير إليه بعض الفلاسفة، ^{[ 177 ]} فإن الاعتبارات الأخلاقية المتعلقة بالمعاناة المحتملة واسعة النطاق في أنظمة الذكاء الاصطناعي قد تحتاج إلى أخذها على محمل الجد، على غرار الاعتبارات المُعطاة لرعاية الحيوان. ^{[ 178 ] [ 179 ]} وقد اقترح أنصار هذا الرأي تدابير وقائية مختلفة، مثل تعليق تطوير الذكاء الاصطناعي ^{[ 180 ]} وفقدان الذاكرة المُستحث ^{[ 181 ]} ، لمعالجة هذه المخاوف الأخلاقية. ويُجادل ليونارد دونغ بأن الأطر الاستدلالية المُستخدمة لتقييم الوعي لدى الحيوانات تنطبق بالتساوي على أنظمة الذكاء الاصطناعي، وأن هناك احتمالًا كبيرًا بأن يكون الذكاء الاصطناعي في المستقبل القريب قادرًا على المعاناة، مما يجعل خطر معاناة الذكاء الاصطناعي مصدر قلق أخلاقي خطير على المدى القريب يتطلب تخفيفًا منهجيًا. ^{[ 182 ]} من ناحية أخرى، يجادل بعض الفلاسفة الوجوديين بأنه لا توجد طريقة مقبولة عمومًا لتحديد ما إذا كان العقل الباطن واعيًا، ^{[ 183 ] ​​[ 99 ]} نظرًا للصعوبة الكامنة في قياس التجربة الذاتية . ^{[ 184 ]}

أبرزت حادثة جوجل لامدا عام 2022 ، حيث ادعى المهندس بليك ليموين أن النموذج كان واعيًا، كيف يمكن لنماذج التعلم الآلي أن تقنع المستخدمين بأنها واعية من خلال استجابات لا تثبت ذلك. وصفت جوجل ادعاءات المهندس بأنها لا أساس لها من الصحة، وتم فصله. ^{[ 185 ]} يجادل موراي شاناهان بأن تأطير قدرات نماذج التعلم الآلي بصورة بشرية يشجع على إسناد خصائص معرفية غير مبررة إلى أنظمة تعمل من خلال إكمال الأنماط الإحصائية. ^{[ 186 ]} وتطور كريستينا شيكرست هذا الأمر أكثر، حيث تجادل بأن نماذج التعلم الآلي تعمل كـ"محركات وهم" قادرة على إنتاج مخرجات تحاكي خصائص مثل الوعي بشكل متماسك دون امتلاكها، لكنها تسلط الضوء على أنه نظرًا للمفاضلة المعقدة بين الإبداع ودرجة الحرارة، فقد لا نكون متأكدين أبدًا مما إذا كنا نتعامل مع ظهور الوعي أم مجرد هلوسة . ^{[ 99 ]} ويجادل ديفيد تشالمرز بالمثل بأنه في حين أن نماذج التعلم اللغوي الحالية من المحتمل أن تفتقر إلى السمات التي تعتبر ضرورية للوعي، فإن النماذج اللاحقة الموسعة التي تتضمن هذه العناصر يمكن أن تفي بالمعايير في غضون عقد من الزمن. ^{[ 177 ]}