الإجابة على الأسئلة

يُعدّ نظام الإجابة على الأسئلة ( QA ) أحد فروع علوم الحاسوب ضمن مجالات استرجاع المعلومات ومعالجة اللغة الطبيعية (NLP)، وهو معني ببناء أنظمة تجيب تلقائيًا على الأسئلة التي يطرحها البشر بلغة طبيعية . [ 1 ]

قد يقوم نظام الإجابة على الأسئلة، والذي عادةً ما يكون برنامج حاسوب، بإنشاء إجاباته من خلال الاستعلام عن قاعدة بيانات منظمة للمعرفة أو المعلومات، وعادةً ما تكون قاعدة معرفية . ولكن في أغلب الأحيان، تستطيع أنظمة الإجابة على الأسئلة استخلاص الإجابات من مجموعة غير منظمة من مستندات اللغة الطبيعية.

تتضمن بعض الأمثلة على مجموعات وثائق اللغة الطبيعية المستخدمة في أنظمة الإجابة على الأسئلة النصوص المرجعية، وتقارير وكالات الأنباء المجمعة، وصفحات ويكيبيديا [ 2 ] وصفحات أخرى من شبكة الويب العالمية .

تاريخ

كان نظاما BASEBALL [ 3 ] وLUNAR [ 4 ] من أوائل أنظمة الإجابة على الأسئلة . أجاب نظام BASEBALL على أسئلة حول دوري البيسبول الرئيسي على مدار عام كامل . أما نظام LUNAR فأجاب على أسئلة حول التحليل الجيولوجي للصخور التي جُمعت من مهمات أبولو القمرية. وقد أثبت كلا النظامين فعاليتهما العالية في مجال تخصصهما. عُرض نظام LUNAR في مؤتمر علوم القمر عام 1971، وتمكن من الإجابة على 90% من الأسئلة في مجال تخصصه التي طرحها أشخاص غير مدربين على النظام.

تم تطوير أنظمة أخرى للإجابة على الأسئلة ذات نطاق محدود في السنوات اللاحقة. السمة المشتركة بين جميع هذه الأنظمة هي امتلاكها قاعدة بيانات أساسية أو نظام معرفي مكتوب يدويًا من قبل خبراء في المجال المختار. استخدمت القدرات اللغوية لبرنامجي BASEBALL وLUNAR تقنيات مشابهة لتلك المستخدمة في برنامجي ELIZA و DOCTOR ، وهما أول برنامجين للدردشة الآلية .

كان برنامج SHRDLU برنامجًا ناجحًا للإجابة على الأسئلة، طوّره تيري وينوغراد في أواخر الستينيات وأوائل السبعينيات. حاكى البرنامج عمل روبوت في عالم ألعاب (عالم المكعبات)، وأتاح إمكانية طرح أسئلة على الروبوت حول حالة هذا العالم. تكمن قوة هذا النظام في اختيار مجال محدد للغاية وعالم بسيط جدًا بقواعد فيزيائية يسهل ترميزها في برنامج حاسوبي.

في سبعينيات القرن الماضي، طُوّرت قواعد معرفية تستهدف مجالات معرفية أضيق. وقد أنتجت أنظمة الإجابة على الأسئلة، التي طُوّرت للتفاعل مع هذه الأنظمة الخبيرة، إجابات أكثر قابلية للتكرار وصحة للأسئلة ضمن مجال معرفي محدد. تشابهت هذه الأنظمة الخبيرة إلى حد كبير مع أنظمة الإجابة على الأسئلة الحديثة، باستثناء بنيتها الداخلية. تعتمد الأنظمة الخبيرة اعتمادًا كبيرًا على قواعد معرفية مُنشأة ومنظمة من قِبل خبراء ، بينما تعتمد العديد من أنظمة الإجابة على الأسئلة الحديثة على المعالجة الإحصائية لمجموعة كبيرة من النصوص غير المنظمة المكتوبة بلغة طبيعية.

شهدت سبعينيات وثمانينيات القرن العشرين تطورًا ملحوظًا في نظريات اللغويات الحاسوبية ، مما أدى إلى إطلاق مشاريع طموحة في فهم النصوص والإجابة على الأسئلة. ومن الأمثلة على ذلك نظام "مستشار يونكس" (UC)، الذي طوره روبرت ويلينسكي في جامعة كاليفورنيا، بيركلي، أواخر ثمانينيات القرن العشرين. كان هذا النظام يجيب على أسئلة تتعلق بنظام تشغيل يونكس ، ويمتلك قاعدة معرفية شاملة ومصممة خصيصًا لهذا المجال، وكان يهدف إلى صياغة الإجابة بما يناسب مختلف أنواع المستخدمين. ومن المشاريع الأخرى "ليلوغ" (LILOG)، وهو نظام لفهم النصوص يعمل في مجال المعلومات السياحية في إحدى المدن الألمانية. لم تتجاوز الأنظمة التي طُورت في مشروعي "مستشار يونكس" و"ليلوغ" مرحلة العروض التوضيحية البسيطة، لكنها ساهمت في تطوير نظريات اللغويات الحاسوبية والاستدلال.

تم تطوير أنظمة متخصصة للإجابة على الأسئلة باللغة الطبيعية، مثل نظام EAGLi لعلماء الصحة والحياة. [ 5 ]

شهدت أنظمة الإجابة على الأسئلة توسعًا ملحوظًا في السنوات الأخيرة لتشمل مجالات معرفية إضافية [ 6 ]. فعلى سبيل المثال، طُوّرت أنظمة للإجابة تلقائيًا على الأسئلة المتعلقة بالزمان والمكان، والأسئلة التعريفية والمصطلحية، والأسئلة السيرية، والأسئلة متعددة اللغات، والأسئلة المتعلقة بمحتوى الصوت والصور [ 7 ] والفيديو [ 8 ] . وتشمل مواضيع البحث الحالية في مجال الإجابة على الأسئلة ما يلي:

في عام ٢٠١١، شارك نظام واتسون ، وهو نظام حاسوبي للإجابة على الأسئلة طورته شركة آي بي إم ، في مباراتين استعراضيتين من برنامج جيباردي! ضد براد روتر وكين جينينغز ، وفاز بفارق كبير. [ ١٧ ] أتاحت شركة فيسبوك للأبحاث نظام DrQA الخاص بها [ ١٨ ] بموجب ترخيص مفتوح المصدر . يستخدم هذا النظام ويكيبيديا كمصدر للمعرفة. [ ٢ ] يجمع إطار عمل Haystack مفتوح المصدر من شركة ديبسيت بين الإجابة على الأسئلة في المجال المفتوح والإجابة على الأسئلة التوليدية، ويدعم تكييف نماذج اللغة الأساسية مع مجالات استخدام الصناعة . [ ١٩ ] [ ٢٠ ]

تُعدّ نماذج اللغة الكبيرة (LLMs) [36] مثل GPT-4 [37] وGemini [38] أمثلةً على أنظمة الإجابة على الأسئلة الناجحة التي تُتيح فهمًا أكثر دقةً للنصوص وتوليدها. وعند دمجها مع أنظمة الإجابة على الأسئلة متعددة الوسائط [39] ، القادرة على معالجة المعلومات وفهمها من وسائط متنوعة كالنصوص والصور والصوت، تُحسّن نماذج اللغة الكبيرة بشكلٍ ملحوظ قدرات أنظمة الإجابة على الأسئلة.

الأنواع

تسعى أبحاث الإجابة على الأسئلة إلى تطوير طرق للإجابة على مجموعة واسعة من أنواع الأسئلة، بما في ذلك أسئلة الحقائق، والقوائم، والتعريفات ، وكيف، ولماذا، والأسئلة الافتراضية، والأسئلة ذات القيود الدلالية، والأسئلة متعددة اللغات.

  • يُعدّ الإجابة عن أسئلة متعلقة بمقال لتقييم فهم المقروء أحد أبسط أشكال الإجابة عن الأسئلة، نظرًا لقصر المقال نسبيًا مقارنةً بمجالات أنواع أخرى من مسائل الإجابة عن الأسئلة. ومن أمثلة هذا النوع من الأسئلة: "ما هو سبب فوز ألبرت أينشتاين بجائزة نوبل؟" بعد إدخال مقال حول هذا الموضوع إلى النظام.
  • يُقصد بالإجابة على الأسئلة دون استخدام كتاب مُسبق، قيام النظام بحفظ بعض الحقائق أثناء التدريب، ثمّ قدرته على الإجابة على الأسئلة دون تقديم سياق مُحدد لها. وهذا يُشبه إلى حد كبير أداء البشر لامتحانات الكتب المُسبقة.
  • تتعامل أنظمة الإجابة على الأسئلة ذات النطاق المغلق مع الأسئلة التي تندرج ضمن مجال محدد (مثل الطب أو صيانة السيارات)، ويمكنها الاستفادة من المعرفة الخاصة بهذا المجال والتي غالبًا ما تُصاغ في علم الوجود . وبدلاً من ذلك، قد يشير مصطلح "النطاق المغلق" إلى حالة لا تُقبل فيها إلا أنواع محدودة من الأسئلة، مثل الأسئلة التي تطلب معلومات وصفية بدلاً من معلومات إجرائية . وقد تم أيضًا تطوير أنظمة الإجابة على الأسئلة في سياق تطبيقات القراءة الآلية في المجال الطبي، على سبيل المثال فيما يتعلق بمرض الزهايمر. [ 21 ]
  • تُعنى أنظمة الإجابة على الأسئلة في المجال المفتوح بالإجابة على أسئلة حول أي موضوع تقريبًا، وتعتمد فقط على الأنطولوجيات العامة والمعرفة العالمية. عادةً ما تمتلك هذه الأنظمة بيانات أكثر بكثير لاستخراج الإجابة منها. مثال على سؤال في المجال المفتوح: "ما هو سبب فوز ألبرت أينشتاين بجائزة نوبل؟"، مع العلم أنه لا توجد أي مقالة حول هذا الموضوع مُتاحة للنظام.

هناك طريقة أخرى لتصنيف أنظمة الإجابة على الأسئلة، وهي حسب النهج التقني المُستخدم. توجد أنواع عديدة من أنظمة الإجابة على الأسئلة، منها:

تستخدم الأنظمة القائمة على القواعد مجموعة من القواعد لتحديد الإجابة الصحيحة على سؤال ما. أما الأنظمة الإحصائية فتستخدم الأساليب الإحصائية لإيجاد الإجابة الأكثر ترجيحاً على سؤال ما. بينما تستخدم الأنظمة الهجينة مزيجاً من الأساليب القائمة على القواعد والأساليب الإحصائية.

بنيان

اعتبارًا من عام 2001[ 22 ] عادةً ما تتضمن أنظمة الإجابة على الأسئلة وحدة تصنيف الأسئلة التي تحدد نوع السؤال ونوع الإجابة.

تستخدم أنظمة الإجابة على الأسئلة المختلفة بنى معمارية متنوعة. فعلى سبيل المثال، قد تستخدم أنظمة الإجابة على الأسئلة الحديثة ذات المجال المفتوح بنية استرجاع-قراءة. يهدف المسترجع إلى استرجاع المستندات ذات الصلة بالسؤال المطروح، بينما يُستخدم القارئ لاستنتاج الإجابة من المستندات المسترجعة. أما أنظمة مثل GPT-3 وT5 [ 23 ] وBART [ 24 ] فتستخدم بنية معمارية شاملة، حيث تخزن بنية قائمة على المحولات بيانات نصية واسعة النطاق في المعاملات الأساسية. وتستطيع هذه النماذج الإجابة على الأسئلة دون الحاجة إلى الوصول إلى أي مصادر معرفية خارجية.

طُرق

تعتمد الإجابة على الأسئلة على وجود مجموعة بيانات بحثية جيدة ؛ فبدون وثائق تحتوي على الإجابة، لا يُمكن لأي نظام للإجابة على الأسئلة أن يُحقق الكثير. وبشكل عام، تُؤدي المجموعات الأكبر حجمًا إلى أداء أفضل في الإجابة على الأسئلة، إلا إذا كان مجال السؤال مُستقلًا عن المجموعة. ويعني تكرار البيانات في المجموعات الضخمة، مثل الإنترنت، أن المعلومات القيّمة غالبًا ما تُصاغ بطرق مُختلفة في سياقات ووثائق مُتباينة، [ 25 ] مما يُؤدي إلى فائدتين:

  1. إذا ظهرت المعلومات الصحيحة بأشكال متعددة، فإن نظام الإجابة على الأسئلة يحتاج إلى استخدام تقنيات معالجة اللغة الطبيعية (NLP) أقل تعقيدًا لفهم النص.
  2. يمكن تصفية الإجابات الصحيحة من النتائج الإيجابية الخاطئة لأن النظام يمكنه الاعتماد على نسخ الإجابة الصحيحة التي تظهر مرات أكثر في مجموعة النصوص مقارنة بالنسخ غير الصحيحة.

تعتمد بعض أنظمة الإجابة على الأسئلة بشكل كبير على الاستدلال الآلي . [ 26 ] [ 27 ]

المجال المفتوح

في مجال استرجاع المعلومات ، يحاول نظام الإجابة على الأسئلة في المجال المفتوح تقديم إجابة لسؤال المستخدم. وتكون الإجابة المُعادة على شكل نصوص قصيرة بدلاً من قائمة بالوثائق ذات الصلة. [ 28 ] ويجد النظام الإجابات باستخدام مزيج من تقنيات اللغويات الحاسوبية ، واسترجاع المعلومات ، وتمثيل المعرفة .

يستقبل النظام سؤالاً بلغة طبيعية كمدخل بدلاً من مجموعة كلمات مفتاحية، على سبيل المثال: "متى العيد الوطني للصين؟". ثم يحوّل هذه الجملة المدخلة إلى استعلام بصيغته المنطقية . إن قبول الأسئلة باللغة الطبيعية يجعل النظام أكثر سهولة في الاستخدام، ولكنه يُصعّب عملية التنفيذ، نظراً لتعدد أنواع الأسئلة، وسيتعين على النظام تحديد النوع الصحيح منها لتقديم إجابة منطقية. يُعدّ تحديد نوع السؤال مهمة بالغة الأهمية؛ إذ تعتمد عملية استخراج الإجابة بأكملها على إيجاد نوع السؤال الصحيح، وبالتالي نوع الإجابة الصحيح.

يُعدّ استخراج الكلمات المفتاحية الخطوة الأولى في تحديد نوع السؤال المُدخل. [ 29 ] في بعض الحالات، تُشير الكلمات بوضوح إلى نوع السؤال، مثل "مَن"، "أين"، "متى"، أو "كم عدد" - قد تُوحي هذه الكلمات للنظام بأن الإجابات يجب أن تكون من نوع "شخص"، "موقع"، "تاريخ"، أو "رقم"، على التوالي. كما يُمكن تحديد نوع الإجابة باستخدام تقنيات تصنيف أجزاء الكلام والتحليل النحوي. في المثال أعلاه، الفاعل هو "اليوم الوطني الصيني"، والمسند هو "هو"، والظرف هو "متى"، وبالتالي فإن نوع الإجابة هو "تاريخ". لسوء الحظ، لا تُقابل بعض الكلمات الاستفهامية مثل "أيّ"، "ماذا"، أو "كيف" أنواع إجابات واضحة: إذ يُمكن أن تُمثّل كل كلمة منها أكثر من نوع. في مثل هذه الحالات، يجب مراعاة الكلمات الأخرى في السؤال. يُمكن استخدام قاموس معجمي مثل WordNet لفهم السياق.

بمجرد أن يحدد النظام نوع السؤال، يستخدم نظام استرجاع المعلومات للعثور على مجموعة من المستندات التي تحتوي على الكلمات المفتاحية الصحيحة. ويمكن لأداة تصنيف وأداة تقسيم مجموعات الأسماء والأفعال التحقق من ذكر الكيانات والعلاقات الصحيحة في المستندات التي تم العثور عليها. بالنسبة لأسئلة مثل "من" أو "أين"، يقوم نظام التعرف على الكيانات المسماة بالعثور على أسماء "الشخص" و"الموقع" ذات الصلة من المستندات المسترجعة. ويتم اختيار الفقرات ذات الصلة فقط للترتيب.

يمكن لنموذج فضاء المتجهات تصنيف الإجابات المرشحة. يتم التحقق من صحة نوع الإجابة وفقًا لما تم تحديده في مرحلة تحليل نوع السؤال. يمكن لتقنية الاستدلال التحقق من صحة الإجابات المرشحة. ثم تُمنح كل إجابة مرشحة درجة بناءً على عدد كلمات السؤال التي تحتويها ومدى قرب هذه الكلمات منها - كلما زاد العدد والقرب كان ذلك أفضل. بعد ذلك، تُترجم الإجابة إلى تمثيل موجز وذي معنى. في المثال السابق، كانت الإجابة المتوقعة هي "1 أكتوبر".

الرياضيات

تم نشر نظام MathQA ، وهو نظام مفتوح المصدر للإجابة على الأسئلة الرياضية ، في عام 2018، وهو مبني على Ask Platypus و Wikidata . [ 30 ] يستقبل MathQA سؤالًا باللغة الإنجليزية أو الهندية كمدخل، ويعيد صيغة رياضية مسترجعة من Wikidata كإجابة موجزة، مترجمة إلى صيغة قابلة للحساب تسمح للمستخدم بإدخال قيم المتغيرات. يسترجع النظام أسماء وقيم المتغيرات والثوابت الشائعة من Wikidata إن توفرت. يُزعم أن النظام يتفوق على محرك معرفة رياضية حسابي تجاري في مجموعة اختبار. [ 30 ] تستضيف ويكيميديا ​​نظام MathQA على الرابط https://mathqa.wmflabs.org/ . في عام 2022، تم توسيعه ليشمل الإجابة على 15 نوعًا من الأسئلة الرياضية. [ 31 ]

تتطلب أساليب الإجابة على أسئلة الرياضيات دمج اللغة الطبيعية مع لغة الصيغ الرياضية. أحد الأساليب الممكنة هو إجراء عملية تصنيف مُشرف عليها عبر ربط الكيانات . أُطلقت مهمة "ARQMath" في مؤتمر CLEF 2020 [ 32 ] لمعالجة مشكلة ربط الأسئلة المنشورة حديثًا على منصة Math Stack Exchange بالأسئلة الموجودة التي أجاب عنها المجتمع بالفعل. يُساعد توفير روابط تشعبية للأسئلة المجابة والمرتبطة دلاليًا المستخدمين على الحصول على الإجابات مبكرًا، ولكنه يُمثل تحديًا نظرًا لتعقيد العلاقة الدلالية. [ 33 ] استُلهمت هذه المهمة من حقيقة أن 20% من الاستعلامات الرياضية في محركات البحث العامة تُصاغ على شكل أسئلة سليمة. [ 34 ] تضمن التحدي مهمتين فرعيتين منفصلتين: المهمة الأولى: "استرجاع الإجابات"، حيث تُطابق إجابات المنشورات القديمة مع الأسئلة المطروحة حديثًا، والمهمة الثانية: "استرجاع الصيغ"، حيث تُطابق صيغ المنشورات القديمة مع الأسئلة الجديدة. انطلاقاً من مجال الرياضيات، الذي يتضمن لغة الصيغ، يتمثل الهدف في توسيع نطاق المهمة لاحقاً لتشمل مجالات أخرى (مثل تخصصات العلوم والتكنولوجيا والهندسة والرياضيات، كالكيمياء والأحياء وغيرها)، والتي تستخدم أنواعاً أخرى من الرموز الخاصة (مثل الصيغ الكيميائية). [ 32 ] [ 33 ]

تم أيضًا بحث عكس الإجابة على الأسئلة الرياضية، أي توليد الأسئلة الرياضية. يسترجع محرك توليد الأسئلة والاختبارات الفيزيائية PhysWikiQuiz الصيغ الرياضية من ويكي بيانات، بالإضافة إلى معلومات دلالية حول مُعرِّفاتها (أسماء وقيم المتغيرات). [ 35 ] ثم يُعاد ترتيب الصيغ لتوليد مجموعة من صيغها المختلفة. بعد ذلك، تُستبدل المتغيرات بقيم عشوائية لتوليد عدد كبير من الأسئلة المتنوعة المناسبة لاختبارات الطلاب الفردية.

التطبيقات

تُستخدم أنظمة ضمان الجودة في مجموعة متنوعة من التطبيقات، بما في ذلك:

  • التحقق من صحة معلومة ما، من خلال طرح سؤال مثل: هل المعلومة س صحيحة أم خاطئة؟
  • خدمة العملاء،
  • الدعم الفني،
  • أبحاث السوق،
  • توليد التقارير أو الأبحاث باستخدام اللغة الطبيعية .

مراجع

  1. فيليب سيميانو؛ كريستينا أونغر؛ جون مكراي (1 مارس 2014). تفسير اللغة الطبيعية القائم على الأنطولوجيا . دار مورغان وكلايبول للنشر. ISBN 978-1-60845-990-2.
  2. 1 2 تشين، دانكي؛ فيش، آدم؛ ويستون، جيسون؛ بوردس، أنطوان (2017). "قراءة ويكيبيديا للإجابة على أسئلة المجال المفتوح". arXiv : 1704.00051 [ cs.CL ].
  3. غرين الابن، بيرت ف؛ وآخرون (1961). "البيسبول: برنامج آلي للإجابة على الأسئلة" (ملف PDF) . المؤتمر المشترك الغربي للحاسوب IRE-AIEE-ACM : 219-224 . 
  4. ↑ وودز، ويليام أ؛ كابلان ، ر. (1977). "الصخور القمرية في اللغة الإنجليزية الطبيعية: استكشافات في الإجابة على أسئلة اللغة الطبيعية". معالجة البنى اللغوية 5.5 : 521-569 .
  5. "منصة EAGLi - الإجابة على الأسئلة في MEDLINE" . candy.hesge.ch . تم الاطلاع عليه بتاريخ 2021-12-02 .
  6. باشكا، ماريوس (2005). "مراجعة كتاب: اتجاهات جديدة في الإجابة على الأسئلة، مارك تي. مايبوري (محرر) (مؤسسة MITRE)، مينلو بارك، كاليفورنيا: مطبعة AAAI وكامبريدج، ماساتشوستس: مطبعة معهد ماساتشوستس للتكنولوجيا، 2004، 11 + 336 صفحة؛ غلاف ورقي، ISBN 0-262-63304-3، 40.00 دولارًا أمريكيًا، 25.95 جنيهًا إسترلينيًا" . اللغويات الحاسوبية . 31 (3): 413-417 . doi : 10.1162/089120105774321055 . S2CID 12705839 . 
  7. 1 2 أندرسون، بيتر، وآخرون. " الانتباه من الأسفل إلى الأعلى ومن الأعلى إلى الأسفل لوصف الصور والإجابة على الأسئلة المرئية ." وقائع مؤتمر IEEE حول رؤية الحاسوب والتعرف على الأنماط. 2018.
  8. تشو، لينتشاو؛ شو، تشونغوين؛ يانغ، يي؛ هاوبتمان، ألكسندر ج. (2015). "الكشف عن السياق الزمني لسؤال وجواب الفيديو". arXiv : 1511.04670 [ cs.CV ].
  9. كوارتيروني، سيلفيا، وسوريش ماناندهار. " تصميم نظام تفاعلي للإجابة على الأسئلة في مجال مفتوح ." هندسة اللغة الطبيعية 15.1 (2009): 73-95.
  10. لايت، مارك، وآخرون. " إعادة الاستخدام في الإجابة على الأسئلة: دراسة أولية ". اتجاهات جديدة في الإجابة على الأسئلة. 2003.
  11. ييه، وين تاو، شياودونغ هي، وكريستوفر ميك. " التحليل الدلالي للإجابة على الأسئلة ذات العلاقة الواحدة ". وقائع الاجتماع السنوي الثاني والخمسين لجمعية اللغويات الحاسوبية (المجلد 2: أوراق بحثية قصيرة). 2014.
  12. بيريرا، ر.، ناند، ب. ونعيم، أ. 2017. استخدام أنماط شجرة التبعية المكتوبة لتوليد جملة الإجابة في أنظمة الإجابة على الأسئلة.
  13. دي سالفو براز، رودريغو، وآخرون. " نموذج استدلال للاستلزام الدلالي في اللغة الطبيعية ". ورشة عمل تحديات التعلم الآلي. سبرينغر، برلين، هايدلبرغ، 2005.
  14. "BitCrawl من تصميم هوبسون لين" . مؤرشف من الأصل بتاريخ 27 أكتوبر 2012. تم الاطلاع عليه بتاريخ 29 مايو 2012 .{{cite web}}: CS1 maint: bot: حالة عنوان URL الأصلي غير معروفة ( رابط )
  15. بيريرا، ر. وبيريرا، يو. 2012. نحو نموذج لتحديد الأهداف قائم على الأدوار الموضوعية للإجابة على الأسئلة. مؤرشف بتاريخ 4 مارس 2016 في أرشيف الإنترنت (Wayback Machine).
  16. داس، أبيشيك، وآخرون. " الإجابة على الأسئلة المجسدة ". وقائع مؤتمر IEEE حول رؤية الحاسوب والتعرف على الأنماط. 2018.
  17. ماركوف، جون (16 فبراير 2011). "فوز واتسون في برنامج 'جيباردي!' ليس بالأمر الهين" . صحيفة نيويورك تايمز .
  18. "دكتور كيو إيه" .
  19. تونستال، لويس (5 يوليو 2022). معالجة اللغة الطبيعية باستخدام المحولات: بناء تطبيقات لغوية باستخدام Hugging Face (الطبعة الثانية ). دار نشر O'Reilly UK المحدودة. ص. الفصل 7. ISBN   978-1098136796.
  20. "وثائق Haystack" . deepset . تم الاطلاع عليه في 4 نوفمبر 2022 .
  21. روزر مورانت، مارتن كرالينجر، ألفونسو فالنسيا، ووالتر دايلمانز. القراءة الآلية للنصوص الطبية الحيوية حول مرض الزهايمر . مختبرات التقييم وورشة عمل CLEF 2012. 17 سبتمبر 2012
  22. هيرشمان، ل. وجايزوسكاس، ر. (2001) الإجابة على الأسئلة باللغة الطبيعية. وجهة النظر من هنا . هندسة اللغة الطبيعية (2001)، 7:4:275-300 مطبعة جامعة كامبريدج.
  23. رافيل، كولين؛ شازير، نوام؛ روبرتس، آدم؛ لي، كاثرين؛ نارانج، شاران؛ ماتينا، مايكل؛ تشو، يانكي؛ لي، وي؛ ليو، بيتر جيه. (2019). "استكشاف حدود التعلم النقل باستخدام محول نصي موحد". arXiv : 1910.10683 [ cs.LG ].
  24. لويس، مايك؛ ليو، ينهان؛ غويال، نعمان؛ غزفينينجاد، مرجان؛ محمد، عبد الرحمن؛ ليفي، عمر؛ ستويانوف، فيس؛ زيتلموير، لوك (2019). "بارت: تدريب مسبق لإزالة التشويش من تسلسل إلى تسلسل لتوليد اللغة الطبيعية وترجمتها وفهمها". arXiv : 1910.13461 [ cs.CL ].
  25. لين، ج. (2002). الويب كمورد للإجابة على الأسئلة: وجهات نظر وتحديات . في وقائع المؤتمر الدولي الثالث حول موارد اللغة وتقييمها (LREC 2002).
  26. مولدوفان، دان، وآخرون. " كوجيكس: مُثبت منطقي للإجابة على الأسئلة. مؤرشف في 27-01-2018 على آلة Wayback ." وقائع مؤتمر 2003 لفرع أمريكا الشمالية لجمعية اللغويات الحاسوبية حول تكنولوجيا اللغة البشرية - المجلد 1. جمعية اللغويات الحاسوبية، 2003.
  27. فورباخ، أولريش، إنجو غلوكنر، وبيورن بيلزر. " تطبيق الاستدلال الآلي في الإجابة على أسئلة اللغة الطبيعية ." اتصالات الذكاء الاصطناعي 23.2-3 (2010): 241-265.
  28. صن، هايتيان؛ دينغرا، بهوان؛ زهير، مانزيل؛ مازايتيس، كاثرين؛ سالاخوتدينوف، روسلان؛ كوهين، ويليام (2018). "الإجابة على أسئلة المجال المفتوح باستخدام الدمج المبكر لقواعد المعرفة والنصوص" . وقائع مؤتمر 2018 حول الأساليب التجريبية في معالجة اللغة الطبيعية . بروكسل، بلجيكا. ص 4231-4242 . arXiv : 1809.00782 . doi : 10.18653/v1/D18-1455 . S2CID 52154304 .  {{cite book}}: CS1 maint: موقع الناشر مفقود ( رابط )
  29. هاراباجيو، ساندا؛ هيكل، أندرو (2006). "طرق استخدام الاستلزام النصي في الإجابة على الأسئلة في المجال المفتوح" . وقائع المؤتمر الدولي الحادي والعشرين للغويات الحاسوبية والاجتماع السنوي الرابع والأربعين لجمعية اللغويات الحاسوبية - ACL '06 . الصفحات 905-912 . doi : 10.3115/1220175.1220289 . 
  30. 1 2 موريتز شوبوتز؛ فيليب شاربف؛ وآخرون . (12 سبتمبر 2018). "تقديم MathQA: نظام إجابة أسئلة مُدرك للرياضيات" . اكتشاف المعلومات وتقديمها . 46 (4). دار إميرالد للنشر المحدودة: 214-224 . arXiv : 1907.01642 . doi : 10.1108/IDD-06-2018-0022 . 
  31. Scharpf, P. Schubotz, M. Gipp, B. استخراج المستندات الرياضية للإجابة على الأسئلة عبر تصنيف الصيغ غير الخاضع للإشراف ACM/IEEE المؤتمر المشترك حول المكتبات الرقمية، 2022.
  32. 1 2 زانيبي، ريتشارد؛ أورد، دوغلاس دبليو؛ أغاروال، أنوراغ؛ منصوري، بهروز (2020)، "نظرة عامة على ARQMath 2020: مختبر CLEF لاسترجاع الإجابات لأسئلة الرياضيات"، استرجاع المعلومات التجريبي يلتقي بتعدد اللغات والوسائط والتفاعل ، سلسلة محاضرات في علوم الحاسوب، المجلد 12260، تشام: دار نشر سبرينغر الدولية، الصفحات 169-193 ، doi : 10.1007/978-3-030-58219-7_15 ، ISBN   978-3-030-58218-0، S2CID 221351064 ، تم استرجاعه بتاريخ 2021-06-09 
  33. 1 2 شاربف وآخرون (2020-12-04). مختبر ARQMath: حاضنة للبحث عن الصيغ الدلالية في zbMATH Open ؟ OCLC 1228449497 .  
  34. منصوري، بهروز؛ زانيبي، ريتشارد؛ أورد، دوغلاس دبليو. (يونيو 2019). "توصيف عمليات البحث عن المفاهيم الرياضية" . المؤتمر المشترك لعام 2019 بين جمعية آلات الحوسبة ومعهد مهندسي الكهرباء والإلكترونيات حول المكتبات الرقمية (JCDL) . معهد مهندسي الكهرباء والإلكترونيات. الصفحات 57-66 . doi : 10.1109/jcdl.2019.00019 . ISBN  978-1-7281-1547-4. S2CID 198972305 . 
  35. شاربف، فيليب؛ شوبوتز، موريتز؛ سبيتز، أندرياس؛ غرينر-بيتر، أندريه؛ جيب، بيلا (2022). "توليد أسئلة الامتحانات بشكل تعاوني وبمساعدة الذكاء الاصطناعي باستخدام ويكي بيانات في التعليم". arXiv : 2211.08361 . doi : 10.13140/RG.2.2.30988.18568 . S2CID 253270181 . {{cite journal}}يتطلب الاستشهاد بالمجلة ( مساعدة )|journal=

للمزيد من القراءة