نظام تقييم المقالات الآلي

يُعدّ التقييم الآلي للمقالات ( AES ) استخدام برامج حاسوبية متخصصة لمنح درجات للمقالات المكتوبة في السياق التعليمي. وهو شكل من أشكال التقييم التربوي وتطبيق لمعالجة اللغة الطبيعية . يهدف هذا النظام إلى تصنيف مجموعة كبيرة من النصوص إلى عدد قليل من الفئات المنفصلة، ​​بما يتوافق مع الدرجات الممكنة، على سبيل المثال، من 1 إلى 6. ولذلك، يمكن اعتباره مسألة تصنيف إحصائي .

ساهمت عدة عوامل في تزايد الاهتمام بتقييم التحصيل الدراسي، من بينها التكلفة والمساءلة والمعايير والتكنولوجيا. وقد أدى ارتفاع تكاليف التعليم إلى ضغوط لمحاسبة النظام التعليمي على النتائج من خلال فرض معايير محددة. ويُبشر التقدم في تكنولوجيا المعلومات بقياس التحصيل الدراسي بتكلفة أقل.

أثار استخدام نظام التقييم الآلي للاختبارات عالية المخاطر في التعليم ردود فعل عنيفة كبيرة، حيث أشار المعارضون إلى بحث مفاده أن أجهزة الكمبيوتر لا تستطيع حتى الآن تقييم الكتابة بدقة، وجادلوا بأن استخدامها لمثل هذه الأغراض يعزز تدريس الكتابة بطرق اختزالية (أي التدريس من أجل الاختبار ).

تُرجع معظم الملخصات التاريخية لعلم تقييم المقالات (AES) أصول هذا المجال إلى أعمال إليس باتن بيج . ^{[ 1 ]} في عام 1966، جادل ^{[ 2 ]} لصالح إمكانية تقييم المقالات باستخدام الحاسوب، وفي عام 1968 نشر ^{[ 3 ]} عمله الناجح ببرنامج يُسمى "مشروع تقييم المقالات" (PEG). باستخدام تقنيات ذلك الوقت، لم يكن تقييم المقالات باستخدام الحاسوب مُجديًا اقتصاديًا، ^{[ 4 ]} لذا توقف بيج عن جهوده لمدة عقدين تقريبًا. وفي النهاية، باع بيج برنامج PEG لشركة "ميجرمنت إنكوربوريتد" .

بحلول عام 1990، أصبحت الحواسيب المكتبية قوية ومنتشرة على نطاق واسع لدرجة أن استخدام معيار التشفير المتقدم (AES) أصبح ممكنًا عمليًا. في وقت مبكر من عام 1982، كان برنامج UNIX المسمى Writer's Workbench قادرًا على تقديم نصائح حول علامات الترقيم والإملاء والقواعد. ^{[ 5 ]} بالتعاون مع العديد من الشركات (ولا سيما خدمة الاختبارات التعليمية)، قام بيج بتحديث PEG وأجرى بعض التجارب الناجحة في أوائل التسعينيات. ^{[ 6 ]}

قام بيتر فولتر وتوماس لانداور بتطوير نظام يستخدم محرك تقييم يُسمى "مُقيّم المقالات الذكي" (IEA). استُخدم نظام IEA لأول مرة لتقييم المقالات في عام 1997 لمقرراتهما الجامعية. ^{[ 7 ]} وهو الآن منتج من شركة بيرسون للتقنيات التعليمية، ويُستخدم في التقييم ضمن عدد من المنتجات التجارية والاختبارات الحكومية والوطنية.

IntelliMetric هو محرك AES الخاص بشركة Vantage Learning. بدأ تطويره في عام 1996. ^{[ 8 ]} تم استخدامه تجاريًا لأول مرة لتقييم المقالات في عام 1998. ^{[ 9 ]}

تقدم خدمة الاختبارات التعليمية (ETS) برنامج "e-rater"، وهو برنامج آلي لتقييم المقالات. وقد استُخدم تجاريًا لأول مرة في فبراير 1999. ^{[ 10 ]} وكانت جيل بورستين قائدة فريق تطويره. وتستخدم خدمة تقييم الكتابة الإلكترونية "Criterion" التابعة لـ ETS محرك "e-rater" لتقديم كلٍ من الدرجات والتعليقات الموجهة.

أجرى لورانس رودنر بعض الأبحاث حول التقييم البايزي، وطوّر نظامًا يُسمى BETSY (نظام التقييم البايزي لاختبارات المقالات). ^{[ 11 ]} نُشرت بعض نتائجه في مطبوعات أو على الإنترنت، ولكن لا يوجد نظام تجاري يتضمن BETSY حتى الآن.

تحت قيادة هوارد ميتزل وسو لوتريج، طورت شركة باسيفيك ميتريكس محركًا آليًا لتسجيل الإجابات المفتوحة، يُسمى CRASE. ويُستخدم هذا المحرك حاليًا من قبل العديد من إدارات التعليم في الولايات، وفي منحة التقييم المحسّن الممولة من وزارة التعليم الأمريكية، وقد استُخدمت تقنية باسيفيك ميتريكس في بيئات التقييم التكويني والختامي واسعة النطاق منذ عام 2007.

استحوذت شركة Measurement Inc. على حقوق PEG في عام 2002 واستمرت في تطويرها. ^{[ 12 ]}

في عام ٢٠١٢، رعت مؤسسة هيوليت مسابقة على منصة كاغل تُعرف باسم جائزة التقييم الآلي للطلاب (ASAP). ^{[ ١٣ ]} حاول ٢٠١ مشاركًا في المسابقة التنبؤ، باستخدام نظام التقييم الآلي للمقالات (AES)، بالدرجات التي سيمنحها المقيمون البشريون لآلاف المقالات المكتوبة وفقًا لثمانية أسئلة مختلفة. كان الهدف هو إثبات أن نظام التقييم الآلي للمقالات يمكن أن يكون بنفس موثوقية المقيمين البشريين، أو حتى أكثر. كما استضافت المسابقة عرضًا توضيحيًا منفصلًا بين تسعة من موردي نظام التقييم الآلي للمقالات على مجموعة فرعية من بيانات جائزة التقييم الآلي للطلاب. على الرغم من أن الباحثين أفادوا بأن التقييم الآلي للمقالات كان بنفس موثوقية التقييم البشري، ^{[ ١٤ ]} إلا أن هذا الادعاء لم يُدعم بأي اختبارات إحصائية لأن بعض الموردين اشترطوا عدم إجراء مثل هذه الاختبارات كشرط مسبق لمشاركتهم. ^{[ 15 ]} علاوة على ذلك، فقد تم التشكيك بشدة في الادعاء بأن دراسة هيوليت أثبتت أن أنظمة التقييم الآلي (AES) يمكن أن تكون موثوقة مثل المقيمين البشريين، ^{[ 16 ] [ 17 ]} بما في ذلك من قبل راندي إي. بينيت ، رئيس كرسي نورمان أو. فريدريكسن للابتكار في التقييم في خدمة الاختبارات التعليمية . ^{[ 18 ]} ومن أبرز الانتقادات الموجهة للدراسة أن خمسًا من مجموعات البيانات الثماني كانت تتألف من فقرات بدلًا من مقالات، وأن أربعًا من مجموعات البيانات الثماني تم تقييمها من قبل قراء بشريين بناءً على المحتوى فقط وليس على القدرة الكتابية، وأنه بدلًا من قياس القراء البشريين وآلات التقييم الآلي (AES) مقابل "الدرجة الحقيقية"، وهي متوسط ​​درجات القارئين، استخدمت الدراسة مفهومًا اصطناعيًا، وهو "الدرجة المُحَدَّدة"، والتي تضمنت في أربع مجموعات بيانات أعلى درجتين بشريتين في حالة وجود اختلاف. هذه الممارسة الأخيرة، على وجه الخصوص، منحت الآلات ميزة غير عادلة من خلال السماح لها بتقريب الدرجات لأعلى في هذه المجموعات من البيانات. ^{[ 16 ]}

في عام 1966، افترض بيج أن المُقيِّم الحاسوبي سيكون في المستقبل أكثر توافقًا مع كل مُقيِّم بشري من توافق المُقيِّمين البشريين أنفسهم. ^{[ 2 ]} ورغم انتقاد إمكانية تطبيق هذا النهج على تصحيح المقالات عمومًا، فقد حظيت هذه الفرضية بالتأييد عند تصحيح إجابات النصوص الحرة على الأسئلة القصيرة، كتلك الشائعة في نظام شهادة الثانوية العامة البريطانية (GCSE) . ^{[ 19 ]} تُظهر نتائج التعلّم الخاضع للإشراف أن الأنظمة الآلية تعمل بكفاءة عالية عندما يكون هناك توافق جيد بين تقييمات المُعلِّمين البشريين المختلفين. أظهر التجميع غير الخاضع للإشراف للإجابات أن الأوراق الممتازة والأوراق الضعيفة تُشكِّل مجموعات مُحدَّدة جيدًا، وأن قاعدة التصحيح الآلي لهذه المجموعات تعمل بكفاءة، في حين أن الدرجات التي يمنحها المُعلِّمون البشريون للمجموعة الثالثة ("المختلطة") قد تكون مثيرة للجدل، وغالبًا ما يُشكَّك في موثوقية أي تقييم للأعمال من المجموعة "المختلطة" (سواءً كان بشريًا أو حاسوبيًا). ^{[ 19 ]}

بحسب دراسة استقصائية حديثة ^{[ 20 ]} ، تحاول أنظمة تقييم جودة المقالات الحديثة تقييم جوانب مختلفة من جودة المقال بهدف تقديم ملاحظات للمستخدمين. وتشمل هذه الجوانب العناصر التالية:

• القواعد النحوية: اتباع قواعد النحو
• الاستخدام: استخدام حروف الجر، استخدام الكلمات
• الميكانيكا: اتباع قواعد التهجئة وعلامات الترقيم واستخدام الأحرف الكبيرة
• الأسلوب: اختيار الكلمات، تنوع بنية الجملة
• الصلة: مدى صلة المحتوى بالموضوع المطلوب
• التنظيم: مدى جودة هيكلة المقال
• التطوير: تطوير الأفكار مع الأمثلة
• التماسك: الاستخدام المناسب للعبارات الانتقالية
• التماسك: الانتقالات المناسبة بين الأفكار
• وضوح الأطروحة: وضوح الأطروحة
• الإقناع: مدى إقناع الحجة الرئيسية

منذ البداية، تمثلت الإجراءات الأساسية لبرنامج تقييم المقالات الأكاديمية (AES) في البدء بمجموعة تدريبية من المقالات التي تم تقييمها يدويًا بعناية. ^{[ 21 ]} يُقيّم البرنامج الخصائص السطحية لنص كل مقال، مثل إجمالي عدد الكلمات، وعدد الجمل الفرعية، ونسبة الأحرف الكبيرة إلى الصغيرة - وهي كميات يمكن قياسها دون أي تدخل بشري. ثم يُنشئ نموذجًا رياضيًا يربط هذه الكميات بالدرجات التي حصلت عليها المقالات. ويُطبّق النموذج نفسه بعد ذلك لحساب درجات المقالات الجديدة.

مؤخرًا، ابتكر إسحاق بيرسينغ وفينسنت نغ نموذجًا رياضيًا ^{[ 22 ]} لا يقتصر على تقييم المقالات بناءً على الخصائص المذكورة أعلاه فحسب، بل يُقيّم أيضًا قوة حججها. ويُقيّم هذا النموذج خصائص متنوعة للمقالة، مثل مستوى موافقة الكاتب وأسبابها، ومدى التزامها بموضوع السؤال، ومواقع عناصر الحجة (الادعاء الرئيسي، الادعاء، المقدمة)، والأخطاء في الحجج، وتماسكها، بالإضافة إلى خصائص أخرى. وعلى عكس النماذج الأخرى المذكورة، يُعد هذا النموذج أقرب إلى محاكاة الرؤية البشرية في تقييم المقالات. ونظرًا لتزايد شعبية الشبكات العصبية العميقة، فقد تم اعتماد أساليب التعلم العميق في التقييم الآلي للمقالات، محققةً نتائج فائقة في الغالب، وغالبًا ما تتجاوز مستويات الاتفاق بين المُقيّمين البشريين ^{[ 23 ] .}

تختلف برامج تحليل البيانات المتقدمة (AES) في خصائص السطح المحددة التي تقيسها، وعدد المقالات المطلوبة في مجموعة التدريب، والأهم من ذلك، في أسلوب النمذجة الرياضية. استخدمت المحاولات المبكرة الانحدار الخطي . قد تستخدم الأنظمة الحديثة الانحدار الخطي أو تقنيات أخرى للتعلم الآلي، غالبًا بالاشتراك مع تقنيات إحصائية أخرى مثل التحليل الدلالي الكامن ^{[ 24 ]} والاستدلال البايزي ^{[ 11 ]} .

تمت دراسة مهمة التقييم الآلي للمقالات في سياق متعدد المجالات باستخدام نماذج التعلم الآلي، حيث يتم تدريب النماذج على مقالات كُتبت لموضوع معين، ثم اختبارها على مقالات كُتبت لموضوع آخر. وتعتمد الأساليب الناجحة في هذا السياق على الشبكات العصبية العميقة ^{[ 25 ]} أو النماذج التي تجمع بين خصائص عميقة وسطحية ^{[ 26 ] .}

يجب تقييم أي أسلوب تقييم بناءً على الصلاحية والإنصاف والموثوقية. ^{[ 27 ]} تكون الأداة صالحة إذا كانت تقيس بالفعل السمة التي تدّعي قياسها. وتكون منصفة إذا لم تُلحق، في الواقع، ضرراً بأي فئة من الناس أو تُفضّلها على أخرى. وتكون موثوقة إذا كانت نتائجها قابلة للتكرار، حتى عند تغيير العوامل الخارجية غير ذات الصلة.

قبل ظهور الحواسيب، كانت المقالات المهمة تُقيّم عادةً من قِبل مُقيّمين بشريين مُدرّبين. إذا اختلف التقييم بأكثر من نقطة واحدة، يُستعان بمُقيّم ثالث أكثر خبرة لحسم الخلاف. في هذا النظام، توجد طريقة سهلة لقياس الموثوقية: وهي اتفاق المُقيّمين . إذا لم يتفق المُقيّمون باستمرار في حدود نقطة واحدة، فقد يكون تدريبهم هو السبب. أما إذا اختلف أحد المُقيّمين باستمرار مع آراء المُقيّمين الآخرين حول المقالات نفسها، فمن المُرجّح أنه بحاجة إلى تدريب إضافي.

تم اقتراح العديد من الإحصاءات لقياس الاتفاق بين المقيمين. ومن بينها نسبة الاتفاق، ومعامل سكوت π ، ومعامل كوهين κ ، ومعامل كريبندورف α ، ومعامل ارتباط بيرسون r ، ومعامل ارتباط رتبة سبيرمان ρ، ومعامل ارتباط التوافق لـ لين .

نسبة الاتفاق هي إحصائية بسيطة تُطبق على مقاييس التقييم التي تتراوح درجاتها من 1 إلى n، حيث عادةً ما تكون 4 ≤ n ≤ 6. تُعرض هذه النسبة على شكل ثلاثة أرقام، كل منها يمثل نسبة مئوية من إجمالي عدد المقالات المُقيّمة: الاتفاق التام (أعطى المُقيّمان المقالة نفس الدرجة)، والاتفاق المتقارب (اختلف المُقيّمان بنقطة واحدة على الأكثر؛ وهذا يشمل الاتفاق التام)، والاختلاف الشديد (اختلف المُقيّمان بأكثر من نقطتين). وقد وُجد أن المُقيّمين البشريين الخبراء يحققون اتفاقًا تامًا في 53% إلى 81% من جميع المقالات، واتفاقًا متقاربًا في 97% إلى 100%. ^{[ 28 ]}

يمكن الآن تطبيق مبدأ الاتفاق بين المُقيّمين لقياس أداء الحاسوب. تُقدّم مجموعة من المقالات إلى مُقيّمين بشريين وبرنامج حاسوبي. إذا اتفقت الدرجات التي منحها الحاسوب مع درجات أحد المُقيّمين البشريين، وكذلك اتفق المُقيّمان فيما بينهما، يُعتبر البرنامج موثوقًا. بدلاً من ذلك، تُمنح كل مقالة "درجة حقيقية" بأخذ متوسط ​​درجات المُقيّمين البشريين، ثم تُقارن درجات المُقيّمين البشريين مع درجات الحاسوب بناءً على مدى توافقها مع الدرجة الحقيقية.

أفاد بعض الباحثين بأن أنظمة التقييم الآلي (AES) الخاصة بهم قد تتفوق على التقييم البشري. وقد أدلى بيج بهذا التصريح لصالح شركة PEG عام 1994. ^{[ 6 ]} وذكر سكوت إليوت عام 2003 أن نظام IntelliMetric يتفوق عادةً على المُقيّمين البشريين. ^{[ 8 ]} ومع ذلك، يبدو أن أجهزة التقييم الآلي أقل موثوقية من المُقيّمين البشريين في أي نوع من اختبارات الكتابة المعقدة. ^{[ 29 ]}

في الممارسة الحالية، تُصحَّح الاختبارات ذات الأهمية الكبيرة، مثل اختبار GMAT، دائمًا بواسطة مُصحِّح بشري واحد على الأقل. ويُستخدم نظام التقييم الآلي (AES) بدلاً من مُصحِّح ثانٍ. ويتولى مُصحِّح بشري حلّ أي خلافات تتجاوز نقطة واحدة. ^{[ 30 ]}

تعرض نظام التقييم الإلكتروني (AES) لانتقادات عديدة. فقد أشار يانغ وآخرون إلى "الاعتماد المفرط على المظهر الخارجي للإجابات، وعدم مراعاة محتوى الإجابات والإبداع، وسهولة التلاعب به من خلال أساليب جديدة للغش واستراتيجيات اجتياز الاختبارات". ^{[ 30 ]} ويخشى العديد من النقاد من انخفاض دافعية الطلاب إذا علموا أن كتاباتهم لن يقرأها أحد. ^{[ 31 ]} ومن أبرز الانتقادات الموجهة إليه، التقارير التي تفيد بحصول مقالات مكتوبة بلغة غير مفهومة على درجات عالية. ^{[ 32 ]}

معظم الموارد المستخدمة في التقييم الآلي للمقالات هي موارد مملوكة.

• eRater – منشور من قِبل خدمة الاختبارات التعليمية
• إنتليميتريك - من فانتاج ليرنينج
• درجة مقال المشروع ^{[ 38 ]} - من شركة القياس.