التلخيص التلقائي

📅 آخر تحديث: ٢٩ يوليو ٢٠٢٦
✍️ نُشر في: ٢٩ يوليو ٢٠٢٦
الموسوعة الحرة

التلخيص التلقائي هو عملية اختصار مجموعة من البيانات حسابيًا، لإنشاء مجموعة فرعية ( ملخص ) تمثل أهم المعلومات أو أكثرها صلة بالمحتوى الأصلي. تُستخدم خوارزميات الذكاء الاصطناعي بشكل شائع لتحقيق ذلك، وهي متخصصة لأنواع مختلفة من البيانات.

تُنفَّذ عملية تلخيص النصوص عادةً باستخدام أساليب معالجة اللغة الطبيعية ، المصممة لتحديد الجمل الأكثر إفادة في أي مستند. [ 1 ] من جهة أخرى، يمكن تلخيص المحتوى المرئي باستخدام خوارزميات رؤية الحاسوب . يُعدّ تلخيص الصور موضوعًا لبحوث مستمرة؛ إذ تحاول الأساليب الحالية عادةً عرض الصور الأكثر تمثيلًا من مجموعة صور معينة، أو إنشاء فيديو يتضمن فقط أهم محتوى من المجموعة بأكملها. [ 2 ] [ 3 ] [ 4 ] تحدد خوارزميات تلخيص الفيديو وتستخرج من محتوى الفيديو الأصلي أهم الإطارات ( الإطارات الرئيسية )، و/أو أهم مقاطع الفيديو ( اللقطات الرئيسية )، عادةً بترتيب زمني. [ 5 ] [ 6 ] [ 7 ] [ 8 ] تحتفظ ملخصات الفيديو ببساطة بمجموعة فرعية مختارة بعناية من إطارات الفيديو الأصلية، وبالتالي، فهي لا تُطابق مخرجات خوارزميات تلخيص الفيديو ، حيث يتم توليف إطارات فيديو جديدة بناءً على محتوى الفيديو الأصلي.

المنتجات التجارية

في عام 2022، أطلقت مستندات جوجل ميزة التلخيص التلقائي. [ 9 ]

الأساليب

هناك منهجان عامان للتلخيص التلقائي : الاستخراج والتجريد .

التلخيص القائم على الاستخلاص

هنا، يُستخرج المحتوى من البيانات الأصلية دون أي تعديل. تشمل أمثلة المحتوى المستخرج العبارات الرئيسية التي يمكن استخدامها لتصنيف أو فهرسة مستند نصي، أو الجمل الرئيسية (بما في ذلك العناوين) التي تُشكل مجتمعةً ملخصًا، بالإضافة إلى الصور أو مقاطع الفيديو التمثيلية، كما ذُكر سابقًا. بالنسبة للنصوص، يُشابه الاستخراج عملية التصفح السريع، حيث تُقرأ الملخص (إن وُجد)، والعناوين الرئيسية والفرعية، والرسوم البيانية، والفقرتين الأولى والأخيرة من كل قسم، وربما الجملتين الأولى والأخيرة من كل فقرة، قبل قراءة المستند كاملًا بتفصيل. [ 10 ] تشمل الأمثلة الأخرى للاستخراج تسلسلات نصية رئيسية ذات صلة سريرية (بما في ذلك المريض/المشكلة، والتدخل، والنتيجة). [ 11 ]

التلخيص القائم على التجريد

تُنتج أساليب التلخيص التجريدي نصًا جديدًا لم يكن موجودًا في النص الأصلي. [ 12 ] وقد طُبّق هذا الأسلوب بشكل أساسي على النصوص. تبني الأساليب التجريدية تمثيلًا دلاليًا داخليًا للمحتوى الأصلي (يُسمى غالبًا نموذجًا لغويًا)، ثم تستخدم هذا التمثيل لإنشاء ملخص أقرب إلى ما قد يُعبّر عنه الإنسان. قد يُحوّل التجريد المحتوى المُستخرج عن طريق إعادة صياغة أجزاء من المستند المصدر، لتكثيف النص بشكل أقوى من الاستخراج. مع ذلك، يُعدّ هذا التحويل أكثر تعقيدًا من الناحية الحسابية من الاستخراج، إذ يتطلب معالجة اللغة الطبيعية ، وغالبًا فهمًا عميقًا لمجال النص الأصلي في الحالات التي يرتبط فيها المستند الأصلي بمجال معرفي مُحدد. تُعدّ "إعادة الصياغة" أكثر صعوبة عند تطبيقها على الصور ومقاطع الفيديو، ولهذا السبب فإن معظم أنظمة التلخيص هي أنظمة استخراجية.

التلخيص بمساعدة الحاسوب

تعتمد الأساليب الرامية إلى تحسين جودة التلخيص على دمج البرمجيات والجهود البشرية. ففي التلخيص بمساعدة الإنسان والآلة، تُبرز تقنيات الاستخراج المقاطع المرشحة للإدراج (والتي يُضيف إليها الإنسان نصًا أو يحذفه). أما في التلخيص بمساعدة الإنسان والآلة، فيُجري الإنسان معالجة لاحقة لمخرجات البرمجيات، تمامًا كما يُحرر مخرجات الترجمة الآلية من جوجل.

تطبيقات وأنظمة التلخيص

توجد بشكل عام نوعان من مهام التلخيص الاستخلاصي، وذلك بحسب تركيز برنامج التلخيص. النوع الأول هو التلخيص العام ، الذي يركز على الحصول على ملخص عام أو موجز للمجموعة (سواء كانت مستندات، أو مجموعات صور، أو مقاطع فيديو، أو أخبار، إلخ). أما النوع الثاني فهو التلخيص المرتبط بالاستعلام ، والذي يُسمى أحيانًا التلخيص القائم على الاستعلام ، والذي يلخص عناصر محددة مرتبطة باستعلام معين. تستطيع أنظمة التلخيص إنشاء كل من الملخصات النصية المرتبطة بالاستعلام والملخصات العامة المُولّدة آليًا، وذلك حسب احتياجات المستخدم.

من أمثلة مسائل التلخيص تلخيص المستندات، الذي يسعى إلى إنتاج ملخص تلقائي من مستند معين. قد يرغب البعض في توليد ملخص من مستند مصدر واحد، بينما قد يستخدم آخرون عدة مستندات مصدر (مثل مجموعة مقالات حول الموضوع نفسه). تُسمى هذه المسألة تلخيص المستندات المتعددة . ومن التطبيقات ذات الصلة تلخيص المقالات الإخبارية. تخيل نظامًا يجمع تلقائيًا المقالات الإخبارية حول موضوع معين (من الإنترنت)، ويعرض آخر الأخبار بإيجاز في ملخص.

يُعدّ تلخيص مجموعات الصور مثالًا آخر على التلخيص التلقائي. ويتمثل في اختيار مجموعة تمثيلية من الصور من بين مجموعة أكبر. [ 13 ] يُفيد التلخيص في هذا السياق في عرض الصور الأكثر تمثيلًا لنتائج نظام استكشاف مجموعات الصور . ويُعدّ تلخيص الفيديو مجالًا ذا صلة، حيث يقوم النظام تلقائيًا بإنشاء مُلخص قصير لفيديو طويل. وله تطبيقات أيضًا في مقاطع الفيديو الشخصية أو الاستهلاكية، حيث قد يرغب المستخدم في تخطي المشاهد المملة أو المتكررة. وبالمثل، في فيديوهات المراقبة، يرغب المستخدم في استخلاص الأنشطة المهمة والمريبة، مع تجاهل جميع الإطارات المملة والمتكررة.

على مستوى عالٍ جدًا، تسعى خوارزميات التلخيص إلى إيجاد مجموعات فرعية من العناصر (مثل مجموعة من الجمل أو مجموعة من الصور) التي تغطي معلومات المجموعة الكاملة. تُسمى هذه المجموعة أيضًا بالمجموعة الأساسية . تُنمذج هذه الخوارزميات مفاهيم مثل التنوع والتغطية والمعلومات والتمثيلية في الملخص. بالإضافة إلى ذلك، تُنمذج تقنيات التلخيص القائمة على الاستعلام مدى ملاءمة الملخص للاستعلام. من بين التقنيات والخوارزميات التي تُنمذج مشاكل التلخيص بشكل طبيعي: TextRank وPageRank، ودالة المجموعة الفرعية المعيارية ، وعملية النقطة المحددة ، والملاءمة الحدية القصوى (MMR)، وغيرها.

استخراج العبارات الرئيسية

المهمة هي كالتالي: يُعطى لك نص، مثل مقالة بحثية، وعليك إعداد قائمة بالكلمات المفتاحية أو العبارات المفتاحية التي تُغطي المواضيع الرئيسية التي تناولها النص. [ 14 ] في حالة المقالات البحثية ، يُضيف العديد من المؤلفين كلمات مفتاحية مُحددة يدويًا، ولكن معظم النصوص تفتقر إلى عبارات مفتاحية مُسبقة. على سبيل المثال، نادرًا ما تحتوي المقالات الإخبارية على عبارات مفتاحية، ولكن سيكون من المفيد القدرة على إضافتها تلقائيًا في عدد من التطبيقات المذكورة أدناه. لننظر إلى النص التالي من مقالة إخبارية:

"قام فيلق المهندسين بالجيش، الذي سارع إلى الوفاء بوعد الرئيس بوش بحماية نيو أورليانز بحلول بداية موسم الأعاصير لعام 2006، بتركيب مضخات معيبة للتحكم في الفيضانات العام الماضي على الرغم من تحذيرات خبيره الخاص من أن المعدات ستفشل أثناء العاصفة، وفقًا لوثائق حصلت عليها وكالة أسوشيتد برس".

قد يختار مستخرج الكلمات المفتاحية عبارات مثل "فيلق المهندسين بالجيش"، و"الرئيس بوش"، و"نيو أورليانز"، و"مضخات التحكم بالفيضانات المعيبة" ككلمات مفتاحية. تُستخرج هذه الكلمات مباشرةً من النص. في المقابل، يقوم نظام الكلمات المفتاحية التجريدي باستيعاب المحتوى بطريقة ما، ويُنشئ كلمات مفتاحية لا تظهر في النص، ولكنها تُشبه إلى حد كبير ما قد يُنتجه الإنسان، مثل "الإهمال السياسي" أو "عدم كفاية الحماية من الفيضانات". يتطلب التجريد فهمًا عميقًا للنص ، مما يُصعّب الأمر على نظام الحاسوب. للكلمات المفتاحية استخدامات عديدة، فهي تُتيح تصفح المستندات من خلال توفير ملخص قصير، وتُحسّن استرجاع المعلومات (إذا كانت المستندات مُخصصة لها كلمات مفتاحية، يُمكن للمستخدم البحث باستخدام هذه الكلمات للحصول على نتائج أكثر موثوقية من البحث في النص الكامل )، كما تُستخدم في إنشاء فهارس لمجموعات النصوص الكبيرة.

اعتمادًا على الأدبيات المختلفة وتعريف المصطلحات أو الكلمات أو العبارات الرئيسية، فإن استخراج الكلمات الرئيسية هو موضوع ذو صلة وثيقة.

أساليب التعلم الخاضع للإشراف

بدءًا من عمل تيرني [ 15 ] ، تناول العديد من الباحثين استخراج العبارات المفتاحية كمسألة تعلم آلي خاضع للإشراف . فعند إدخال مستند، نقوم بإنشاء مثال لكل كلمة أحادية ، وكلمة ثنائية ، وكلمة ثلاثية موجودة في النص (مع إمكانية وجود وحدات نصية أخرى، كما سيتم توضيحه لاحقًا). ثم نحسب خصائص متنوعة تصف كل مثال (مثل: هل تبدأ العبارة بحرف كبير؟). نفترض وجود عبارات مفتاحية معروفة متاحة لمجموعة من مستندات التدريب. باستخدام هذه العبارات، يمكننا تصنيف الأمثلة إلى إيجابية أو سلبية. بعد ذلك، نتعلم مصنفًا قادرًا على التمييز بين الأمثلة الإيجابية والسلبية بناءً على هذه الخصائص. بعض المصنفات تُصنّف المثال تصنيفًا ثنائيًا ، بينما يُحدد البعض الآخر احتمالية كونه عبارة مفتاحية. على سبيل المثال، في النص أعلاه، قد نتعلم قاعدة تنص على أن العبارات التي تبدأ بحرف كبير يُرجح أن تكون عبارات مفتاحية. بعد تدريب المصنف، يمكننا اختيار العبارات المفتاحية لمستندات الاختبار بالطريقة التالية. نُطبّق نفس استراتيجية توليد الأمثلة على مستندات الاختبار، ثم نُمرّر كل مثال عبر نموذج التعلّم. يُمكننا تحديد الكلمات المفتاحية من خلال النظر إلى قرارات التصنيف الثنائي أو الاحتمالات المُسترجعة من النموذج المُتعلّم. في حال توفّر الاحتمالات، يتم استخدام عتبة لاختيار الكلمات المفتاحية. تُقيّم مُستخلصات الكلمات المفتاحية عمومًا باستخدام الدقة والاستدعاء . تقيس الدقة عدد الكلمات المفتاحية المُقترحة الصحيحة فعليًا. بينما يقيس الاستدعاء عدد الكلمات المفتاحية الصحيحة التي اقترحها النظام. يُمكن دمج المقياسين في مُقياس F، وهو المتوسط ​​التوافقي لهما ( F  =  2PR / ( P + R )). يُمكن التحقق من التطابقات بين الكلمات المفتاحية المُقترحة والكلمات المفتاحية المعروفة بعد تجذير الكلمات أو تطبيق أي نوع آخر من تسوية النصوص.  

يتطلب تصميم نظام استخلاص العبارات المفتاحية الخاضع للإشراف اتخاذ عدة قرارات (ينطبق بعضها على الأنظمة غير الخاضعة للإشراف أيضًا). أول هذه القرارات هو كيفية توليد الأمثلة. استخدم تورني وآخرون جميع الكلمات المفردة والثنائية والثلاثية الممكنة دون علامات ترقيم وبعد إزالة الكلمات الشائعة. أوضح هولث أنه يمكن تحقيق بعض التحسين باختيار الأمثلة على شكل سلاسل من الرموز التي تتطابق مع أنماط معينة من علامات أجزاء الكلام. من الناحية المثالية، تُنتج آلية توليد الأمثلة جميع العبارات المفتاحية المصنفة المعروفة كمرشحة، مع أن هذا ليس هو الحال دائمًا. على سبيل المثال، إذا استخدمنا الكلمات المفردة والثنائية والثلاثية فقط، فلن نتمكن أبدًا من استخلاص عبارة مفتاحية معروفة تحتوي على أربع كلمات. وبالتالي، قد يتأثر معدل الاستدعاء سلبًا. مع ذلك، قد يؤدي توليد عدد كبير جدًا من الأمثلة إلى انخفاض الدقة.

نحتاج أيضًا إلى إنشاء خصائص تصف الأمثلة وتكون غنية بالمعلومات بما يكفي لتمكين خوارزمية التعلم من التمييز بين العبارات المفتاحية وغير المفتاحية. تتضمن هذه الخصائص عادةً ترددات المصطلحات المختلفة (عدد مرات ظهور العبارة في النص الحالي أو في مجموعة نصوص أكبر)، وطول المثال، والموقع النسبي لأول ظهور، وخصائص نحوية منطقية متنوعة (مثل احتواء النص على أحرف كبيرة فقط)، وما إلى ذلك. استخدمت ورقة تورني البحثية حوالي 12 خاصية من هذا القبيل. بينما يستخدم هولث مجموعة مُصغّرة من الخصائص، والتي وُجد أنها الأكثر نجاحًا في خوارزمية استخراج العبارات المفتاحية (KEA) المُستمدة من ورقة تورني البحثية الرائدة.

في النهاية، سيحتاج النظام إلى إرجاع قائمة بالكلمات المفتاحية لمستند اختبار، لذا نحتاج إلى طريقة لتقييد عددها. استُخدمت أساليب التجميع (أي استخدام أصوات من عدة مصنفات) لإنتاج درجات رقمية يمكن تحديد عتبة لها لتوفير عدد من الكلمات المفتاحية يحدده المستخدم. هذه هي التقنية التي استخدمها تورني مع أشجار القرار C4.5. استخدم هولث مصنفًا ثنائيًا واحدًا، لذا تحدد خوارزمية التعلم ضمنيًا العدد المناسب.

بعد إنشاء الأمثلة والخصائص، نحتاج إلى طريقة لتعلم التنبؤ بالعبارات المفتاحية. يمكن استخدام أي خوارزمية تعلم خاضعة للإشراف تقريبًا، مثل أشجار القرار، وخوارزمية بايز البسيطة ، واستقراء القواعد. في حالة خوارزمية GenEx لتورني، تُستخدم خوارزمية جينية لتعلم معلمات خوارزمية استخراج العبارات المفتاحية الخاصة بمجال معين. يتبع المستخرج سلسلة من الطرق الاستدلالية لتحديد العبارات المفتاحية. تعمل الخوارزمية الجينية على تحسين معلمات هذه الطرق الاستدلالية بناءً على الأداء على مستندات التدريب التي تحتوي على عبارات مفتاحية معروفة.

النهج غير الخاضع للإشراف: TextRank

خوارزمية أخرى لاستخراج العبارات المفتاحية هي TextRank. مع أن الطرق الخاضعة للإشراف تتمتع ببعض الخصائص الجيدة، مثل القدرة على إنتاج قواعد قابلة للتفسير لما يميز العبارة المفتاحية، إلا أنها تتطلب كمية كبيرة من بيانات التدريب . يلزم وجود العديد من المستندات التي تحتوي على عبارات مفتاحية معروفة. علاوة على ذلك، يميل التدريب على مجال محدد إلى تخصيص عملية الاستخراج لهذا المجال، لذا فإن المصنف الناتج ليس بالضرورة قابلاً للتطبيق على نطاق واسع، كما توضح بعض نتائج تورني. يُزيل استخراج العبارات المفتاحية غير الخاضع للإشراف الحاجة إلى بيانات التدريب، إذ يعالج المشكلة من زاوية مختلفة. فبدلاً من محاولة تعلم خصائص صريحة تميز العبارات المفتاحية، تستغل خوارزمية TextRank [ 16 ] بنية النص نفسه لتحديد العبارات المفتاحية التي تبدو "محورية" فيه، بنفس الطريقة التي تختار بها PageRank صفحات الويب المهمة. تجدر الإشارة إلى أن هذا يعتمد على مفهوم "السمعة" أو "التوصية" من الشبكات الاجتماعية . بهذه الطريقة، لا يعتمد TextRank على أي بيانات تدريب سابقة على الإطلاق، بل يمكن تشغيله على أي نص، ويمكنه إنتاج مخرجات بناءً على خصائص النص الجوهرية. وبالتالي، يسهل نقل الخوارزمية إلى مجالات ولغات جديدة.

TextRank خوارزمية تصنيف عامة الأغراض تعتمد على الرسوم البيانية في معالجة اللغة الطبيعية . وهي في الأساس تُطبّق خوارزمية PageRank على رسم بياني مُصمّم خصيصًا لمهمة مُحدّدة في معالجة اللغة الطبيعية. لاستخراج العبارات المفتاحية، تُنشئ TextRank رسمًا بيانيًا باستخدام مجموعة من وحدات النص كرؤوس. وتعتمد الحواف على مقياس للتشابه الدلالي أو المعجمي بين رؤوس وحدات النص. على عكس PageRank، تكون الحواف عادةً غير مُوجّهة، ويمكن ترجيحها لتعكس درجة التشابه. بمجرد إنشاء الرسم البياني، يُستخدم لتكوين مصفوفة عشوائية، مُدمجة مع عامل تخميد (كما في نموذج التصفح العشوائي )، ويتم الحصول على الترتيب على الرؤوس من خلال إيجاد المتجه الذاتي المُقابل للقيمة الذاتية 1 (أي التوزيع الثابت للمسار العشوائي على الرسم البياني).

ينبغي أن تتوافق رؤوس الرسم البياني مع ما نرغب في تصنيفه. من الممكن، نظريًا، اتباع أسلوب مشابه للأساليب الخاضعة للإشراف، وإنشاء رأس لكل كلمة مفردة، أو ثنائية، أو ثلاثية، وهكذا. مع ذلك، وللحفاظ على صغر حجم الرسم البياني، قرر الباحثون تصنيف الكلمات المفردة في خطوة أولى، ثم إضافة خطوة ثانية لدمج الكلمات المفردة المتجاورة ذات التصنيف العالي لتكوين عبارات متعددة الكلمات. وهذا يُتيح لنا، بشكل غير مباشر، إنتاج عبارات مفتاحية بأطوال مختلفة. على سبيل المثال، إذا صنفنا الكلمات المفردة ووجدنا أن كلمات "متقدم"، و"طبيعي"، و"لغة"، و"معالجة" جميعها ذات تصنيف عالٍ، فسننظر إلى النص الأصلي ونجد أن هذه الكلمات تظهر متتالية، ثم نُنشئ عبارة مفتاحية نهائية باستخدام الكلمات الأربع معًا. تجدر الإشارة إلى أنه يمكن تصفية الكلمات المفردة في الرسم البياني حسب نوعها النحوي. وقد وجد الباحثون أن الصفات والأسماء هي الأنسب للتضمين. لذا، تُستخدَم بعض المعرفة اللغوية في هذه الخطوة.

في هذا التطبيق لخوارزمية TextRank، تُنشأ الروابط بناءً على تكرار الكلمات معًا . يرتبط رأسان برابط إذا ظهرت الكلمات المفردة ضمن نطاق حجمه N في النص الأصلي. يتراوح N عادةً بين 2 و10. على سبيل المثال، قد ترتبط كلمتا "طبيعي" و"لغة" في نص يتناول معالجة اللغات الطبيعية. كما ترتبط كلمتا "طبيعي" و"معالجة" أيضًا لظهورهما في نفس سلسلة الكلمات N. تستند هذه الروابط إلى مفهوم " تماسك النص "، أي أن الكلمات التي تظهر بالقرب من بعضها البعض غالبًا ما تكون مرتبطة بشكل دلالي، وتُشير إلى بعضها للقارئ.

بما أن هذه الطريقة تُرتّب الرؤوس الفردية ببساطة، فنحن بحاجة إلى طريقة لتحديد عتبة أو إنتاج عدد محدود من العبارات المفتاحية. تعتمد التقنية المختارة على تحديد قيمة T كنسبة يحددها المستخدم من إجمالي عدد الرؤوس في الرسم البياني. ثم يتم اختيار أفضل T رأس/كلمة مفردة بناءً على احتمالات ثباتها. بعد ذلك، تُطبّق خطوة معالجة لاحقة لدمج الحالات المتجاورة لهذه الكلمات المفردة T. ونتيجة لذلك، قد يتم إنتاج عدد من العبارات المفتاحية النهائية يزيد أو يقل عن T، ولكن يجب أن يكون العدد متناسبًا تقريبًا مع طول النص الأصلي.

ليس من الواضح في البداية سبب إنتاج عبارات مفتاحية مفيدة عند تطبيق خوارزمية PageRank على رسم بياني للتكرار المشترك. إحدى طرق فهم ذلك هي كالتالي: قد يكون للكلمة التي تظهر عدة مرات في النص العديد من الكلمات المجاورة لها. على سبيل المثال، في نص عن تعلم الآلة، قد تتكرر كلمة "learning" مع كلمات "machine" و"supervised" و"un-supervised" و"semi-supervised" في أربع جمل مختلفة. وبالتالي، ستكون نقطة "learning" بمثابة "محور" مركزي يربط هذه الكلمات الأخرى. من المرجح أن يؤدي تطبيق خوارزمية PageRank/TextRank على الرسم البياني إلى تصنيف كلمة "learning" بدرجة عالية. وبالمثل، إذا كان النص يحتوي على عبارة "supervised classification"، فسيكون هناك رابط بين "supervised" و"classification". إذا ظهرت كلمة "classification" في عدة مواضع أخرى، وبالتالي كان لها العديد من الكلمات المجاورة، فإن أهميتها ستساهم في أهمية كلمة "supervised". إذا حصلت على تصنيف عالٍ، فسيتم اختيارها كواحدة من أفضل T من الكلمات المفردة، إلى جانب كلمتي "التعلم" وربما "التصنيف". في خطوة المعالجة اللاحقة النهائية، سنحصل على العبارات الرئيسية "التعلم الخاضع للإشراف" و"التصنيف الخاضع للإشراف".

باختصار، سيحتوي مخطط التواجد المشترك على مناطق مترابطة بكثافة للمصطلحات التي تظهر بشكل متكرر وفي سياقات مختلفة. وسيؤدي السير العشوائي على هذا المخطط إلى توزيع ثابت يُعطي احتمالات عالية للمصطلحات الموجودة في مراكز المجموعات. وهذا يُشبه تصنيف صفحات الويب المترابطة بكثافة في مرتبة عالية وفقًا لخوارزمية PageRank. وقد استُخدم هذا النهج أيضًا في تلخيص المستندات، كما سنتناوله لاحقًا.

ملخص الوثائق

على غرار استخراج الكلمات المفتاحية، يهدف تلخيص المستندات إلى تحديد جوهر النص. والفرق الحقيقي الوحيد هو أننا نتعامل الآن مع وحدات نصية أكبر - جمل كاملة بدلاً من الكلمات والعبارات.

أساليب التعلم الخاضع للإشراف

يُشبه تلخيص النصوص الخاضع للإشراف إلى حد كبير استخراج العبارات الرئيسية الخاضع للإشراف. فببساطة، إذا توفرت لديك مجموعة من المستندات وملخصات بشرية لها، يمكنك استخلاص خصائص الجمل التي تجعلها مرشحة جيدة للإدراج في الملخص. قد تشمل هذه الخصائص موقع الجملة في المستند (أي أن الجمل القليلة الأولى غالبًا ما تكون مهمة)، وعدد كلمات الجملة، وما إلى ذلك. تكمن الصعوبة الرئيسية في التلخيص الاستخراجي الخاضع للإشراف في ضرورة إنشاء الملخصات المعروفة يدويًا عن طريق استخراج الجمل، بحيث يمكن تصنيف الجمل في مستند التدريب الأصلي على أنها "مُدرجة في الملخص" أو "غير مُدرجة فيه". هذه ليست الطريقة المعتادة لإنشاء الملخصات، لذا فإن استخدام ملخصات المجلات أو الملخصات الموجودة لا يكفي عادةً. لا تتطابق الجمل في هذه الملخصات بالضرورة مع الجمل في النص الأصلي، مما يجعل من الصعب تصنيف الأمثلة لأغراض التدريب. مع ذلك، تجدر الإشارة إلى أنه لا يزال بالإمكان استخدام هذه الملخصات الطبيعية لأغراض التقييم، لأن تقييم ROUGE-1 لا يأخذ في الاعتبار سوى الكلمات المفردة.

التلخيص القائم على أقصى إنتروبيا

خلال ورش عمل التقييم التي عقدتها منظمة DUC عامي 2001 و2002، طوّرت منظمة TNO نظامًا لاستخراج الجمل لتلخيص الوثائق المتعددة في مجال الأخبار. اعتمد النظام على نظام هجين يستخدم مصنف بايز الساذج ونماذج لغوية إحصائية لنمذجة الأهمية. ورغم أن النظام أظهر نتائج جيدة، فقد رغب الباحثون في استكشاف فعالية مصنف أقصى إنتروبيا (ME) في مهمة تلخيص الاجتماعات، نظرًا لأن أقصى إنتروبيا معروف بمقاومته لاعتمادية السمات. كما طُبّق أقصى إنتروبيا بنجاح في تلخيص الأخبار الإذاعية.

التلخيص التكيفي

يُعدّ التلخيص التكيفي للوثائق/النصوص نهجًا واعدًا. [ 17 ] ويتضمن هذا النهج أولًا تحديد نوع النص، ثم تطبيق خوارزميات تلخيص مُحسّنة لهذا النوع. وقد تم تطوير برامج من هذا النوع. [ 18 ]

TextRank و LexRank

يُشابه أسلوب التلخيص غير الخاضع للإشراف في جوهره أسلوب استخراج العبارات الرئيسية غير الخاضع للإشراف، ويتجاوز مشكلة البيانات التدريبية المكلفة. تعتمد بعض أساليب التلخيص غير الخاضعة للإشراف على إيجاد جملة مركزية ، وهي عبارة عن متوسط ​​متجه الكلمات لجميع الجمل في المستند. بعد ذلك، يمكن ترتيب الجمل وفقًا لمدى تشابهها مع هذه الجملة المركزية.

يُعدّ استخدام المسارات العشوائية ومركزية المتجه الذاتي طريقةً أكثر منهجيةً لتقدير أهمية الجمل. يُعتبر LexRank [ 19 ] خوارزميةً مطابقةً تقريبًا لـ TextRank، وكلاهما يستخدم هذا النهج لتلخيص المستندات. طُوّرت الطريقتان من قِبل مجموعتين مختلفتين في الوقت نفسه، وركّز LexRank ببساطة على التلخيص، ولكن يُمكن استخدامه بسهولة لاستخراج العبارات الرئيسية أو أي مهمة تصنيف أخرى في معالجة اللغة الطبيعية.

في كل من LexRank و TextRank، يتم إنشاء رسم بياني عن طريق إنشاء رأس لكل جملة في المستند.

تعتمد الروابط بين الجمل على نوع من التشابه الدلالي أو تداخل المحتوى. بينما يستخدم LexRank تشابه جيب التمام لمتجهات TF-IDF ، يستخدم TextRank مقياسًا مشابهًا جدًا يعتمد على عدد الكلمات المشتركة بين جملتين ( مُقسّمًا على طول الجمل). استكشفت ورقة LexRank استخدام روابط غير مُرجّحة بعد تطبيق عتبة على قيم جيب التمام، كما جرّبت استخدام روابط بأوزان تُساوي درجة التشابه. يستخدم TextRank درجات تشابه متصلة كأوزان.

في كلا الخوارزميتين، تُرتَّب الجمل بتطبيق خوارزمية PageRank على الرسم البياني الناتج. ويُشكَّل ملخصٌ بدمج الجمل الأعلى تصنيفًا، باستخدام عتبة أو حدٍّ أقصى للطول للحد من حجم الملخص.

تجدر الإشارة إلى أن خوارزمية TextRank طُبقت على التلخيص تمامًا كما هو موضح هنا، بينما استُخدمت خوارزمية LexRank كجزء من نظام تلخيص أوسع ( MEAD ) يجمع بين درجة LexRank (الاحتمالية الثابتة) وخصائص أخرى مثل موضع الجملة وطولها باستخدام توليفة خطية بأوزان يحددها المستخدم أو يتم ضبطها تلقائيًا. في هذه الحالة، قد تكون هناك حاجة إلى بعض المستندات التدريبية، على الرغم من أن نتائج TextRank تُظهر أن الخصائص الإضافية ليست ضرورية تمامًا.

على عكس TextRank، تم تطبيق LexRank على تلخيص المستندات المتعددة.

تلخيص متعدد الوثائق

يُعدّ تلخيص الوثائق المتعددة إجراءً آليًا يهدف إلى استخلاص المعلومات من نصوص متعددة تتناول الموضوع نفسه. ويتيح تقرير التلخيص الناتج للمستخدمين، كالمستهلكين المتخصصين للمعلومات، الاطلاع بسرعة على المعلومات الواردة في مجموعة كبيرة من الوثائق. وبهذه الطريقة، تُكمّل أنظمة تلخيص الوثائق المتعددة مُجمّعات الأخبار، مُشكّلةً بذلك خطوةً متقدمةً في سبيل التعامل مع وفرة المعلومات . كما يُمكن إجراء تلخيص الوثائق المتعددة استجابةً لسؤالٍ ما. [ 20 ] [ 11 ]

يُنتج تلخيص الوثائق المتعددة تقارير معلوماتية موجزة وشاملة في آنٍ واحد. فمن خلال تجميع الآراء المختلفة وتلخيصها، يُشرح كل موضوع من زوايا نظر متعددة ضمن وثيقة واحدة. وبينما يهدف الملخص الموجز إلى تبسيط البحث عن المعلومات وتوفير الوقت من خلال الإشارة إلى الوثائق المصدرية الأكثر صلة، ينبغي أن يحتوي الملخص الشامل للوثائق المتعددة على المعلومات المطلوبة بحد ذاته، مما يحد من الحاجة إلى الوصول إلى الملفات الأصلية إلا في الحالات التي تتطلب مزيدًا من التدقيق. وتُقدم الملخصات الآلية معلومات مُستخرجة من مصادر متعددة خوارزميًا، دون أي تدخل تحريري أو بشري، مما يجعلها موضوعية تمامًا.

تنوع

يواجه التلخيص الاستخلاصي متعدد الوثائق مشكلة التكرار. من الناحية المثالية، نسعى إلى استخلاص الجمل التي تتسم بالمركزية (أي التي تحتوي على الأفكار الرئيسية) والتنوع (أي التي تختلف عن بعضها البعض). على سبيل المثال، في مجموعة من المقالات الإخبارية حول حدث ما، من المرجح أن تحتوي كل مقالة على العديد من الجمل المتشابهة. لمعالجة هذه المشكلة، يطبق LexRank خطوة معالجة لاحقة استدلالية تضيف الجمل حسب ترتيبها، لكنها تستبعد الجمل شديدة التشابه مع تلك الموجودة بالفعل في الملخص. تُسمى هذه الطريقة "استيعاب المعلومات عبر الجمل" (CSIS). تعتمد هذه الطرق على فكرة أن الجمل "توصي" القارئ بجمل أخرى مشابهة. وبالتالي، إذا كانت جملة ما شديدة التشابه مع العديد من الجمل الأخرى، فمن المرجح أن تكون جملة ذات أهمية كبيرة. تنبع أهميتها أيضًا من أهمية الجمل "التي توصي" بها. لذلك، لكي تحصل الجملة على ترتيب عالٍ وتُدرج في الملخص، يجب أن تكون مشابهة للعديد من الجمل التي بدورها مشابهة للعديد من الجمل الأخرى. هذا منطقيٌّ وبديهي، ويُتيح تطبيق الخوارزميات على أي نص جديد. هذه الأساليب مستقلة عن المجال وقابلة للتطبيق بسهولة. قد يتصور المرء أن السمات التي تُشير إلى الجمل المهمة في مجال الأخبار قد تختلف اختلافًا كبيرًا عن تلك الموجودة في المجال الطبي الحيوي. مع ذلك، فإن النهج غير الخاضع للإشراف والقائم على "التوصيات" يُناسب أي مجال.

تُعدّ طريقة الأهمية الهامشية القصوى (MMR) [ 21 ] طريقةً ذات صلة ، وهي تستخدم خوارزمية تصنيف عامة الأغراض قائمة على الرسوم البيانية، مثل Page/Lex/TextRank، والتي تُعالج كلاً من "المركزية" و"التنوع" ضمن إطار رياضي موحد قائم على مسارات ماركوف العشوائية الممتصة (مسار عشوائي تنتهي عنده حالات معينة). تُسمى هذه الخوارزمية GRASSHOPPER [ 22 ] . إضافةً إلى تعزيز التنوع بشكلٍ صريح خلال عملية التصنيف، تُدمج GRASSHOPPER تصنيفًا مسبقًا (يعتمد على موضع الجملة في حالة التلخيص).

تُحقق أحدث النتائج في مجال تلخيص الوثائق المتعددة باستخدام مزيج من الدوال شبه المعيارية. وقد حققت هذه الطرق نتائج متميزة في مجموعات بيانات تلخيص الوثائق DUC 04-07. [ 23 ] كما تم تحقيق نتائج مماثلة باستخدام عمليات النقاط المحددة (وهي حالة خاصة من الدوال شبه المعيارية) لمجموعة بيانات DUC-04. [ 24 ]

تُقدّم هذه الطريقة الجديدة لتلخيص النصوص متعددة اللغات والوثائق، والتي تتجنب التكرار، أسلوبًا يُولّد رموزًا تصويرية لتمثيل معنى كل جملة في كل وثيقة، ثم يُقيّم التشابه من خلال مقارنة شكل الرمز وموقعه. لا تعتمد هذه الطريقة على تردد الكلمات أو التدريب أو المعالجة المسبقة، بل تستخدم معيارين يُحدّدهما المستخدم: التكافؤ (متى تُعتبر جملتان متكافئتين؟) والملاءمة (ما هو طول الملخص المطلوب؟).

الدوال الفرعية كأدوات عامة للتلخيص

برز مفهوم دالة المجموعة شبه المعيارية مؤخرًا كأداة نمذجة فعّالة لمختلف مسائل التلخيص. تُنمذج الدوال شبه المعيارية بطبيعتها مفاهيم التغطية والمعلومات والتمثيل والتنوع . علاوة على ذلك، تظهر العديد من مسائل التحسين التوافقي المهمة كحالات خاصة من التحسين شبه المعياري. على سبيل المثال، تُعد مسألة تغطية المجموعة حالة خاصة من التحسين شبه المعياري، نظرًا لأن دالة تغطية المجموعة شبه معيارية. تسعى دالة تغطية المجموعة إلى إيجاد مجموعة فرعية من العناصر التي تُغطي مجموعة معينة من المفاهيم. على سبيل المثال، في تلخيص المستندات، يُراد أن يُغطي الملخص جميع المفاهيم المهمة والوثيقة الصلة في المستند. هذه حالة من حالات تغطية المجموعة. وبالمثل، تُعد مسألة تحديد موقع المنشأة حالة خاصة من الدوال شبه المعيارية. كما تُنمذج دالة تحديد موقع المنشأة التغطية والتنوع بشكل طبيعي. مثال آخر على مسألة التحسين شبه المعياري هو استخدام عملية النقطة المحددة لنمذجة التنوع. وبالمثل، يمكن اعتبار إجراء الحد الأقصى للأهمية الهامشية حالة من حالات التحسين شبه المعياري. جميع هذه النماذج المهمة التي تشجع التغطية والتنوع والمعلومات هي نماذج فرعية. علاوة على ذلك، يمكن دمج الدوال الفرعية بكفاءة، وتبقى الدالة الناتجة فرعية. لذا، يمكن دمج دالة فرعية تمثل التنوع، وأخرى تمثل التغطية، والاستعانة بالإشراف البشري لتعلم نموذج مناسب للدالة الفرعية للمشكلة.

على الرغم من أن الدوال شبه المعيارية تُعدّ مسائل ملائمة للتلخيص، إلا أنها تسمح أيضًا بخوارزميات فعّالة للغاية للتحسين. على سبيل المثال، تضمن خوارزمية جشعة بسيطة عاملًا ثابتًا. [ 25 ] علاوة على ذلك، تتميز الخوارزمية الجشعة بسهولة تطبيقها وقدرتها على التوسع لتشمل مجموعات بيانات ضخمة، وهو أمر بالغ الأهمية في مسائل التلخيص.

حققت الدوال شبه المعيارية أداءً متميزًا في جميع مسائل التلخيص تقريبًا. فعلى سبيل المثال، تُظهر دراسة لين وبيلمز (2012) [ 26 ] أن الدوال شبه المعيارية حققت أفضل النتائج حتى الآن على أنظمة DUC-04 وDUC-05 وDUC-06 وDUC-07 لتلخيص المستندات. وبالمثل، تُظهر دراسة لين وبيلمز (2011) [ 27 ] أن العديد من الأنظمة الحالية للتلخيص التلقائي هي نماذج للدوال شبه المعيارية. وقد مثّلت هذه النتيجة إنجازًا رائدًا في ترسيخ الدوال شبه المعيارية كنموذج أمثل لمسائل التلخيص.

استُخدمت الدوال شبه المعيارية أيضًا في مهام تلخيص أخرى. فقد أظهر تشياتشيك وآخرون (2014) [ 28 ] أن مزيج الدوال شبه المعيارية يحقق نتائج متقدمة في تلخيص مجموعات الصور. وبالمثل، أظهر بايري وآخرون (2015) [ 29 ] فائدة الدوال شبه المعيارية في تلخيص التسلسلات الهرمية للمواضيع في مستندات متعددة. كما استُخدمت الدوال شبه المعيارية بنجاح في تلخيص مجموعات بيانات التعلم الآلي [ 30 ] .

التطبيقات

تشمل التطبيقات المحددة للتلخيص التلقائي ما يلي:

تقييم

إن الطريقة الأكثر شيوعًا لتقييم مدى إفادة الملخصات الآلية هي مقارنتها بملخصات النماذج التي يصنعها الإنسان.

يمكن أن يكون التقييم داخليًا أو خارجيًا، [ 37 ] وبين النصوص أو داخل النصوص. [ 38 ]

الجوهري مقابل الخارجي

يُقيّم التقييم الداخلي الملخصات مباشرةً، بينما يُقيّم التقييم الخارجي تأثير نظام التلخيص على إنجاز مهام أخرى. وقد ركزت التقييمات الداخلية بشكل أساسي على تماسك الملخصات ووضوحها. أما التقييمات الخارجية، فقد اختبرت تأثير التلخيص على مهام مثل تقييم الصلة بالموضوع، وفهم المقروء، وغيرها.

النص المتبادل مقابل النص الداخلي

يقوم التقييم داخل النص بتقييم مخرجات نظام تلخيص محدد، بينما يركز التقييم بين النصوص على التحليل المقارن لمخرجات العديد من أنظمة التلخيص.

يتباين التقييم البشري بشكل كبير فيما يعتبره ملخصًا "جيدًا"، لذا فإن إنشاء عملية تقييم آلية أمر بالغ الصعوبة. يمكن استخدام التقييم اليدوي، ولكنه يتطلب وقتًا وجهدًا كبيرين، إذ يستلزم قراءة الملخصات والوثائق الأصلية. ومن المشكلات الأخرى تلك المتعلقة بالترابط والشمولية.

الطريقة الأكثر شيوعًا لتقييم الملخصات هي طريقة ROUGE (التقييم الموجه نحو الاستذكار). وهي شائعة جدًا في أنظمة التلخيص والترجمة في مؤتمرات فهم الوثائق التابعة للمعهد الوطني للمعايير والتكنولوجيا (NIST ).ROUGE هو مقياس يعتمد على الاستذكار، ويقيس مدى تغطية الملخص لمحتوى الملخصات المرجعية التي يُعدّها البشر. يحسب هذا المقياس تداخلات الكلمات (n-gram) بين الملخصات المُنشأة تلقائيًا والملخصات المكتوبة يدويًا. ويعتمد على الاستذكار لتشجيع تضمين جميع المواضيع المهمة في الملخصات. يمكن حساب الاستذكار بناءً على مطابقة الكلمات المفردة (unigram)، أو الثنائية (bigram)، أو الثلاثية (trigram)، أو الرباعية (4gram). على سبيل المثال، ROUGE-1 هو نسبة الكلمات المفردة التي تظهر في كل من الملخص المرجعي والملخص التلقائي من إجمالي الكلمات المفردة في الملخص المرجعي. في حال وجود أكثر من ملخص مرجعي، يتم حساب متوسط ​​درجاتها. يشير مستوى التداخل العالي إلى درجة عالية من المفاهيم المشتركة بين الملخصين.

لا يستطيع برنامج ROUGE تحديد ما إذا كانت النتيجة متماسكة، أي ما إذا كانت الجمل تتدفق معًا بشكل منطقي. وتساعد مقاييس ROUGE عالية الرتبة (n-gram) إلى حد ما.

ومن المشاكل الأخرى التي لم تُحل بعد مشكلة حل الإحالة . وبالمثل، بالنسبة لتلخيص الصور، طور تشياتشيك وآخرون مقياس Visual-ROUGE الذي يقيم أداء خوارزميات تلخيص الصور. [ 39 ]

التلخيص الخاص بالمجال مقابل التلخيص المستقل عن المجال

تُطبّق تقنيات التلخيص غير المرتبطة بمجالٍ مُحدد مجموعاتٍ من السمات العامة لتحديد مقاطع النصوص الغنية بالمعلومات. وتركز الأبحاث الحديثة على التلخيص الخاص بمجالٍ مُحدد باستخدام المعرفة الخاصة بمجال النص، مثل المعرفة الطبية والأنطولوجيات لتلخيص النصوص الطبية. [ 40 ]

نوعي

يتمثل العيب الرئيسي لأنظمة التقييم الحالية في حاجتنا إلى ملخص مرجعي (بل وأكثر من ملخص في بعض الطرق) لمقارنة الملخصات الآلية بالنماذج. وهذه مهمة شاقة ومكلفة، إذ تتطلب جهودًا كبيرة لإنشاء مجموعات من النصوص وملخصاتها. علاوة على ذلك، تتطلب بعض الطرق إضافة تعليقات توضيحية يدوية للملخصات (مثل SCU في طريقة الهرم). كما أنها جميعًا تُجري تقييمًا كميًا باستخدام مقاييس تشابه مختلفة.

تاريخ

يعود تاريخ أول منشور في هذا المجال إلى عام 1957 [ 41 ] ( هانز بيتر لونه )، حيث بدأ بتقنية إحصائية. وشهد البحث نموًا ملحوظًا في عام 2015. وبحلول عام 2016، استُخدمت تقنية تردد المصطلحات - تردد المستند العكسي. وبحلول عام 2016، كان التلخيص القائم على الأنماط الخيار الأقوى لتلخيص المستندات المتعددة. وفي العام التالي، تفوقت عليه تقنية التحليل الدلالي الكامن (LSA) المقترنة بتحليل المصفوفات غير السالبة (NMF). ورغم أن هذه التقنيات لم تحل محل الأساليب الأخرى، وكثيرًا ما تُستخدم معها، إلا أن أساليب التعلم الآلي هيمنت بحلول عام 2019 على التلخيص الاستخراجي للمستندات المفردة، والذي اعتُبر حينها مقتربًا من مرحلة النضج. وبحلول عام 2020، كان المجال لا يزال نشطًا للغاية، ويتجه البحث نحو التلخيص التجريدي والتلخيص الفوري. [ 42 ]

الأساليب الحديثة

أدى ظهور نماذج المحولات مؤخرًا، والتي حلت محل الشبكات العصبية المتكررة التقليدية ( LSTM )، إلى توفير مرونة في تحويل تسلسلات النصوص إلى تسلسلات نصية من نوع مختلف، مما يجعلها مناسبة تمامًا للتلخيص التلقائي. ويشمل ذلك نماذج مثل T5 [ 43 ] وPegasus [ 44 ] .

انظر أيضاً

مراجع

  1. ↑ توريس-مورينو، خوان-مانويل (1 أكتوبر 2014). التلخيص الآلي للنصوص . وايلي. ص  320 وما بعدها. ISBN 978-1-848-21668-6.
  2. ↑ بان، شينغجيا؛ تانغ، فان؛ دونغ، ويمينغ؛ ما، تشونغيانغ؛ مينغ، ييبينغ؛ هوانغ، فييو؛ لي، تونغ-يي؛ شو، تشانغشنغ (2021-04-01). "التلخيص المرئي القائم على المحتوى لمجموعة الصور". معاملات IEEE في التصور ورسومات الحاسوب . 27 (4): 2298-2312 . Bibcode : 2021ITVCG..27.2298P . doi : 10.1109 / tvcg.2019.2948611 . ISSN 1077-2626 . PMID 31647438. S2CID 204865221 .   
  3. ↑ «المنظمة العالمية للملكية الفكرية تنشر براءة اختراع لشركة KT بعنوان "نظام وطريقة تلخيص الصور" (مخترعون من كوريا الجنوبية)» . خدمة أخبار الاحتياطي الفيدرالي الأمريكي . 10 يناير 2018. ProQuest 1986931333. تم الاطلاع عليه في 22 يناير 2021 . 
  4. ↑ لي تان؛ يانغكيو سونغ؛ شيكسيا ليو ؛ ليكسينغ شي (فبراير 2012). "ImageHive: تلخيص تفاعلي للصور مع مراعاة المحتوى". مجلة IEEE لرسومات الحاسوب وتطبيقاتها . 32 (1): 46-55 . Bibcode : 2012ICGA...32a..46T . doi : 10.1109/mcg.2011.89 . ISSN 0272-1716 . PMID 24808292. S2CID 7668289 .   
  5. ↑ سانكار ك. بال؛ ألفريدو بيتروسينو؛ لوسيا مادالينا (25 يناير 2012). دليل الحوسبة المرنة للمراقبة بالفيديو . مطبعة سي آر سي. ص 81 وما بعدها. ISBN  978-1-4398-5685-7.
  6. ↑ إلهاميفار، إحسان؛ سابيرو، غييرمو؛ فيدال، رينيه (2012). "رؤية الكل من خلال النظر إلى القليل: النمذجة المتفرقة لإيجاد الكائنات التمثيلية". مؤتمر IEEE لعام 2012 حول رؤية الحاسوب والتعرف على الأنماط . IEEE. ص 1600-1607 . doi : 10.1109/CVPR.2012.6247852 . ISBN  978-1-4673-1228-8. S2CID 5909301 . 
  7. ↑ مادمليس، يوانيس؛ تيفاس، أناستاسيوس؛ نيكولايديس، نيكوس؛ بيتا، يوانيس (2016). "تلخيص الأفلام المجسمة متعددة الوسائط بما يتوافق مع الخصائص السردية" (ملف PDF) . معاملات IEEE في معالجة الصور . 25 (12). IEEE: 5828-5840 . Bibcode : 2016ITIP...25.5828M . doi : 10.1109/TIP.2016.2615289 . hdl : 1983/2bcdd7a5-825f-4ac9-90ec-f2f538bfcb72 . PMID 28113502. S2CID 18566122. تاريخ الاسترجاع : 4 ديسمبر 2022 .  
  8. ↑ مادمليس، يوانيس؛ تيفاس، أناستاسيوس؛ بيتا، يوانيس (2018). "إطار عمل لتعلم القاموس البارز لتلخيص فيديوهات الأنشطة عبر استخراج الإطارات الرئيسية" . علوم المعلومات . 432. إلسيفير: 319-331 . doi : 10.1016/j.ins.2017.12.020 . تاريخ الاسترجاع: 4 ديسمبر 2022 .
  9. ↑ "ملخصات مُنشأة تلقائيًا في مستندات جوجل" . مدونة جوجل للذكاء الاصطناعي . 23 مارس 2022. تاريخ الاسترجاع: 3 أبريل 2022 .
  10. ↑ ريتشارد سوتز، بيتر ويفركا. كيفية قراءة النصوص بسرعة. https://www.dummies.com/education/language-arts/speed-reading/how-to-skim-text/ تم الاطلاع عليه في ديسمبر 2019.
  11. 1 2 أفزال م، علم ف، مالك ك م، مالك ج م، تلخيص النصوص الطبية الحيوية الواعية بالسياق السريري باستخدام الشبكة العصبية العميقة: تطوير النموذج والتحقق من صحته ، مجلة أبحاث الإنترنت الطبية 2020؛ 22 (10): e19810، DOI: 10.2196/19810، PMID 33095174
  12. ↑ تشاي، تشنغ شيانغ (2016). إدارة وتحليل البيانات النصية : مقدمة عملية لاسترجاع المعلومات واستخراج البيانات النصية . شون ماسونغ. [نيويورك، نيويورك]. ص 321. ISBN   978-1-970001-19-8. OCLC 957355971 . {{cite book}}: CS1 maint: موقع الناشر مفقود ( رابط )
  13. ↑ خورخي إي. كامارغو وفابيو أ. غونزاليس. طريقة محاذاة النواة متعددة الفئات لتلخيص مجموعات الصور. في وقائع المؤتمر الأيبيري الأمريكي الرابع عشر حول التعرف على الأنماط: التقدم في التعرف على الأنماط، وتحليل الصور، ورؤية الحاسوب، والتطبيقات (CIARP '09)، إدواردو بايرو-كوروتشانو ويان-أولوف إكلوند (محرران). سبرينغر-فيرلاغ، برلين، هايدلبرغ، 545-552. doi : 10.1007/978-3-642-10268-4_64
  14. ↑ الرحامي، حسن ح؛ ووكر، كورال (2018). "SemCluster: استخراج العبارات الرئيسية تلقائيًا دون إشراف باستخدام نشر التقارب". التطورات في أنظمة الذكاء الحسابي . التطورات في الأنظمة الذكية والحوسبة. المجلد 650. الصفحات 222-235 . doi : 10.1007/978-3-319-66939-7_19 . ISBN   978-3-319-66938-0.
  15. ↑ تورني، بيتر د. (2002). "خوارزميات التعلم لاستخراج العبارات المفتاحية". استرجاع المعلومات . 2 (4): 303-336 . arXiv : cs/0212020 . Bibcode : 2002cs.......12020T . doi : 10.1023/A:1009976227802 . S2CID 7007323 . 
  16. ↑ رادا ميهالسا وبول تارو، 2004: TextRank: تنظيم النصوص ، قسم علوم الحاسوب، جامعة شمال تكساس. "نسخة مؤرشفة" (PDF) . مؤرشفة من الأصل بتاريخ 17 يونيو 2012. تم الاطلاع عليها بتاريخ 20 يوليو 2012 .{{cite web}}CS1 maint: archived copy as title ( link ) CS1 maint: bot: original URL status unknown ( link )
  17. ↑ ياتسكو، ف.أ.؛ ستاريكوف، م.س.؛ بوتاكوف، أ.ف. (2010). "التعرف التلقائي على النوع الأدبي وتلخيص النصوص التكيفي". التوثيق التلقائي واللغويات الرياضية . 44 (3): 111-120 . doi : 10.3103/S0005105510030027 . S2CID 1586931 . 
  18. ↑ يونيس (الملخص العالمي)
  19. ↑ غونيش إركان ودراغومير ر. راديف: ليكس رانك: المركزية المعجمية القائمة على الرسم البياني كأهمية في تلخيص النصوص
  20. ↑ " أنظمة الإجابة على الأسئلة متعددة الاستخدامات: الرؤية في التركيب "، المجلة الدولية لأنظمة قواعد بيانات المعلومات الذكية، 5(2)، 119-142، 2011.
  21. ↑ كاربونيل، جايمي، وجايد غولدشتاين. " استخدام MMR، إعادة الترتيب القائم على التنوع لإعادة ترتيب المستندات وإنتاج الملخصات ." وقائع المؤتمر الدولي السنوي الحادي والعشرين لجمعية ACM SIGIR حول البحث والتطوير في استرجاع المعلومات. ACM، 1998.
  22. ↑ تشو، شياوجين، وآخرون. " تحسين التنوع في الترتيب باستخدام المشي العشوائي الممتص ". HLT-NAACL. 2007.
  23. ↑ هوي لين، جيف بيلمز. " تعلم مزيج من الأغلفة الفرعية مع تطبيق على تلخيص المستندات "
  24. ↑ أليكس كوليزا وبن تاسكار، عمليات النقاط الحتمية للتعلم الآلي . أسس واتجاهات في التعلم الآلي، ديسمبر 2012.
  25. ↑ نيمهاوزر، جورج ل.، لورانس أ. وولسي، ومارشال ل. فيشر. "تحليل التقريبات لتعظيم دوال المجموعات شبه المعيارية - الجزء الأول." البرمجة الرياضية 14.1 (1978): 265-294.
  26. ↑ هوي لين، جيف بيلمز. " تعلم مزيج من الأغلفة شبه المعيارية مع تطبيق على تلخيص المستندات "، UAI، 2012
  27. ↑ هوي لين، جيف بيلمز. " فئة من الدوال شبه المعيارية لتلخيص المستندات "، الاجتماع السنوي التاسع والأربعون لجمعية اللغويات الحاسوبية: تقنيات اللغة البشرية (ACL-HLT)، 2011
  28. ↑ سيباستيان تشياتشيك، ريشاب آير، هواشن وي وجيف بيلمز، تعلم مزيج الدوال شبه المعيارية لتلخيص مجموعة الصور ، في التقدم في أنظمة معالجة المعلومات العصبية (NIPS)، مونتريال، كندا، ديسمبر - 2014.
  29. ↑ راماكريشنا بايري، ريشاب آير، غانيش راماكريشنان وجيف بيلمز، تلخيص التسلسلات الهرمية للمواضيع متعددة المستندات باستخدام الخلطات شبه المعيارية ، سيتم نشره في الاجتماع السنوي لجمعية اللغويات الحاسوبية (ACL)، بكين، الصين، يوليو 2015
  30. ↑ كاي وي، ريشاب آير، وجيف بيلمز، " النمطية الفرعية في اختيار مجموعة فرعية من البيانات والتعلم النشط"، مؤرشف في 13 مارس 2017 على موقع Wayback Machine ، سيُنشر في وقائع المؤتمر الدولي للتعلم الآلي (ICML)، ليل، فرنسا، يونيو 2015
  31. ↑ "نظرة عامة على autotldr" . ريديت . تم الاطلاع عليه بتاريخ 9 فبراير 2017 .
  32. ↑ سكواير، ميغان (29 أغسطس 2016). إتقان استخراج البيانات باستخدام بايثون - اكتشاف الأنماط المخفية في بياناتك . دار نشر باكت المحدودة. رقم ISBN 9781785885914تم الاطلاع عليه بتاريخ 9 فبراير 2017 .
  33. ↑ "ما هو 'TLDR'؟" . لايف واير . تم الاطلاع عليه بتاريخ 9 فبراير 2017 .
  34. ↑ "ماذا تعني اختصارات TL;DR؟ وAMA؟ وTIL؟ مسرد مصطلحات واختصارات ريديت" . صحيفة إنترناشونال بيزنس تايمز . 29 مارس 2012. تاريخ الاطلاع: 9 فبراير 2017 .
  35. ^ بوتهاست، هاجن وستاين 2016 ، ص. 11-12.
  36. ↑ "ما هو PodShrink؟ شرح ملخصات البودكاست المدعومة بالذكاء الاصطناعي" . PodShrink . تم الاطلاع عليه بتاريخ 2 أبريل 2026 .
  37. ↑ ماني، آي. تقييم التلخيص: نظرة عامة
  38. ↑ ياتسكو، ف.أ.؛ فيشنياكوف، ت.ن. (2007). "طريقة لتقييم الأنظمة الحديثة لتلخيص النصوص الآلي". التوثيق الآلي واللغويات الرياضية . 41 (3): 93-103 . doi : 10.3103/S0005105507030041 . S2CID 7853204 . 
  39. ↑ سيباستيان تشياتشيك، ريشاب آير، هواشن وي وجيف بيلمز، تعلم مزيج الدوال شبه المعيارية لتلخيص مجموعات الصور ، في مؤتمر أنظمة معالجة المعلومات العصبية (NIPS)، مونتريال، كندا، ديسمبر 2014. (PDF)
  40. ↑ ساركير، عبيد؛ مولا، دييغو؛ باريس، سيسيل (2013). "نهج لتلخيص النصوص المرتكز على الاستعلامات في الطب القائم على الأدلة". الذكاء الاصطناعي في الطب . سلسلة محاضرات في علوم الحاسوب. المجلد 7885. الصفحات 295-304 . doi : 10.1007/978-3-642-38326-7_41 . ISBN   978-3-642-38325-0.
  41. ↑ لوهن، هانز بيتر (1957). "مقاربة إحصائية للترميز والبحث الآلي للمعلومات الأدبية" (ملف PDF). مجلة IBM للبحوث والتطوير. 1 (4): 309-317. doi:10.1147/rd.14.0309.
  42. ^ ويديساري، أدهيكا براميتا؛ رستاد، سوبريادي؛ شيديك، جوروه فجر؛ نورساسونجكو، إيدي؛ سيكور، عبد؛ أفندي، أفندي؛ سيتيادي، دي روزال إغناتيوس موسى (2020-05-20). "مراجعة تقنيات وأساليب التلخيص التلقائي للنص" . مجلة جامعة الملك سعود - علوم الحاسب والمعلومات . 34 (4): 1029-1046 . دوى : 10.1016/j.jksuci.2020.05.006 . ردمك 1319-1578 . 
  43. ↑ "استكشاف التعلم النقل باستخدام T5: محول نقل النص إلى النص" . مدونة جوجل للذكاء الاصطناعي . 24 فبراير 2020. تاريخ الاسترجاع: 3 أبريل 2022 .
  44. ↑ تشانغ، جيه.، تشاو، واي.، صالح، إم.، وليو، بي. (نوفمبر 2020). بيغاسوس: التدريب المسبق باستخدام جمل الفجوة المستخرجة للتلخيص التجريدي. في المؤتمر الدولي للتعلم الآلي (ص 11328-11339). PMLR.

المراجع

للمزيد من القراءة

  • هرقل، داليانيس (2003). نقل وتقييم التلخيص التلقائي .
  • روكسانا، أنجيلوتا (2002). استخدام تجزئة الموضوع للتلخيص التلقائي .
  • آن بويست (2004). التلخيص الآلي لبيانات الاجتماعات: دراسة جدوى (ملف PDF) . مؤرشف من النسخة الأصلية (ملف PDF) بتاريخ 23 يناير 2021. تم الاطلاع عليه بتاريخ 19 يوليو 2020 .
  • آني، لويس (2009). تقدير ثقة الأداء للتلخيص التلقائي .
  • إيلينا، لوريت ومانويل، بالومار (2009). قضايا صعبة في التلخيص الآلي: الكشف عن الصلة والتقييم القائم على الجودة . مؤرشف من الأصل بتاريخ 3 أكتوبر 2018. تم الاطلاع عليه بتاريخ 3 أكتوبر 2018 .{{cite book}}: صيانة CS1: أسماء متعددة: قائمة المؤلفين ( رابط )
  • أندرو، غولدبيرغ (2007). التلخيص التلقائي .
  • الرحامي، حسن (2018). "SemCluster: استخراج العبارات المفتاحية تلقائيًا دون إشراف باستخدام نشر التقارب". التطورات في أنظمة الذكاء الحسابي . التطورات في الأنظمة الذكية والحوسبة. المجلد  650. الصفحات 222-235 . doi : 10.1007/978-3-319-66939-7_19 . ISBN  978-3-319-66938-0.
  • إندريس-نيجماير، بريجيت (1998). تلخيص المعلومات . سبرينغر. رقم ISBN 978-3-540-63735-6.
  • ماركو، دانيال (2000). نظرية وممارسة تحليل الخطاب وتلخيصه . مطبعة معهد ماساتشوستس للتكنولوجيا. ISBN 978-0-262-13372-2.
  • ماني، إندرجيت (2001). التلخيص الآلي . ISBN 978-1-58811-060-2.
  • هوف ، جيسون (2010). تلخيص تلقائي .، عمل فني مفاهيمي باستخدام برنامج التلخيص التلقائي في برنامج مايكروسوفت وورد 2008.
  • ليهمام، عبد الرافع (2010). الملخص الأساسي: برنامج مبتكر لتلخيص النصوص تلقائيًا بعشرين لغة - مكتبة ACM الرقمية . مؤتمر Riao '10. الصفحات 216-217 . نُشر في وقائع مؤتمر RIAO'10 بعنوان "التكيف والتخصيص ودمج المعلومات غير المتجانسة"، مركز CID، باريس، فرنسا
  • شياوجين، تشو، أندرو غولدبرغ، يورغن فان غايل، وديفيد أندرزيوسكي (2007). تحسين التنوع في الترتيب باستخدام المشي العشوائي الممتص (PDF) .{{cite book}}صيانة CS1: أسماء متعددة: قائمة المؤلفين ( رابط ) ، خوارزمية الجراد
  • ميراندا-خيمينيز، سابينو، جيلبوخ، ألكسندر، وسيدوروف، غريغوري (2013). "تلخيص الرسوم البيانية المفاهيمية لمهمة التلخيص التلقائي". الهياكل المفاهيمية لبحوث وتعليم العلوم والتكنولوجيا والهندسة والرياضيات . سلسلة محاضرات في علوم الحاسوب. المجلد  7735. الصفحات 245-253 . doi : 10.1007/978-3-642-35786-2_18 . ISBN  978-3-642-35785-5.{{cite book}}: CS1 maint: multiple names: authors list ( link ) , Conceptual Structures for STEM Research and Education.