تجزئة النص

تجزئة الكلمات هي مشكلة تقسيم سلسلة من اللغة المكتوبة إلى كلماتها المكونة لها.

في اللغة الإنجليزية والعديد من اللغات الأخرى التي تستخدم شكلاً من أشكال الأبجدية اللاتينية ، تُعدّ المسافة تقريبًا جيدًا لفاصل الكلمات ، على الرغم من أن هذا المفهوم له حدود بسبب اختلاف نظرة اللغات إلى المتلازمات اللفظية والمركبات . تُكتب العديد من الأسماء المركبة في اللغة الإنجليزية بأشكال مختلفة (على سبيل المثال، ice box = ice-box = icebox ؛ pig sty = pig-sty = pigsty )، مع اختلاف مماثل في اعتبار المتحدثين لها عبارات اسمية أو أسماء مفردة؛ وهناك اتجاهات في كيفية وضع القواعد، مثل ميل المركبات المفتوحة غالبًا إلى التوطيد في النهاية من خلال العرف السائد، لكن التباين يبقى نظاميًا. في المقابل، تُظهر الأسماء المركبة الألمانية تباينًا إملائيًا أقل، حيث يُعدّ التوطيد قاعدة أقوى.  

مع ذلك، لا يوجد ما يُعادل رمز المسافة بين الكلمات في جميع أنظمة الكتابة، وبدونه تُصبح عملية تقسيم الكلمات مُشكلة صعبة. ومن اللغات التي لا تملك عملية تقسيم كلمات بسيطة: الصينية، واليابانية (حيث تُفصل الجمل دون الكلمات)، والتايلاندية واللاوية (حيث تُفصل العبارات والجمل دون الكلمات)، والفيتنامية ( حيث تُفصل المقاطع دون الكلمات).

لكن في بعض أنظمة الكتابة، مثل الكتابة الجعزية المستخدمة في الأمهرية والتغرينية من بين لغات أخرى ، يتم تحديد الكلمات بشكل صريح (على الأقل تاريخيًا) بحرف غير مسافة بيضاء.

نشر اتحاد يونيكود ملحقًا قياسيًا حول تجزئة النصوص ، ^{[ 1 ]} يستكشف قضايا التجزئة في النصوص متعددة الكتابة.

تقسيم الكلمات هو عملية تحليل النص المتصل (أي النص الذي لا يحتوي على مسافات أو فواصل كلمات أخرى) لاستنتاج مكان وجود فواصل الكلمات.

قد يشير مصطلح تقسيم الكلمات أيضًا إلى عملية التوصيل بين الكلمات .

اقترح بعض الباحثين أن تُكتب اللغة الصينية الحديثة بنظام تجزئة الكلمات، مع ترك مسافات بين الكلمات كما هو الحال في اللغة الإنجليزية المكتوبة. ^{[ ٢ ]} وذلك لوجود نصوص غامضة لا يعرف معناها المقصود إلا كاتبها. على سبيل المثال، قد تعني عبارة "美国会不同意。" "美国 会 不同意。" (لن توافق الولايات المتحدة) أو "美国会 不同意。" (لا يوافق الكونغرس الأمريكي). لمزيد من التفاصيل، انظر: الكتابة الصينية بنظام تجزئة الكلمات .

تجزئة النية هي مشكلة تقسيم الكلمات المكتوبة إلى عبارات رئيسية (مجموعتين أو أكثر من الكلمات).

في اللغة الإنجليزية وجميع اللغات الأخرى، يتم تحديد النية أو الرغبة الأساسية وتصبح حجر الزاوية في تجزئة النية باستخدام العبارة المفتاحية. ويرتكز جوهر هذه العبارة على المنتج/الخدمة، أو الفكرة، أو الفعل، أو الفكرة نفسها.

"[كل الأشياء مصنوعة من الذرات ]. [ جسيمات صغيرة تتحرك] [في حركة دائمة ]، [تتجاذب مع بعضها البعض ] [عندما تكون على مسافة صغيرة ]، [لكنها تتنافر ] [عند ضغطها ] [في بعضها البعض ]."

تجزئة الجملة هي مشكلة تقسيم سلسلة من النصوص المكتوبة إلى جملها المكونة لها . في اللغة الإنجليزية وبعض اللغات الأخرى، يُعد استخدام علامات الترقيم، وخاصة النقطة، تقريبًا مناسبًا. مع ذلك، حتى في اللغة الإنجليزية، لا تُعدّ هذه المشكلة بسيطة نظرًا لاستخدام النقطة للاختصارات، التي قد تُنهي الجملة أو لا. على سبيل المثال، كلمة " Mr. " ليست جملة مستقلة في جملة " Mr. Smith went to the shops in Jones Street". عند معالجة النصوص، يمكن لجداول الاختصارات التي تحتوي على نقاط أن تساعد في منع التحديد الخاطئ لحدود الجمل.

كما هو الحال مع تجزئة الكلمات، لا تحتوي جميع اللغات المكتوبة على علامات ترقيم مفيدة لتقريب حدود الجمل.

يتألف تحليل المواضيع من مهمتين رئيسيتين: تحديد المواضيع وتقسيم النص. فبينما تُعدّ الأولى تصنيفًا بسيطًا لنصٍّ مُحدّد، فإنّ الثانية تعني أنّ الوثيقة قد تحتوي على مواضيع مُتعدّدة، وقد تتمثّل مهمة تقسيم النصّ المحوسب في اكتشاف هذه المواضيع تلقائيًا وتقسيم النصّ وفقًا لذلك. وقد تكون حدود المواضيع واضحة من عناوين الأقسام والفقرات. وفي حالات أخرى، يلزم استخدام تقنيات مُشابهة لتلك المُستخدمة في تصنيف الوثائق .

قد يكون تقسيم النص إلى مواضيع أو محاور حوارية مفيدًا في بعض مهام المعالجة الطبيعية: إذ يُمكنه تحسين استرجاع المعلومات أو التعرف على الكلام بشكل ملحوظ (عن طريق فهرسة/التعرف على المستندات بدقة أكبر أو عن طريق تحديد الجزء المحدد من المستند الذي يتوافق مع الاستعلام كنتيجة). كما أنه ضروري في أنظمة الكشف عن المواضيع وتتبعها، وفي مشاكل تلخيص النصوص .

لقد تم تجربة العديد من الأساليب المختلفة: ^{[ 3 ] [ 4 ]} على سبيل المثال HMM ، والسلاسل المعجمية ، وتشابه المقاطع باستخدام تكرار الكلمات ، والتجميع ، ونمذجة المواضيع ، وما إلى ذلك.

إنها مهمة غامضة إلى حد كبير، إذ غالباً ما يختلف الأشخاص الذين يقيمون أنظمة تجزئة النصوص في تحديد حدود المواضيع. لذا، يُعد تقييم أجزاء النصوص مشكلة صعبة أيضاً.

قد تكون هناك حاجة إلى عمليات لتقسيم النص إلى أجزاء بالإضافة إلى ما ذكر، بما في ذلك المورفيمات (وهي مهمة تسمى عادة التحليل المورفولوجي ) أو الفقرات .