توحيد النص

📅 آخر تحديث: ١٩ يوليو ٢٠٢٦
✍️ نُشر في: ١٩ يوليو ٢٠٢٦
الموسوعة الحرة

توحيد النصوص هو عملية تحويل النص إلى شكل قياسي واحد ربما لم يكن عليه من قبل. يتيح توحيد النصوص قبل تخزينها أو معالجتها فصل المهام ، حيث يُضمن اتساق المدخلات قبل إجراء أي عمليات عليها. يتطلب توحيد النصوص معرفة نوع النص المراد توحيده وكيفية معالجته لاحقًا؛ ولا توجد طريقة موحدة لتوحيد النصوص تناسب جميع الأغراض. [ 1 ]

التطبيقات

تُستخدم عملية توحيد النص بشكل متكرر عند تحويل النص إلى كلام . فالأرقام والتواريخ والاختصارات والرموز هي "كلمات" غير قياسية تحتاج إلى نطق مختلف حسب السياق. [ 2 ] على سبيل المثال:

  • يُنطق الرقم "$200" في اللغة الإنجليزية على أنه "مائتا دولار"، ولكن يُنطق على أنه "lua selau tālā" في اللغة الساموية. [ 3 ]
  • يمكن نطق "vi" على النحو التالي: " vie " أو " vee " أو " the sixth " اعتمادًا على الكلمات المحيطة بها. [ 4 ]

يمكن أيضًا توحيد النصوص لتخزينها والبحث عنها في قاعدة البيانات. على سبيل المثال، إذا كان البحث عن كلمة "resume" يُطابق كلمة "résumé"، فسيتم توحيد النص بإزالة علامات التشكيل ؛ وإذا كان البحث عن كلمة "john" يُطابق كلمة "John"، فسيتم تحويل النص إلى حالة مفردة . ولإعداد النص للبحث، يمكن أيضًا تجذيره (مثل تحويل كلمتي "flew" و"flying" إلى "fly")، أو توحيده (مثل استخدام التهجئة الأمريكية أو البريطانية بشكل متسق )، أو إزالة الكلمات الشائعة .

التقنيات

للتطبيع البسيط غير المرتبط بالسياق، كإزالة الأحرف غير الأبجدية الرقمية أو علامات التشكيل ، تكفي التعابير النمطية . على سبيل المثال، يقوم برنامج sed بتطبيع سلاسل المسافات البيضاء إلى مسافة واحدة. أما التطبيع الأكثر تعقيدًا فيتطلب خوارزميات معقدة بالمثل، بما في ذلك معرفة مجال اللغة والمفردات المراد تطبيعها. من بين المناهج الأخرى، تم نمذجة تطبيع النصوص كمشكلة تجزئة وتصنيف تدفقات النصوص [ 5 ] وكحالة خاصة من الترجمة الآلية [ 6 ] [ 7 ] .sed ‑e "s/\s+/ /g"  inputfile

الدراسات النصية

في مجال الدراسات النصية وتحرير النصوص التاريخية، يشير مصطلح "التوحيد" إلى درجة من التحديث والتوحيد القياسي، كما في توسيع الاختصارات الكتابية ونقل الأحرف القديمة الموجودة عادةً في المخطوطات والمصادر المطبوعة القديمة. ولذلك، تُفرَّق الطبعة الموحدة عن الطبعة الدبلوماسية (أو شبه الدبلوماسية )، التي تُبذل فيها محاولة للحفاظ على هذه السمات. والهدف هو تحقيق توازن مناسب بين، من جهة، الالتزام الدقيق بالنص الأصلي (بما في ذلك، على سبيل المثال، الحفاظ على العناصر الغامضة والمبهمة)؛ ومن جهة أخرى، إنتاج نص جديد مفهوم وسهل الفهم للقارئ المعاصر. وبالتالي، فإن مدى التوحيد يخضع لتقدير المحرر، ويختلف من محرر لآخر. فبعض المحررين، على سبيل المثال، يختارون تحديث التهجئة وعلامات الترقيم القديمة، بينما لا يفعل ذلك آخرون. [ 8 ]

قد تُوحَّد طبعة نصٍّ ما بناءً على معايير داخلية، حيث تُوحَّد قواعد الكتابة وفقًا للغة النص الأصلي، أو بناءً على معايير خارجية، حيث تُطبَّق قواعد فترة زمنية مختلفة. [ 9 ] فعلى سبيل المثال، قد تُوحَّد طبعة منشورة لمخطوطة آيسلندية من العصور الوسطى وفقًا لقواعد اللغة الآيسلندية الحديثة، أو وفقًا للغة الآيسلندية القديمة الكلاسيكية . [ 9 ] وتختلف معايير التوحيد بناءً على لغة الطبعة، فضلًا عن القواعد الخاصة بالناشر.

انظر أيضاً

مراجع

  1. ↑ ريتشارد سبراوت وستيفن بيدريك (سبتمبر 2011). "CS506/606: Txt Nrmlztn" . تم الاطلاع عليه في 2 أكتوبر 2012 .
  2. ↑ سبراوت، ر.؛ بلاك، أ.؛ تشين، س.؛ كومار، س.؛ أوستندورف، م.؛ ريتشاردز، س. (2001). "تطبيع الكلمات غير القياسية". الكلام واللغة الحاسوبية 15 ؛ 287-333. doi : 10.1006/csla.2001.0169 .
  3. ↑ "الأرقام الساموية" . MyLanguages.org . تم الاطلاع عليه في 2 أكتوبر 2012 .
  4. ↑ "محركات تحويل النص إلى كلام: توحيد النص" . MSDN . تم الاطلاع عليه في 2 أكتوبر 2012 .
  5. ↑ تشو، سي.؛ تانغ، جيه.؛ لي، إتش.؛ نغ، إتش.؛ تشاو، تي. (2007). "نهج موحد للوسم لتطبيع النصوص". وقائع الاجتماع السنوي الخامس والأربعين لجمعية اللغويات الحاسوبية ؛ 688-695. doi : 10.1.1.72.8138 .
  6. ↑ فيليب، جي.؛ كريستوف، جيه.؛ أغنيشكا، دبليو.؛ ميكولاي، دبليو. (2006). "تطبيع النصوص كحالة خاصة من الترجمة الآلية." وقائع المؤتمر الدولي المتعدد حول علوم الحاسوب وتكنولوجيا المعلومات 1 ؛ 51-56.
  7. ↑ موسكيرا، أ.؛ لوريت، إ.؛ موريدا، ب. (2012). "نحو تسهيل الوصول إلى نصوص الويب 2.0 من خلال توحيد النصوص" وقائع ورشة عمل LREC: معالجة اللغة الطبيعية لتحسين إمكانية الوصول إلى النصوص (NLP4ITA) ؛ 9-14
  8. ↑ هارفي، بي دي إيه (2001). تحرير السجلات التاريخية . لندن: المكتبة البريطانية. ص 40-46 . ISBN  0-7123-4684-8.
  9. 1 2 برنهارسون، هارالدور؛ هاوجين، أود إينار؛ بيرج ، إيفار (12 ديسمبر 2019). "دليل مينوتا 3.0، الفصل 10. التطبيع" . أرشيف النص الشمالي في العصور الوسطى . تم الاسترجاع 18 نوفمبر، 2025 .