مجموعة الأحرف العالمية

الموسوعة الحرة

يتعاون اتحاد يونيكود ولجنة العمل 2 التابعة للجنة الفنية المشتركة 1/اللجنة الفرعية 2 / المجموعة العاملة 2 التابعة للمنظمة الدولية للمعايير/اللجنة الكهروتقنية الدولية على قائمة الأحرف في مجموعة الأحرف المشفرة العالمية . تُعرف مجموعة الأحرف المشفرة العالمية، أو اختصارًا UCS ( الاسم الرسمي: ISO / IEC 10646)، بأنها معيار دولي لربط الأحرف ، وهي رموز منفصلة تُستخدم في اللغة الطبيعية والرياضيات والموسيقى وغيرها من المجالات، بقيم بيانات فريدة قابلة للقراءة آليًا . من خلال إنشاء هذا الربط، تُمكّن UCS موردي برامج الحاسوب من التوافق وتبادل سلاسل النصوص المشفرة وفقًا لـ UCS فيما بينهم. ولأنها خريطة عالمية ، يمكن استخدامها لتمثيل لغات متعددة في الوقت نفسه. وهذا يتجنب الالتباس الناتج عن استخدام ترميزات أحرف قديمة متعددة ، والتي قد تؤدي إلى تفسيرات متعددة لنفس تسلسل الرموز اعتمادًا على ترميز الأحرف المستخدم، مما ينتج عنه تشوهات في الأحرف إذا تم اختيار الترميز الخاطئ.

يتمتع نظام ترميز يونيكود (UCS) بسعة محتملة تتجاوز مليون حرف. يُمثَّل كل حرف من أحرف UCS بشكل مجرد بنقطة ترميز ، وهي عدد صحيح يتراوح بين 0 و1,114,111 (1,114,112 = 2^ 20 + 2^ 16 أو 17 × 2^ 16 = 0 × 110000 نقطة ترميز )، وتُستخدم لتمثيل كل حرف ضمن المنطق الداخلي لبرامج معالجة النصوص . اعتبارًا من إصدار يونيكود 17.0 ، الذي صدر في سبتمبر 2025، تم تخصيص 303,808 نقطة ترميز (27%)، وتم تخصيص 159,866 نقطة ترميز (14%) لأحرف، و137,468 نقطة ترميز (12%) محجوزة للاستخدام الخاص ، و2,048 نقطة ترميز تُستخدم لتمكين آلية البدائل ، و66 نقطة ترميز مُصنَّفة كغير أحرف ، مما يترك 810,304 نقطة ترميز (73%) غير مُخصصة. يتكون عدد الأحرف المشفرة على النحو التالي:

  • 159,629 حرفًا رسوميًا (بعضها لا يحتوي على رمز مرئي ، ولكن لا يزال يتم احتسابها كرسومية)
  • 237 حرفًا خاصًا للتحكم والتنسيق .​

تحافظ المنظمة الدولية للتوحيد القياسي (ISO) على الربط الأساسي بين الأحرف، بدءًا من اسم الحرف وصولًا إلى رمزه. غالبًا ما يُستخدم مصطلحا "الحرف" و "رمزه" بشكل متبادل. مع ذلك، عند التمييز بينهما، يشير رمز الحرف إلى قيمته العددية ، أي ما يُمكن اعتباره عنوانه. في حين أن الحرف في معيار ISO/IEC 10646 يتضمن رمزه واسمه معًا، يُضيف معيار يونيكود العديد من الخصائص المفيدة الأخرى إلى مجموعة الأحرف، مثل الكتلة ، والفئة، والخط ، والاتجاه .

بالإضافة إلى معيار UCS، يوفر معيار Unicode التكميلي (وهو ليس مشروعًا مشتركًا مع ISO، بل منشور صادر عن اتحاد Unicode) تفاصيل تنفيذ أخرى مثل:

  1. عمليات الربط بين نظام الإحداثيات العالمي (UCS) ومجموعات الأحرف الأخرى
  2. ترتيبات مختلفة للأحرف وسلاسل الأحرف للغات المختلفة
  3. خوارزمية لتنسيق النصوص ثنائية الاتجاه (" خوارزمية BiDi ")، حيث يمكن أن ينتقل النص الموجود على نفس السطر بين اليسار إلى اليمين ("LTR") واليمين إلى اليسار ("RTL").
  4. خوارزمية طي الحالات

يقوم مستخدمو برامج الكمبيوتر بإدخال هذه الأحرف في البرامج من خلال طرق إدخال مختلفة، على سبيل المثال، لوحات المفاتيح الفعلية أو لوحات الأحرف الافتراضية .

يمكن تقسيم نظام الإحداثيات العالمي (UCS) بطرق مختلفة، مثل تقسيمه حسب المستوى أو الكتلة أو فئة الأحرف أو خاصية الأحرف . [ 1 ]

نظرة عامة على مرجع الشخصية

يشير مرجع الحرف الرقمي في لغة HTML أو XML إلى حرفٍ ما من خلال رمز مجموعة الأحرف العالمية /يونيكود الخاص به، ويستخدم التنسيق التالي:

&#nnnn;

أو

&#xهههه;

حيث يُمثل nnnn رمز النقطة بالصيغة العشرية ، و hhhh رمز النقطة بالصيغة الست عشرية . يجب أن يكون الحرف x صغيرًا في مستندات XML. يمكن أن يتكون nnnn أو hhhh من أي عدد من الأرقام، وقد يتضمن أصفارًا بادئة. يمكن أن يجمع hhhh بين الأحرف الكبيرة والصغيرة، مع أن الأحرف الكبيرة هي الأكثر شيوعًا.

على النقيض من ذلك، يشير مرجع كيان الحرف إلى حرف باسم كيان يحتوي على الحرف المطلوب كنص بديل له . يجب أن يكون الكيان إما مُعرَّفًا مسبقًا (مُدمجًا في لغة الترميز) أو مُصرَّحًا عنه صراحةً في تعريف نوع المستند (DTD). ويكون التنسيق مماثلاً لأي مرجع كيان آخر.

&اسم;

حيث يمثل "name" اسم الكيان مع مراعاة حالة الأحرف. الفاصلة المنقوطة مطلوبة.

طائرات

يقسم نظام يونيكود ومنظمة المعايير الدولية (ISO) مجموعة رموز الأحرف إلى 17 مستوى، يتسع كل منها لـ 65536 حرفًا مميزًا، أي ما مجموعه 1,114,112 حرفًا. وحتى عام 2025 (يونيكود 17.0 )، لم تخصص منظمة المعايير الدولية (ISO) واتحاد يونيكود سوى الأحرف والكتل في سبعة من المستويات السبعة عشر. أما المستويات المتبقية فتبقى فارغة ومحجوزة للاستخدام المستقبلي.

تُخصص معظم الأحرف حاليًا للمستوى الأول: المستوى الأساسي متعدد اللغات . يهدف هذا إلى تسهيل عملية الانتقال للبرامج القديمة، حيث يمكن الوصول إلى المستوى الأساسي متعدد اللغات باستخدام بايتين فقط . أما الأحرف خارج المستوى الأول، فعادةً ما يكون استخدامها متخصصًا جدًا أو نادرًا.

يتوافق كل مستوى مع قيمة الرقم أو الرقمين الست عشريين (من 0 إلى 9، ومن A إلى F) اللذين يسبقان الأرقام الأربعة الأخيرة: لذا فإن U+24321 يقع في المستوى 2، وU+4321 يقع في المستوى 0 (ويُقرأ ضمنيًا U+04321)، وU+10A200 يقع في المستوى 16 (الرقم الست عشري 10 = الرقم العشري 16). ضمن المستوى الواحد، يتراوح نطاق نقاط الترميز من 0000 إلى FFFF بالنظام الست عشري، مما ينتج عنه حد أقصى قدره 65536 نقطة ترميز. تُقيّد المستويات نقاط الترميز بمجموعة فرعية من هذا النطاق.

مكعبات

يُضيف يونيكود خاصية الكتلة إلى نظام الإحداثيات الموحد (UCS)، والتي تُقسّم كل مستوى إلى كتل منفصلة. كل كتلة عبارة عن مجموعة من الأحرف بحسب استخدامها، مثل "المعاملات الرياضية" أو "أحرف الكتابة العبرية". عند تخصيص أحرف لنقاط ترميز غير مُخصصة سابقًا، يُخصص الاتحاد عادةً كتلًا كاملة من الأحرف المتشابهة: على سبيل المثال، تُخصص جميع الأحرف التي تنتمي إلى نفس الكتابة أو جميع الرموز ذات الأغراض المتشابهة لكتلة واحدة. قد تحتفظ الكتل أيضًا بنقاط ترميز غير مُخصصة أو محجوزة عندما يتوقع الاتحاد أن تتطلب الكتلة تخصيصات إضافية.

تتوافق أول 256 نقطة ترميز في نظام ترميز يونيكود (UCS) مع تلك الموجودة في معيار ISO 8859-1 ، وهو ترميز الأحرف الأكثر شيوعًا في العالم الغربي . ونتيجةً لذلك، فإن أول 128 حرفًا مطابقة أيضًا لنظام ASCII . على الرغم من أن يونيكود يشير إلى هذه الأحرف على أنها كتلة نصية لاتينية، إلا أن هاتين الكتلتين تحتويان على العديد من الأحرف الشائعة الاستخدام خارج نطاق النص اللاتيني. عمومًا، ليس بالضرورة أن تكون جميع الأحرف في كتلة معينة من نفس النص، ويمكن أن يظهر النص نفسه في عدة كتل مختلفة.

فئات

يُخصص نظام يونيكود لكل حرف من أحرف نظام الإحداثيات العالمي (UCS) فئة عامة وفئة فرعية. الفئات العامة هي: حرف، علامة، رقم، علامة ترقيم، رمز، أو عنصر تحكم (بمعنى آخر حرف تنسيق أو حرف غير رسومي).

تشمل الأنواع ما يلي:

  • الكتابات الحديثة والتاريخية والقديمة . اعتبارًا من عام 2025 (يونيكود 17.0 )، حدد نظام الكتابة الموحد 172 كتابة تُستخدم أو استُخدمت في جميع أنحاء العالم. وهناك العديد من الكتابات الأخرى في مراحل مختلفة من الموافقة لإدراجها في نظام الكتابة الموحد مستقبلًا. [ 2 ]
  • الأبجدية الصوتية الدولية . يخصص نظام UCS عدة كتل (أكثر من 300 حرف) لأحرف الأبجدية الصوتية الدولية .
  • دمج علامات التشكيل . كان من أهم التطورات التي أدخلتها يونيكود في تصميم نظام UCS والخوارزميات ذات الصلة لمعالجة النصوص، إدخال دمج علامات التشكيل. فمن خلال توفير علامات تشكيل يمكن دمجها مع أي حرف، قللت يونيكود ونظام UCS بشكل كبير من عدد الأحرف المطلوبة. مع أن نظام UCS يتضمن أيضًا أحرفًا مركبة مسبقًا، إلا أن هذه الأحرف أُضيفت أساسًا لتسهيل دعم أنظمة معالجة النصوص غير المتوافقة مع يونيكود.
  • علامات الترقيم . إلى جانب توحيد علامات التشكيل، سعت لجنة التنسيق الموحدة أيضًا إلى توحيد علامات الترقيم عبر مختلف أنظمة الكتابة. مع ذلك، تحتوي العديد من أنظمة الكتابة على علامات ترقيم، حتى وإن لم يكن لتلك العلامات دلالات مماثلة في أنظمة كتابة أخرى.
  • الرموز . يتضمن نظام الإحداثيات الموحد (UCS) العديد من الرموز الرياضية والتقنية والهندسية وغيرها. وهذا يوفر رموزًا مميزة بنقاط ترميز أو أحرف خاصة بها، بدلاً من الاعتماد على تغيير الخطوط لتوفير رموز رسومية.
    • عملة .
    • رموز شبيهة بالحروف . تظهر هذه الرموز على شكل تركيبات من العديد من حروف الكتابة اللاتينية الشائعة، مثل ℅ . يصنف يونيكود العديد من الرموز الشبيهة بالحروف كأحرف توافق، وذلك عادةً لأنها يمكن استخدامها في نص عادي عن طريق استبدال الرموز الرسومية بتسلسل الأحرف المكون منها: على سبيل المثال، استبدال الرمز الرسومي ℅ بتسلسل الأحرف المكون c/o .
    • أشكال الأرقام . تتكون أشكال الأرقام بشكل أساسي من الكسور المركبة مسبقًا والأرقام الرومانية. وكما هو الحال في مجالات أخرى لتكوين سلاسل الأحرف، يُفضل نظام يونيكود مرونة تكوين الكسور من خلال دمج الأحرف معًا. في هذه الحالة، لإنشاء كسور، يتم دمج الأرقام مع رمز الكسر (U+2044). كمثال على المرونة التي يوفرها هذا النهج، يتضمن نظام يونيكود تسعة عشر رمزًا للكسور المركبة مسبقًا. ومع ذلك، هناك عدد لا نهائي من الكسور الممكنة. باستخدام رموز التركيب، يتم التعامل مع هذا العدد اللانهائي من الكسور باستخدام 11 رمزًا فقط (من 0 إلى 9 ورمز الكسر). لا يمكن لأي مجموعة أحرف أن تتضمن رموزًا لكل كسر مركب مسبقًا. من الناحية المثالية، يجب أن يعرض نظام النصوص نفس الرموز للكسر سواء كان أحد الكسور المركبة مسبقًا (مثل ⅓ ) أو سلسلة من الأحرف المركبة (مثل 1/3 ). ومع ذلك، لا تتمتع متصفحات الويب عادةً بهذه القدرة على التعامل مع يونيكود والنصوص. يضمن القيام بذلك أن الكسور المركبة مسبقًا والكسور المتسلسلة المركبة ستظهر متوافقة بجانب بعضها البعض.
    • الأسهم .
    • رياضي .
    • الأشكال الهندسية .
    • الحوسبة القديمة .
    • صور التحكم: تمثيلات رسومية للعديد من رموز التحكم.
    • رسم تخطيطي للصندوق .
    • عناصر الكتلة .
    • أنماط برايل .
    • التعرف الضوئي على الأحرف .
    • اِصطِلاحِيّ .
    • رموز دينغباتس .
    • رموز متنوعة .
    • الرموز التعبيرية .
    • الرموز والرسوم التوضيحية .
    • الرموز الكيميائية القديمة .
    • قطع اللعب (الشطرنج، الداما، الغو، النرد، الدومينو، الماهجونغ، أوراق اللعب، وغيرها الكثير).
    • رموز الشطرنج
    • تاي شوان جينغ .
    • رموز ييجينغ السداسية .
  • CJK . مخصصة للرموز التصويرية والأحرف الأخرى لدعم اللغات في الصين واليابان وكوريا (CJK) وتايوان وفيتنام وتايلاند.
    • الجذور والضربات .
    • الرموز التصويرية . يُخصص الجزء الأكبر من نظام ترميز الأحرف الصيني (UCS) للرموز التصويرية المستخدمة في لغات شرق آسيا. ورغم اختلاف تمثيل هذه الرموز التصويرية بين اللغات التي تستخدمها، إلا أن نظام ترميز الأحرف الصيني يوحد هذه الأحرف فيما يُعرف في يونيكود باسم "يونيهان" (اختصارًا لـ"هان الموحدة"). وباستخدام "يونيهان"، يجب أن يتكامل برنامج تصميم النصوص مع الخطوط المتاحة وأحرف يونيكود هذه لإنتاج الرمز التصويري المناسب للغة المعنية. وعلى الرغم من توحيد هذه الأحرف، لا يزال نظام ترميز الأحرف الصيني يتضمن أكثر من 101,000 رمز تصويري من "يونيهان".
  • التدوين الموسيقي .
  • اختصارات دوبلويان .
  • ساتون لكتابة اللافتات .
  • أحرف التوافق . تُخصص عدة أقسام في نظام ترميز يونيكود (UCS) بالكامل تقريبًا لأحرف التوافق. أحرف التوافق هي تلك المُضمنة لدعم أنظمة معالجة النصوص القديمة التي لا تُميز بين الحرف والرمز الرسومي كما يفعل يونيكود. على سبيل المثال، تُمثل العديد من الأحرف العربية برمز رسومي مختلف عندما يظهر الحرف في نهاية الكلمة عنه عندما يظهر في بدايتها. يُفضل يونيكود ربط هذه الأحرف بنفس الرمز لتسهيل معالجة النصوص وتخزينها داخل الجهاز. ولإكمال هذا النهج، يجب على برنامج معالجة النصوص اختيار أشكال رسومية مختلفة لعرض الحرف بناءً على سياقه. تم تضمين أكثر من 4000 حرف لأسباب التوافق هذه.
  • أحرف التحكم .
  • الرموز البديلة . يتضمن نظام ترميز UCS 2048 نقطة ترميز في المستوى الأساسي متعدد اللغات (BMP) لأزواج نقاط الترميز البديلة. تسمح هذه الرموز البديلة مجتمعةً بالوصول إلى أي نقطة ترميز في المستويات الستة عشر الأخرى باستخدام نقطتي ترميز بديلتين. يوفر هذا طريقةً مدمجةً بسيطةً لترميز UCS ذي 20.1 بت ضمن ترميز 16 بت مثل UTF-16. وبهذه الطريقة، يمكن لـ UTF-16 تمثيل أي حرف داخل BMP بكلمة واحدة من 16 بت. أما الأحرف خارج BMP، فيتم ترميزها باستخدام كلمتين من 16 بت (4 بايتات إجمالاً) باستخدام أزواج الرموز البديلة.
  • الاستخدام الخاص . يوفر الاتحاد العديد من الكتل والمستويات للاستخدام الخاص والتي يمكن تخصيصها للأحرف داخل مجتمعات مختلفة، بالإضافة إلى أنظمة التشغيل وموردي الخطوط.
  • الرموز غير الحرفية . يضمن الاتحاد عدم تخصيص أي حرف لنقاط ترميز معينة، ويُطلق عليها اسم نقاط الترميز غير الحرفية . تشمل هذه النقاط النطاق U+FDD0..U+FDEF، ونقطتي الترميز الأخيرتين لكل مستوى (اللتين تنتهيان بالرقمين الست عشريين FFFE وFFFF). [ 3 ]

شخصيات ذات أغراض خاصة

يُشفّر نظام يونيكود أكثر من مئة ألف حرف. يُمثّل معظمها وحدات كتابية تُعالج كنصوص خطية. مع ذلك، لا يُمثّل بعضها وحدات كتابية، أو يتطلّب، كوحدات كتابية، معالجة خاصة. [ 4 ] [ 5 ] على عكس أحرف التحكم في نظام ASCII والأحرف الأخرى المُدرجة لأغراض التوافق مع الأنظمة القديمة، تُضفي هذه الأحرف الخاصة الأخرى دلالات مهمة على النصوص العادية.

قد تُغيّر بعض الأحرف الخاصة تنسيق النص، مثل فاصلة الربط وفاصلة عدم الربط عديمة العرض ، بينما لا تؤثر أحرف أخرى على تنسيق النص إطلاقًا، بل تؤثر على طريقة تجميع سلاسل النصوص أو مطابقتها أو معالجتها. أما الأحرف الخاصة الأخرى، مثل الرموز الرياضية غير المرئية ، فلا تؤثر عمومًا على عرض النص، مع أن برامج تنسيق النصوص المتطورة قد تُجري تعديلات طفيفة على المسافات المحيطة بها.

لا يُحدد نظام يونيكود تقسيم العمل بين برامج تصميم الخطوط وبرامج تخطيط النصوص (أو "محركات" النصوص) عند عرض نصوص يونيكود. ولأن تنسيقات الخطوط الأكثر تعقيدًا، مثل OpenType أو Apple Advanced Typography ، تُتيح استبدال وتحديد موضع الرموز في سياقها، فقد يعتمد محرك تخطيط نصوص بسيط كليًا على الخط في جميع قرارات اختيار الرموز وموضعها. وفي الحالة نفسها، قد يجمع محرك أكثر تعقيدًا معلومات من الخط مع قواعده الخاصة لتحقيق رؤيته الخاصة لأفضل عرض. ولتطبيق جميع توصيات مواصفات يونيكود، يجب أن يكون محرك النصوص مُهيأً للعمل مع الخطوط مهما بلغ مستوى تعقيدها، إذ إن قواعد الاستبدال وتحديد الموضع في سياقها غير موجودة في بعض تنسيقات الخطوط، وهي اختيارية في البقية. ومثال على ذلك علامة الكسر المائلة : فقد تُوفر الخطوط المعقدة قواعد تحديد الموضع في وجود علامة الكسر المائلة لإنشاء كسر، أو قد لا تُوفرها، بينما لا تستطيع الخطوط ذات التنسيقات البسيطة ذلك.

علامة ترتيب البايت

عند ظهورها في بداية ملف نصي أو دفق، تشير U+FEFF ZERO WIDTH NO-BREAK SPACE إلى شكل التشفير وترتيب البايت الخاص به.

إذا كانت البايتة الأولى في التدفق هي 0xFE والثانية 0xFF، فمن غير المرجح أن يكون نص التدفق مُشفّرًا بترميز UTF-8 ، لأن هاتين البايتين غير صالحتين في هذا الترميز. كما أنه من غير المرجح أن يكون مُشفّرًا بترميز UTF-16 بترتيب البايتات الصغير (little-endian )، لأن قراءة 0xFE و0xFF ككلمة صغيرة (little-endian) ذات 16 بت ستكون U+FFFE، وهي قيمة غير مفهومة. كذلك، لا يحمل هذا التسلسل أي معنى في أي ترتيب لترميز UTF-32 ، لذا، باختصار، يُعد مؤشرًا موثوقًا إلى حد كبير على أن تدفق النص مُشفّر بترميز UTF-16 بترتيب البايتات الكبير (big-endian) . في المقابل، إذا كانت البايتان الأوليان هما 0xFF و0xFE، فيمكن افتراض أن تدفق النص مُشفّر بترميز UTF-16LE، لأنه عند قراءة البايتين كقيمة صغيرة (little-endian) ذات 16 بت، ينتج عنهما علامة ترتيب البايتات المتوقعة 0xFEFF. ومع ذلك، يصبح هذا الافتراض موضع شك إذا كان البايتان التاليان كلاهما 0x00؛ إما أن النص يبدأ بحرف فارغ (U+0000)، أو أن الترميز الصحيح هو في الواقع UTF-32LE، حيث يكون التسلسل الكامل المكون من 4 بايت FF FE 00 00 حرفًا واحدًا، وهو BOM.

التسلسل UTF-8 المقابل لـ U+FEFF هو 0xEF، 0xBB، 0xBF. هذا التسلسل ليس له معنى في أشكال ترميز Unicode الأخرى، لذا قد يُستخدم للإشارة إلى أن هذا التدفق مُرمّز بصيغة UTF-8.

لا تشترط مواصفات يونيكود استخدام علامات ترتيب البايتات في تدفقات النصوص. كما تنص على أنه لا ينبغي استخدامها في الحالات التي تُستخدم فيها بالفعل طريقة أخرى للإشارة إلى شكل الترميز.

غير المرئيات الرياضية

يُستخدم الفاصل غير المرئي (U+2063) بشكل أساسي في الرياضيات، حيث يُستخدم للفصل بين الأحرف التي يمكن حذف علامات الترقيم أو المسافات منها، كما هو الحال في الفهرس ثنائي الأبعاد مثل i⁣j. ويُعدّ كل من رمز الضرب غير المرئي (U+2062) ورمز تطبيق الدالة (U+2061) مفيدين في النصوص الرياضية التي تُشير إلى ضرب الحدود أو تطبيق دالة دون الحاجة إلى رمز يُوضح العملية. كما يُقدّم معيار يونيكود 5.1 رمز الجمع غير المرئي الرياضي (U+2064)، والذي قد يُشير إلى أن العدد الصحيح المتبوع بكسر يُمثل مجموعهما، وليس حاصل ضربهما.

كسر/

مثال على استخدام الكسر المائل . يُظهر هذا الخط ( Apple Chancery ) الكسر المشترك المُركّب على اليسار ورمز الكسر المُركّب مسبقًا على اليمين، وذلك عند عرض النص "1 1⁄4 1¼" . اعتمادًا على بيئة النص، قد ينتج عن النص "1 1⁄4" أيٌّ من النتيجتين، والنتيجة على اليمين ناتجة عن استبدال سلسلة الكسور برمز الكسر المُركّب مسبقًا.
مثال أكثر تفصيلاً لاستخدام الكسر المائل: النص العادي "4 221⁄225" معروض بخط Apple Chancery . يزود هذا الخط برنامج تنسيق النصوص بتعليمات لتكوين الكسر وفقًا لقاعدة Unicode الموضحة في هذا القسم.

يتمتع الحرف U+2044 ⁄ FRACTION SLASH بسلوك خاص في معيار Unicode: [ 6 ]

يُعرَّف الشكل القياسي للكسر المكتوب باستخدام شرطة الكسر كما يلي: أي سلسلة من رقم عشري واحد أو أكثر (الفئة العامة = Nd)، متبوعة بشرطة الكسر، ثم أي سلسلة من رقم عشري واحد أو أكثر. يجب عرض هذا الكسر كوحدة، مثل ¾ . إذا كان برنامج العرض غير قادر على تحويل الكسر إلى وحدة، فيمكن عرضه كسلسلة خطية بسيطة كبديل (على سبيل المثال، 3/4). إذا كان الكسر سيُفصل عن عدد سابق، فيمكن استخدام مسافة، مع اختيار العرض المناسب (عادي، رفيع، صفري، وهكذا). على سبيل المثال، يُعرض 1 + مسافة صفرية + 3 + شرطة الكسر + 4 على النحو التالي: 1¾ .

باتباع توصية يونيكود هذه، تُنتج أنظمة معالجة النصوص رموزًا متطورة من النص العادي فقط. هنا، يُشير وجود رمز الكسر المائل إلى مُحرك التخطيط لتوليد كسر من جميع الأرقام المتتالية التي تسبق وتلي هذا الرمز. عمليًا، تختلف النتائج بسبب التفاعل المُعقد بين الخطوط ومُحركات التخطيط. تميل مُحركات تخطيط النصوص البسيطة إلى عدم توليد الكسور على الإطلاق، وبدلًا من ذلك ترسم الرموز كسلسلة خطية كما هو موضح في مخطط يونيكود الاحتياطي.

تواجه محركات التخطيط الأكثر تطورًا خيارين عمليين: إما اتباع توصيات يونيكود، أو الاعتماد على تعليمات الخط نفسه في كتابة الكسور. بتجاهل تعليمات الخط، يضمن محرك التخطيط السلوك الموصى به من يونيكود. أما باتباع تعليمات الخط، فيحقق محرك التخطيط طباعة أفضل ، لأن موضع الأرقام وشكلها سيتكيفان مع ذلك الخط المحدد وبهذا الحجم المحدد.

تكمن المشكلة في اتباع تعليمات الخط في أن تنسيقات الخطوط البسيطة لا توفر طريقة لتحديد سلوك توليف الكسور. في المقابل، لا تتطلب التنسيقات الأكثر تعقيدًا من الخط تحديد سلوك توليف الكسور، ولذلك فإن العديد منها لا يفعل ذلك. تستطيع معظم الخطوط ذات التنسيقات المعقدة توجيه محرك التخطيط لاستبدال تسلسل نص عادي مثل 1/2 برمز ½ المُركّب مسبقًا . ولكن نظرًا لأن العديد منها لا يُصدر تعليمات لتوليف الكسور، فقد يتم عرض سلسلة نصية عادية مثل 221/225 على أنها 22½25 (حيث يُمثل ½ الكسر المُركّب مسبقًا المُستبدل، وليس المُولّد). في مواجهة مشاكل كهذه، ينبغي على من يرغبون في الاعتماد على سلوك Unicode المُوصى به اختيار خطوط معروفة بتوليف الكسور أو برامج تخطيط نصوص معروفة بإنتاج سلوك Unicode المُوصى به بغض النظر عن نوع الخط.

تنسيق محايد ثنائي الاتجاه

اتجاه الكتابة هو اتجاه وضع الرموز على الصفحة بالنسبة لتسلسل الأحرف في سلسلة يونيكود. تُكتب الإنجليزية واللغات الأخرى المكتوبة بالأبجدية اللاتينية من اليسار إلى اليمين. بينما تُكتب العديد من أنظمة الكتابة الرئيسية، مثل العربية والعبرية ، من اليمين إلى اليسار. يحدد معيار يونيكود نوع اتجاه لكل حرف لإعلام معالجات النصوص بكيفية ترتيب تسلسلات الأحرف على الصفحة.

بينما تُعدّ الأحرف المعجمية (أي الحروف) عادةً خاصة بنظام كتابة واحد، تُستخدم بعض الرموز وعلامات الترقيم في العديد من أنظمة الكتابة. كان بإمكان يونيكود إنشاء رموز مكررة في مجموعته تختلف فقط في نوع الاتجاه، لكنه اختار بدلاً من ذلك توحيدها ومنحها نوع اتجاه محايد. تكتسب هذه الرموز اتجاهها عند عرضها من الأحرف المجاورة. كما تتميز بعض هذه الأحرف بخاصية الانعكاس ثنائي الاتجاه، مما يشير إلى أنه يجب عرض الرمز بشكل معكوس عند استخدامه في نص يُكتب من اليمين إلى اليسار.

قد يظل نوع الاتجاه في وقت العرض لحرف محايد غامضًا عند وضع العلامة على الحد الفاصل بين تغييرات الاتجاه. ولمعالجة هذه المشكلة، يتضمن يونيكود أحرفًا ذات اتجاهية قوية، ولا ترتبط بها رموز رسومية، ويمكن تجاهلها من قِبل الأنظمة التي لا تعالج النصوص ثنائية الاتجاه.

  1. U+061C ؜ علامة الحروف العربية
  2. علامة U+200E من اليسار إلى اليمين
  3. U+200F علامة من اليمين إلى اليسار

يؤدي إحاطة حرف محايد ثنائي الاتجاه بعلامة الاتجاه من اليسار إلى اليمين إلى جعله يتصرف كحرف من اليسار إلى اليمين، بينما يؤدي إحاطته بعلامة الاتجاه من اليمين إلى اليسار إلى جعله يتصرف كحرف من اليمين إلى اليسار. يُفصّل سلوك هذه الأحرف في خوارزمية يونيكود ثنائية الاتجاه.

تنسيق عام ثنائي الاتجاه

على الرغم من أن نظام يونيكود مصمم للتعامل مع لغات متعددة، وأنظمة كتابة متعددة، وحتى النصوص التي تُكتب إما من اليسار إلى اليمين أو من اليمين إلى اليسار بأقل تدخل من الكاتب، إلا أن هناك ظروفًا خاصة قد يصبح فيها دمج النصوص ثنائية الاتجاه معقدًا، مما يتطلب مزيدًا من تحكم الكاتب. في هذه الظروف، يتضمن يونيكود خمسة أحرف أخرى للتحكم في عملية دمج النصوص المكتوبة من اليسار إلى اليمين داخل النصوص المكتوبة من اليمين إلى اليسار والعكس.

التنسيق ثنائي الاتجاه

  • U+202A تضمين من اليسار إلى اليمين
  • U+202B تضمين من اليمين إلى اليسار
  • U+202C تنسيق اتجاهي لـ POP
  • U+202D تجاوز من اليسار إلى اليمين
  • U+202E تجاوز الكتابة من اليمين إلى اليسار
  • U+2066 عزل من اليسار إلى اليمين
  • U+2067 عزل من اليمين
  • U+2068 عزل قوي أولي
  • U+2069 عزل اتجاهي لموسيقى البوب

أحرف التعليق بين السطور

  • U+FFF9 مرساة التعليق بين السطور
  • فاصل التعليقات بين السطور U+FFFA
  • U+FFFB فاصل التعليقات بين السطور

خاص بالنص البرمجي

  • التحكم في التنسيق المسبق
    • U+0600 ؀ علامة الرقم العربي
    • U+0601 ؁ لافتة عربية صنعاء
    • U+0602 ؂ علامة حاشية عربية
    • U+0603 ؃ لافتة عربية سافها
    • U+0604 ؄ علامة سامفات العربية
    • U+0605 ؅ علامة الرقم العربي أعلاه
    • U+06DD ۝ نهاية الآية العربية
    • U+070F علامة الاختصار السرياني
    • U+0890 علامة الجنيه العربي أعلاه
    • U+0891 علامة القرش العربي أعلاه
    • U+110BD علامة رقم كايثي
    • U+110CD 𑃍 علامة رقم KAITHI أعلاه
  • الهيروغليفية المصرية
    • U+13430 𓐰 وصلة عمودية من الهيروغليفية المصرية
    • U+13431 𓐱 هيروغليفية مصرية، وصلة أفقية
    • U+13432 𓐲 الهيروغليفية المصرية أدخل في البداية من الأعلى
    • U+13433 𓐳 الهيروغليفية المصرية، أدخل في أسفل البداية
    • U+13434 𓐴 هيروغليفية مصرية مُدرجة في الطرف العلوي
    • U+13435 𓐵 هيروغليفية مصرية مُدرجة في الطرف السفلي
    • U+13436 𓐶 طبقة من الهيروغليفية المصرية في المنتصف
    • U+13437 𓐷 الهيروغليفية المصرية بداية المقطع
    • U+13438 𓐸 نهاية الجزء من الهيروغليفية المصرية
    • U+13439 𓐹 هيروغليفية مصرية مُدرجة في المنتصف
    • U+1343A 𓐺 إدراج هيروغليفية مصرية في الأعلى
    • U+1343B 𓐻 هيروغليفية مصرية مُدرجة في الأسفل
    • U+1343C 𓐼 بداية الهيروغليفية المصرية
    • U+1343D 𓐽 غلاف نهاية الهيروغليفية المصرية
    • U+1343E 𓐾 بداية الهيروغليفية المصرية: سور محيط
    • U+1343F 𓐿 سور ذو جدار نهائي مزين بالهيروغليفية المصرية
  • براهمي
    • U+1107F 𑁿 براهمي رقم JOINER

الأحرف مقابل نقاط الترميز

مصطلح "الحرف" غير مُعرَّف بدقة، وما نشير إليه في أغلب الأحيان هو الرسم التخطيطي . يُمثَّل الرسم التخطيطي بصريًا برمزه . يمكن لنوع الخط (الذي يُشار إليه خطأً غالبًا باسم الخط ) أن يُظهر اختلافات بصرية للحرف نفسه. من الممكن أن يكون لرسمين تخطيطيين مختلفين الرمز نفسه تمامًا، أو أن يكونا متقاربين بصريًا لدرجة يصعب على القارئ العادي التمييز بينهما.

يتم تمثيل الرسم البياني دائمًا تقريبًا بنقطة رمز واحدة، على سبيل المثال، يتم تمثيل الحرف اللاتيني الكبير a بنقطة الرمز U+0041.

يُعدّ الحرف U+00C4 Ä (الحرف اللاتيني الكبير A مع علامة التشكيل) مثالاً على إمكانية تمثيل حرف بأكثر من رمز. يمكن تمثيله كـ U+00C4، أو كسلسلة U+0041 A (الحرف اللاتيني الكبير A) و U+0308 ◌ ̈ (علامة التشكيل المدمجة) .

عندما تكون علامة الدمج مجاورة لنقطة رمزية غير مدمجة، يجب على تطبيقات عرض النصوص أن تضع علامة الدمج فوق الحرف الذي تمثله النقطة الرمزية الأخرى لتشكيل رسم بياني وفقًا لمجموعة من القواعد. [ 7 ]

وبالتالي، فإن كلمة BÄM تتكون من ثلاثة حروف. وقد تتكون من ثلاثة رموز أو أكثر، وذلك بحسب كيفية تركيب الأحرف فعلياً.

المساحات البيضاء، والوصلات، والفواصل

يُقدّم يونيكود قائمةً بالأحرف التي يعتبرها أحرف مسافة بيضاء لدعم التوافقية. قد تستخدم تطبيقات البرامج والمعايير الأخرى هذا المصطلح للدلالة على مجموعة مختلفة قليلاً من الأحرف. على سبيل المثال، لا يعتبر جافا الحرف U+00A0 مسافةً غير قابلة للكسر أو الحرف U+0085 <control-0085> يُعتبر الرمز (NEXT LINE) مسافة بيضاء، على الرغم من أن يونيكود يعتبرها كذلك. تُعرَّف المسافات البيضاء بأنها أحرف تُستخدم عادةً في بيئات البرمجة. غالبًا ما تكون هذه الأحرف بلا معنى نحوي في هذه البيئات، وتتجاهلها مترجمات الآلة. يُصنِّف يونيكود الأحرف القديمة U+0009 إلى U+000D وU+0085 كمسافات بيضاء، بالإضافة إلى جميع الأحرف التي تكون قيمة خاصية "الفئة العامة" لها هي "فاصل". يوجد 25 حرفًا من المسافات البيضاء في يونيكود 17.0 .

الجرافينات الرابطة وغير الرابطة

يتحكم كل من U+200D و U+200C (الرابط ذو العرض الصفري) في ربط الأحرف الرسومية. لا يتسبب الرابط في ربط الأحرف التي لا يمكن ربطها عادةً، ولكن عند اقترانه بالرابط غير الرابط، يمكن استخدام هذه الأحرف للتحكم في خصائص الربط بين الحرفين المحيطين بها. يُستخدم U+034F ( رابط الرسم البياني المركب) لتمييز حرفين أساسيين كحرف أساسي مشترك أو رسم بياني مزدوج، وذلك في الغالب لمعالجة النصوص الأساسية، وترتيب السلاسل النصية، وطي الأحرف الكبيرة والصغيرة، وما إلى ذلك.

أدوات ربط الكلمات وفواصلها

أكثر فواصل الكلمات شيوعًا هو U+0020 مسافة . مع ذلك، توجد فواصل وروابط كلمات أخرى تُشير إلى وجود فاصل بين الكلمات وتُستخدم في خوارزميات تقسيم الأسطر. يُنتج U+00A0 مسافة بدون كسر تقدمًا في خط الأساس دون رمز، ولكنه يمنع كسر السطر بدلًا من تمكينه. يسمح U+200B مسافة صفرية بكسر السطر ولكنه لا يُضيف مسافة: بمعنى أنه يربط كلمتين بدلًا من فصلهما. أخيرًا، يمنع U+2060 رابط الكلمات كسر الأسطر ولا يتضمن أي مسافة بيضاء ناتجة عن تقدم خط الأساس.  

التقدم الأساسيلا يوجد تقدم أساسي
السماح بفواصل الأسطر (الفواصل)U+0020 SPACE U+200B مسافة ذات عرض صفري
منع انقطاع الأسطر (وصلات الأسطر)U+00A0 مساحة ممنوع الكسر U+2060 أداة ربط الكلمات

فواصل أخرى

  • فاصل الخطوط (U+2028)
  • فاصل الفقرات (U+2029)

تُزوّد ​​هذه الميزات نظام يونيكود بفواصل فقرات وأسطر أصلية مستقلة عن أحرف التحكم ASCII القديمة المُشفّرة، مثل حرف إرجاع المؤشر (U+000A) وحرف تغذية السطر (U+000D) وحرف السطر التالي (U+0085). لا يدعم يونيكود أحرف التحكم الأخرى الخاصة بتنسيق ASCII، والتي يُفترض أنها ليست جزءًا من نموذج معالجة النصوص العادية في يونيكود. تشمل أحرف التحكم القديمة هذه U+0009 <control-0009>(TAB) ، U+000B <control-000B>(علامة تبويب عمودية) و Form Feed (U+000C) والذي يعتبر أيضًا بمثابة فاصل صفحات.

مساحات

تُستخدم المسافة (U+0020)، التي تُدخل عادةً باستخدام مفتاح المسافة على لوحة المفاتيح، كفاصل بين الكلمات في العديد من اللغات. ولأسباب تتعلق بالتوافق مع الأنظمة القديمة، يتضمن نظام ترميز يونيكود (UCS) مسافات بأحجام مختلفة تُعدّ بدائل متوافقة للمسافة. ورغم أهمية هذه المسافات ذات العرض المتفاوت في الطباعة، فإن نموذج معالجة يونيكود يتطلب معالجة هذه التأثيرات البصرية بواسطة النصوص المنسقة، وعلامات التنسيق، وغيرها من البروتوكولات المماثلة. وقد أُدرجت هذه المسافات في مجموعة يونيكود بشكل أساسي لمعالجة عملية التحويل العكسي غير الفاقد للبيانات من ترميزات مجموعات الأحرف الأخرى. وتشمل هذه المسافات ما يلي:

  1. U+2000 EN QUAD
  2. U+2001 EM QUAD
  3. U+2002 EN SPACE
  4. U+2003 EM SPACE
  5. U+2004 مساحة ثلاثية لكل 100 متر مربع
  6. U+2005 مساحة رباعية لكل 100 متر مربع
  7. U+2006 مساحة ستة لكل 100 متر مربع
  8. U+2007 شكل الفضاء
  9. U+2008 مسافة علامات الترقيم
  10. U+2009 الفضاء الرقيق
  11. مساحة شعر U+200A
  12. U+205F مساحة رياضية متوسطة

باستثناء مسافة ASCII الأصلية، تُعدّ المسافات الأخرى أحرف توافق. في هذا السياق، يعني هذا أنها لا تُضيف أي قيمة دلالية للنص، بل تُستخدم فقط للتحكم في تنسيقه. ضمن يونيكود، يُشار إلى هذا التحكم غير الدلالي في التنسيق غالبًا باسم "النص المنسق"، وهو خارج نطاق أهداف يونيكود. بدلًا من استخدام مسافات مختلفة في سياقات مختلفة، ينبغي معالجة هذا التنسيق من خلال برامج ذكية لتنسيق النصوص.

ثلاثة فواصل أخرى خاصة بنظام الكتابة هي:

  • U+180E ᠎ فاصل حروف العلة المنغولية
  • U+3000 مساحة تصويرية : تعمل كفاصل تصويري ويتم عرضها بشكل عام كمساحة بيضاء بنفس عرض التصوير.
  • U+1680 علامة المسافة OGHAM : يتم عرض هذا الحرف أحيانًا مع رمز رسومي وأحيانًا أخرى كمسافة بيضاء فقط.

أحرف التحكم في فواصل الأسطر

صُممت عدة رموز للمساعدة في التحكم في فواصل الأسطر، إما عن طريق منعها (رموز عدم الفصل) أو اقتراح فواصل أسطر مثل الواصلة الناعمة (U+00AD) (التي تُسمى أحيانًا "الواصلة الخفية"). هذه الرموز، رغم أنها مصممة لأغراض التنسيق، إلا أنها ضرورية على الأرجح لأنواع فواصل الأسطر المعقدة التي تتيحها.

تثبيط الكسر
  1. U+2011 ‑ واصلة غير قابلة للكسر
  2. U+00A0 مساحة ممنوع الكسر 
  3. U+0F0C ༌ محدد العلامة التبتية TSHEG BSTAR
  4. U+202F مساحة ضيقة بدون فواصل

تهدف الأحرف التي تمنع الفواصل إلى أن تكون مكافئة لتسلسل الأحرف المغلف بـ Word Joiner U+2060. ومع ذلك، يمكن إلحاق Word Joiner قبل أو بعد أي حرف يسمح بفواصل الأسطر لمنع حدوث هذه الفواصل.

كسر التمكين
  1. U+00AD SOFT HYPHEN
  2. U+0F0B وعلامة تبتية TSHEG
  3. U+200B مسافة ذات عرض صفري

تشارك كل من الأحرف التي تمنع الفواصل والأحرف التي تسمح بالفواصل مع علامات الترقيم الأخرى وأحرف المسافات البيضاء لتمكين أنظمة معالجة النصوص من تحديد فواصل الأسطر ضمن خوارزمية فواصل الأسطر في يونيكود. [ 8 ]

أنواع نقاط الترميز

تُعتبر جميع نقاط الترميز التي تُخصص لها غرض أو استخدام ما نقاط ترميز مُعينة. ومن بين هذه النقاط، يمكن تخصيصها لحرف مجرد، أو تعيينها لغرض آخر.

الشخصيات المخصصة

تم تخصيص غالبية رموز الترميز المستخدمة فعلياً للأحرف المجردة. ويشمل ذلك الأحرف ذات الاستخدام الخاص، والتي على الرغم من عدم تحديدها رسمياً في معيار يونيكود لغرض معين، إلا أنها تتطلب اتفاقاً مسبقاً بين المرسل والمستلم حول كيفية تفسيرها لضمان تبادل المعلومات بشكل فعّال .

أحرف للاستخدام الخاص

يتضمن نظام ترميز يونيكود (UCS) 137,468 رمزًا للاستخدام الخاص، وهي عبارة عن نقاط ترميز موزعة على ثلاث مجموعات مختلفة، تُسمى كل منها منطقة استخدام خاص (PUA). يعترف معيار يونيكود بنقاط الترميز داخل مناطق الاستخدام الخاص كرموز أحرف يونيكود شرعية، ولكنه لا يُخصص لها أي رمز (مجرد). بدلاً من ذلك، يُمكن للأفراد والمنظمات وموردي البرامج وموردي أنظمة التشغيل وموردي الخطوط ومجتمعات المستخدمين النهائيين استخدامها بحرية كما يرونه مناسبًا. في الأنظمة المغلقة، يُمكن للأحرف في منطقة الاستخدام الخاص أن تعمل بشكل لا لبس فيه، مما يسمح لهذه الأنظمة بتمثيل الأحرف أو الرموز غير المُعرّفة في يونيكود. [ 9 ] أما في الأنظمة العامة، فيُصبح استخدامها أكثر إشكالية، نظرًا لعدم وجود سجل لها، وعدم وجود طريقة لمنع العديد من المنظمات من اعتماد نقاط الترميز نفسها لأغراض مختلفة. ومن الأمثلة على هذا التضارب استخدام شركة آبل للرمز U+F8FF لشعارها ، مقابل استخدام سجل يونيكود ConScript للرمز U+F8FF كرمز تحنيط كلينغوني في نص كلينغوني . [ 10 ]

تحتوي الطبقة الأساسية متعددة اللغات (الطبقة 0) على 6400 حرفًا للاستخدام الخاص في منطقة الاستخدام الخاص (PUA) ، والتي تتراوح من U+E000 إلى U+F8FF. أما طبقتا الاستخدام الخاص ، الطبقة 15 والطبقة 16، فلكل منهما منطقة استخدام خاص خاصة بها تضم ​​65534 حرفًا (مع كون آخر نقطتي ترميز في كل طبقة غير حرفيتين ). وهما منطقة الاستخدام الخاص التكميلية-أ ، التي تتراوح من U+F0000 إلى U+FFFFD، ومنطقة الاستخدام الخاص التكميلية-ب ، التي تتراوح من U+100000 إلى U+10FFFD.

تُعدّ وحدات الاستخدام الخاصة (PUAs) مفهومًا موروثًا من أنظمة ترميز آسيوية معينة. كانت هذه الأنظمة تحتوي على مساحات استخدام خاصة لترميز ما يسميه اليابانيون "غايجي" (أحرف نادرة لا توجد عادةً في الخطوط) بطرق خاصة بالتطبيقات.

الأمهات البديلات

The UCS uses surrogates to address characters outside the initial Basic Multilingual Plane without resorting to more-than-16-bit-word representations.[11] There are 1024 "high" surrogates (D800–DBFF) and 1024 "low" surrogates (DC00–DFFF). By combining a pair of surrogates, the remaining characters in all the other planes can be addressed (1024 × 1024 = 1,048,576 code points in the other 16 planes). In UTF-16, they must always appear in pairs, as a high surrogate followed by a low surrogate, thus using 32 bits to denote one code point.

A surrogate pair denotes the code point

1000016 + (H − D80016) × 40016 + (L − DC0016)

where H and L are the numeric values of the high and low surrogates respectively.[12]

Since high surrogate values in the range DB80–DBFF always produce values in the Private Use planes, the high surrogate range can be further divided into (normal) high surrogates (D800–DB7F) and "high private use surrogates" (DB80–DBFF).

Isolated surrogate code points have no general interpretation; consequently, no character code charts or names lists are provided for this range. In the Python programming language, individual surrogate codes are used to embed undecodable bytes in Unicode strings.[13]

Noncharacters

The unhyphenated term "noncharacter" refers to 66 code points (labeled <not a character>) permanently reserved for internal use, and therefore guaranteed to never be assigned to a character.[14] Each of the 17 planes has its two ending code points set aside as noncharacters. So, noncharacters are: U+FFFE and U+FFFF on the BMP, U+1FFFE and U+1FFFF on Plane 1, and so on, up to U+10FFFE and U+10FFFF on Plane 16, for a total of 34 code points. In addition, there is a contiguous range of another 32 noncharacter code points in the BMP, located in Arabic Presentation Forms-A: U+FDD0..U+FDEF. Software implementations are free to use these code points for internal use. One particularly useful example of a noncharacter is the code point U+FFFE. This code point has the reverse UTF-16/UCS-2 byte sequence of the byte order mark (U+FEFF). If a stream of text contains this noncharacter, this is a good indication the text has been interpreted with the incorrect endianness.

نصّت إصدارات معيار يونيكود من 3.1.0 إلى 6.3.0 على أنه "لا ينبغي أبدًا استبدال الأحرف غير الحرفية ". لاحقًا، أوضح التعديل رقم 9 من المعيار أن هذا كان يؤدي إلى "رفض مفرط غير مناسب"، مُبينًا أن الأحرف غير الحرفية "ليست غير قانونية في الاستبدال ولا تتسبب في نص يونيكود غير سليم"، ومزيلًا بذلك الادعاء الأصلي.

نقاط الترميز المحجوزة

تُعتبر جميع رموز الترميز الأخرى، أي تلك غير المُخصصة، محجوزة. وقد تُخصص هذه الرموز لاستخدامات محددة في الإصدارات المستقبلية من معيار يونيكود.

الأحرف، ومجموعات الحروف، والرموز الرسومية

بينما تُخصص العديد من مجموعات الأحرف الأخرى رمزًا لكل تمثيل رسومي ممكن للحرف، يسعى يونيكود إلى التعامل مع الأحرف بشكل منفصل عن الرسوم. هذا التمييز ليس دائمًا واضحًا تمامًا، ولكن بعض الأمثلة ستساعد في توضيحه. غالبًا ما يتم دمج حرفين طباعيًا لتحسين سهولة قراءة النص. على سبيل المثال، يمكن التعامل مع تسلسل الأحرف الثلاثة "ffi" كرسم واحد. في حين أن مجموعات الأحرف الأخرى غالبًا ما تُخصص رمزًا لهذا الرسم بالإضافة إلى الأحرف الفردية: "f" و"i".

بالإضافة إلى ذلك، يتعامل نظام يونيكود مع الأحرف المُشكَّلة كأحرف منفصلة، ​​تُصبح عند عرضها رمزًا واحدًا. على سبيل المثال، الحرف "o" مع علامة التشكيل : " ö ". تقليديًا، كانت مجموعات الأحرف الأخرى تُخصِّص رمزًا فريدًا لكل حرف مُشكَّل مُستخدم في كل لغة. يسعى يونيكود إلى ابتكار نهج أكثر مرونة من خلال السماح بدمج الأحرف المُشكَّلة مع أي حرف. وهذا من شأنه أن يُقلِّل بشكل كبير من عدد الرموز النشطة اللازمة لمجموعة الأحرف. على سبيل المثال، لنفترض لغة تستخدم الأبجدية اللاتينية وتجمع علامة التشكيل مع الأحرف الكبيرة والصغيرة "a" و"o" و"u". مع نهج يونيكود، لا يلزم سوى إضافة رمز علامة التشكيل إلى مجموعة الأحرف لاستخدامه مع الأحرف اللاتينية: "a" و"A" و"o" و"O" و"u" و"U": سبعة أحرف في المجموع. تحتاج مجموعة الأحرف القديمة إلى إضافة ستة أحرف مركبة مسبقًا مع علامة التشكيل بالإضافة إلى نقاط الترميز الستة التي تستخدمها للأحرف بدون علامة التشكيل: اثني عشر نقطة ترميز للأحرف في المجموع.

أحرف التوافق

يتضمن نظام UCS آلاف الأحرف التي يصنفها يونيكود كأحرف توافق. هذه الأحرف أُضيفت إلى UCS لتوفير نقاط ترميز مميزة للأحرف التي تميزها مجموعات الأحرف الأخرى، ولكنها لا تُميز في منهج يونيكود للأحرف.

السبب الرئيسي لهذا التمييز هو أن نظام يونيكود يُفرّق بين الأحرف والرموز. فعلى سبيل المثال، عند كتابة اللغة الإنجليزية بخط اليد ، قد يتخذ حرف "i" أشكالًا مختلفة سواء ظهر في بداية الكلمة أو نهايتها أو وسطها أو منفردًا. أما اللغات مثل العربية المكتوبة بالخط العربي فهي دائمًا مكتوبة بخط اليد. ولكل حرف أشكال عديدة. يتضمن نظام UCS 730 حرفًا عربيًا شكليًا، تُقسّم إلى 88 حرفًا عربيًا فريدًا فقط. ومع ذلك، أُضيفت هذه الأحرف العربية الإضافية لتمكين برامج معالجة النصوص من ترجمة النصوص من مجموعات الأحرف الأخرى إلى UCS والعكس دون فقدان أي معلومات ضرورية للبرامج غير المتوافقة مع يونيكود.

مع ذلك، بالنسبة لنظام UCS وUnicode تحديدًا، يُفضّل دائمًا ترميز الحرف أو ربطه بنفس الرمز بغض النظر عن موقعه في الكلمة. ثم تُحدّد أشكال كل حرف بواسطة برامج تصميم الخطوط وتنسيق النصوص. وبهذه الطريقة، تبقى الذاكرة الداخلية للأحرف متطابقة بغض النظر عن موقع الحرف في الكلمة، مما يُبسّط عمليات البحث والفرز ومعالجة النصوص الأخرى بشكل كبير.

خصائص الشخصية

يُعرَّف كل حرف في يونيكود بمجموعة كبيرة ومتنامية من الخصائص. معظم هذه الخصائص ليست جزءًا من مجموعة الأحرف العالمية. تُسهِّل هذه الخصائص معالجة النصوص، بما في ذلك ترتيبها وفرزها، وتحديد الكلمات والجمل والوحدات الكتابية، وعرضها أو تصويرها، وما إلى ذلك. فيما يلي قائمة ببعض الخصائص الأساسية. توجد خصائص أخرى موثقة في قاعدة بيانات أحرف يونيكود. [ 15 ]

ملكيةمثالتفاصيل
اسمالحرف اللاتيني الكبير Aهذا اسم دائم مُعتمد من خلال التعاون المشترك بين يونيكود ومنظمة المعايير الدولية (ISO) لنظام الإحداثيات الموحد (UCS). توجد بعض الأسماء غير المناسبة المعروفة، وهي مُعترف بها (مثل U+FE18 PRESENTATION FORM FOR VERTICAL RIGHT WHITE LENTICULAR BRAKCET، وهو خطأ إملائي - يجب أن يكون BRACKET)، ولكن لن يتم تغييرها لضمان استقرار المواصفات. [ 16 ]
نقطة الترميزU+0041نقطة رمز يونيكود هي رقم يُعيّن بشكل دائم مع خاصية "الاسم" ويُدرج في نظام الإحداثيات المصاحب (UCS). ويُعتاد تمثيل نقطة الرمز كرقم سداسي عشري مسبوق بالبادئة "U+".
رمز تمثيلي[ 17 ]تُقدَّم الرموز التمثيلية في جداول الرموز. [ 18 ]
نصاللاتينية (لاتينية)كل حرف جزء من نظام كتابة معين . يُخصص لكل نظام كتابة رمز مكون من أربعة أحرف، في هذه الحالة، "Latn" اختصارًا للاتينية. توجد ثلاثة أنظمة كتابة خاصة: نظام غير معروف (Zyyy) ونظامان كتابة موروثان (Zinh و Qaai).
الفئة العامةلو (حرف كبير)يتم التعبير عن الفئة العامة [ 19 ] كسلسلة من حرفين مثل "Lu" للحرف الكبير أو "Nd" للرقم العشري.
دمج الفئاتNot_Reorder (0)بما أن علامات التشكيل وغيرها من علامات الربط يمكن التعبير عنها بأحرف متعددة في يونيكود، فإن خاصية "فئة الربط" تسمح بتمييز الأحرف حسب نوع حرف الربط الذي تمثله. يمكن التعبير عن فئة الربط كعدد صحيح بين 0 و255 أو كقيمة مُسماة. تسمح القيم العددية بإعادة ترتيب علامات الربط وفقًا لترتيب معياري، مما يُتيح مقارنة السلاسل النصية المتطابقة.
فئة ثنائية الاتجاهمن اليسار إلى اليمينيشير إلى نوع الحرف المراد تطبيق خوارزمية يونيكود ثنائية الاتجاه عليه.
مرآة ثنائية الاتجاهلايشير هذا إلى ضرورة عكس أو انعكاس شكل الحرف ضمن خوارزمية ثنائية الاتجاه. يمكن لمطوري الخطوط توفير الأشكال المعكوسة، أو استخراجها من أحرف أخرى مرتبطة بها عبر خاصية "شكل الانعكاس ثنائي الاتجاه"، أو توليدها بواسطة نظام عرض النصوص.
رمز انعكاس ثنائي الاتجاهغير متوفرتشير هذه الخاصية إلى نقطة رمز حرف آخر يمكن أن يعمل رمزه كرمز معكوس للحرف الحالي عند عكسه داخل الخوارزمية ثنائية الاتجاه.
قيمة الرقم العشريNaNبالنسبة للأرقام، تشير هذه الخاصية إلى القيمة العددية للحرف. تكون القيم الثلاث للأرقام العشرية متساوية، بينما تكون القيم الثلاث للأرقام العشرية، وأرقام التنسيق المنسق، والأرقام العربية الهندية غير العشرية الأخرى، عادةً ما تكون القيمتان الأخيرتان فقط مساويتين للقيمة العددية للحرف، في حين أن الأرقام غير المرتبطة بالأرقام العربية الهندية، مثل الأرقام الرومانية أو أرقام هانغتشو/سوتشو، عادةً ما تكون القيمة العددية فقط هي المحددة.
قيمة الرقمNaN
القيمة العدديةNaN
تصويريخطأ شنيعيشير إلى أن الحرف هو رمز صيني ياباني كوري : رمز كتابي مكتوب بالخط الصيني . [ 20 ]
افتراضي قابل للتجاهلخطأ شنيعيشير هذا إلى أنه يمكن تجاهل الحرف في عمليات التنفيذ وأنه لا حاجة لعرض أي رمز أو رمز الملاذ الأخير أو رمز بديل.
مهملخطأ شنيعلا تقوم يونيكود بإزالة الأحرف من المجموعة، ولكن في بعض الأحيان تقوم يونيكود بإلغاء استخدام عدد قليل من الأحرف.

يوفر Unicode قاعدة بيانات عبر الإنترنت [ 21 ] للاستعلام التفاعلي عن مجموعة أحرف Unicode الكاملة من خلال الخصائص المختلفة.

انظر أيضاً

مراجع

  1. ↑ "معيار يونيكود" . اتحاد يونيكود . تم الاطلاع عليه بتاريخ 9 أغسطس 2016 .
  2. ↑ "خرائط طريق يونيكود" . اتحاد يونيكود . تم الاطلاع عليه بتاريخ 11 سبتمبر 2025 .
  3. ↑ "الأسئلة الشائعة - الأحرف والرموز غير الأحرف وعلامات الحفظ للاستخدام الخاص" . www.unicode.org . تم الاطلاع عليه بتاريخ 24-10-2023 .
  4. ↑ "القسم 2.13: الأحرف الخاصة" . معيار يونيكود . اتحاد يونيكود. سبتمبر 2025.
  5. ↑ "القسم 4.12: الأحرف ذات الخصائص غير العادية" . معيار يونيكود . اتحاد يونيكود. سبتمبر 2025.
  6. ↑ "علامات الترقيم الأخرى" . معيار يونيكود . اتحاد يونيكود. سبتمبر 2025.
  7. ↑ "UTN #2: طريقة عامة لعرض علامات الدمج" . www.unicode.org . تم الاطلاع عليه بتاريخ 16-12-2020 .
  8. ↑ "UAX #14: خوارزمية تقسيم الأسطر في يونيكود" . اتحاد يونيكود. 2016-06-01 . تم الاطلاع عليه بتاريخ 2016-08-09 .
  9. ↑ "القسم 23.5: الأحرف للاستخدام الخاص" (ملف PDF) . معيار يونيكود . اتحاد يونيكود. سبتمبر 2022.
  10. ↑ مايكل إيفرسون (2004-01-15). "كلينغون: U+F8D0 - U+F8FF" .
  11. ↑ "القسم 23.6: منطقة البدائل" (ملف PDF) . معيار يونيكود . اتحاد يونيكود. سبتمبر 2022.
  12. ↑ كابلان، مايكل. "الدعم البديل في منتجات مايكروسوفت" .
  13. ↑ ف. لويس، مارتن (22-04-2009). "بايتات غير قابلة للفك في واجهات أحرف النظام" . مقترحات تحسين بايثون . PEP 383. تم الاسترجاع في 09-08-2016 .
  14. ↑ "القسم 23.7: الأحرف غير الحرفية" (ملف PDF) . معيار يونيكود . اتحاد يونيكود. سبتمبر 2022.
  15. ↑ "قاعدة بيانات أحرف يونيكود" . اتحاد يونيكود . تم الاطلاع عليه بتاريخ 9 أغسطس 2016 .
  16. ↑ فرايتاج، أسموس؛ ماكجوان، ريك؛ ويستلر، كين. "مذكرة يونيكود الفنية رقم 27 - حالات شاذة معروفة في أسماء أحرف يونيكود" . اتحاد يونيكود.
  17. ↑ ليس هذا الرمز هو الرمز التمثيلي الرسمي في نظام يونيكود، بل هو مجرد رمز تمثيلي. للاطلاع على الرمز التمثيلي الرسمي في نظام يونيكود، راجع جداول الرموز .
  18. ↑ "مخططات رموز الأحرف" . اتحاد يونيكود . تم الاطلاع عليه بتاريخ 9 أغسطس 2016 .
  19. ↑ "UAX #44: قاعدة بيانات أحرف يونيكود" . قيم الفئات العامة . اتحاد يونيكود. 2014-06-05 . تم الاطلاع عليه بتاريخ 2016-08-09 .
  20. ↑ ديفيس، مارك؛ يانكو، لورينتيو؛ ويستلر، كين. "الجدول 9. جدول الخصائص § PropList.txt" . الملحق رقم 44 من معيار يونيكود - قاعدة بيانات أحرف يونيكود . اتحاد يونيكود.
  21. ↑ "أدوات يونيكود: فهرس خصائص الأحرف" . اتحاد يونيكود . تم الاطلاع عليه بتاريخ 9 يونيو 2015 .