يونيكود

الموسوعة الحرة

يونيكود
شعار اتحاد يونيكود
الاسم المستعار
اللغة(اللغات)168 نصًا ( قائمة )
معيارمعيار يونيكود
تنسيقات الترميز
(غير شائع)
(قديم)
سبقهISO/IEC 8859 ، من بين أمور أخرى
  • الموقع الرسمي
  • الموقع التقني
  • ف
  • ت
  • هـ
تحتوي هذه المقالة على أحرف Unicode غير شائعة. بدون دعم العرض المناسب ، قد ترى علامات استفهام أو مربعات أو رموز أخرى .

Unicode ، المعروف رسميًا باسم Unicode Standard ، [ملاحظة 1] هو معيار ترميز نصي يتم صيانته بواسطة Unicode Consortium مصمم لدعم استخدام النص في جميع أنظمة الكتابة في العالم التي يمكن رقمنتها. يحدد الإصدار 16.0 من المعيار [أ]154998 حرفًا و168 نصًا [ 3 ] تُستخدم في سياقات مختلفة عادية وأدبية وأكاديمية وتقنية.

العديد من الأحرف الشائعة، بما في ذلك الأرقام وعلامات الترقيم والرموز الأخرى، موحدة داخل المعيار ولا يتم التعامل معها على أنها خاصة بأي نظام كتابة معين. يشفر Unicode 3790 رمزًا تعبيريًا ، مع التطوير المستمر لها الذي أجراه الكونسورتيوم كجزء من المعيار. [4] علاوة على ذلك، كان التبني الواسع النطاق لـ Unicode مسؤولاً إلى حد كبير عن الانتشار الأولي للرموز التعبيرية خارج اليابان. Unicode قادر في النهاية على ترميز أكثر من 1.1 مليون حرف.

لقد حلت Unicode إلى حد كبير محل البيئة السابقة التي كانت تضم عددًا لا يحصى من مجموعات الأحرف غير المتوافقة ، والتي تستخدم كل منها في أماكن مختلفة وعلى بنيات حاسوبية مختلفة. يتم استخدام Unicode لتشفير الغالبية العظمى من النصوص على الإنترنت، بما في ذلك معظم صفحات الويب ، وأصبح دعم Unicode ذي الصلة أمرًا شائعًا في تطوير البرمجيات المعاصرة.

تتم مزامنة ذخيرة أحرف Unicode مع ISO/IEC 10646 ، حيث يكون كل منهما متطابقًا من حيث الكود مع الآخر. ومع ذلك، فإن معيار Unicode هو أكثر من مجرد ذخيرة يتم فيها تعيين الأحرف. لمساعدة المطورين والمصممين، يوفر المعيار أيضًا مخططات وبيانات مرجعية، بالإضافة إلى ملاحق تشرح المفاهيم ذات الصلة بمختلف البرامج النصية، وتوفر إرشادات لتنفيذها. تشمل الموضوعات التي تغطيها هذه الملاحق تطبيع الأحرف ، وتكوين الأحرف وتحليلها، والترتيب ، والاتجاه . [5]

يتم معالجة نص Unicode وتخزينه كبيانات ثنائية باستخدام أحد الترميزات العديدة ، والتي تحدد كيفية ترجمة أكواد Unicode المجردة للأحرف إلى تسلسلات من البايتات. يحدد معيار Unicode نفسه ثلاثة ترميزات: UTF-8 و UTF-16 و UTF-32 ، على الرغم من وجود العديد من الترميزات الأخرى. من بين هذه الترميزات، يعد UTF-8 هو الأكثر استخدامًا بهامش كبير، ويرجع ذلك جزئيًا إلى توافقه مع ASCII .

الأصل والتطور

لقد تم تصميم يونيكود في الأصل بهدف تجاوز القيود الموجودة في جميع ترميزات النصوص المصممة حتى تلك النقطة: حيث تم الاعتماد على كل ترميز للاستخدام في سياقه الخاص، ولكن دون توقع خاص بالتوافق مع أي ترميز آخر. والواقع أن أي ترميزين يتم اختيارهما غالبًا ما يكونان غير قابلين للتطبيق تمامًا عند استخدامهما معًا، حيث يتم تفسير النص المشفر في أحدهما على أنه أحرف قمامة بواسطة الآخر. لقد تم تصميم معظم الترميزات فقط لتسهيل التشغيل المتبادل بين عدد قليل من النصوص - غالبًا في المقام الأول بين نص معين والأحرف اللاتينية - وليس بين عدد كبير من النصوص، وليس مع معاملة جميع النصوص المدعومة بطريقة متسقة.

تسعى الفلسفة التي تدعم يونيكود إلى ترميز الأحرف الأساسية - الحروف والوحدات الشبيهة بالحروف - بدلاً من التمييزات الرسومية التي تعتبر مجرد رموز متغيرة منها، والتي يتم التعامل معها بشكل أفضل من خلال الخط ، من خلال استخدام العلامات ، أو من خلال بعض الوسائل الأخرى. في الحالات المعقدة بشكل خاص، مثل معالجة المتغيرات الإملائية في أحرف هان ، هناك خلاف كبير بشأن الاختلافات التي تبرر ترميزاتها الخاصة، والتي تعد مجرد متغيرات رسومية لأحرف أخرى.

على المستوى الأكثر تجريدًا، يعين Unicode رقمًا فريدًا يسمى نقطة رمز لكل حرف. العديد من قضايا التمثيل المرئي - بما في ذلك الحجم والشكل والأسلوب - من المفترض أن تكون متروكة لتقدير البرنامج الذي يقوم بالفعل بعرض النص، مثل متصفح الويب أو معالج الكلمات . ومع ذلك، وبهدف تشجيع التبني السريع، أصبحت بساطة هذا النموذج الأصلي أكثر تعقيدًا بمرور الوقت، وتم تقديم العديد من التنازلات العملية على مدار تطوير المعيار.

تعكس أول 256 نقطة رمزية معيار ISO/IEC 8859-1 ، بهدف التقليل من أهمية تحويل النص المكتوب بالفعل بالنصوص الأوروبية الغربية. وللحفاظ على التمييزات التي تحدثها الترميزات القديمة المختلفة، وبالتالي السماح بالتحويل بينها وبين Unicode دون أي فقدان للمعلومات، تم إعطاء العديد من الأحرف المتطابقة تقريبًا مع غيرها ، سواء في المظهر أو الوظيفة المقصودة، نقاط رمزية مميزة. على سبيل المثال، تشتمل كتلة أشكال نصف العرض والعرض الكامل على نسخة مكررة دلالية كاملة من الأبجدية اللاتينية، لأن ترميزات CJK القديمة تحتوي على أحرف "عرض كامل" (مطابقة لعرض أحرف CJK) و"عرض نصف" (مطابقة للنص اللاتيني العادي).

يتم منح جائزة Unicode Bulldog للأشخاص الذين يُعتبرون مؤثرين في تطوير Unicode، ومن بين الحاصلين عليها Tatsuo Kobayashi و Thomas Milo و Roozbeh Pournader و Ken Lunde و Michael Everson . [6]

تاريخ

يمكن إرجاع أصول Unicode إلى ثمانينيات القرن العشرين، إلى مجموعة من الأفراد الذين لديهم صلات بمعيار رمز الحرف (XCCS) الخاص بشركة Xerox . [7] في عام 1987، بدأ موظف شركة Xerox جو بيكر ، إلى جانب موظفي Apple لي كولينز ومارك ديفيس ، في التحقيق في الجوانب العملية لإنشاء مجموعة أحرف عالمية. [8] مع مدخلات إضافية من بيتر فينيك وديف أوبستاد ، [7] نشر بيكر مسودة اقتراح لـ "نظام ترميز أحرف نصية دولي/متعدد اللغات في أغسطس 1988، يُطلق عليه مؤقتًا اسم Unicode". وأوضح أن "اسم" Unicode "يهدف إلى الإشارة إلى ترميز فريد وموحد وعالمي". [7]

في هذه الوثيقة، المعنونة Unicode 88 ، حدد بيكر مخططًا باستخدام أحرف مكونة من 16 بتًا : [7]

إن الهدف من استخدام Unicode هو تلبية الحاجة إلى ترميز نص عالمي قابل للتطبيق وموثوق. ويمكن وصف Unicode بأنه "ترميز ASCII واسع النطاق " تم تمديده إلى 16 بتًا ليشمل أحرف جميع لغات العالم الحية. وفي التصميم الهندسي السليم، فإن 16 بتًا لكل حرف أكثر من كافية لهذا الغرض.

تم اتخاذ قرار التصميم هذا بناءً على افتراض أن النصوص والأحرف المستخدمة "حديثًا" فقط هي التي تتطلب الترميز: [7]

إن نظام يونيكود يعطي أولوية أعلى لضمان الفائدة للمستقبل مقارنة بالحفاظ على الآثار القديمة. ويستهدف يونيكود في المقام الأول الأحرف المنشورة في النص الحديث (على سبيل المثال في اتحاد جميع الصحف والمجلات المطبوعة في العالم في عام 1988)، والتي يقل عددها بلا شك عن 2 14 = 16384. وبخلاف تلك الأحرف المستخدمة في العصر الحديث، يمكن تعريف كل الأحرف الأخرى بأنها قديمة أو نادرة؛ وهي مرشحة أفضل للتسجيل للاستخدام الخاص بدلاً من تكديس القائمة العامة لأحرف يونيكود المفيدة بشكل عام.

في أوائل عام 1989، توسعت مجموعة عمل يونيكود لتشمل كين ويسلر ومايك كيرناغان من ميتافور، وكارين سميث يوشيمورا وجوان أليبراند من مجموعة مكتبات الأبحاث ، وجلين رايت من صن مايكروسيستمز . في عام 1990، انضم ميشيل سوجنارد وأسموس فرايتاج من مايكروسوفت وريك ماكجوان من نيكست إلى المجموعة أيضًا. بحلول نهاية عام 1990، اكتملت معظم أعمال إعادة تعيين المعايير الحالية، وكانت مسودة المراجعة النهائية ليونيكود جاهزة.

تأسست منظمة Unicode Consortium في كاليفورنيا في 3 يناير 1991، [9] وتم نشر المجلد الأول من The Unicode Standard في أكتوبر من ذلك العام. وتم نشر المجلد الثاني، الذي أضاف الآن رموزًا باللغة الهان، في يونيو 1992.

في عام 1996، تم تنفيذ آلية الأحرف البديلة في Unicode 2.0، بحيث لم يعد Unicode مقيدًا بـ 16 بت. أدى هذا إلى زيادة مساحة رمز Unicode إلى أكثر من مليون نقطة رمز، مما سمح بتشفير العديد من النصوص التاريخية، مثل الهيروغليفية المصرية ، وآلاف الأحرف النادرة الاستخدام أو القديمة التي لم يكن من المتوقع تضمينها في المعيار. من بين هذه الأحرف أحرف CJK النادرة الاستخدام - يتم استخدام العديد منها بشكل أساسي في الأسماء الصحيحة، مما يجعلها ضرورية أكثر بكثير للتشفير العالمي مما تصوره بنية Unicode الأصلية. [10]

استخدمت النسخة 1.0 من مواصفات TrueType الخاصة بشركة Microsoft، والتي نُشرت في عام 1992، اسم "Apple Unicode" بدلاً من "Unicode" لمعرف النظام الأساسي في جدول التسمية.

اتحاد يونيكود

اتحاد يونيكود هو منظمة غير ربحية تنسق تطوير يونيكود. يشمل الأعضاء الكاملون معظم شركات البرمجيات والأجهزة الحاسوبية الرئيسية (وعدد قليل من الشركات الأخرى) التي لديها أي اهتمام بمعايير معالجة النصوص، بما في ذلك Adobe و Apple و Google و IBM و Meta (المعروفة سابقًا باسم Facebook) و Microsoft و Netflix و SAP . [11]

على مر السنين، أصبحت العديد من البلدان أو الهيئات الحكومية أعضاء في اتحاد يونيكود. وفي الوقت الحالي، تعد وزارة الأوقاف والشؤون الدينية (عمان) فقط عضوًا كامل العضوية مع حق التصويت. [11]

لدى الكونسورتيوم هدف طموح يتمثل في استبدال أنظمة ترميز الأحرف الحالية في نهاية المطاف بـ Unicode وأنظمة تنسيق تحويل Unicode القياسي (UTF)، حيث أن العديد من الأنظمة الحالية محدودة الحجم والنطاق وغير متوافقة مع البيئات متعددة اللغات .

النصوص المغطاة

يمكن للعديد من التطبيقات الحديثة تقديم مجموعة فرعية كبيرة من العديد من البرامج النصية في Unicode ، كما هو موضح في لقطة الشاشة هذه من تطبيق OpenOffice.org .

يغطي Unicode حاليًا معظم أنظمة الكتابة الرئيسية المستخدمة اليوم. [12] [ مصدر أفضل مطلوب ]

اعتبارًا من عام 2024 ، تم تضمين ما مجموعه 168 نصًا [13] في أحدث إصدار من Unicode (يغطي الأبجديات والأبوجيدات والمقاطع ) ، على الرغم من وجود نصوص لم يتم ترميزها بعد، وخاصة تلك المستخدمة بشكل أساسي في السياقات التاريخية والليتورجية والأكاديمية. تحدث أيضًا إضافات أخرى للأحرف إلى النصوص المشفرة بالفعل، بالإضافة إلى الرموز، وخاصة للرياضيات والموسيقى ( في شكل ملاحظات ورموز إيقاعية).

تحتفظ لجنة خارطة طريق يونيكود ( مايكل إيفرسون ، ريك ماكجوان، كين ويسلر، في إس أوماماهيسواران) [14] بقائمة النصوص المرشحة أو المحتملة للترميز وتعيينات كتلة التعليمات البرمجية المؤقتة الخاصة بها على صفحة خارطة طريق يونيكود [15] على موقع يونيكود كونسورتيوم . بالنسبة لبعض النصوص الموجودة على خارطة الطريق، مثل نص جورشن وخيتان الكبير ، تم تقديم مقترحات الترميز وهم يعملون في طريقهم من خلال عملية الموافقة. بالنسبة للنصوص الأخرى، مثل نوميديان ورونغورونجو ، لم يتم تقديم أي اقتراح حتى الآن، وهم ينتظرون الاتفاق على ذخيرة الأحرف والتفاصيل الأخرى من مجتمعات المستخدمين المعنية.

يتم إدراج بعض النصوص الحديثة المبتكرة التي لم يتم تضمينها بعد في Unicode (على سبيل المثال، Tengwar ) أو التي لا تتأهل للتضمين في Unicode بسبب نقص الاستخدام في العالم الحقيقي (على سبيل المثال، Klingon ) في سجل ConScript Unicode ، جنبًا إلى جنب مع تعيينات أكواد مناطق الاستخدام الخاصة غير الرسمية ولكن المستخدمة على نطاق واسع .

هناك أيضًا مبادرة خطوط Unicode في العصور الوسطى تركز على الأحرف اللاتينية الخاصة بالعصور الوسطى. وقد تم بالفعل تضمين جزء من هذه المقترحات في Unicode.

مبادرة ترميز النصوص

تأسست مبادرة ترميز النصوص، [16] وهو مشروع تديره ديبورا أندرسون في جامعة كاليفورنيا، بيركلي، في عام 2002 بهدف تمويل مقترحات النصوص التي لم يتم ترميزها بعد في المعيار. أصبح المشروع مصدرًا رئيسيًا للإضافات المقترحة للمعيار في السنوات الأخيرة. [17]

الإصدارات

لقد قام اتحاد Unicode بالاشتراك مع المنظمة الدولية للمعايير بتطوير ذخيرة مشتركة بعد النشر الأولي لمعيار Unicode : يستخدم Unicode ومجموعة الأحرف المشفرة العالمية (UCS) التابعة للمنظمة الدولية للمعايير أسماء أحرف ونقاط ترميز متطابقة. ومع ذلك، فإن إصدارات Unicode تختلف عن نظيراتها من ISO بطريقتين مهمتين.

في حين أن UCS عبارة عن خريطة أحرف بسيطة، فإن Unicode يحدد القواعد والخوارزميات والخصائص اللازمة لتحقيق التوافق بين المنصات واللغات المختلفة. وبالتالي، يتضمن معيار Unicode مزيدًا من المعلومات، التي تغطي موضوعات متعمقة مثل الترميز ثنائي الاتجاه، والترتيب ، والرسم. كما يوفر كتالوجًا شاملاً لخصائص الأحرف، بما في ذلك تلك اللازمة لدعم النص ثنائي الاتجاه ، بالإضافة إلى المخططات المرئية ومجموعات البيانات المرجعية لمساعدة المنفذين. في السابق، تم بيع معيار Unicode كمجلد مطبوع يحتوي على المواصفات الأساسية الكاملة وملاحق المعايير [ملاحظة 2] ومخططات التعليمات البرمجية. ومع ذلك، كان الإصدار 5.0، الذي نُشر في عام 2006، هو الإصدار الأخير المطبوع بهذه الطريقة. بدءًا من الإصدار 5.2، يمكن شراء المواصفات الأساسية فقط، المنشورة ككتاب ورقي مطبوع عند الطلب. [18] من ناحية أخرى، يتم نشر النص الكامل كملف PDF مجاني على موقع Unicode على الويب.

يسلط سبب عملي لطريقة النشر هذه الضوء على الاختلاف الثاني المهم بين UCS وUnicode - التردد الذي يتم به إصدار إصدارات محدثة وإضافة أحرف جديدة. أصدر معيار Unicode بانتظام إصدارات موسعة سنوية، وأحيانًا مع إصدار أكثر من إصدار واحد في السنة التقويمية وفي حالات نادرة حيث كان لا بد من تأجيل الإصدار المقرر. على سبيل المثال، في أبريل 2020، بعد شهر من نشر الإصدار 13.0، أعلن اتحاد Unicode أنه قد غير تاريخ الإصدار المقصود للإصدار 14.0، مما أدى إلى تأخيره ستة أشهر إلى سبتمبر 2021 بسبب جائحة COVID-19 .

تم إصدار Unicode 16.0، أحدث إصدار، في 10 سبتمبر 2024. وقد أضاف 5185 حرفًا وسبعة نصوص جديدة: Garay و Gurung Khema و Kirat Rai و Ol Onal و Sunuwar و Todhri و Tulu-Tigalari . [19]

حتى الآن، تم نشر الإصدارات التالية من معيار يونيكود . الإصدارات المحدثة، التي لا تتضمن أي تغييرات في ذخيرة الأحرف، يتم الإشارة إليها بالرقم الثالث (على سبيل المثال، "الإصدار 4.0.1") ويتم حذفها في الجدول أدناه. [20]

سجل إصدارات Unicode والتغييرات الملحوظة في الأحرف والنصوص
إصدار تاريخ النشر
(كتاب، نص) 		إصدار UCS المجموع تفاصيل
النصوص الشخصيات [أ]
1.0.0 [21] أكتوبر 1991 رقم الكتاب الدولي المعياري  0-201-56788-1 (المجلد 1) — 24 7129 النصوص الأولية المغطاة : العربية والأرمنية والبنغالية والبوبوموفو والسيريلية والديفاناغارية والجورجية واليونانية والقبطية والغوجاراتية والغورموخية والهانغول والعبرية والهيراجانا والكانادا والكاتاكانا واللاوسية واللاتينية والمالايالامية والأوديا والتاميلية والتيلجو والتايلاندية والتبتية​​​​​​​​​​​​​​​​​​
1.0.1 [22] يونيو 1992 رقم الكتاب الدولي المعياري  0-201-60845-6 (المجلد 2) 25 28 327+21 204
-6 		أول 20,902 من الرموز الموحدة للعملة الصينية واليابانية
1.1 [23] يونيو 1993 — ايزو/اي اي سي 10646-1 :1993

[ب]

24 34 168+5963
-9 		تم إعادة تصنيف 33 حرفًا كأحرف تحكم. تمت إزالة 4,306 مقطعًا من الهانغول والتبت
2.0 [24] يوليو 1996 رقم الكتاب الدولي المعياري  0-201-48345-9 25 38 885+11 373
-6656 		تم إزالة المجموعة الأصلية من مقاطع الهانغول، وتمت إضافة مجموعة جديدة من 11172 مقطعًا هانغوليًا في موقع جديد، وتمت إضافة التبتية مرة أخرى في موقع جديد ومع ذخيرة مختلفة من الأحرف، وتم تحديد آلية الأحرف البديلة، وتم تخصيص مناطق الاستخدام الخاص في المستويين 15 و16
2.1 [25] مايو 1998 — 38 887+2
 		U+20AC € علامة اليورو ، U+FFFC  حرف استبدال الكائن [25]
3.0 [26] سبتمبر 1999 رقم الكتاب الدولي المعياري  0-201-61633-5 ايزو/اي اي سي 10646-1:2000 38 49 194+10 307
 		الشروكية ، الجعزية ، الخميرية ، المنغولية ، البورمية ، الأوغامية ، الرونية ، السنهالية ، السريانية ، التانا ، المقاطع الكندية الأصلية ، ومقاطع يي ، أنماط برايل
3.1 [27] مارس 2001 — ISO/IEC 10646-1:2000 [ج]
ايزو/اي اي سي 10646-2:2001 		41 94 140+44 946
 		Deseret ، Gothic و Old Italic ، مجموعات من الرموز للموسيقى الغربية والبيزنطية ، 42711 رمزًا موحدًا إضافيًا للغة الصينية واليابانية
3.2 [28] مارس 2002 45 95 156+1016
 		الحروف الفلبينية ( بوهيد ، هانونو ، تاغالوغ ، وتاغبانوا )
4.0 [29] ابريل 2003 رقم الكتاب الدولي  الموحد 0-321-18578-1 ايزو/اي اي سي 10646:2003

[د]

52 96 382+1226
 		الأبجدية القبرصية ، الليمبو ، الخط ب ، العثمانية ، الشاوية ، التاي لي ، والأوغاريتية ، رموز السداسية
4.1 [30] مارس 2005 — 59 97 655+1273
 		البوجينية ، والغلاغولية ، والخاروشتية ، والتاي لوي الجديدة ، والفارسية القديمة ، والسيلهيتية النغرية ، والتيفيناغية ، والقبطية المنفصلة عن اليونانية، والأرقام اليونانية القديمة والرموز الموسيقية ، تم تقديم تسلسلات الأحرف المسماة أولاً. [31]
5.0 [32] يوليو 2006 رقم الكتاب الدولي الموحد  0-321-48091-0 64 99 024+1369
 		بالينية ، مسمارية ، نكو ، فاجسبا ، فينيقية [33]
5.1 [34] ابريل 2008 — 75 100 648+1624
 		كاريان ، شام ، كاياه لي ، ليبتشا ، ليسيان ، ليديان ، أول تشيكي ، ريجانج ، سوراشترا ، سوندانيس ، وفاي ، مجموعات من الرموز لقرص فايستوس ، بلاط ماجونغ ، بلاط دومينو ، إضافات إلى البورمية، اختصارات سكريبال ، U+1E9E ẞ حرف كبير لاتيني حاد S
5.2 [35] أكتوبر 2009 رقم الكتاب الدولي المعياري  978-1-936213-00-9 90 107 296+6648
 		الأفيستية ، الباموم ، قائمة علامات غاردينر للهيروغليفية المصرية ، الآرامية الإمبراطورية ، البهلوية المنقوشة ، البارثية المنقوشة ، الجاوية ، الكايثية ، ليسو ، ميتاي مايك ، العربية الجنوبية القديمة ، التركية القديمة ، السامرية ، تاي تام وتاي فيت ، إيديوغرامات موحدة إضافية للغة التشيكوسلوفاكية واليابانية، جامو للهانغول القديمة، السنسكريتية الفيدية
6.0 [36] أكتوبر 2010 رقم الكتاب الدولي المعياري  978-1-936213-01-6 ايزو/اي اي سي 10646:2010

[هـ]

93 109 384+2088
 		الباتاكية ، والبراهمية ، والمندائية ، ورموز أوراق اللعب ، ورموز النقل والخرائط، والرموز الكيميائية ، والرموز التعبيرية والرموز التعبيرية، [37] الرموز الموحدة الصينية اليابانية الإضافية
6.1 [38] يناير 2012 رقم الكتاب الدولي المعياري  978-1-936213-02-3 ايزو/اي اي سي 10646:2012

[ف]

100 110 116+732
 		الشكما ، والمتصلة المروية ، والهيروغليفية المروية ، ومياو ، وشارادا ، وسورا سومبينج ، وتكري
6.2 [39] سبتمبر 2012 رقم الكتاب الدولي  الموحد 978-1-936213-07-8 110 117+1
 		U+20BA ₺ علامة الليرة التركية
6.3 [40] سبتمبر 2013 رقم الكتاب الدولي المعياري  978-1-936213-08-5 110 122+5
 		5 أحرف تنسيق ثنائية الاتجاه
7.0 [41] يونيو 2014 رقم الكتاب الدولي المعياري  978-1-936213-09-2 123 112 956+2834
 		باسا فاه ، الألباني القوقازي ، دوبلويان ، الباسان ، غرانثا ، خوجكي ، خوداوادي ، الخطي أ ، مهاجاني ، المانوية ، مندي كيكاكوي ، مودي ، مرو ، النبطية ، شمال الجزيرة العربية القديمة ، بيرميك القديم ، باهاوه همونغ ، تدمري ، باو سين هاو ، مزامير بهلوي , سيدهام , تيروتا , وارانج سيتي , ودينجباتس
8.0 [42] يونيو 2015 رقم الكتاب الدولي المعياري  978-1-936213-10-8 ايزو/اي اي سي 10646:2014

[ج]

129 120 672+7716
 		أهوم ، الهيروغليفية الأناضولية ، هاتران ، ملتاني ، المجرية القديمة ، كتابة اللافتات ، رموز إيديوجرافية موحدة إضافية للغة التشيكية واليابانية، أحرف صغيرة للغة الشروكية، 5 تعديلات لدرجات لون البشرة في الرموز التعبيرية
9.0 [45] يونيو 2016 رقم الكتاب الدولي المعياري  978-1-936213-13-9 135 128 172+7500
 		أدلام , بهايكسوكي , مارشين , نيوا , أوسيدج , تانغوت , 72 رمز تعبيري [46]
10.0 [47] يونيو 2017 رقم الكتاب الدولي المعياري  978-1-936213-16-0 ايزو/اي اي سي 10646:2017

[ح]

139 136 690+8518
 		ساحة زانابازار ، سويومبو ، ماسارام ​​غوندي ، نوشو ، هينتاغانا ، 7494 رمزًا موحدًا للغة التشيكوسلوفاكية واليابانية، 56 رمزًا تعبيريًا، علامة بيتكوين U+20BF ₿
11.0 [48] يونيو 2018 رقم الكتاب الدولي المعياري  978-1-936213-19-1 146 137 374+684
 		دوجرا ، أحرف كبيرة جورجية من لغة متافرولي ، غونجالا غوندي ، هانيف روهينجا ، أرقام سياق الهندية ، ماكاسار ، ميديفيدرين ، سوغدية قديمة وسغدية ، أرقام مايا ، 5 رموز موحدة للغة التشيكوسلوفاكية واليابانية، رموز لـ شيانغتشي وتصنيفات النجوم ، 145 رمز تعبيري
12.0 [49] مارس 2019 رقم الكتاب الدولي المعياري  978-1-936213-22-1 150 137 928+554
 		اللغة الإليمائية ، والنانديناجارية ، والنياكينج بواتشوي ، والهمونغ، والوانشو ، والمياو ، والحروف الصغيرة من الهيراجانا والكاتاكانا، والكسور والرموز التاريخية التاميلية، والحروف اللاوية للبالية ، والحروف اللاتينية للنسخ المصري والأوغاريتي، وضوابط تنسيق الهيروغليفية، و61 رمز تعبيري
12.1 [50] مايو 2019 رقم الكتاب الدولي المعياري  978-1-936213-25-2 137 929+1
 		U+32FF ㋿ اسم العصر المربع ريوا
13.0 [51] مارس 2020 رقم الكتاب الدولي المعياري  978-1-936213-26-9 ايزو/اي اي سي 10646:2020

[52]

154 143 859+5930
 		اللغة الخورسمية ، والديفيز أكورو ، والخط الخيتان الصغير ، واليزيدية ، و 4969 رمزًا صينيًا يابانيًا، وإضافات الكتابة العربية المستخدمة لكتابة الهاوسا والولوف ولغات أفريقية أخرى، وإضافات تستخدم لكتابة الهندكو والبنجابية في باكستان، وإضافات بوبوموفو المستخدمة في الكانتونية، ورموز ترخيص المشاع الإبداعي، والأحرف الرسومية للتوافق مع أنظمة التليتيكست والكمبيوتر المنزلي، و55 رمز تعبيري
14.0 [53] سبتمبر 2021 رقم الكتاب الدولي المعياري  978-1-936213-29-0 159 144 697+838
 		توتو ، قبرص مينوان ، فيثكوكي ، الأويغور القديمة ، تانغسا ، IPA الموسعة، إضافات النص العربي للاستخدام في اللغات عبر أفريقيا وفي إيران وباكستان وماليزيا وإندونيسيا وجاوا والبوسنة، إضافات للتكريم والاستخدام القرآني، إضافات لدعم اللغات في أمريكا الشمالية والفلبين والهند ومنغوليا، U+20C0 ⃀ SOM SIGN ، النوتة الموسيقية Znamenny ، 37 رمزًا تعبيريًا
15.0 [54] سبتمبر 2022 رقم الكتاب الدولي المعياري  978-1-936213-32-0 161 149 186+4489
 		كاوي ومنداري ، 20 رمز تعبيري، 4192 رمزًا صينيًا يابانيًا، أحرف تحكم في الهيروغليفية المصرية
15.1 [55] سبتمبر 2023 رقم الكتاب الدولي المعياري  978-1-936213-33-7 149 813+627
 		رموز CJK إضافية
16.0 [56] سبتمبر 2024 رقم الكتاب الدولي المعياري  978-1-936213-34-4 168 154 998+5185
 		جاراي ، جورونج خيما ، كيرات راي ، أول أونال ، سنوار ، تودري ، تولو تيجالاري
  1. ^ العدد الإجمالي للأحرف الرسومية والتنسيقية، باستثناء أحرف الاستخدام الخاص ، وأحرف التحكم ، والأحرف غير المخصصة ، ونقاط الكود البديلة ).
  2. ^
    • 2.0 تمت إضافة التعديلات 5 و6 و7
    • 2.1 تمت إضافة شخصيتين من التعديل رقم 18.
  3. ^ 3.2 تمت إضافة التعديل 1.
  4. ^
    • 4.1 تمت إضافة التعديل 1
    • 5.0 تمت إضافة التعديل 2 بالإضافة إلى أربع شخصيات من التعديل 3
    • 5.1 تمت إضافة التعديل 4
    • 5.2 تمت إضافة التعديلات 5 و 6
  5. ^ بالإضافة إلى علامة الروبية الهندية
  6. ^
  7. ^ بالإضافة إلى التعديل 1، بالإضافة إلى علامة لاري ، وتسعة رموز موحدة للغة التشيكية واليابانية، و41 رمزًا تعبيريًا؛ [43]
    أضافت النسخة 9.0 التعديل 2، بالإضافة إلى أدلام، ونيوا، ورموز التلفزيون الياباني، و74 رمزًا تعبيريًا. [44]
  8. ^
    • بالإضافة إلى 56 رمزًا تعبيريًا و285 شخصية هينتاجانا و3 شخصيات من ساحة زانابازار
    • 11.0 تمت إضافة 46 حرفًا كبيرًا من اللغة الجورجية Mtavruli، و5 رموز تعبيرية موحدة CJK، و66 رمزًا تعبيريًا
    • 12.0 تمت إضافة 62 حرفًا إضافيًا.

الإصدارات المتوقعة

يصدر اتحاد Unicode عادة إصدارًا جديدًا من معيار Unicode مرة واحدة كل عام. ومن المتوقع أن يتضمن الإصدار 17.0، وهو الإصدار الرئيسي التالي، 4301 حرفًا موحدًا جديدًا من أحرف CJK . [57] [58]

الهندسة المعمارية والمصطلحات

مساحة الكود ونقاط الكود

يحدد معيار Unicode مساحة الكود : [59] وهي عبارة عن تسلسل من الأعداد الصحيحة تسمى نقاط الكود [60] في النطاق من 0 إلى1 114 111 ، مُدون وفقًا للمعيار على النحو التالي: U+0000 – U+10FFFF . [61] مساحة الكود هي تمثيل منهجي مستقل عن البنية لمعيار Unicode ؛ تتم معالجة النص الفعلي كبيانات ثنائية عبر أحد ترميزات Unicode العديدة، مثل UTF-8 .

في هذا التدوين المعياري، تسبق البادئة المكونة من حرفين U+دائمًا نقطة رمز مكتوبة، [62] وتُكتب نقاط الرمز نفسها كأرقام سداسية عشرية . تُكتب دائمًا أربعة أرقام سداسية عشرية على الأقل، مع إضافة أصفار بادئة حسب الحاجة. على سبيل المثال، تُبطن نقطة الرمز U+00F7 ÷ علامة القسمة بصفرين بادئين، ولكن U+13254 𓉔 الهيروغليفية المصرية O004 ( ) غير مبطن. [63]

يوجد إجمالي 2 20 + (2 16 − 2 11 ) =1 112 064 نقطة ترميز صالحة ضمن مساحة الترميز. (ينشأ هذا الرقم من قيود ترميز الأحرف UTF-16 ، والذي يمكنه ترميز 2 16 نقطة ترميز في النطاق من U+0000 إلى U+FFFF باستثناء 2 11 نقطة ترميز في النطاق من U+D800 إلى U+DFFF ، والتي تُستخدم كأزواج بديلة لترميز 2 20 نقطة ترميز في النطاق من U+10000 إلى U+10FFFF .)

المستويات والكتل البرمجية

تنقسم مساحة ترميز Unicode إلى 17 مستوى ، مرقمة من 0 إلى 16. المستوى 0 هو المستوى متعدد اللغات الأساسي (BMP)، ويحتوي على الأحرف الأكثر استخدامًا. يتم الوصول إلى جميع نقاط الترميز في BMP كوحدة ترميز واحدة في ترميز UTF-16 ويمكن ترميزها في بايت واحد أو اثنين أو ثلاثة بايتات في UTF-8. يتم الوصول إلى نقاط الترميز في المستويات من 1 إلى 16 ( المستويات التكميلية ) كأزواج بديلة في UTF-16 وترميزها في أربعة بايتات في UTF-8 .

داخل كل مستوى، يتم تخصيص الأحرف داخل كتل مسماة من الأحرف ذات الصلة. يكون حجم الكتلة دائمًا مضاعفًا لـ 16، وغالبًا ما يكون مضاعفًا لـ 128، ولكن بخلاف ذلك يكون عشوائيًا. يمكن توزيع الأحرف المطلوبة لنص معين على عدة كتل مختلفة ومنفصلة محتملة داخل مساحة الكود.

العقارات من الفئة العامة

يتم تعيين تصنيف لكل نقطة رمز، مدرجًا كخاصية الفئة العامة لنقطة الرمز . هنا، يتم تصنيف نقاط الرمز في المستوى الأعلى على أنها حرف أو علامة أو رقم أو علامة ترقيم أو رمز أو فاصل أو غير ذلك. تحت كل فئة، يتم بعد ذلك تصنيف كل نقطة رمز إلى فئات فرعية أخرى. في معظم الحالات، يجب استخدام خصائص أخرى لوصف جميع خصائص أي نقطة رمز معينة بشكل مناسب.

الفئة العامة ( خاصية أحرف Unicode ) [أ]
  • ف
  • ت
  • هـ
قيمة الفئة الرئيسية، الثانوية النوع الأساسي [ب] الحرف المخصص [ب] العد [ج] (اعتبارًا من 16.0)
 ملاحظات
 
L ، حرف؛ LC ، حرف مُحَمَّل (Lu وLl وLt فقط) [d]
لو حرف كبير رسم بياني شخصية 1,858
ل حرف صغير رسم بياني شخصية 2,258
ملازم أول رسالة، عنوان رسم بياني شخصية 31 الأربطة أو الحروف الثنائية التي تحتوي على حرف كبير يتبعه جزء صغير (على سبيل المثال، Dž و Lj و Nj و Dz )
لم حرف، معدِّل رسم بياني شخصية 404 حرف تعديل
لو رسالة أخرى رسم بياني شخصية 136,477 رسم أو حرف في أبجدية أحادية الحالة
م ، مارك
من علامة، بدون مسافة رسم بياني شخصية 2,020
ماك علامة، تباعد الجمع رسم بياني شخصية 468
أنا علامة، المرفق رسم بياني شخصية 13
ن ، رقم
اختصار الثاني رقم، رقم عشري رسم بياني شخصية 760 كل هذه، وفقط هذه، لها نوع رقمي = De [e]
اللغة الهولندية الرقم والحرف رسم بياني شخصية 236 الأرقام المكونة من أحرف أو رموز تشبه الحروف (على سبيل المثال، الأرقام الرومانية )
لا رقم آخر رسم بياني شخصية 915 على سبيل المثال، الكسور العادية ، والأرقام العلوية والسفلية ، والأرقام العشرية
ص , علامات الترقيم
كمبيوتر شخصي علامات الترقيم، الموصل رسم بياني شخصية 10 تتضمن أحرف التباعد السفلية مثل "_" وأحرف ربط التباعد الأخرى . وعلى عكس أحرف الترقيم الأخرى، يمكن تصنيفها على أنها أحرف "كلمة" بواسطة مكتبات التعبيرات العادية . [f]
ب د علامات الترقيم، شرطة رسم بياني شخصية 27 يتضمن العديد من الأحرف الواصلة
ملاحظة علامات الترقيم المفتوحة رسم بياني شخصية 79 الأحرف التي تفتح بين قوسين
بي علامات الترقيم، إغلاق رسم بياني شخصية 77 أحرف الأقواس المغلقة
باي علامات الترقيم، الاقتباس الأولي رسم بياني شخصية 12 علامة الاقتباس الافتتاحية . لا تتضمن علامة الاقتباس "المحايدة" في ASCII. قد تتصرف مثل Ps أو Pe حسب الاستخدام
ف ف علامات الترقيم، الاقتباس النهائي رسم بياني شخصية 10 علامة اقتباس إغلاق. قد تتصرف مثل Ps أو Pe حسب الاستخدام
بو علامات الترقيم، أخرى رسم بياني شخصية 640
س ، الرمز
سم الرمز والرياضيات رسم بياني شخصية 950 الرموز الرياضية (على سبيل المثال، + ، − ، = ، × ، ÷ ، √ ، ∊ ، ≠ ). لا تتضمن الأقواس والأقواس المعقوفة، والتي تندرج ضمن الفئتين Ps وPe. كما لا تتضمن ! ، * ، - ، أو / ، والتي على الرغم من استخدامها المتكرر كمشغلات رياضية، تعتبر في المقام الأول "علامات ترقيم".
س الرمز، العملة رسم بياني شخصية 63 رموز العملة
سك الرمز، المعدل رسم بياني شخصية 125
لذا رمز آخر رسم بياني شخصية 7,376
ز ، فاصل
زس فاصل، مسافة رسم بياني شخصية 17 يتضمن المساحة، ولكن ليس TAB أو CR أو LF ، والتي هي Cc
زل فاصل، خط شكل شخصية 1 فاصل الخط U+2028 فقط (LSEP)
زب فاصل، فقرة شكل شخصية 1 فاصل الفقرة U+2029 فقط (PSEP)
ج , أخرى
نسخة أخرى، التحكم يتحكم شخصية 65 (لن يتغير أبدًا) [e] لا يوجد اسم، [g] <control>
راجع اخرى، تنسيق شكل شخصية 170 تتضمن شرطة ناعمة ، وأحرف تحكم متصلة ( ZWNJ و ZWJ )، وأحرف تحكم لدعم النص ثنائي الاتجاه ، وأحرف علامة اللغة
سي اس أخرى، بديلة بديل لا (يستخدم فقط في UTF-16 ) 2,048 (لن يتغير أبدًا) [e] لا يوجد اسم، [g] <بديل >
كو أخرى، استخدام خاص الاستخدام الخاص الشخصية (ولكن لم يتم تحديد أي تفسير) 137,468 إجماليًا (لن يتغير أبدًا) [e] ( 6,400 في BMP ، و131,068 في الطائرات 15-16 ) لا يوجد اسم، [g] <استخدام خاص >
سي إن أخرى، غير مخصصة غير شخصية لا 66 (لن يتغير إلا إذا تم توسيع نطاق نقاط رمز Unicode) [e] لا يوجد اسم، [g] <noncharacter>
محجوز لا 819,467 لا يوجد اسم، [g] <محجوز >
  1. ^ "الجدول 4-4: الفئة العامة". معيار يونيكود . اتحاد يونيكود. سبتمبر 2024.
  2. ^ "الجدول 2-3: أنواع نقاط الترميز". معيار يونيكود . اتحاد يونيكود. سبتمبر 2024.
  3. ^ "DerivedGeneralCategory.txt". اتحاد يونيكود. 2024-04-30.
  4. ^ "5.7.1 قيم الفئات العامة". UTR #44: قاعدة بيانات أحرف Unicode . اتحاد Unicode. 2024-08-27.
  5. ^ abcde سياسات استقرار ترميز أحرف Unicode: استقرار قيمة الخاصية سياسة الاستقرار: لن تتغير بعض مجموعات gc أبدًا. gc=Nd يتوافق مع النوع الرقمي=De (عشري).
  6. ^ "الملحق ج: خصائص التوافق (§ كلمة)". تعبيرات يونيكود العادية . الإصدار 23. اتحاد يونيكود . 2022-02-08. المعيار الفني يونيكود رقم 18.
  7. ^ abcde "الجدول 4-9: إنشاء علامات نقاط الترميز". معيار يونيكود . اتحاد يونيكود. سبتمبر 2024.يمكن استخدام تسمية نقطة الرمز لتحديد نقطة رمز بلا اسم. على سبيل المثال <control- hhhh >، <control-0088>. يظل الاسم فارغًا، مما قد يمنع استبدال اسم عنصر تحكم برمز تحكم حقيقي عن غير قصد في الوثائق. يستخدم Unicode أيضًا <ليس حرفًا> لـ <غير حرف>.

التُعرف 1024 نقطة في النطاق U+D800 – U+DBFF بنقاط الترميز البديلة العالية ، ونقاط الترميز في النطاق U+DC00 – U+DFFF (تُعرف نقاط الترميز (1024 نقطة) بنقاط الترميز البديلة المنخفضة . تشكل نقطة الترميز البديلة العالية التي تتبعها نقطة ترميز بديلة منخفضة زوجًا بديلًا في UTF-16 لتمثيل نقاط الترميز الأكبر من U+FFFF . من حيث المبدأ، لا يمكن استخدام نقاط الترميز هذه بطريقة أخرى، على الرغم من أنه في الممارسة العملية غالبًا ما يتم تجاهل هذه القاعدة، خاصةً عند عدم استخدام UTF-16.

مجموعة صغيرة من نقاط الترميز مضمونة بعدم تخصيصها أبدًا للأحرف، على الرغم من أن أطرافًا ثالثة قد تستخدمها بشكل مستقل حسب تقديرها. يوجد 66 من هذه النقاط غير المرمزة : U+FDD0 – U+FDEF وآخر نقطتي ترميز في كل من المستويات السبعة عشر (على سبيل المثال U+FFFE ، U+FFFF ، U+1FFFE ، U+1FFFF ، ...، U+10FFFE ، U+10FFFF ). مجموعة النقاط غير المرمزة مستقرة، ولن يتم تعريف أي نقاط غير مرمزة جديدة أبدًا. [64] مثل البدائل، غالبًا ما يتم تجاهل القاعدة التي تنص على أنه لا يمكن استخدامها، على الرغم من أن تشغيل علامة ترتيب البايت يفترض أن U+FFFE لن تكون أبدًا أول نقطة ترميز في النص. يؤدي استبعاد البدائل والنقاط غير المرمزة إلى ترك1 111 998 نقاط رمز متاحة للاستخدام.

تعتبر نقاط الترميز للاستخدام الخاص مخصصة، ولكنها لا تخضع عمدًا لأي تفسير محدد من قبل معيار Unicode [65] بحيث يتطلب أي تبادل لمثل هذه النقاط الترميزية اتفاقًا مستقلاً بين المرسل والمستقبل فيما يتعلق بتفسيرها. هناك ثلاث مناطق للاستخدام الخاص في مساحة ترميز Unicode:

  • منطقة الاستخدام الخاص: U+E000 – U+F8FF (6400 حرفًا
  • منطقة الاستخدام الخاص التكميلية-أ: U+F0000 – U+FFFFD (65534 حرفًا​
  • منطقة الاستخدام الخاص التكميلية-ب: U+100000 – U+10FFFD (( 65534 حرفًا).

الحروف الرسومية هي تلك التي حددها معيار Unicode بحيث يكون لها دلالات معينة، إما أن يكون لها شكل رسومي مرئي أو تمثل مساحة مرئية. اعتبارًا من Unicode 16.0، هناك154826 حرفًا رسوميًا .

أحرف التنسيق هي أحرف ليس لها مظهر مرئي ولكنها قد تؤثر على مظهر أو سلوك الأحرف المجاورة. على سبيل المثال، يمكن استخدام U+200C ZERO WIDTH NON-JOINER و U+200D ZERO WIDTH JOINER لتغيير سلوك التشكيل الافتراضي للأحرف المجاورة (على سبيل المثال لمنع الأربطة أو طلب تكوين الأربطة). يوجد 172 حرف تنسيق في Unicode 16.0.

65 نقطة رمز، النطاقات U+0000 – U+001F و U+007F – U+009F ، محجوزة كرموز تحكم ، تتوافق مع رموز التحكم C0 وC1 كما هو محدد في ISO/IEC 6429. تُستخدم U+0089 LINE TABULATION و U+008A LINE FEED و U+000D CARRIAGE RETURN على نطاق واسع في النصوص التي تستخدم Unicode. في ظاهرة تُعرف باسم mojibake ، يتم فك تشفير نقاط الرمز C1 بشكل غير صحيح وفقًا لصفحة رموز Windows-1252 ، والتي كانت تُستخدم على نطاق واسع سابقًا في سياقات أوروبا الغربية.

يُشار إلى الأحرف الرسومية والتنسيقية ورموز التحكم والاستخدام الخاص مجتمعة باسم الأحرف المخصصة . نقاط الرمز المحجوزة هي نقاط الرمز الصالحة والمتاحة للاستخدام، ولكن لم يتم تخصيصها بعد. اعتبارًا من Unicode 15.1، هناك819 467 نقاط الكود المحجوزة.

شخصيات مجردة

لا تتوافق مجموعة الأحرف الرسومية والتنسيقية التي يحددها Unicode بشكل مباشر مع ذخيرة الأحرف المجردة التي يمكن تمثيلها بموجب Unicode. يشفر Unicode الأحرف عن طريق ربط حرف مجرد بنقطة رمز معينة. [66] ومع ذلك، لا يتم ترميز جميع الأحرف المجردة كحرف Unicode واحد، وقد يتم تمثيل بعض الأحرف المجردة في Unicode بتسلسل من حرفين أو أكثر. على سبيل المثال، يتم تمثيل الحرف اللاتيني الصغير "i" مع ogonek ونقطة أعلاه وعلامة حادة ، وهو مطلوب في الليتوانية ، بتسلسل الأحرف U+012F ؛ U+0307 ؛ U+0301 . يحتفظ Unicode بقائمة من تسلسلات الأحرف ذات الأسماء الفريدة للأحرف المجردة التي لم يتم ترميزها مباشرة في Unicode. [67]

جميع الأحرف المعينة لها اسم فريد وغير قابل للتغيير يتم التعرف عليها من خلاله. وقد تم ضمان هذا الثبات منذ الإصدار 2.0 من معيار Unicode من خلال سياسة استقرار الاسم. [64] في الحالات التي يكون فيها الاسم معيبًا ومضللًا بشكل خطير، أو يحتوي على خطأ طباعي خطير، يمكن تعريف اسم مستعار رسمي يتم تشجيع التطبيقات على استخدامه بدلاً من اسم الحرف الرسمي. على سبيل المثال، U+A015 ꀕ YI SYLLABLE WU له الاسم المستعار الرسمي YI SYLLABLE ITERATION MARK ، و U+FE18 ︘ PRESENTATION FOR VERTICAL RIGHT WHITE LENTICULAR BRAKCET ( sic ) له الاسم المستعار الرسمي PRESENTATION FOR VERTICAL RIGHT WHITE LENTICULAR BRA CK ET . [68]

الشخصيات الجاهزة مقابل الشخصيات المركبة

يتضمن Unicode آلية لتعديل الأحرف تعمل على توسيع ذخيرة الحروف الرسومية المدعومة بشكل كبير. ويغطي هذا استخدام علامات التشكيل المدمجة التي قد يضيفها المستخدم بعد الحرف الأساسي. ويمكن تطبيق علامات تشكيل مدمجة متعددة في نفس الوقت على نفس الحرف. يحتوي Unicode أيضًا على إصدارات مسبقة التركيب لمعظم مجموعات الحروف/التشكيل في الاستخدام العادي. وهذا يجعل التحويل من وإلى الترميزات القديمة أبسط، ويسمح للتطبيقات باستخدام Unicode كتنسيق نص داخلي دون الحاجة إلى تنفيذ أحرف مدمجة. على سبيل المثال، éيمكن تمثيلها في Unicode على النحو التالي: U+0065 e LATIN SMALL LETTER E متبوعًا بـ U+0301 ◌́ COMBINING ACUTE ACCENT )، وعلى نحو مكافئ كحرف مسبق التركيب U+00E9 é LATIN SMALL LETTER E WITH ACUTE . وبالتالي، غالبًا ما يكون لدى المستخدمين طرق مكافئة متعددة لترميز نفس الحرف. وتضمن آلية التكافؤ القانوني ضمن معيار Unicode إمكانية التبادل العملي لهذه الترميزات المكافئة.

يظهر مثال على ذلك مع الأبجدية الكورية هانغول : يوفر يونيكود آلية لتكوين مقاطع هانغول من مكوناتها الفرعية هانغول جامو الفردية . ومع ذلك، فإنه يوفر أيضًا11 172 مجموعة من المقاطع المعدة مسبقًا مصنوعة من أكثر أنواع الجامو شيوعًا.

لا تحتوي أحرف CJK حاليًا إلا على رموز للجذور غير القابلة للتركيب والأشكال المركبة مسبقًا. تم تكوين معظم أحرف الهان عمدًا من عناصر إملائية أبسط تسمى الجذور أو أعيد بناؤها كتركيبات من عناصر إملائية أبسط تسمى الجذور ، لذلك من حيث المبدأ كان من الممكن أن يتيح Unicode تكوينها كما فعل مع الهانغول. في حين أن هذا كان من الممكن أن يقلل بشكل كبير من عدد نقاط الرمز المطلوبة، فضلاً عن السماح بالتوليف الخوارزمي للعديد من الأحرف الجديدة التعسفية، فإن تعقيدات أصول الأحرف والطبيعة اللاحقة لأنظمة الجذور تضيف تعقيدًا هائلاً إلى الاقتراح. في الواقع، قوبلت محاولات تصميم ترميزات CJK على أساس تكوين الجذور بصعوبات ناجمة عن حقيقة أن الأحرف الصينية لا تتحلل ببساطة أو بانتظام مثل الهانغول.

تم تعيين كتلة مكمل الجذور الصينية اليابانية إلى النطاق U+2E80 – U+2EFF ، وتم تعيين جذور كانغشي إلى U+2F00 – U+2FDF . تغطي كتلة تسلسلات الوصف الإيديوغرافي النطاق U+2FF0 – U+2FFB ، لكن معيار يونيكود يحذر من استخدام أحرفه كتمثيل بديل للأحرف المشفرة في مكان آخر:

تختلف هذه العملية عن الترميز الرسمي لرمز تعبيري. فلا يوجد وصف رسمي للرموز التعبيرية غير المشفرة؛ ولا توجد دلالة دلالية مخصصة للرموز التعبيرية الموصوفة؛ ولا يوجد تكافؤ محدد للرموز التعبيرية الموصوفة. من الناحية المفاهيمية، تشبه الأوصاف التعبيرية العبارة الإنجليزية "حرف 'e' مع وجود علامة تشديد حادة عليه" أكثر من تسلسل الأحرف <U+0065، U+0301>.

الأربطة

تحتوي العديد من النصوص، بما في ذلك العربية والديفاناجارية ، على قواعد إملائية خاصة تتطلب دمج مجموعات معينة من أشكال الحروف في أشكال رباط خاصة . يمكن أن تكون القواعد التي تحكم تكوين الرباط معقدة للغاية، مما يتطلب تقنيات تشكيل نصية خاصة مثل ACE (محرك الخط العربي من DecoType في الثمانينيات والذي تم استخدامه لإنشاء جميع الأمثلة العربية في الإصدارات المطبوعة من The Unicode Standard )، والذي أصبح دليلاً على مفهوم OpenType (من Adobe وMicrosoft)، أو Graphite (من SIL International )، أو AAT (من Apple).

إن التعليمات مضمنة أيضًا في الخطوط لإخبار نظام التشغيل بكيفية إخراج تسلسلات الأحرف المختلفة بشكل صحيح. إن الحل البسيط لوضع علامات الجمع أو علامات التشكيل هو تعيين عرض للعلامات يساوي صفرًا ووضع الحرف نفسه على يسار أو يمين المحمل الجانبي الأيسر (اعتمادًا على اتجاه النص المقصود استخدامه معه). ستظهر العلامة التي يتم التعامل معها بهذه الطريقة فوق أي حرف يسبقها، لكنها لن تعدل موضعها بالنسبة لعرض أو ارتفاع الحرف الأساسي؛ قد تكون غير مريحة بصريًا وقد تتداخل مع بعض الحروف. إن التكديس الحقيقي مستحيل ولكن يمكن تقريبه في حالات محدودة (على سبيل المثال، يمكن أن تكون أحرف العلة وعلامات النغمة العلوية التايلاندية على ارتفاعات مختلفة في البداية). بشكل عام، هذا النهج فعال فقط في الخطوط أحادية المسافة ولكن يمكن استخدامه كطريقة عرض بديلة عندما تفشل الطرق الأكثر تعقيدًا.

مجموعات فرعية موحدة

تم توحيد عدة مجموعات فرعية من Unicode: يدعم Microsoft Windows منذ Windows NT 4.0 WGL-4 مع 657 حرفًا، وهو ما يعتبر دعمًا لجميع اللغات الأوروبية المعاصرة التي تستخدم النصوص اللاتينية أو اليونانية أو السيريلية. تشمل المجموعات الفرعية الموحدة الأخرى من Unicode المجموعات الفرعية الأوروبية متعددة اللغات: [70] MES-1 (النصوص اللاتينية فقط؛ 335 حرفًا)، وMES-2 (اللاتينية واليونانية والسيريلية؛ 1062 حرفًا) [71] وMES-3A وMES-3B (مجموعتان فرعيتان أكبر، غير موضحتين هنا). تتضمن MES-2 كل حرف في MES-1 وWGL-4.

تحدد المعايير DIN 91379 [72] مجموعة فرعية من أحرف Unicode والأحرف الخاصة وتسلسلات الحروف والعلامات الإشارية للسماح بالتمثيل الصحيح للأسماء وتبسيط تبادل البيانات في أوروبا. تدعم هذه المعايير جميع اللغات الرسمية لجميع دول الاتحاد الأوروبي، بالإضافة إلى اللغات الألمانية الأقلية واللغات الرسمية لأيسلندا وليختنشتاين والنرويج وسويسرا. للسماح بنسخ الأسماء في أنظمة الكتابة الأخرى إلى النص اللاتيني وفقًا لمعايير ISO ذات الصلة، يتم توفير جميع التركيبات الضرورية من الحروف الأساسية والعلامات الإشارية.

WGL-4 و MES-1 وMES-2
صف الخلايا النطاق(ات)
00 20–7هـ اللاتينية الأساسية (00–7F)
أ0-FF الملحق اللاتيني 1 (80–FF)
01 00–13، 14–15، 16–2ب، 2C–2D، 2E–4D، 4E–4F، 50–7E، 7F اللاتينية الممتدة-أ (00–7F)
8F، 92، B7، DE-EF، FA-FF اللاتينية الممتدة-ب (80–FF ... )
02 18-1ب، 1هـ-1و اللاتينية الممتدة-ب ( ... 00–4F)
59، 7ج، 92 امتدادات IPA (50–AF)
BB–BD، C6، C7 ، C9، D6، D8–DB، DC، DD، DF، EE أحرف تعديل المسافة (B0–FF)
03 74–75، 7A، 7E، 84–8A، 8C، 8E–A1، A3–CE، D7، DA–E1 اليونانية (70-FF)
04 00–5F، 90–91، 92–C4، C7–C8، CB–CC، D0–EB، EE–F5، F8–F9 السيريلية (00–FF)
1هـ 02–03، 0A–0B، 1E–1F، 40–41، 56–57، 60–61، 6A–6B، 80–85، 9B، F2–F3 اللاتينية الممتدة الإضافية (00–FF)
1ف 00–15، 18–1د، 20–45، 48–4د، 50–57، 59، 5ب، 5د، 5و–7د، 80–ب4، ب6–ج4، ج6–د3، د6–دب، د د–إف، ف2–ف4، ف6–إف إي اللغة اليونانية الموسعة (00–FF)
20 13-14، 15، 17، 18-19، 1أ-1ب، 1ج-1د، 1هـ، 20-22، 26، 30، 32-33، 39-3أ، 3ج، 3هـ، 44، 4أ علامات الترقيم العامة (00–6F)
7 ف ، 82 الحروف العلوية والسفلية (70–9F)
A3–A4، A7، AC، AF رموز العملة (A0–CF)
21 05، 13، 16، 22، 26، 2E الرموز التي تشبه الحروف (00–4F)
5ب-5هـ نماذج الأرقام (50-8F)
90-93، 94-95، أ8 السهام (90–FF)
22 00، 02، 03، 06، 08–09، 0F، 11–12، 15، 19–1A، 1E–1F، 27–28، 29، 2A، 2B، 48، 59، 60–61، 64–65، 82-83، 95، 97 المعاملات الرياضية (00–FF)
23 02، 0أ، 20–21، 29–2أ متفرقات تقنية (00–FF)
25 00، 02، 0 درجة مئوية، 10، 14، 18، 1 درجة مئوية، 24، 2 درجة مئوية، 34، 3 درجة مئوية، 50-6 درجة مئوية رسم الصندوق (00–7F)
80، 84، 88، 8ج، 90-93 عناصر الكتلة (80–9F)
A0–A1، AA–AC، B2، BA، BC، C4، CA–CB، CF، D8–D9، E6 الأشكال الهندسية (A0–FF)
26 3أ-3ج، 40، 42، 60، 63، 65-66، 6أ، 6ب رموز متنوعة (00–FF)
ف0 (01–02) منطقة الاستخدام الخاص (00–FF ...)
فيس بوك 01–02 نماذج العرض الأبجدي (00–4F)
اف اف فد العروض الخاصة

غالبًا ما تعرض برامج العرض التي لا تستطيع معالجة حرف Unicode بشكل مناسب هذا الحرف على شكل مستطيل مفتوح، أو على شكل U+FFFD للإشارة إلى موضع الحرف غير المعترف به. وقد حاولت بعض الأنظمة توفير مزيد من المعلومات حول مثل هذه الأحرف. سيعرض خط Last Resort من Apple رمزًا بديلًا يشير إلى نطاق Unicode للحرف، وسيعرض خط Unicode البديل من SIL International مربعًا يوضح القيمة القياسية السداسية عشرية للحرف.

التخطيط والترميز

لقد تم تحديد العديد من الآليات لتخزين سلسلة من نقاط التعليمات البرمجية كسلسلة من البايتات.

يُعرِّف Unicode طريقتين للتعيين: ترميزات تنسيق تحويل Unicode (UTF)، وترميزات مجموعة الأحرف المشفرة العالمية (UCS). تُعيِّن الترميز (ربما مجموعة فرعية من) نطاق نقاط رمز Unicode إلى تسلسلات من القيم في نطاق حجم ثابت، يُطلق عليه وحدات الترميز . تُعيِّن جميع ترميزات UTF نقاط الرمز إلى تسلسل فريد من البايتات. [73] تشير الأرقام الموجودة في أسماء الترميزات إلى عدد البتات لكل وحدة ترميز (لترميزات UTF) أو عدد البايتات لكل وحدة ترميز (لترميزات UCS و UTF-1 ). UTF-8 وUTF-16 هما الترميزات الأكثر استخدامًا. UCS-2 هي مجموعة فرعية قديمة من UTF-16؛ UCS-4 وUTF-32 متكافئان وظيفيًا.

تتضمن ترميزات UTF ما يلي:

  • UTF-8 ، الذي يستخدم من وحدة إلى أربع وحدات مكونة من 8 بتات لكل نقطة رمز ، [ملاحظة 3] وله أقصى قدر من التوافق مع ASCII
  • UTF-16 ، الذي يستخدم إما وحدة واحدة أو وحدتين من 16 بت لكل نقطة رمز، ولكن لا يمكنه ترميز الأحرف البديلة
  • UTF-32 ، والذي يستخدم وحدة واحدة مكونة من 32 بت لكل نقطة رمز
  • UTF-EBCDIC ، غير محدد كجزء من معيار Unicode ، والذي يستخدم من وحدة إلى خمس وحدات مكونة من 8 بتات لكل نقطة رمز، والمقصود منه تعظيم التوافق مع EBCDIC

يستخدم UTF-8 من واحد إلى أربعة وحدات 8 بت ( بايت ) لكل نقطة رمز، ولأنه مضغوط للنصوص اللاتينية ومتوافق مع ASCII، فإنه يوفر الترميز القياسي الفعلي لتبادل نص Unicode. يستخدمه FreeBSD وأحدث توزيعات Linux كبديل مباشر للترميزات القديمة في التعامل مع النصوص بشكل عام.

تحدد ترميزات UCS-2 وUTF-16 علامة ترتيب البايتات (BOM) في Unicode لاستخدامها في بدايات ملفات النصوص، والتي يمكن استخدامها للكشف عن ترتيب البايتات (أو الكشف عن ترتيب البايتات ). تحتوي علامة ترتيب البايتات، المشفرة على هيئة U+FEFF ZERO WIDTH NO-BREAK SPACE ، على الخاصية المهمة المتمثلة في عدم الغموض عند إعادة ترتيب البايتات، بغض النظر عن ترميز Unicode المستخدم؛ لا تعادل U+FFFE (نتيجة تبديل البايتات U+FEFF ) حرفًا قانونيًا، وتنقل U+FEFF في أماكن أخرى غير بداية النص مسافة عدم الانقطاع ذات العرض الصفري.

يصبح نفس الحرف المحول إلى UTF-8 هو تسلسل البايتات EF BB BF. يسمح معيار Unicode لقائمة المواد "بالعمل كتوقيع للنص المشفر بـ UTF-8 حيث تكون مجموعة الأحرف غير مميزة". [74] تبناها بعض مطوري البرامج لترميزات أخرى، بما في ذلك UTF-8، في محاولة للتمييز بين UTF-8 وصفحات التعليمات البرمجية المحلية المكونة من 8 بتات . ومع ذلك، توصي RFC  3629، معيار UTF-8، بمنع علامات ترتيب البايتات في البروتوكولات التي تستخدم UTF-8، لكنها تناقش الحالات التي قد لا يكون ذلك ممكنًا فيها. بالإضافة إلى ذلك، فإن القيد الكبير على الأنماط المحتملة في UTF-8 (على سبيل المثال، لا يمكن أن يكون هناك أي بايتات منفردة بمجموعة بتات عالية) يعني أنه يجب أن يكون من الممكن التمييز بين UTF-8 وترميزات الأحرف الأخرى دون الاعتماد على قائمة المواد.

في UTF-32 وUCS-4، تعمل وحدة ترميز واحدة مكونة من 32 بت كتمثيل مباشر إلى حد ما لأي نقطة ترميز لأي حرف (على الرغم من أن الترتيب النهائي، الذي يختلف عبر منصات مختلفة، يؤثر على كيفية ظهور وحدة الترميز كتسلسل بايت). في الترميزات الأخرى، يمكن تمثيل كل نقطة ترميز بعدد متغير من وحدات الترميز. يستخدم UTF-32 على نطاق واسع كتمثيل داخلي للنص في البرامج (على عكس النص المخزن أو المنقول)، حيث يستخدمه كل نظام تشغيل يونكس يستخدم مُجمِّعي gcc لتوليد البرامج باعتباره الترميز القياسي " للأحرف العريضة ". تستخدم بعض لغات البرمجة، مثل Seed7 ، UTF-32 كتمثيل داخلي للسلاسل والأحرف. يمكن أيضًا تكوين الإصدارات الحديثة من لغة برمجة Python (بدءًا من 2.2) لاستخدام UTF-32 كتمثيل لسلاسل Unicode، ونشر مثل هذا الترميز بشكل فعال في البرامج المشفرة عالية المستوى .

يتيح Punycode ، وهو شكل آخر من أشكال الترميز، ترميز سلاسل Unicode في مجموعة الأحرف المحدودة التي يدعمها نظام أسماء النطاقات (DNS) القائم على ASCII . ويُستخدم الترميز كجزء من IDNA ، وهو نظام يتيح استخدام أسماء النطاقات الدولية في جميع البرامج النصية التي يدعمها Unicode. وتتضمن المقترحات السابقة والتاريخية UTF-5 و UTF-6 .

GB18030 هو شكل ترميز آخر لـ Unicode، من إدارة التقييس الصينية . وهو مجموعة الأحرف الرسمية لجمهورية الصين الشعبية (PRC). BOCU-1 و SCSU هما مخططان لضغط Unicode. حدد RFC في يوم كذبة أبريل لعام 2005 ترميزين محاكاة ساخرة لـ UTF، UTF-9 و UTF-18 .

التبني

يُعد Unicode، في شكل UTF-8 ، الترميز الأكثر شيوعًا لشبكة الويب العالمية منذ عام 2008. [75] وقد تم اعتماده عالميًا تقريبًا، ويوجد الكثير من المحتوى غير UTF-8 في ترميزات Unicode الأخرى، على سبيل المثال UTF-16 . اعتبارًا من عام 2024 ، يمثل UTF-8 في المتوسط ​​98.3٪ من جميع صفحات الويب (و983 من أفضل 1000 صفحة ويب ذات تصنيف عالٍ). [76] على الرغم من أن العديد من الصفحات تستخدم أحرف ASCII فقط لعرض المحتوى، فقد تم تصميم UTF-8 مع ASCII مكون من 8 بتات كمجموعة فرعية ولا تعلن أي مواقع ويب تقريبًا الآن عن ترميزها ليكون ASCII فقط بدلاً من UTF-8. [77] أكثر من ثلث اللغات التي تم تعقبها تستخدم UTF-8 بنسبة 100٪.

تتطلب جميع بروتوكولات الإنترنت التي تديرها فرقة عمل هندسة الإنترنت ، مثل FTP ، [78] دعم UTF-8 منذ نشر RFC  2277 في عام 1998، والذي حدد أن جميع بروتوكولات IETF "يجب أن تكون قادرة على استخدام مجموعة أحرف UTF-8". [79]

أنظمة التشغيل

أصبح Unicode هو النظام السائد للمعالجة الداخلية وتخزين النصوص. على الرغم من أن قدرًا كبيرًا من النص لا يزال مخزَّنًا في ترميزات قديمة، إلا أن Unicode يستخدم حصريًا تقريبًا لبناء أنظمة معالجة معلومات جديدة. كان المتبنون الأوائل يميلون إلى استخدام UCS-2 (السلف القديم ذي البايتين ذي الطول الثابت لـ UTF-16) وانتقلوا لاحقًا إلى UTF-16 (المعيار الحالي ذي الطول المتغير)، حيث كانت هذه هي الطريقة الأقل إزعاجًا لإضافة الدعم للأحرف غير BMP. أشهر نظام من هذا القبيل هو Windows NT (وأحفاده، 2000 و XP و Vista و 7 و 8 و 10 و 11 )، والذي يستخدم UTF-16 باعتباره الترميز الداخلي الوحيد للأحرف. تستخدم بيئات Java و .NET بايت كود، وmacOS و KDE أيضًا للتمثيل الداخلي. يمكن تثبيت دعم جزئي لـ Unicode على Windows 9x من خلال Microsoft Layer for Unicode .

أصبح UTF-8 (الذي تم تطويره في الأصل لـ Plan 9 ) [80] هو ترميز التخزين الرئيسي في معظم أنظمة التشغيل الشبيهة بـ Unix (على الرغم من استخدام البعض الآخر أيضًا بواسطة بعض المكتبات) لأنه بديل سهل نسبيًا لمجموعات أحرف ASCII الموسعة التقليدية . يعد UTF-8 أيضًا ترميز Unicode الأكثر شيوعًا المستخدم في مستندات HTML على شبكة الويب العالمية .

تتضمن محركات عرض النصوص متعددة اللغات التي تستخدم Unicode Uniscribe و DirectWrite لنظام Microsoft Windows، و ATSUI و Core Text لنظام macOS، و Pango لنظام GTK+ وسطح مكتب GNOME .

طرق الإدخال

نظرًا لأن تخطيطات لوحة المفاتيح لا يمكن أن تحتوي على مجموعات مفاتيح بسيطة لجميع الأحرف، فإن العديد من أنظمة التشغيل توفر طرق إدخال بديلة تسمح بالوصول إلى المجموعة الكاملة.

تحدد ISO/IEC 14755 ، [81] التي توحد طرق إدخال أحرف Unicode من نقاط ترميزها، عدة طرق. هناك الطريقة الأساسية ، حيث يتبع التسلسل الابتدائي التمثيل السداسي عشر لنقطة الترميز والتسلسل النهائي . هناك أيضًا طريقة إدخال اختيار الشاشة المحددة، حيث يتم سرد الأحرف في جدول على الشاشة، كما هو الحال مع برنامج خريطة الأحرف.

تتضمن الأدوات المتوفرة عبر الإنترنت للعثور على نقطة رمز لحرف معروف Unicode Lookup [82] بواسطة Jonathan Hedley وShapecatcher [83] بواسطة Benjamin Milde. في Unicode Lookup، يقوم المرء بإدخال مفتاح بحث (على سبيل المثال "كسور")، ويتم إرجاع قائمة بالأحرف المقابلة مع نقاط رمزها. في Shapecatcher، بناءً على سياق الشكل ، يرسم المرء الحرف في مربع ويتم إرجاع قائمة بالأحرف التقريبية للرسم، مع نقاط رمزها.

بريد إلكتروني

يحدد MIME آليتين مختلفتين لترميز الأحرف غير ASCII في البريد الإلكتروني، اعتمادًا على ما إذا كانت الأحرف موجودة في رؤوس البريد الإلكتروني (مثل "الموضوع:")، أو في نص الرسالة؛ في كلتا الحالتين، يتم تحديد مجموعة الأحرف الأصلية بالإضافة إلى ترميز النقل. لنقل البريد الإلكتروني من Unicode، يوصى بمجموعة أحرف UTF-8 وترميز النقل Base64 أو Quoted-printable ، اعتمادًا على ما إذا كانت الرسالة تتكون من أحرف ASCII . يتم تحديد تفاصيل الآليتين المختلفتين في معايير MIME وعادة ما تكون مخفية عن مستخدمي برامج البريد الإلكتروني.

لقد حددت IETF [84] [85] إطار عمل للبريد الإلكتروني الدولي باستخدام UTF-8، وقامت بتحديث [86] [87] [88] [89] العديد من البروتوكولات وفقًا لهذا الإطار.

كان اعتماد Unicode في البريد الإلكتروني بطيئًا للغاية. [ بحاجة لمصدر ] لا يزال بعض النصوص في شرق آسيا مُشفَّرة بترميزات مثل ISO-2022 ، ولا تزال بعض الأجهزة، مثل الهواتف المحمولة، [ بحاجة لمصدر ] غير قادرة على التعامل بشكل صحيح مع بيانات Unicode. ومع ذلك، فقد تحسن الدعم. يدعمه العديد من موفري البريد الإلكتروني المجاني الرئيسيين مثل Yahoo! Mail و Gmail و Outlook.com .

الويب

استخدمت جميع توصيات W3C ترميز Unicode كمجموعة أحرف مستندية منذ HTML 4.0. وقد دعمت متصفحات الويب ترميز Unicode، وخاصة UTF-8، لسنوات عديدة. كانت هناك مشكلات في العرض ناتجة في المقام الأول عن مشكلات تتعلق بالخطوط ؛ على سبيل المثال، لم يكن برنامج Microsoft Internet Explorer v6 وما قبله يعرض العديد من نقاط التعليمات البرمجية ما لم يتم إخباره صراحةً باستخدام خط يحتوي عليها. [90]

على الرغم من أن قواعد بناء الجملة قد تؤثر على الترتيب الذي يُسمح بظهور الأحرف به، فإن مستندات XML (بما في ذلك XHTML )، بحكم التعريف، [91] تتألف من أحرف من معظم نقاط رمز Unicode، باستثناء:

تظهر أحرف HTML إما بشكل مباشر على هيئة بايتات وفقًا لترميز المستند، إذا كان الترميز يدعمها، أو قد يكتبها المستخدمون كمراجع رقمية للأحرف استنادًا إلى نقطة ترميز Unicode للحرف. على سبيل المثال، يجب عرض المراجع &#916;, &#1049;, &#1511;, , &#1605;, &#3671;, &#12354;, &#21494;, &#33865;, و &#47568;(أو نفس القيم الرقمية المعبر عنها بالنظام السداسي عشر، مع &#xكبادئة) على جميع المتصفحات على هيئة Δ وЙ وק وק و๗ وあ و叶 و葉 و말.

عند تحديد عناوين URI ، على سبيل المثال كعناوين URL في طلبات HTTP ، يجب ترميز الأحرف غير ASCII بنسبة مئوية .

الخطوط

لا يهتم Unicode من حيث المبدأ بالخطوط في حد ذاتها ، بل يراها كخيارات للتنفيذ. [92] قد يكون لأي حرف معين العديد من الأشكال ، من الأشكال الأكثر شيوعًا للخط العريض والمائل والأساسي إلى الأنماط الزخرفية المعقدة. يكون الخط "متوافقًا مع Unicode" إذا كان من الممكن الوصول إلى الحروف الرسومية في الخط باستخدام نقاط التعليمات البرمجية المحددة في معيار Unicode . [93] لا يحدد المعيار الحد الأدنى لعدد الأحرف التي يجب تضمينها في الخط؛ تحتوي بعض الخطوط على ذخيرة صغيرة جدًا.

تتوفر الخطوط المجانية والتجارية المستندة إلى Unicode على نطاق واسع، حيث يدعم TrueType و OpenType Unicode ( ويعتمد تنسيق الخطوط المفتوح على الويب (WOFF و WOFF2 ) على ذلك). تقوم تنسيقات الخطوط هذه بتعيين نقاط رمز Unicode إلى الحروف، ولكن ملفات الخطوط OpenType وTrueType مقيدة بـ 65535 حرفًا. توفر ملفات المجموعة آلية "وضع الفجوة" للتغلب على هذا الحد في ملف خط واحد. (ومع ذلك، لا يزال لكل خط داخل المجموعة حد 65535 حرفًا). عادةً ما يكون لملف مجموعة TrueType امتداد الملف ".ttc".

توجد آلاف الخطوط في السوق، ولكن أقل من عشرة خطوط - توصف أحيانًا بأنها خطوط "عالمية" - تحاول دعم غالبية ذخيرة أحرف Unicode. بدلاً من ذلك، تركز الخطوط المستندة إلى Unicode عادةً على دعم ASCII الأساسي فقط ونصوص معينة أو مجموعات من الأحرف أو الرموز. تبرر عدة أسباب هذا النهج: نادرًا ما تحتاج التطبيقات والمستندات إلى عرض الأحرف من أكثر من نظام كتابة واحد أو نظامين؛ تميل الخطوط إلى طلب الموارد في بيئات الحوسبة؛ وتُظهر أنظمة التشغيل والتطبيقات ذكاءً متزايدًا فيما يتعلق بالحصول على معلومات الحروف من ملفات خطوط منفصلة حسب الحاجة، أي استبدال الخط . علاوة على ذلك، فإن تصميم مجموعة متسقة من تعليمات العرض لعشرات الآلاف من الحروف يشكل مهمة ضخمة؛ مثل هذه المغامرة تتجاوز نقطة العائدات المتناقصة لمعظم الخطوط.

سطور جديدة

يعالج Unicode جزئيًا مشكلة السطر الجديد التي تحدث عند محاولة قراءة ملف نصي على منصات مختلفة. يحدد Unicode عددًا كبيرًا من الأحرف التي يجب أن تتعرف عليها التطبيقات المتوافقة كعلامات إنهاء للأسطر.

فيما يتعلق بالسطر الجديد، قدم Unicode U+2028 LINE SEPARATOR و U+2029 PARAGRAPH SEPARATOR . كانت هذه محاولة لتوفير حل Unicode لترميز الفقرات والأسطر دلاليًا، مما قد يحل محل جميع حلول المنصات المختلفة. وبذلك، يوفر Unicode طريقة للتغلب على الحلول التاريخية المعتمدة على المنصة. ومع ذلك، فإن القليل من حلول Unicode إن وجدت قد اعتمدت فواصل الأسطر والفقرات Unicode هذه باعتبارها الأحرف الوحيدة الأساسية لإنهاء السطر. ومع ذلك، فإن النهج الشائع لحل هذه المشكلة هو من خلال تطبيع السطر الجديد. يتم تحقيق ذلك باستخدام نظام نص Cocoa في macOS وأيضًا مع توصيات W3C XML وHTML. في هذا النهج، يتم تحويل كل حرف سطر جديد ممكن داخليًا إلى سطر جديد مشترك (وهو أمر لا يهم حقًا لأنه عملية داخلية فقط للرسم). بعبارة أخرى، يمكن لنظام النص التعامل بشكل صحيح مع الحرف كسطر جديد، بغض النظر عن الترميز الفعلي للإدخال.

مشاكل

توحيد الشخصية

توحيد هان

تم تكليف مجموعة البحث الإيديولوجي (IRG) بتقديم المشورة إلى الكونسورتيوم والمنظمة الدولية للمعايير فيما يتعلق بتوحيد هان، أو Unihan، وخاصة إضافة المزيد من الرموز الموحدة والمتوافقة للغة الصينية واليابانية إلى ذخيرة الرموز. تتألف مجموعة البحث الإيديولوجي من خبراء من كل منطقة استخدمت تاريخيًا الأحرف الصينية . ومع ذلك، وعلى الرغم من المداولات داخل اللجنة، فإن توحيد هان كان باستمرار أحد أكثر الجوانب المثيرة للجدال في معيار Unicode منذ نشأة المشروع. [94]

حددت معايير مجموعة الأحرف الموجودة مثل JIS X 0208 اليابانية (المشفرة بواسطة Shift JIS ) معايير التوحيد، أي القواعد لتحديد متى يجب اعتبار حرف صيني متغير اختلافًا في الكتابة اليدوية/الخط (وبالتالي موحدًا)، مقابل اختلاف في التهجئة (يجب ترميزه بشكل منفصل). كان نموذج أحرف Unicode لأحرف CJK قائمًا على معايير التوحيد المستخدمة بواسطة JIS X 0208، بالإضافة إلى تلك التي طورتها جمعية الكود الصيني المشترك في الصين. [95] نظرًا لمبدأ المعيار في ترميز المتغيرات الدلالية بدلاً من المتغيرات الأسلوبية، فقد تلقى Unicode انتقادات لعدم تعيين نقاط رمز لبعض متغيرات الكانجي النادرة والقديمة ، مما قد يؤدي إلى تعقيد معالجة الأسماء اليابانية القديمة وغير الشائعة. نظرًا لأنه يركز بشكل خاص على الصينيين واليابانيين والكوريين الذين يتشاركون في العديد من الأحرف المشتركة، يُنظر إلى توحيد هان أحيانًا أيضًا على أنه يعامل الثلاثة على أنهم نفس الشيء. [96]

توجد ترميزات بديلة أقل استخدامًا، وغالبًا ما تسبق Unicode، مع نماذج أحرف تختلف عن هذا النموذج، بهدف الحفاظ على الاختلافات الأسلوبية المختلفة بين أشكال الأحرف الإقليمية و/أو غير القياسية. أحد الأمثلة هو رمز TRON الذي يفضله بعض المستخدمين للتعامل مع النصوص اليابانية التاريخية، على الرغم من عدم اعتماده على نطاق واسع بين عامة الناس اليابانيين. مثال آخر هو ترميز CCCII الذي تبنته أنظمة المكتبات في هونج كونج وتايوان والولايات المتحدة . هذه لها عيوبها الخاصة في الاستخدام العام، مما أدى إلى أن أصبح ترميز Big5 (الذي تم تقديمه في عام 1984، بعد أربع سنوات من CCCII) أكثر شيوعًا من CCCII خارج أنظمة المكتبات. [97] على الرغم من أن العمل في Apple القائم على قاموس CJK لمجموعة Research Libraries Group ، والذي تم استخدامه للحفاظ على متغير EACC من CCCII، كان أحد السلف المباشر لمجموعة Unihan الخاصة بـ Unicode ، فقد تبنى Unicode نموذج التوحيد على غرار JIS. [95]

كان الإصدار الأقدم من Unicode يحتوي على ذخيرة أقل من 21000 حرف هان، وهي مقتصرة إلى حد كبير على تلك المستخدمة بشكل شائع نسبيًا في العصر الحديث. اعتبارًا من الإصدار 16.0، يشفر المعيار الآن أكثر من 97000 حرف هان، ويستمر العمل لإضافة آلاف أخرى - أحرف متغيرة تاريخية ولهجية إلى حد كبير مستخدمة في جميع أنحاء الصين .

توفر الخطوط الحديثة وسيلة لمعالجة بعض القضايا العملية في تصوير أحرف هان الموحدة باستخدام تمثيلات رسومية إقليمية مختلفة. يسمح جدول OpenType "locl" للعارض باختيار حرف مختلف لكل نقطة رمز بناءً على موقع النص. [98] يمكن لتسلسلات الاختلافات في Unicode أيضًا توفير تعليقات توضيحية داخل النص لاختيار حرف مرغوب؛ وهذا يتطلب تسجيل المتغير المحدد في قاعدة بيانات الاختلافات الإيديوغرافية .

الحروف المائلة أو المتصلة في السيريلية

أحرف سيريلية مختلفة تظهر بأشكال بديلة قائمة ومائلة ومائلة

إذا كانت الحروف المناسبة للأحرف في نفس النص تختلف فقط في الخط المائل، فقد قام Unicode بتوحيدها بشكل عام، كما يمكن رؤيته في المقارنة بين مجموعة من الحروف المائلة السبعة للأحرف والتي تظهر عادةً في النصوص الروسية والبلغارية التقليدية والمقدونية والصربية على اليمين، مما يعني أن الاختلافات تظهر من خلال تقنية الخطوط الذكية أو تغيير الخطوط يدويًا. يتم استخدام نفس تقنية OpenType 'locl'. [99]

أزواج الحالات الموضعية

للاستخدام في الأبجدية التركية والأبجدية الأذربيجانية ، يتضمن Unicode حرفًا صغيرًا منفصلًا بدون نقاط I (ı) وحرفًا كبيرًا منقطًا I ( İ ). ومع ذلك، تُستخدم أحرف ASCII المعتادة للحرف الصغير المنقط I والحرف الكبير بدون نقاط I ، وهو ما يتطابق مع كيفية التعامل معهما في ISO 8859-9 الأقدم . وعلى هذا النحو، يتعين على المقارنات غير الحساسة لحالة الأحرف لتلك اللغات استخدام قواعد مختلفة عن المقارنات غير الحساسة لحالة الأحرف للغات الأخرى التي تستخدم النص اللاتيني. [100]

على النقيض من ذلك، يتم التعامل مع الحرف الأيسلندي eth (ð) والحرف D المائل (đ) والحرف D المرن (ɖ) والذي يبدو عادةً [ملاحظة 4] متشابهًا في الأحرف الكبيرة (Đ) بشكل معاكس، ويتم ترميزه بشكل منفصل في كلتا الحالتين (على النقيض من ISO 6937 السابق ، والذي يوحد أشكال الأحرف الكبيرة). على الرغم من أنه يسمح بالمقارنة غير الحساسة لحالة الأحرف دون الحاجة إلى معرفة لغة النص، إلا أن هذا النهج به أيضًا مشكلات، مما يتطلب تدابير أمنية تتعلق بهجمات التماثل . [101]

علامات التشكيل على الحروف الصغيرةأنا

الأشكال المحلية للحرف í ( I مع التشديد الحاد )

يعتمد ما إذا كان من المتوقع أن يحتفظ الحرف الصغير I بعنوانه عند تطبيق العلامة التشكيلية أيضًا على الاتفاقيات المحلية.

حماية

يحتوي Unicode على عدد كبير من الحروف المتجانسة ، والتي يبدو العديد منها مشابهًا جدًا أو مطابقًا لأحرف ASCII. يمكن أن يؤدي استبدال هذه الحروف إلى إنشاء معرف أو عنوان URL يبدو صحيحًا، لكنه يوجه إلى موقع مختلف عن المتوقع. [102] بالإضافة إلى ذلك، يمكن أيضًا استخدام الحروف المتجانسة للتلاعب بمخرجات أنظمة معالجة اللغة الطبيعية (NLP) . [103] يتطلب التخفيف من ذلك عدم السماح بهذه الأحرف، أو عرضها بشكل مختلف، أو المطالبة بحلها إلى نفس المعرف؛ [104] كل هذا معقد بسبب المجموعة الضخمة والمتغيرة باستمرار من الأحرف. [105] [106]

تم إصدار استشارة أمنية في عام 2021 من قبل باحثين، أحدهما من جامعة كامبريدج والآخر من جامعة إدنبرة ، حيث يؤكدون أنه يمكن استخدام علامات BiDi لجعل أقسام كبيرة من الكود تفعل شيئًا مختلفًا عما يبدو أنها تفعله. تم تسمية المشكلة " مصدر حصان طروادة ". [107] واستجابة لذلك، بدأ محررو الكود في تسليط الضوء على العلامات للإشارة إلى تغييرات اتجاه النص القسري. [108]

التعيين إلى مجموعات الأحرف القديمة

تم تصميم Unicode لتوفير تحويل تنسيق نقطة رمز بنقطة رمز ذهابًا وإيابًا من وإلى أي ترميزات أحرف موجودة مسبقًا، بحيث يمكن تحويل ملفات النصوص في مجموعات الأحرف القديمة إلى Unicode ثم العودة واستعادة نفس الملف، دون استخدام تفسير يعتمد على السياق. وهذا يعني أن البنيات المعمارية القديمة غير المتسقة، مثل الجمع بين علامات التشكيل والأحرف المركبة مسبقًا ، موجودة في Unicode، مما يوفر أكثر من طريقة لتمثيل بعض النصوص. وهذا واضح بشكل خاص في أشكال الترميز الثلاثة المختلفة للغة الهانغول الكورية . منذ الإصدار 3.0، لم يعد من الممكن إضافة أي أحرف مركبة مسبقًا يمكن تمثيلها بتسلسل مشترك من الأحرف الموجودة بالفعل إلى المعيار للحفاظ على التوافق بين البرامج التي تستخدم إصدارات مختلفة من Unicode.

يجب توفير تعيينات حقن بين الأحرف في مجموعات الأحرف القديمة الموجودة والأحرف في Unicode لتسهيل التحويل إلى Unicode والسماح بالتوافق مع البرامج القديمة. أدى الافتقار إلى الاتساق في التعيينات المختلفة بين الترميزات اليابانية السابقة مثل Shift-JIS أو EUC-JP وUnicode إلى عدم تطابق تحويل التنسيق ذهابًا وإيابًا ، وخاصة تعيين الحرف JIS X 0208 '～' (1-33، WAVE DASH)، المستخدم بكثافة في بيانات قاعدة البيانات القديمة، إلى U+FF5E～FULLWIDTH TILDE (في Microsoft Windows ) أو U+301C〜WAVE DASH (البائعين الآخرين). [109]

اعترض بعض مبرمجي الكمبيوتر اليابانيين على Unicode لأنه يتطلب منهم فصل استخدام U+005C \ REVERSE SOLIDUS (الشرطة المائلة للخلف) و U+00A5 ¥ YEN SIGN ، والتي تم تعيينها إلى 0x5C في JIS X 0201، ويوجد الكثير من التعليمات البرمجية القديمة بهذا الاستخدام. [110] (يستبدل هذا التشفير أيضًا علامة التلدة '~' 0x7E بماكرو '¯'، الآن 0xAF.) يوجد فصل هذه الأحرف في ISO 8859-1 ، منذ فترة طويلة قبل Unicode.

النصوص الهندية

يتم تخصيص 128 نقطة رمز فقط لكل من النصوص الهندية مثل التاميلية والديفاناغارية ، وهو ما يتوافق مع معيار ISCII . يتطلب العرض الصحيح لنص Unicode Indic تحويل أحرف الترتيب المنطقي المخزنة إلى ترتيب مرئي وتشكيل أربطة (المعروفة أيضًا باسم أدوات الربط) من المكونات. جادل بعض العلماء المحليين لصالح تعيين نقاط رمز Unicode لهذه الأربطة، وهو ما يتعارض مع الممارسة المتبعة في أنظمة الكتابة الأخرى، على الرغم من أن Unicode يحتوي على بعض الأربطة العربية وغيرها لأغراض التوافق مع الإصدارات السابقة فقط. [111] [112] [113] لن يحدث ترميز أي أربطة جديدة في Unicode، جزئيًا، لأن مجموعة الأربطة تعتمد على الخط، وUnicode هو ترميز مستقل عن اختلافات الخط. وقد نشأ نفس النوع من المشكلة بالنسبة للنص التبتي في عام 2003 عندما اقترحت إدارة التقييس الصينية ترميز 956 مقطعًا تبتيًا مُركبًا مسبقًا، [114] ولكن تم رفض ترميزها من قبل لجنة ISO ذات الصلة ( ISO/IEC JTC 1/SC 2 ). [115]

لقد تم انتقاد دعم الأبجدية التايلاندية بسبب ترتيب الأحرف التايلاندية. الحروف المتحركة เ و แ و โ و ใ و ไ المكتوبة على يسار الحرف الساكن السابق تكون بالترتيب المرئي بدلاً من الترتيب الصوتي، على عكس تمثيلات Unicode للنصوص الهندية الأخرى. يرجع هذا التعقيد إلى أن Unicode ورث المعيار الصناعي التايلاندي 620 ، والذي عمل بنفس الطريقة، وكان الطريقة التي كانت تُكتب بها اللغة التايلاندية دائمًا على لوحات المفاتيح. تعقد مشكلة الترتيب هذه عملية ترتيب Unicode قليلاً، مما يتطلب عمليات البحث في الجدول لإعادة ترتيب الأحرف التايلاندية للترتيب. [96] حتى لو اعتمد Unicode الترميز وفقًا للترتيب المنطوق، فسيظل من الصعب ترتيب الكلمات حسب ترتيب القاموس. على سبيل المثال، تبدأ كلمة แสดง [sa dɛːŋ] "أداء" بمجموعة حروف ساكنة "สด" (مع حرف علة متأصل للحرف الساكن "ส")، يأتي حرف العلة แ-، في الترتيب المنطوق بعد ด، ولكن في القاموس، يتم تجميع الكلمة كما هي مكتوبة، مع حرف العلة بعد ส.

دمج الشخصيات

يمكن تمثيل الأحرف ذات العلامات الإعرابية بشكل عام إما كحرف واحد مسبق التكوين أو كتسلسل متحلل من حرف أساسي بالإضافة إلى علامة أو أكثر غير متباعدة. على سبيل المثال، يجب تقديم ḗ (e مسبق التكوين مع macron وacute أعلاه) وḗ (e متبوعًا بـ macron المجمع أعلاه وacute المجمع أعلاه) بشكل متطابق، حيث يظهر كلاهما كحرف e مع macron (◌̄) وعلامة تشكيل حادة (◌́)، ولكن في الممارسة العملية، قد يختلف مظهرهما اعتمادًا على محرك العرض والخطوط المستخدمة لعرض الأحرف. وبالمثل، غالبًا ما يتم وضع النقاط السفلية ، كما هو مطلوب في رومنة اللغات الهندية ، بشكل غير صحيح. يمكن استخدام أحرف Unicode التي يتم تعيينها إلى رموز جاهزة في العديد من الحالات، وبالتالي تجنب المشكلة، ولكن عندما لا يتم ترميز أي حرف جاهز، يمكن حل المشكلة غالبًا باستخدام خط Unicode متخصص مثل Charis SIL الذي يستخدم تقنيات Graphite أو OpenType ( ' gsub' ) أو AAT لميزات العرض المتقدمة.

الشذوذ

فرض معيار يونيكود قواعد تهدف إلى ضمان الاستقرار. [116] اعتمادًا على صرامة القاعدة، يمكن حظر التغيير أو السماح به. على سبيل المثال، لا يمكن ولن يتغير "الاسم" المعطى لنقطة رمز. لكن خاصية "النص" أكثر مرونة، وفقًا لقواعد يونيكود الخاصة. في الإصدار 2.0، غيّر يونيكود العديد من "أسماء" نقاط الرمز من الإصدار 1. في نفس الوقت، صرح يونيكود أنه من الآن فصاعدًا، لن يتغير الاسم المعين لنقطة رمز أبدًا. وهذا يعني أنه عند نشر الأخطاء، لا يمكن تصحيح هذه الأخطاء، حتى لو كانت تافهة (كما حدث في إحدى الحالات مع تهجئة BRAKCET لـ BRACKET في اسم حرف). في عام 2006، نُشرت قائمة بالشذوذ في أسماء الأحرف لأول مرة، واعتبارًا من يونيو 2021، كان هناك 104 أحرف بها مشكلات محددة، [117] على سبيل المثال:

  • U+034F ͏ رابط الحروف المركبة : لا يربط الحروف المركبة. [117]
  • U+2118 ℘ SCRIPT CAPITAL P : هذا حرف صغير. الحرف الكبير هو U+1D4AB 𝒫 MATHEMATICAL SCRIPT CAPITAL P. [ 118]
  • U+A015 ꀕ مقطع YI WU : هذا ليس مقطعًا لفظيًا Yi، ولكنه علامة تكرار Yi.
  • U+FE18 ︘ نموذج عرض لقوس عدسي أبيض أيمن عمودي : القوس مكتوب بشكل غير صحيح. [119] (يتم حل أخطاء الإملاء باستخدام أسماء مستعارة من Unicode .)

في حين أن Unicode يحدد مُعرّف النص (الاسم) ليكون " Phags_Pa "، في أسماء أحرف هذا النص، تتم إضافة شرطة: U+A840 ꡀ PHAGS-PA LETTER KA . [120] [121] ومع ذلك، هذا ليس شذوذًا، بل هي القاعدة: يتم استبدال علامات الوصل بعلامات سفلية في مُعرّفات النص. [120]

انظر أيضا

ملحوظات

  1. ^ يُختصر أحيانًا باسم TUS . [1] [2]
  2. ^ "يشكل ملحق معيار يونيكود (UAX) جزءًا لا يتجزأ من معيار يونيكود ، ولكن يتم نشره كمستند منفصل."[1]
  3. ^ نقطة الرمز هي تمثيل تجريدي لحرف UCS بواسطة عدد صحيح بين 0 و1,114,111 (1,114,112 = 2 20 + 2 16 أو 17 × 2 16 = 0x110000 نقطة رمز)
  4. ^ نادرًا ما يمكن كتابة الحرف الأيسلندي الكبير eth بدلاً من ذلك بأسلوب منعزل (Ꝺ) مع وضع العارضة على الجذع، خاصةً إذا كان من الضروري تمييزه عن الحرف الكبير D الرجعي (انظر الأبجدية الأفريقية المرجعية ).

مراجع

  1. ^ معيار يونيكود، الإصدار 16.0.0. جنوب سان فرانسيسكو، كاليفورنيا: اتحاد يونيكود. 2024-09-10. ISBN 978-1-936213-34-4.
  1. ^ "تقرير فني عن Unicode #28: Unicode 3.2". Unicode Consortium . 2002-03-27 . تم الاسترجاع في 2022-06-23 .
  2. ^ Jenkins, John H. (2021-08-26). "Unicode Standard Annex #45: U-source Ideographs". Unicode Consortium . §2.2 The Source Field . تم الاسترجاع في 2022-06-23 .
  3. ^
    • "Unicode Character Count V16.0". اتحاد Unicode. 2024-09-10.
    • "فهرس الرسوم البيانية لإصدارات Unicode 16.0". اتحاد Unicode. 2024-09-10.
    • "البرامج النصية المدعومة". اتحاد يونيكود. 2024-09-10 . تم الاسترجاع 2024-09-11 .
  4. ^ "Emoji Counts, v16.0". اتحاد يونيكود . تم الاسترجاع في 2024-09-10 .
  5. ^ "معيار يونيكود: مقدمة تقنية". 2019-08-22 . تم الاسترجاع 2024-09-11 .
  6. ^ "جائزة يونيكود بولدوج". يونيكود . مؤرشف من الأصل في 2023-11-11.
  7. ^ abcde Becker, Joseph D. (1998-09-10) [1988-08-29]. "Unicode 88" (PDF) . Unicode Consortium . مؤرشف (PDF) من الأصل في 2016-11-25 . تم الاسترجاع 2016-10-25 . في عام 1978، قدم بوب بيلفيل الاقتراح الأولي لمجموعة من "العلامات العالمية" في Xerox PARC . ساهم العديد من الأشخاص بأفكار لتطوير تصميم ترميز جديد. بدءًا من عام 1980، تطورت هذه الجهود إلى معيار رمز حرف Xerox (XCCS) بواسطة المؤلف الحالي، وهو ترميز متعدد اللغات تم صيانته بواسطة Xerox كمعيار داخلي للشركة منذ عام 1982، من خلال جهود Ed Smura وRon Pellar وآخرين. نشأ Unicode نتيجة لثماني سنوات من الخبرة العملية مع XCCS. وقد اقترح بيتر فينيك وديف أوبستاد (الرموز المكونة من 16 بتًا فقط) ولي كولينز (توحيد الأحرف الإيديولوجية) اختلافات جوهرية بينها وبين XCCS. ويحتفظ Unicode بالعديد من ميزات XCCS التي أثبتت فائدتها على مر السنين في خط دولي من منتجات أنظمة الاتصالات المتعددة اللغات.
  8. ^ "ملخص السرد". Unicode . 2006-08-31 . تم الاسترجاع في 2010-03-15 .
  9. ^ "تاريخ إصدارات وتواريخ نشر Unicode". Unicode . تم الاسترجاع في 2023-03-20 .
  10. ^ Searle, Stephen J. "Unicode Revisited" . تم الاسترجاع في 2013-01-18 .
  11. ^ "أعضاء اتحاد يونيكود" . تم الاسترجاع في 12 فبراير 2024 .
  12. ^ "الأسئلة الشائعة حول Unicode" . تم الاسترجاع في 2020-04-02 .
  13. ^ "البرامج النصية المدعومة". Unicode . تم الاسترجاع في 2022-09-16 .
  14. ^ "خريطة الطريق إلى BMP". Unicode Consortium . تم الاسترجاع في 2018-07-30 .
  15. ^ "خرائط الطريق إلى Unicode". Unicode . مؤرشف من الأصل في 2023-12-08.
  16. ^ "مبادرة ترميز النصوص". Berkeley Linguistics . مؤرشف من الأصل في 2023-03-25.
  17. ^ "حول مبادرة ترميز النصوص البرمجية". اتحاد يونيكود . تم الاسترجاع في 2012-06-04 .
  18. ^ "Unicode 6.1 Paperback Available". advertisements_at_unicode.org . تم الاسترجاع في 2012-05-30 .
  19. ^ "Unicode 16.0.0". Unicode . تم الاسترجاع في 2024-09-13 .
  20. ^ "الإصدارات المعدودة لمعيار يونيكود" . تم الاسترجاع في 2016-06-21 .
  21. ^
    • معيار يونيكود، الإصدار 1.0.0. ماونتن فيو، كاليفورنيا: اتحاد يونيكود. أكتوبر 1991.
    • "1.0.0/UnicodeData.txt (reconstructed)". 2004 . تم الاسترجاع في 2010-03-16 .
  22. ^
    • معيار يونيكود، الإصدار 1.0.1. ماونتن فيو، كاليفورنيا: اتحاد يونيكود. يونيو 1992.
    • "بيانات يونيكود 1.0.1" . تم الاسترجاع في 2010-03-16 .
  23. ^
    • معيار يونيكود، الإصدار 1.1.5. ماونتن فيو، كاليفورنيا: اتحاد يونيكود. يوليو 1995.
    • "بيانات يونيكود 1995" . تم الاسترجاع في 2010-03-16 .
  24. ^
    • معيار يونيكود، الإصدار 2.0.0. ماونتن فيو، كاليفورنيا: اتحاد يونيكود. يوليو 1996.
    • "Unicode Data-2.0.14" . تم الاسترجاع في 2010-03-16 .
  25. ^ أ ب
    • معيار يونيكود، الإصدار 2.1.2. ماونتن فيو، كاليفورنيا: اتحاد يونيكود. مايو 1998.
    • "بيانات يونيكود-2.1.2" . تم الاسترجاع في 2010-03-16 .
  26. ^
    • معيار يونيكود، الإصدار 3.0.0. ماونتن فيو، كاليفورنيا: اتحاد يونيكود. سبتمبر 1999.
    • "بيانات يونيكود-3.0.0" . تم الاسترجاع في 2023-10-02 .
  27. ^
    • معيار يونيكود، الإصدار 3.1.0. ماونتن فيو، كاليفورنيا: اتحاد يونيكود. مارس 2001.
    • "Unicode Data-3.1.0" . تم الاسترجاع في 2023-10-02 .
  28. ^
    • معيار يونيكود، الإصدار 3.2.0. ماونتن فيو، كاليفورنيا: اتحاد يونيكود. مارس 2002.
    • "Unicode Data-3.2.0" . تم الاسترجاع في 2023-10-02 .
  29. ^
    • معيار يونيكود، الإصدار 4.0.0. ماونتن فيو، كاليفورنيا: اتحاد يونيكود. أبريل 2003. رقم ISBN 0-321-18578-1.
    • "بيانات يونيكود-4.0.0" . تم الاسترجاع في 2023-10-02 .
  30. ^
    • معيار يونيكود، الإصدار 4.1.0. ماونتن فيو، كاليفورنيا: اتحاد يونيكود. مارس 2004. رقم ISBN 0-321-18578-1.
    • "Unicode Data-4.1.0" . تم الاسترجاع في 2010-03-16 .
  31. ^ "التسلسلات المسماة-4.1.0" . تم الاسترجاع في 2010-03-16 .
  32. ^ The Unicode Standard, Version 5.0.0. Mountain View, CA: The Unicode Consortium. 2006-07-14. ISBN 0-321-48091-0.
  33. ^ "بيانات يونيكود 5.0.0" . تم الاسترجاع في 2010-03-17 .
  34. ^
    • معيار يونيكود، الإصدار 5.1.0. ماونتن فيو، كاليفورنيا: اتحاد يونيكود. 2008-04-04. ISBN 0-321-48091-0.
    • "بيانات يونيكود 5.1.0" . تم الاسترجاع في 2010-03-17 .
  35. ^
    • معيار يونيكود، الإصدار 5.2.0. ماونتن فيو، كاليفورنيا: اتحاد يونيكود. 2009-10-01. ISBN 978-1-936213-00-9.
    • "بيانات يونيكود 5.2.0" . تم الاسترجاع في 2010-03-17 .
  36. ^
    • معيار يونيكود، الإصدار 6.1.0. ماونتن فيو، كاليفورنيا: اتحاد يونيكود. 2012-01-31. ISBN 978-1-936213-02-3.
    • "بيانات يونيكود 6.0.0" . تم الاسترجاع في 2010-10-11 .
  37. ^ "قائمة رموز تعبيرية Unicode 6.0". emojipedia.org . تم الاسترجاع في 2022-09-21 .
  38. ^
    • معيار يونيكود، الإصدار 6.1.0. ماونتن فيو، كاليفورنيا: اتحاد يونيكود. 2012-01-31. ISBN 978-1-936213-02-3.
    • "بيانات يونيكود 6.1.0" . تم الاسترجاع في 2012-01-31 .
  39. ^
    • معيار يونيكود، الإصدار 6.2.0. ماونتن فيو، كاليفورنيا: اتحاد يونيكود. 2012-09-26. ISBN 978-1-936213-07-8.
    • "بيانات يونيكود 6.2.0" . تم الاسترجاع في 2012-09-26 .
  40. ^
    • معيار يونيكود، الإصدار 6.3.0. ماونتن فيو، كاليفورنيا: اتحاد يونيكود. 2013-09-30. ISBN 978-1-936213-08-5.
    • "بيانات يونيكود 6.3.0" . تم الاسترجاع في 2013-09-30 .
  41. ^
    • معيار يونيكود، الإصدار 7.0.0. ماونتن فيو، كاليفورنيا: اتحاد يونيكود. 2014-06-16. رقم ISBN 978-1-936213-09-2.
    • "بيانات Unicode 7.0.0" . تم الاسترجاع في 2014-06-15 .
  42. ^
    • معيار يونيكود، الإصدار 8.0.0. ماونتن فيو، كاليفورنيا: اتحاد يونيكود. 2015-06-17. رقم ISBN 978-1-936213-10-8.
    • "بيانات Unicode 8.0.0" . تم الاسترجاع في 2015-06-17 .
  43. ^ معيار يونيكود، الإصدار 8.0.0. ماونتن فيو، كاليفورنيا: اتحاد يونيكود. 2015-06-17. ISBN 978-1-936213-10-8.
  44. ^ The Unicode Standard, Version 9.0.0. Mountain View, CA: The Unicode Consortium. 2016-06-21. ISBN 978-1-936213-13-9.
  45. ^
    • معيار يونيكود، الإصدار 9.0.0. ماونتن فيو، كاليفورنيا: اتحاد يونيكود. 2016-06-21. رقم ISBN 978-1-936213-13-9.
    • "بيانات Unicode 9.0.0" . تم الاسترجاع في 2016-06-21 .
  46. ^ لوباو، مارتيم (2016-06-07). "هذان هما الرمزان التعبيريان اللذان لم تتم الموافقة عليهما لـ Unicode 9 لكن جوجل أضافتهما إلى أندرويد على أي حال". Android Police . تم الاسترجاع في 2016-09-04 .
  47. ^ The Unicode Standard, Version 10.0.0. Mountain View, CA: The Unicode Consortium. 2017-06-20. ISBN 978-1-936213-16-0.
  48. ^ The Unicode Standard, Version 11.0.0. Mountain View, CA: The Unicode Consortium. 2018-06-05. ISBN 978-1-936213-19-1.
  49. ^ معيار يونيكود، الإصدار 12.0.0. ماونتن فيو، كاليفورنيا: اتحاد يونيكود. 2019-03-05. ISBN 978-1-936213-22-1.
  50. ^ "إصدار Unicode الإصدار 12.1 لدعم عصر رييوا". مدونة Unicode . تم الاسترجاع في 2019-05-07 .
  51. ^
    • معيار يونيكود، الإصدار 13.0.0. ماونتن فيو، كاليفورنيا: اتحاد يونيكود. 2020-03-10. رقم ISBN 978-1-936213-26-9.
    • "الإعلان عن معيار يونيكود، الإصدار 13.0". مدونة يونيكود . تم الاسترجاع في 11 مارس 2020 .
  52. ^ "معيار يونيكود، الإصدار 13.0 - الملحق C للمواصفات الأساسية" (PDF) . اتحاد يونيكود . تم الاسترجاع في 11 مارس 2020 .
  53. ^
    • معيار يونيكود، الإصدار 14.0.0. ماونتن فيو، كاليفورنيا: اتحاد يونيكود. 2021-09-14. ISBN 978-1-936213-29-0.
    • "الإعلان عن معيار Unicode، الإصدار 14.0".
  54. ^ معيار يونيكود، الإصدار 15.0.0. ماونتن فيو، كاليفورنيا: اتحاد يونيكود. 2022-09-13. ISBN 978-1-936213-32-0.
  55. ^
    • معيار يونيكود، الإصدار 15.1.0. جنوب سان فرانسيسكو، كاليفورنيا: اتحاد يونيكود. 2023-09-12. رقم ISBN 978-1-936213-33-7.
  56. ^ معيار يونيكود، الإصدار 16.0.0. جنوب سان فرانسيسكو، كاليفورنيا: اتحاد يونيكود. 2024-09-10. ISBN 978-1-936213-34-4.
  57. ^ "شخصيات جديدة مقترحة: خط الأنابيب". Unicode . 2024-09-10 . تم الاسترجاع في 2024-09-13 .
  58. ^ "Unicode Version 16.0". emojipedia.org . تم الاسترجاع في 2023-09-13 .
  59. ^ "مسرد مصطلحات يونيكود" . تم الاسترجاع في 2010-03-16 .
  60. ^ "2.4 نقاط ورموز الكود". معيار يونيكود الإصدار 16.0 – المواصفات الأساسية. 2024.
  61. ^ "3.4 الأحرف والترميز". معيار يونيكود، الإصدار 16.0. 2024.
  62. ^ "Re: Origin of the U+nnnn notation". أرشيف قائمة بريد Unicode (قائمة بريدية). 2005-11-08.
  63. ^ "الملحق أ: اتفاقيات التدوين". معيار يونيكود . اتحاد يونيكود. سبتمبر 2024.
  64. ^ "سياسة استقرار ترميز أحرف Unicode" . تم الاسترجاع في 2010-03-16 .
  65. ^ "الخصائص" . تم الاسترجاع في 2024-09-13 .
  66. ^ "نموذج ترميز أحرف Unicode" . تم الاسترجاع في 12 سبتمبر 2023 .
  67. ^ "تسلسلات Unicode المسماة" . تم الاسترجاع في 2022-09-16 .
  68. ^ "أسماء مستعارة لـ Unicode" . تم الاسترجاع في 2010-03-16 .
  69. ^ "JanaSanskritSans". مؤرشف من الأصل في 2011-07-16.
  70. ^ CWA 13873:2000 – مجموعات فرعية أوروبية متعددة اللغات في اتفاقية ورشة عمل CEN ISO/IEC 10646-1 13873
  71. ^ Kuhn, Markus (1998). "Multilingual European Character Set 2 (MES-2) Rationale". جامعة كامبريدج . تم الاسترجاع في 2023-03-20 .
  72. ^ "DIN 91379:2022-08: الأحرف وتسلسلات الأحرف المحددة في Unicode للمعالجة الإلكترونية للأسماء وتبادل البيانات في أوروبا، مع قرص مضغوط". دار نشر Beuth . تم الاسترجاع في 2022-08-21 .
  73. ^ "UTF-8، UTF-16، UTF-32 وBOM". الأسئلة الشائعة حول Unicode.org . تم الاسترجاع في 12 ديسمبر 2016 .
  74. ^ The Unicode Standard, Version 6.2 . The Unicode Consortium. 2013. p. 561. ISBN 978-1-936213-08-5.
  75. ^ Davis, Mark (2008-05-05). "الانتقال إلى Unicode 5.1". مدونة Google الرسمية . تم الاسترجاع في 2021-02-19 .
  76. ^ "استطلاع استخدام ترميزات الأحرف مقسم حسب الترتيب". W3Techs . تم الاسترجاع في 2024-10-04 .
  77. ^ "إحصائيات الاستخدام وحصة السوق لنظام US-ASCII لمواقع الويب، أكتوبر 2021". W3Techs . تم الاسترجاع في 2020-11-01 .
  78. ^ B. Curtin (يوليو 1999). Internationalization of the File Transfer Protocol. doi : 10.17487/RFC2640 . RFC 2640 . تم الاسترجاع في 2022-08-17 .
  79. ^ H. Alvestrand (يناير 1998). سياسة IETF بشأن مجموعات الأحرف واللغات. doi : 10.17487/RFC2277 . BCP 18. RFC 2277 . تم الاسترجاع في 2022-08-17 .
  80. ^ بايك، روب (2003-04-30). "تاريخ UTF-8".
  81. ^ "ISO/IEC JTC1/SC 18/WG 9 N" (PDF) . تم الاسترجاع في 2012-06-04 .
  82. ^ هيدلي، جوناثان (2009). "بحث يونيكود".
  83. ^ ميلدي ، بنيامين (2011). “التعرف على أحرف يونيكود”.
  84. ^ ج. كلينسين. واي كو (يوليو 2007). نظرة عامة وإطار عمل للبريد الإلكتروني الدولي. دوى : 10.17487/RFC4952 . آر إف سي 4952 . تم الاسترجاع بتاريخ 2022-08-17 .
  85. ^ ج. كلينسين. واي كو (فبراير 2012). نظرة عامة وإطار عمل للبريد الإلكتروني الدولي. دوى : 10.17487/RFC6530 . آر إف سي 6530 . تم الاسترجاع 2022-08-17 .
  86. ^ J. Yao; W. Mao (فبراير 2012). SMTP Extension for Internationalized Email. doi : 10.17487/RFC6531 . RFC 6531 . تم الاسترجاع في 2022-08-17 .
  87. ^ أ. يانغ؛ س. ستيل؛ ن. فريد (فبراير 2012). عناوين البريد الإلكتروني الدولية. doi : 10.17487/RFC6532 . RFC 6532 . تم الاسترجاع في 2022-08-17 .
  88. ^ C. Newman; A. Gulbrandsen; A. Melnikov (يونيو 2008). Internet Message Access Protocol Internationalization. doi : 10.17487/RFC5255 . RFC 5255 . تم الاسترجاع في 2022-08-17 .
  89. ^ R. Gellens; C. Newman (فبراير 2010). دعم POP3 لـ UTF-8. doi : 10.17487/RFC5721 . RFC 5721 . تم الاسترجاع في 2022-08-17 .
  90. ^ وود، آلان. "إعداد Windows Internet Explorer 5 و5.5 و6 لدعم اللغات المتعددة واليونيكود". آلان وود . تم الاسترجاع في 2012-06-04 .
  91. ^ "Extensible Markup Language (XML) 1.1 (Second Edition)" . تم الاسترجاع في 2013-11-01 .
  92. ^ بيجلو، تشارلز؛ هولمز، كريس (سبتمبر 1993). "تصميم خط يونيكود" (PDF) . النشر الإلكتروني . 6 (3): 292.
  93. ^ "الخطوط ولوحات المفاتيح". اتحاد يونيكود. 2017-06-28 . تم الاسترجاع في 2019-10-13 .
  94. ^ تاريخ موجز لرموز الشخصية، ستيفن ج. سيرل، كتب في الأصل عام 1999، وتم تحديثه آخر مرة عام 2004
  95. ^ "الملحق هـ: تاريخ توحيد الهان". معيار يونيكود الإصدار 16.0 – المواصفات الأساسية . اتحاد يونيكود . 2024.
  96. ^ ab Topping, Suzanne (2013-06-25). "The secret life of Unicode". IBM . مؤرشف من الأصل في 2013-06-25 . تم الاسترجاع 2023-03-20 .
  97. ^ Wittern, Christian (1995-05-01). "رموز الحروف الصينية: تحديث". المعهد الدولي لبحوث البوذية الزن / جامعة هانازونو . مؤرشف من الأصل في 2004-10-12.
  98. ^ "خطوط Noto CJK". خطوط Noto. 2023-02-18. حدد تنسيق النشر هذا إذا كان نظامك يدعم الخطوط المتغيرة وتفضل استخدام لغة واحدة فقط، ولكنك تريد أيضًا تغطية كاملة للأحرف أو القدرة على وضع علامات اللغة على النص لاستخدام الحروف الرسومية المناسبة للغات الأخرى (يتطلب هذا تطبيقًا يدعم وضع علامات اللغة وميزة GSUB "locl" في OpenType).
  99. ^ Preuss, Ingo. "OpenType Feature: locl – Localized Forms". preusstype.com .
  100. ^ "خصائص طي الحالة". قاعدة بيانات أحرف يونيكود . اتحاد يونيكود . 2023-05-12.
  101. ^ "confusablesSummary.txt". آليات أمان Unicode لـ UTS #39 . Unicode Consortium . 2023-08-11.
  102. ^ "UTR #36: اعتبارات أمان Unicode". Unicode .
  103. ^ Boucher, Nicholas; Shumailov, Ilia; Anderson, Ross; Papernot, Nicolas (2022). "Bad Characters: Imperible NLP Attacks". ندوة معهد مهندسي الكهرباء والإلكترونيات 2022 حول الأمن والخصوصية (SP) . سان فرانسيسكو، كاليفورنيا، الولايات المتحدة: معهد مهندسي الكهرباء والإلكترونيات. ص. 1987–2004. arXiv : 2106.09898 . doi :10.1109/SP46214.2022.9833641. ISBN 978-1-66541-316-9. S2CID  235485405.
  104. ^ هندسة، سبوتيفاي (2013-06-18). "أسماء المستخدمين الإبداعية واختطاف حسابات سبوتيفاي". هندسة سبوتيفاي . تم الاسترجاع في 2023-04-15 .
  105. ^ ويلر، ديفيد أ. (2020). "التدابير المضادة". التحليل الأولي لشفرة المصدر الخبيثة : 4-1.
  106. ^ "UTR #36: اعتبارات أمان Unicode". Unicode . تم الاسترجاع في 2022-06-27 .
  107. ^ Boucher, Nicholas; Anderson, Ross. "Trojan Source: Invisible Vulnerabilities" (PDF) . تم الاسترجاع في 2021-11-02 .
  108. ^ "Visual Studio Code October 2021". code.visualstudio.com . تم الاسترجاع في 2021-11-11 .
  109. ^ مساهمة AFII حول WAVE DASH، "جدول أحرف Unicode خاص بالبائعين للغة اليابانية". 2011-04-22. مؤرشف من الأصل في 2011-04-22 . تم الاسترجاع في 2019-05-20 .
  110. ^ ISO 646-* المشكلة، القسم 4.4.3.5 من مقدمة إلى I18n ، توموهيرو كوبوتا، 2001
  111. ^ "أشكال العرض التقديمي باللغة العربية-أ" (PDF) . تم استرجاعه في 2010-03-20 .
  112. ^ "أشكال العرض العربية-ب" (PDF) . تم استرجاعه في 2010-03-20 .
  113. ^ "أشكال العرض الأبجدي" (PDF) . تم الاسترجاع في 2010-03-20 .
  114. ^ "اقتراح بشأن ترميز أحرف BrdaRten التبتية وفقًا لمعيار ISO/IEC 10646 في BMP" (PDF) . 2002-12-02.
  115. ^ Umamaheswaran, VS (2003-11-07). "قرارات اجتماع مجموعة العمل الثانية رقم 44" (PDF) . القرار M44.20.
  116. ^ "استقرار ترميز الأحرف". Unicode . مؤرشف من الأصل في 2024-01-01.
  117. ^ "ملاحظة تقنية حول Unicode رقم 27: التشوهات المعروفة في أسماء أحرف Unicode". Unicode . 2021-06-14.
  118. ^ "مخطط يونيكود: "في الواقع هذا له شكل الحرف p الصغير، على الرغم من اسمه"" (PDF) .
  119. ^ "الخطأ الإملائي في كتابة BRACKET في اسم الحرف هو عيب معروف" (PDF) .
  120. ^ ab "ملحق معيار يونيكود رقم 24: خاصية نص يونيكود". اتحاد يونيكود. 2021. 2.2 العلاقة برموز ISO 15924. تم الاسترجاع في 2022-04-29 .
  121. ^ "Scripts-15.1.0.txt". اتحاد يونيكود. 2023. تم الاسترجاع في 12 سبتمبر 2023 .

قراءة إضافية

  • جولي د. ألين. معيار يونيكود، الإصدار 6.0 ، اتحاد يونيكود ، ماونتن فيو، 2011، رقم ISBN 9781936213016 ، (يونيكود 6.0.0). 
  • الدليل الكامل للطباعة ، جيمس فيليشي، مطبعة أدوبي؛ الطبعة الأولى، 2002. ISBN 0-321-12730-7 
  • معيار يونيكود، الإصدار 3.0 ، اتحاد يونيكود، شركة أديسون ويسلي لونجمان، أبريل 2000. رقم ISBN 0-201-61633-5 
  • معيار يونيكود، الإصدار 4.0 ، اتحاد يونيكود، أديسون ويسلي بروفيشنال، 27 أغسطس 2003. رقم ISBN 0-321-18578-1 
  • معيار يونيكود، الإصدار 5.0، الطبعة الخامسة ، اتحاد يونيكود ، أديسون ويسلي بروفيشنال، 27 أكتوبر 2006. رقم ISBN 0-321-48091-0 
  • Unicode Demystified: A Practical Programmer's Guide to the Encoding Standard ، ريتشارد جيلام، Addison-Wesley Professional؛ الطبعة الأولى، 2002. ISBN 0-201-70052-2 
  • Unicode Explained ، Jukka K. Korpela، O'Reilly؛ الطبعة الأولى، 2006. ISBN 0-596-10121-X 
  • Unicode: A Primer ، توني جراهام، كتب M&T، 2000. ISBN 0-7645-4625-2 . 
  • هارالامبوس، يانيس؛ مارتن دورست (2019). "يونيكود من وجهة نظر لغوية". في هارالامبوس، يانيس (المحرر). وقائع علم الرسوميات في القرن الحادي والعشرين، بريست 2018. بريست: إصدارات فلوكسوس. ص. 167-183. doi :10.36824/2018-graf-hara1. ISBN 978-2-9570549-1-6.
  • يونيكود المحدودة
    • الموقع التقني لليونيكود
      • معيار يونيكود
        • مخططات رموز أحرف Unicode
        • فهرس اسم أحرف Unicode
  • موارد Unicode الخاصة بـ Alan Wood – تحتوي على قوائم معالجات النصوص التي تدعم Unicode؛ يتم تجميع الخطوط والأحرف حسب النوع؛ يتم عرض الأحرف في قوائم، وليس شبكات.
  • خط Unicode BMP Fallback – يعرض قيمة Unicode 6.1 لأي ​​حرف في مستند، بما في ذلك منطقة الاستخدام الخاص، بدلاً من الحرف نفسه.
  • أنظمة الكتابة في العالم، جميع أنظمة الكتابة المعروفة البالغ عددها 293 مع حالة Unicode الخاصة بها (128 لم يتم ترميزها بعد اعتبارًا من يونيو 2024 )
تم الاسترجاع من "https://en.wikipedia.org/w/index.php?title=Unicode&oldid=1254012471"
Original text
Rate this translation
Your feedback will be used to help improve Google Translate