ترميز الأحرف

الموسوعة الحرة

شريط مثقوب عليه كلمة "Wikipedia" مشفرة بنظام ASCII . وجود الثقب يمثل 1، وعدم وجوده يمثل 0؛ على سبيل المثال، يتم ترميز W على النحو التالي 1010111:

ترميز الأحرف هو اصطلاحٌ يستخدم قيمةً عدديةً لتمثيل كل حرف في نظام الكتابة . لا يقتصر ترميز الأحرف على رموز اللغة الطبيعية فحسب ، بل يشمل أيضًا رموزًا لها معانٍ أو وظائف خارج نطاق اللغة، مثل أحرف التحكم والمسافات البيضاء . وقد وُضعت ترميزات أحرف لبعض اللغات المُصطنعة . عند ترميزها، يُمكن تخزين بيانات الأحرف ونقلها وتحويلها بواسطة الحاسوب . [ 1 ] تُعرف القيم العددية التي تُكوّن ترميز الأحرف بنقاط الترميز ، وتُشكّل مجتمعةً فضاءً للترميز أو صفحة ترميز .

كانت ترميزات الأحرف المبكرة ، التي نشأت مع التلغراف الضوئي أو الكهربائي وفي الحواسيب الأولى، قادرة فقط على تمثيل مجموعة فرعية من الأحرف المستخدمة في اللغات، وكانت تقتصر أحيانًا على الأحرف الكبيرة والأرقام وعلامات الترقيم المحدودة . ومع مرور الوقت، تم ابتكار ترميزات قادرة على تمثيل المزيد من الأحرف، مثل ASCII و ISO/IEC 8859 وترميزات Unicode مثل UTF-8 و UTF-16 .

يُعد ترميز الأحرف UTF-8 الأكثر شيوعًا على شبكة الإنترنت العالمية ، حيث يُستخدم في 98.9% من مواقع الويب التي شملها الاستطلاع، وذلك اعتبارًا من يناير 2026. [ 2 ] في برامج التطبيقات ومهام نظام التشغيل ، يعتبر كل من UTF-8 وUTF-16 خيارين شائعين. [ 3 ]

تاريخ

يُظهر تاريخ رموز الأحرف الحاجة المتزايدة إلى نقل المعلومات الرمزية القائمة على الأحرف عبر مسافات طويلة بواسطة الآلات، باستخدام وسائل كهربائية كانت حديثة آنذاك. اعتمدت الرموز الأولى على أنظمة التشفير والترميز اليدوية، مثل شيفرة بيكون ، ولغة برايل ، وأعلام الإشارة البحرية الدولية ، وتشفير الأحرف الصينية بأربعة أرقام لرمز التلغراف الصيني ( هانز شيلروب ، 1869). ومع اعتماد التقنيات الكهربائية والكهروميكانيكية، جرى تكييف هذه الرموز الأولى مع القدرات والقيود الجديدة للآلات المبكرة. أما أول رمز أحرف معروف يُنقل كهربائيًا، وهو شيفرة مورس ، التي ظهرت في أربعينيات القرن التاسع عشر، فقد استخدمت نظامًا من أربعة "رموز" (إشارة قصيرة، إشارة طويلة، مسافة قصيرة، مسافة طويلة) لتوليد رموز ذات أطوال متغيرة. على الرغم من أن بعض الاستخدامات التجارية لشفرة مورس كانت تتم عبر الآلات، إلا أنها كانت تُستخدم في كثير من الأحيان كشفرة يدوية، تُولّد يدويًا على مفتاح التلغراف ويمكن فك شفرتها بالسمع، ولا تزال تُستخدم في هواة الراديو والطيران . معظم الشفرات إما ذات طول ثابت لكل حرف أو متواليات متغيرة الطول من الشفرات ذات الطول الثابت (مثل يونيكود ). [ 4 ]

تشمل الأمثلة الشائعة لأنظمة ترميز الأحرف شفرة مورس، وشفرة بودو ، والرمز القياسي الأمريكي لتبادل المعلومات (ASCII)، واليونيكود. وقد حلّ اليونيكود، وهو نظام ترميز مُحدد جيدًا وقابل للتوسيع، محل معظم أنظمة ترميز الأحرف السابقة، إلا أن مسار تطور الترميز حتى الوقت الحاضر معروفٌ إلى حدٍ كبير.

تم ابتكار شفرة بودو، وهي شفرة مكونة من خمسة بتات ، على يد إميل بودو عام 1870، وحصلت على براءة اختراع عام 1874، ثم عُدّلت بواسطة دونالد موراي عام 1901، واعتمدتها لجنة الاتصالات والبريد والاتصالات (CCITT) تحت اسم الأبجدية التلغرافية الدولية رقم  2 (ITA2) عام 1930. وقد أُطلق اسم بودو خطأً على ITA2 والعديد من متغيراتها. عانت ITA2 من العديد من أوجه القصور، وكثيراً ما خضعت لتحسينات من قِبل العديد من مُصنّعي المعدات، مما أدى أحياناً إلى مشاكل في التوافق.

بطاقة هوليريث المثقبة ذات 80 عمودًا مع مجموعة أحرف EBCDIC

ابتكر هيرمان هوليريث ترميز البيانات باستخدام البطاقات المثقبة في أواخر القرن التاسع عشر لتحليل بيانات التعداد السكاني. في البداية، كان كل ثقب يمثل عنصر بيانات مختلفًا، ولكن لاحقًا، تم ترميز المعلومات الرقمية بترقيم الصفوف السفلية من 0 إلى 9، حيث يمثل كل ثقب في العمود رقم صفه. وفي وقت لاحق، تم ترميز البيانات الأبجدية بالسماح بأكثر من ثقب واحد في العمود الواحد. أما آلات الجدولة الكهروميكانيكية ، فكانت تمثل البيانات داخليًا من خلال توقيت النبضات بالنسبة لحركة البطاقات داخل الآلة.

عندما اتجهت شركة IBM إلى المعالجة الإلكترونية، بدءًا من جهاز IBM 603 Electronic Multiplier، استخدمت مجموعة متنوعة من أنظمة التشفير الثنائي المرتبطة برمز البطاقة المثقبة. استخدمت IBM عدة أنظمة تشفير ثنائية عشرية (BCD) للأحرف مكونة من ستة بتات، بدءًا من عام 1953 في حاسوبيها 702 [ 5 ] و 704 ، وفي سلسلتي 7000 و 1400 اللاحقتين ، بالإضافة إلى الأجهزة الطرفية المرتبطة بها. ونظرًا لأن رمز البطاقة المثقبة المستخدم آنذاك كان يقتصر على الأرقام والأحرف الإنجليزية الكبيرة وبعض الأحرف الخاصة، فقد كانت ستة بتات كافية. وقد وسّعت هذه التشفيرات الثنائية العشرية الترميز الرقمي البسيط الموجود بأربعة بتات ليشمل الأحرف الأبجدية والخاصة، مما سهّل ربطها بترميز البطاقة المثقبة الذي كان شائع الاستخدام آنذاك. استُخدمت رموز IBM بشكل أساسي مع أجهزة IBM. وكان لدى موردي الحواسيب الآخرين في ذلك الوقت رموز أحرف خاصة بهم، غالبًا ما تكون مكونة من ستة بتات، مثل الترميز المستخدم في جهاز UNIVAC I. [ 6 ] كانت لديهم عادةً القدرة على قراءة الأشرطة المنتجة على معدات IBM. كانت ترميزات BCD الخاصة بشركة IBM بمثابة مقدمة لترميز التبادل العشري الثنائي الموسع (يُختصر عادةً إلى EBCDIC)، وهو نظام ترميز ثماني بتات طُوّر في عام 1963 لنظام IBM System/360 والذي تميز بمجموعة أحرف أكبر، بما في ذلك الأحرف الصغيرة.

في عام ١٩٥٩، وضع الجيش الأمريكي ترميز Fieldata ، وهو ترميز يتكون من ستة أو سبعة بتات، قدمه سلاح الإشارة بالجيش الأمريكي. ورغم أن Fieldata عالج العديد من المشكلات الحديثة آنذاك (مثل رموز الأحرف والأرقام المُرتبة للترتيب الآلي)، إلا أنه لم يحقق أهدافه ولم يدم طويلًا. في عام ١٩٦٣، أصدرت لجنة ASCII (التي ضمت عضوًا واحدًا على الأقل من لجنة Fieldata، وهو دبليو إف لوبيرت) أول ترميز ASCII (X3.4-1963)، والذي عالج معظم أوجه قصور Fieldata باستخدام ترميز أبسط مكون من سبعة بتات. كانت العديد من التغييرات طفيفة، مثل مجموعات الأحرف القابلة للترتيب ضمن نطاقات رقمية معينة. حقق ASCII63 نجاحًا كبيرًا، واعتمدته الصناعة على نطاق واسع، ومع الإصدار اللاحق لترميز ASCII عام ١٩٦٧ (الذي أضاف الأحرف الصغيرة وعالج بعض مشكلات "ترميز التحكم")، انتشر اعتماد ASCII67 على نطاق واسع. تمت معالجة طبيعة ASCII67 الأمريكية إلى حد ما في معيار ECMA-6 الأوروبي . [ 7 ] دعمت ترميزات ASCII الموسعة ذات الثمانية بتات ، مثل امتدادات البائعين المختلفة وسلسلة ISO/IEC 8859 ، جميع أحرف ASCII بالإضافة إلى أحرف إضافية غير ASCII.

أثناء محاولتهم تطوير ترميزات أحرف قابلة للتبديل عالميًا، واجه الباحثون في ثمانينيات القرن الماضي معضلةً تمثلت في ضرورة إضافة المزيد من البتات لاستيعاب الأحرف الإضافية، ولكن في الوقت نفسه، بالنسبة لمستخدمي مجموعة الأحرف اللاتينية الصغيرة نسبيًا (الذين كانوا لا يزالون يشكلون غالبية مستخدمي الحاسوب)، كانت هذه البتات الإضافية بمثابة هدر هائل لموارد الحوسبة الشحيحة والمكلفة آنذاك (إذ كانت تُصفّر دائمًا لهؤلاء المستخدمين). في عام ١٩٨٥، لم تكن سعة القرص الصلب في أجهزة الحاسوب الشخصية العادية تتجاوز ١٠ ميغابايت، وكان سعره حوالي ٢٥٠ دولارًا أمريكيًا في سوق الجملة (وأعلى بكثير عند شرائه بشكل منفصل من متاجر التجزئة)، [ ٨ ] لذا كان من الأهمية بمكان في ذلك الوقت استغلال كل بت على أكمل وجه.

كان الحل الوسط الذي تم التوصل إليه وتطويره في النهاية ليصبح يونيكود هو التخلي عن الافتراض (الذي يعود إلى رموز التلغراف) بأن كل حرف يجب أن يتوافق دائمًا بشكل مباشر مع تسلسل معين من البتات. بدلاً من ذلك، يتم أولاً ربط الأحرف بتمثيل وسيط عالمي على شكل أرقام مجردة تُسمى نقاط الترميز . ثم يتم تمثيل نقاط الترميز بطرق متنوعة وبأعداد افتراضية مختلفة من البتات لكل حرف (وحدات الترميز) اعتمادًا على السياق. لترميز نقاط الترميز التي يزيد طولها عن طول وحدة الترميز، مثل ما يزيد عن 256 لوحدات ثمانية بتات، كان الحل هو تطبيق ترميزات متغيرة الطول حيث يشير تسلسل الهروب إلى أنه يجب تحليل البتات اللاحقة كنقطة ترميز أعلى.

مصطلحات

تُستخدم المصطلحات المختلفة المتعلقة بترميز الأحرف غالبًا بشكل غير متسق أو غير صحيح. [ 9 ] تاريخيًا، كان المعيار نفسه يُحدد مجموعة من الأحرف وكيفية ترميزها في سلسلة من وحدات الترميز - عادةً بحرف واحد لكل وحدة ترميز. ومع ذلك، ونظرًا لظهور ترميزات أحرف أكثر تطورًا، أصبح التمييز بين المصطلحات أمرًا بالغ الأهمية.

شخصية

الحرف هو أصغر وحدة نصية ذات قيمة دلالية. [ 9 ] [ 10 ] في علم اللغة ، يُطلق على هذه الوحدة اسم "الرسم الكتابي" ، وتُسمى كل طريقة من طرق كتابتها المختلفة "الرسم الهجائي" . (على سبيل المثال، يُعد كل من الحرف g ذي الزوائد والحرف g بدون زوائد رسمًا هجائيًا للرسم الكتابي ⟨g⟩ ، U+0067 g الحرف اللاتيني الصغير G ).

يختلف تعريف الحرف باختلاف أنظمة ترميز الأحرف. فعلى سبيل المثال، بالنسبة للأحرف التي تحتوي على علامات تشكيل ، توجد طريقتان مختلفتان لترميزها. يمكن ترميزها إما كحرف واحد موحد (يُعرف بالحرف المركب مسبقًا)، أو كأحرف منفصلة تتحد لتكوين رمز واحد . تُبسط الطريقة الأولى نظام معالجة النصوص، بينما تسمح الطريقة الثانية باستخدام أي تركيبة من الأحرف وعلامات التشكيل في النص. وتُشكل الأحرف المركبة مشاكل مماثلة. فبعض أنظمة الكتابة، كالعربية والعبرية، تحتوي على وحدات كتابية يعتمد شكلها وطريقة اتصالها على السياق.

مجموعة الأحرف

مجموعة الأحرف هي مجموعة من الأحرف المستخدمة لتمثيل النصوص. [ 9 ] [ 10 ] على سبيل المثال، الأبجدية اللاتينية والأبجدية اليونانية هما مجموعتان من الأحرف.

مجموعة الأحرف المشفرة

مجموعة الأحرف المشفرة هي مجموعة أحرف يتم فيها ربط كل عنصر بقيمة رقمية بشكل فريد. [ 10 ]

يُعرف هذا أيضًا باسم صفحة الترميز ، [ 9 ] على الرغم من أن هذا المصطلح قديم عمومًا. في الأصل، كانت صفحة الترميز تشير إلى رقم صفحة في دليل IBM يُحدد ترميزًا معينًا للأحرف. [ 11 ] كما نشرت شركات أخرى، بما في ذلك مايكروسوفت وساب وأوراكل ، صفحات ترميز خاصة بها، ومنها صفحة ترميز ويندوز الشهيرة وصفحة الترميز 437. على الرغم من عدم الإشارة إلى صفحات محددة في الدليل، لا يزال العديد من ترميزات الأحرف يُشار إليه بالرقم نفسه. وبالمثل، لا يزال مصطلح صفحة الترميز يُستخدم للإشارة إلى ترميز الأحرف.

في أنظمة يونكس والأنظمة الشبيهة بيونكس ، يُستخدم مصطلح charmap بشكل شائع؛ وعادةً ما يكون ذلك في سياق أوسع يتعلق بالمواقع.

تُحدد بنية تمثيل بيانات الأحرف (CDRA) الخاصة بشركة IBM كل كيان بمعرف مجموعة الأحرف المشفرة (CCSID) ، والذي يُطلق عليه بشكل مختلف اسم مجموعة الأحرف أو مجموعة الأحرف أو صفحة الترميز أو CHARMAP . [ 12 ]

مجموعة الشخصيات

مجموعة الأحرف هي مجموعة من الأحرف التي يمكن تمثيلها بواسطة مجموعة أحرف مشفرة معينة. [ 10 ] [ 13 ] قد تكون المجموعة مغلقة، أي لا يُسمح بإضافة أي أحرف إليها دون إنشاء معيار جديد (كما هو الحال مع ASCII ومعظم سلسلة ISO-8859)؛ أو قد تكون مفتوحة، مما يسمح بإضافة أحرف إليها (كما هو الحال مع Unicode وإلى حد محدود مع صفحات ترميز Windows ). [ 13 ]

نقطة الترميز

نقطة الترميز هي قيمة أو موضع حرف في مجموعة أحرف مُرمّزة. [ 10 ] تُمثَّل نقطة الترميز بتسلسل من وحدات الترميز. ويُحدَّد هذا التعيين بواسطة الترميز. وبالتالي، يعتمد عدد وحدات الترميز المطلوبة لتمثيل نقطة ترميز على الترميز المُستخدم.

  • UTF-8: يتم ربط نقاط الترميز بتسلسل من وحدة ترميز واحدة أو اثنتين أو ثلاث أو أربع وحدات ترميز.
  • في ترميز UTF-16، تكون وحدات الترميز ضعف طول وحدات الترميز ذات 8 بت. لذا، يُرمّز أي رمز بقيمة عددية أقل من U+10000 بوحدة ترميز واحدة. أما الرموز التي قيمتها U+10000 أو أعلى، فتتطلب وحدتي ترميز لكل منها. وتُعرف هذه الأزواج من وحدات الترميز بمصطلح فريد في ترميز UTF-16: "أزواج بديلة لليونيكود".
  • UTF-32: وحدة الترميز 32 بت كبيرة بما يكفي بحيث يتم تمثيل كل نقطة ترميز كوحدة ترميز واحدة.
  • GB 18030: من الشائع وجود وحدات ترميز متعددة لكل نقطة ترميز، نظرًا لصغر حجم وحدات الترميز. يتم ربط نقاط الترميز بوحدة ترميز واحدة أو اثنتين أو أربع وحدات ترميز. [ 14 ]

مساحة الكود

مساحة الترميز هي نطاق القيم العددية التي تغطيها مجموعة الأحرف المشفرة. [ 10 ] [ 12 ]

وحدة التعليمات البرمجية

وحدة الترميز هي أصغر مجموعة بتات يمكنها تمثيل حرف في ترميز الأحرف (في مصطلحات علوم الحاسوب ، هي حجم الكلمة في ترميز الأحرف). [ 10 ] [ 12 ] تشمل وحدات الترميز الشائعة 7 بت، و8 بت، و16 بت، و32 بت. في بعض الترميزات، تُرمّز بعض الأحرف بوحدات ترميز متعددة .

على سبيل المثال:

ترميز يونيكود

يشكل نظام يونيكود ومعياره الموازي، مجموعة الأحرف العالمية ISO/IEC 10646 ، معًا معيارًا موحدًا لترميز الأحرف. فبدلًا من ربط الأحرف مباشرةً بالبايتات ، يُعرّف يونيكود بشكل منفصل مجموعة أحرف مُرمّزة تربط الأحرف بأعداد طبيعية فريدة ( نقاط الترميز )، وكيفية ربط نقاط الترميز هذه بسلسلة من الأعداد الطبيعية ذات الحجم الثابت (وحدات الترميز)، وأخيرًا كيفية ترميز هذه الوحدات كسلسلة من الثمانيات (البايتات). والهدف من هذا التقسيم هو إنشاء مجموعة عالمية من الأحرف التي يمكن ترميزها بطرق متنوعة. ولوصف النموذج بدقة، يستخدم يونيكود المصطلحات الموجودة ويُعرّف مصطلحات جديدة. [ 12 ]

مجموعة الشخصيات المجردة

مجموعة الأحرف المجردة (ACR) هي المجموعة الكاملة للأحرف المجردة التي يدعمها النظام. يتميز نظام يونيكود بمجموعة أحرف مفتوحة، مما يعني أنه سيتم إضافة أحرف جديدة إليها بمرور الوقت.

مجموعة الأحرف المشفرة

مجموعة الأحرف المشفرة (CCS) هي دالة تربط الأحرف بنقاط ترميز (كل نقطة ترميز تمثل حرفًا واحدًا). ​​على سبيل المثال، في مجموعة أحرف معينة، قد يُرمز للحرف الكبير "A" في الأبجدية اللاتينية بنقطة الترميز 65، وللحرف "B" بنقطة الترميز 66، وهكذا. قد تشترك مجموعات أحرف مشفرة متعددة في نفس مجموعة الأحرف؛ على سبيل المثال، يغطي كل من معيار ISO/IEC 8859-1 وصفحات ترميز IBM 037 و500 نفس مجموعة الأحرف، لكنهما يربطانها بنقاط ترميز مختلفة.

نموذج ترميز الأحرف

تتميز أنظمة الأجهزة والبرامج عادةً بحد أقصى لطول الكلمة "الأصلي"، مثل 16 أو 32 بت. قد يُعرّف ترميز الأحرف نقاطًا رمزية يتجاوز طولها طول الكلمة الأصلي للنظام. يُعرّف نموذج ترميز الأحرف (CEF) بأنه ربط النقاط الرمزية بوحدات رمزية تُقسّم النقطة الرمزية بطريقة موحدة بحيث تتناسب كل وحدة رمزية مع طول كلمة النظام. على سبيل المثال، لا يستطيع الحاسوب الذي يُمثّل الأرقام بوحدات 16 بت تمثيل سوى 65535 نقطة رمزية لكل وحدة، ولكن يمكن تمثيل النقاط الرمزية الأكبر باستخدام وحدات 16 بت متعددة كما هو مُعرّف في نموذج ترميز الأحرف (CEF).

مخطط ترميز الأحرف

نظام ترميز الأحرف (CES) هو عملية ربط وحدات الترميز بتسلسل من البايتات لتسهيل التخزين على نظام ملفات قائم على البايتات أو الإرسال عبر شبكة قائمة على البايتات. تشمل أنظمة ترميز الأحرف البسيطة UTF-8 و UTF-16BE و UTF-32BE و UTF-16LE و UTF-32LE ؛ أما أنظمة ترميز الأحرف المركبة، مثل UTF-16 و UTF-32 و ISO/IEC 2022 ، فتُبدّل بين عدة أنظمة بسيطة باستخدام علامة ترتيب البايتات أو تسلسلات الهروب ؛ بينما تحاول أنظمة الضغط تقليل عدد البايتات المستخدمة لكل وحدة ترميز (مثل SCSU و BOCU ).

على الرغم من أن UTF-32BE و UTF-32LE هما ترميزان أبسط، فإن معظم الأنظمة التي تعمل مع يونيكود تستخدم إما UTF-8 ، المتوافق مع الإصدارات السابقة من ASCII ذي الطول الثابت والذي يربط نقاط ترميز يونيكود بتسلسلات متغيرة الطول من الثمانيات، أو UTF-16BE ، المتوافق مع الإصدارات السابقة من UCS-2BE ذي الطول الثابت والذي يربط نقاط ترميز يونيكود بتسلسلات متغيرة الطول من الكلمات ذات 16 بت. راجع مقارنة ترميزات يونيكود لمزيد من التفاصيل.

بروتوكول المستوى الأعلى

قد يكون هناك بروتوكول ذو مستوى أعلى يوفر معلومات إضافية لاختيار نوع معين من حرف يونيكود ، لا سيما عند وجود أنواع إقليمية تم توحيدها في يونيكود كحرف واحد. ومن الأمثلة على ذلك سمة XML المسماة xml:lang.

يستخدم نموذج يونيكود مصطلح "خريطة الأحرف" للإشارة إلى الأنظمة الأخرى التي تُسند مباشرةً سلسلة من الأحرف إلى سلسلة من البايتات، وهو ما يغطي جميع طبقات CCS وCEF وCES. [ 12 ]

توثيق نقطة الكود

يُرمز للحرف عادةً بالرمز 'U+' متبوعًا بقيمة نقطة الترميز الخاصة به بالنظام الست عشري . يتراوح نطاق نقاط الترميز الصالحة (مساحة الترميز) لمعيار يونيكود من U+0000 إلى U+10FFFF، شاملًا، مقسمًا إلى 17 مستوى ، مُرقمة من 0 إلى 16. تقع الأحرف في النطاق من U+0000 إلى U+FFFF في المستوى 0، المسمى المستوى الأساسي متعدد اللغات (BMP). يحتوي هذا المستوى على الأحرف الأكثر استخدامًا. أما الأحرف في النطاق من U+10000 إلى U+10FFFF في المستويات الأخرى فتُسمى أحرفًا تكميلية .

يتضمن الجدول التالي أمثلة على نقاط الترميز:

شخصيةنقطة الترميزرسم بياني
لاتين أU+0041أ
حرف S اللاتيني الحادU+00DFß
هان للشرقU+6771東
علامة العطف (&)U+0026و
علامة تعجب مقلوبةU+00A1¡
علامة القسمU+00A7§

مثال

لنفترض أن لدينا السلسلة النصية "ab̲c𐐀" تحتوي على حرف دمج يونيكود ( U+0332 ◌ ̲ COMBINING LOW LINE لتسطير ⟨ b ⟩ ) بالإضافة إلى حرف إضافي ( U+10400 𐐀 DESERET CAPTAL LETTER LONG I ). لهذه السلسلة عدة تمثيلات يونيكود متكافئة منطقيًا، ولكن كل منها مناسب لمجموعة متنوعة من الظروف أو نطاقات المتطلبات.

  • أربعة أحرف مركبة :
    a، b̲، c،𐐀
  • خمسة رسوم بيانية:
    a، b، _، c،𐐀
  • خمس نقاط ترميز يونيكود :
    U+0061، U+0062، U+0332، U+0063،U+10400
  • خمس وحدات ترميز UTF-32 (قيم عددية صحيحة 32 بت):
    0x00000061، 0x00000062، 0x00000332، 0x00000063،0x00010400
  • ست وحدات ترميز UTF-16 (أعداد صحيحة 16 بت)
    0x0061، 0x0062، 0x0332، 0x0063، 0xD801،0xDC00
  • تسع وحدات ترميز UTF-8 (قيم 8 بت، أو بايتات )
    0x61، 0x62، 0xCC، 0xB2، 0x63، 0xF0، ، 0x90، 0x90،0x80

لاحظ على وجه الخصوص أن الحرف 𐐀 يُمثَّل إما بقيمة واحدة من 32 بت (UTF-32)، أو بقيمتين من 16 بت (UTF-16)، أو بأربع قيم من 8 بت (UTF-8). مع أن كل صيغة من هذه الصيغ تستخدم نفس العدد الإجمالي للبتات (32) لتمثيل الحرف، إلا أنه ليس من الواضح كيف ترتبط قيم البايت الرقمية الفعلية.

تحويل الترميز

لدعم البيئات التي تستخدم ترميزات أحرف متعددة، تم تطوير برامج لترجمة النصوص بين أنظمة ترميز الأحرف، وهي عملية تُعرف باسم إعادة الترميز . ومن أبرز هذه البرامج:

ترميزات الأحرف الشائعة

يُعد ترميز الأحرف UTF-8 الأكثر استخدامًا على الويب ، حيث يُستخدم في 98.9% من مواقع الويب التي شملها الاستطلاع، وذلك اعتبارًا من يناير 2026. [ 2 ] في برامج التطبيقات ومهام نظام التشغيل ، يُعد كل من UTF-8 و UTF-16 خيارين شائعين. [ 3 ] [ 18 ]

انظر أيضاً

مراجع

  1. ↑ "تعريف ترميز الأحرف" . قاموس المصطلحات التقنية . 24 سبتمبر 2010.
  2. 1 2 "دراسة استقصائية حول استخدام ترميزات الأحرف مصنفة حسب الترتيب" . W3Techs . تم الاطلاع عليه في 1 يناير 2026 .
  3. 1 2 "مجموعة الأحرف" . مطورو أندرويد . تم الاسترجاع في 2 يناير 2021. ملاحظة أندرويد: الإعداد الافتراضي لمنصة أندرويد هو دائمًا UTF-8.
  4. ↑ توم هندرسون (17 أبريل 2014). "جداول رموز الأحرف الحاسوبية القديمة - ولماذا لا تزال ذات صلة" . سمارت بير. مؤرشف من الأصل في 30 أبريل 2014. تم الاطلاع عليه في 29 أبريل 2014 .
  5. ↑ "دليل معلومات تمهيدي لأجهزة معالجة البيانات الإلكترونية من نوع 702 من شركة IBM" (ملف PDF) . 1954. صفحة 80. 22-6173-1. مؤرشف (ملف PDF) من الأصل في 9 أكتوبر 2022 – عبر bitsavers.org. 
  6. ↑ "نظام UNIVAC" (ملف PDF) (بطاقة مرجعية).
  7. ↑ توم جينينغز (20 أبريل 2016). "تاريخ مُشروح لبعض رموز الأحرف" . بحث حساس . تم الاطلاع عليه في 1 نوفمبر 2018 .
  8. ↑ ستريلهو، كيفن (15 أبريل 1985). "شركة آي بي إم تدفع الأقراص الصلبة نحو معايير جديدة" . إنفوورلد . شركة بوبولار كومبيوتينغ. الصفحات 29-33 . تاريخ الاسترجاع: 10 نوفمبر 2020 . 
  9. 1 2 3 4 شون ستيل (15 مارس 2005). "ما الفرق بين الترميز، وصفحة الترميز، ومجموعة الأحرف، واليونيكود؟" . مستندات مايكروسوفت .
  10. 1 2 3 4 5 6 7 "مسرد مصطلحات يونيكود" . اتحاد يونيكود.
  11. ↑ " معلومات عن مبرمج طرفية الفيديو VT510" . شركة ديجيتال إكويبمنت (DEC). 7.1. مجموعات الأحرف - نظرة عامة. مؤرشف من الأصل في 26 يناير 2016. تم الاسترجاع في 15 فبراير 2017. بالإضافة إلى مجموعات أحرف DEC و ISO التقليدية ، التي تتوافق مع بنية وقواعد ISO 2022 ، يدعم VT510 عددًا من صفحات رموز IBM PC ( أرقام الصفحات في دليل مجموعة الأحرف القياسي لشركة IBM) في وضع PCTerm لمحاكاة طرفية وحدة التحكم لأجهزة الكمبيوتر الشخصية القياسية في الصناعة.
  12. 1 2 3 4 5 ويستلر، كين؛ فرايتاج، أسموس (11 نوفمبر 2022). "UTR#17: نموذج ترميز أحرف يونيكود" . اتحاد يونيكود . تم الاسترجاع في 12 أغسطس 2023 .
  13. 1 2 "الفصل 3: المطابقة". معيار يونيكود الإصدار 15.0 - المواصفات الأساسية (ملف PDF) . اتحاد يونيكود. سبتمبر 2022. ISBN 978-1-936213-32-0.
  14. ↑ "المصطلحات (دروس جافا)" . أوراكل . تم الاطلاع عليه بتاريخ 25 مارس 2018 .
  15. ↑ "طريقة Encoding.Convert" . مكتبة فئات إطار عمل Microsoft .NET .
  16. ↑ "دالة MultiByteToWideChar (stringapiset.h)" . وثائق مايكروسوفت . 13 أكتوبر 2021.
  17. ↑ "دالة WideCharToMultiByte (stringapiset.h)" . وثائق مايكروسوفت . 9 أغسطس 2022.
  18. ↑ غالاوي، مات (9 أكتوبر 2012). "ترميز الأحرف لمطوري iOS. أم UTF-8 ماذا الآن؟" . مات غالاوي . تم الاسترجاع في 2 يناير 2021. في الواقع، عادةً ما تفترض استخدام UTF-8 لأنه الترميز الأكثر شيوعًا .

للمزيد من القراءة