ضغط الترتيب الثنائي لليونيكود

يُعدّ ضغط يونيكود الثنائي المرتب ( BOCU ) نظام ضغط يونيكود متوافقًا مع MIME . يجمع BOCU-1 بين قابلية تطبيق UTF-8 الواسعة وصغر حجم نظام الضغط القياسي ليونيكود (SCSU). صُمم هذا الترميز ليكون مفيدًا في ضغط السلاسل النصية القصيرة، ويحافظ على ترتيب نقاط الترميز. تم تحديد BOCU-1 في مذكرة فنية خاصة بيونيكود. ^{[ 1 ]}

للمقارنة، تم اعتماد SCSU كخوارزمية ضغط قياسية لليونيكود بنسبة بايت إلى نقطة ترميز مماثلة لصفحات الترميز الخاصة بكل لغة . لم يُعتمد SCSU على نطاق واسع، لأنه غير مناسب لأنواع وسائط MIME النصية. على سبيل المثال، لا يمكن استخدام SCSU مباشرةً في رسائل البريد الإلكتروني والبروتوكولات المشابهة. يتطلب SCSU تصميمًا معقدًا للمشفّر لتحقيق أداء جيد. عادةً، تقوم خوارزميات مثل zip و bzip2 وغيرها من الخوارزميات القياسية في هذا المجال بضغط كميات أكبر من نصوص اليونيكود بكفاءة أعلى. ^{[ 2 ]}

كل من SCSU ^{[ 3 ]} و BOCU-1 ^{[ 4 ]} عبارة عن مجموعات أحرف مسجلة لدى IANA .

جميع الأرقام في هذا القسم هي أرقام سداسية عشرية ، وجميع النطاقات شاملة.

تُشفّر نقاط الترميز من U+0000إلى U+0020في BOCU-1 كقيمة البايت المقابلة. أما جميع نقاط الترميز الأخرى (أي من إلى U+0021ومن إلى ) فتُشفّر كفرق بين نقطة الترميز ونسخة مُعَيَّرة من آخر نقطة ترميز مُشفّرة لم تكن مسافة ASCII ( ). الحالة الابتدائية هي . وتكون عملية التطبيع كما يلي:U+D7FFU+E000U+10FFFFU+0020U+0040

يتم ترميز الفرق بين نقطة الترميز الحالية ونقطة الترميز السابقة المعيارية على النحو التالي:

يتم ترتيب كل نطاق بايت ترتيبًا معجميًا مع استبعاد قيم البايت الثلاثة عشر التالية: . على سبيل المثال، يتبع 00 07 08 09 0A 0B 0C 0D 0E 0F 1A 1B 20تسلسل البايت FC 06 FF، الذي يرمز إلى فرق قدره ، مباشرةً تسلسل البايت ، الذي يرمز إلى فرق قدره .1156BFC 10 011156C

أي إدخال ASCII بدون مسافة U+0000يُعيد ضبط المُشفِّر إلى الحالة الافتراضية . ولأن القيم المذكورة أعلاه تُغطي نقاط ترميز نهاية السطر ، وبما أن المُشفِّر يكون في حالة معروفة في بداية كل سطر، فإن تلف بايت واحد يؤثر على سطر واحد على الأكثر. وللمقارنة، فإن تلف بايت واحد في UTF-8 يؤثر على نقطة ترميز واحدة على الأكثر، بينما في SCSU قد يؤثر على المستند بأكمله.U+007FU+0020U+0040U+000DU+000A0D 0A

يوفر معيار BOCU-1 متانة مماثلة حتى مع النصوص المدخلة التي لا تحتوي على القيم المذكورة أعلاه، وذلك باستخدام رمز إعادة الضبط الخاص 0xFF. عندما يعثر جهاز فك التشفير على هذا البايت، فإنه يعيد ضبط حالته كما U+0040لو كان في نهاية سطر. لا يُنصح باستخدام 0xFFبايتات إعادة الضبط في مواصفات BOCU-1، لأنها تتعارض مع أهداف تصميم أخرى للمعيار، ولا سيما الترتيب الثنائي .

يؤدي استخدام التوقيع الاختياري U+FEFFفي بداية النصوص المشفرة بـ BOCU-1، أي تسلسل بايتات BOCU-1 ، إلى FB EE 28تغيير الحالة الأولية . بعبارة أخرى، لا يمكن حذف التوقيع ببساطة كما هو الحال في معظم أنظمة ترميز Unicode الأخرى. قد يؤدي إضافة بايت إعادة ضبط بعد التوقيع إلى تجنب هذا التأثير، لكن مواصفات BOCU-1 لا توصي بهذه الممارسة.U+0040U+FEC0FB EE 28 FF

نظريًا، يمكن لترميز UTF-1 و UTF-8 ترميز مجموعة UCS-4 الأصلية التي تحتوي على 31 بتًا حتى 10 بتات 7FFFFFFF. ويمكن لترميز BOCU-1 و UTF-16 ترميز مجموعة Unicode الحديثة من 10 بتات U+0000إلى 10 بتات . وباستثناء نقاط الترميز المحميةU+10FFFF الثلاثة عشر التي يتم ترميزها كوحدات ثمانية بتات، يمكن لترميز BOCU-1 استخدام 10 بتات.${\displaystyle 256-13=243}$تُستخدم وحدات البايت الثمانية في ترميزات متعددة البايتات. يحتاج ترميز BOCU-1 إلى أربعة بايتات كحد أقصى، تتكون من بايت رئيسي وبايت واحد إلى ثلاثة بايتات لاحقة. تُشفّر البايتات اللاحقة الفرق المتبقي " modulo 243" (الأساس 243)، بينما يُحدد البايت الرئيسي عدد البايتات اللاحقة والفرق الأولي. بايت إعادة الضبط 0xFFغير محمي ويمكن أن يظهر كبايت لاحق.

قبل 16 نوفمبر 2022، كانت خوارزمية BOCU العامة محمية بموجب براءة الاختراع الأمريكية رقم 6,737,994، والتي تشير أيضًا إلى تطبيق BOCU-1 المحدد. ^{[ 5 ]} وقد انتهت صلاحية هذه البراءة الآن.

ذكرت شركة IBM ، التي كان يعمل لديها مخترعا BOCU-1 وقت ابتكاره، في المذكرة الفنية الخاصة بـ Unicode، أن مطوري "نسخة متوافقة تمامًا مع BOCU-1" عليهم التواصل مع IBM لطلب ترخيص مجاني. ^{[ 6 ]} يُعد BOCU-1 نظام ضغط Unicode الوحيد الموصوف على موقع Unicode الإلكتروني الذي يُعرف أنه مقيد بقيود الملكية الفكرية .

في المقابل، تقدمت شركة IBM أيضًا بطلب للحصول على براءة اختراع لـ UTF-EBCDIC ، لكنها اختارت في تلك الحالة جعل الوثائق ونظام الترميز "متاحين مجانًا لأي شخص مهتم بجعل تنسيق التحويل جزءًا من معايير UCS"، بدلاً من مطالبة المطورين بطلب ترخيص. ^{[ 7 ]}

تحظر معايير HTML الصادرة عن W3C و WHATWG دعم ترميز BOCU-1 (وكذلك SCSU وCESU-8 وUTF-7 وEBCDIC وUTF-32) في مستندات HTML ^{[ 8 ] [ 9 ]} ، لأن HTML لم يُصمم مع مراعاة الترميزات غير المتوافقة مع ASCII. وقد تم في السابق إثبات وجود ثغرات أمنية تسمح بالهجمات الإلكترونية عبر المواقع (XSS ) نتيجةً لسوء تعامل المتصفحات مع هذه الترميزات. ^{[ 10 ]}

• يتضمن UTF-1 مقارنة بين تصميمات UTF-1 و UTF-8 وBOCU-1
• مكونات دولية لليونيكود: مكتبة يمكنها التحويل بين ترميز BOCU-1 وترميزات يونيكود الأخرى