مجموعة كالجاري
مجموعة بيانات كالجاري هي مجموعة من ملفات البيانات النصية والثنائية ، تُستخدم عادةً لمقارنة خوارزميات ضغط البيانات . أنشأها إيان ويتن وتيم بيل وجون كليري من جامعة كالجاري عام ١٩٨٧، وشاع استخدامها في التسعينيات. في عام ١٩٩٧، استُبدلت بمجموعة بيانات كانتربري ، [ ١ ] نظرًا لمخاوف بشأن مدى تمثيل مجموعة بيانات كالجاري للواقع، [ ٢ ] إلا أن مجموعة بيانات كالجاري لا تزال موجودة للمقارنة، ولا تزال مفيدة للغرض الذي أُنشئت من أجله.
محتويات
في شكلها الأكثر شيوعًا، تتكون المجموعة من 14 ملفًا بإجمالي 3,141,622 بايت على النحو التالي.
| الحجم (بايت) | اسم الملف | وصف |
|---|---|---|
| 111,261 | مريلة | نص ASCII بتنسيق UNIX " refer " - 725 مرجعًا ببليوغرافيًا. |
| 768,771 | الكتاب الأول | نص ASCII غير منسق – توماس هاردي: بعيدًا عن صخب الحياة. |
| 610,856 | الكتاب الثاني | نص ASCII بتنسيق UNIX " troff " - مكتوب: مبادئ الكلام الحاسوبي. |
| 102,400 | جغرافيا | أرقام 32 بت بتنسيق الفاصلة العائمة من IBM - بيانات زلزالية. |
| 377,109 | أخبار | نص ASCII – ملف دفعي لشبكة USENET حول مجموعة متنوعة من المواضيع. |
| 21504 | OBJ1 | برنامج VAX القابل للتنفيذ - تجميع PROGP. |
| 246,814 | OBJ2 | برنامج ماكنتوش القابل للتنفيذ - "نظام دعم المعرفة" لـ BR Gaines. |
| 53161 | الورقة 1 | تنسيق UNIX "troff" – Witten, Neal, Cleary: الترميز الحسابي لضغط البيانات. |
| 82199 | الورقة الثانية | تنسيق UNIX "troff" - مكتوب: أمن (عدم) أمن الكمبيوتر. |
| 513,216 | صورة | صورة نقطية بحجم 1728 × 2376 (البت الأكثر أهمية أولاً): نص باللغة الفرنسية ومخططات خطية. |
| 39,611 | برنامج | شفرة المصدر بلغة C – برنامج ضغط UNIX الإصدار 4.0. |
| 71,646 | برو جي إل | شفرة المصدر بلغة ليسب - برامج النظام. |
| 49,379 | برنامج | شفرة المصدر بلغة باسكال – برنامج لتقييم ضغط PPM. |
| 93,695 | عبر | أحرف ASCII وأحرف التحكم - نص جلسة طرفية. |
توجد أيضًا نسخة أقل شيوعًا تتكون من 18 ملفًا، وتتضمن 4 ملفات نصية إضافية بصيغة UNIX "troff"، من PAPER3 إلى PAPER6. ويشير القائمون على موقع مجموعة كانتربري إلى أن هذه الملفات "لا تُضيف شيئًا إلى التقييم". [ 3 ]
المعايير
كانت مجموعة بيانات كالجاري معيارًا شائع الاستخدام لضغط البيانات في التسعينيات. وكانت النتائج تُعرض عادةً بوحدة بت لكل بايت (bpb) لكل ملف، ثم تُجمع النتائج عن طريق حساب المتوسط. ومؤخرًا، أصبح من الشائع جمع أحجام الملفات المضغوطة. يُطلق على هذه الطريقة اسم المتوسط المرجح، لأنها تُعادل ترجيح نسب الضغط بأحجام الملفات الأصلية. ويستخدم معيار UCLC [ 4 ] الذي وضعه يوهان دي بوك هذه الطريقة.
بالنسبة لبعض برامج ضغط البيانات، يُمكن تقليل حجم مجموعة البيانات المضغوطة عن طريق دمج المدخلات في ملف أرشيف غير مضغوط (مثل ملف tar ) قبل الضغط، وذلك بفضل المعلومات المتبادلة بين ملفات النصوص. في حالات أخرى، يكون الضغط أسوأ لأن برنامج الضغط لا يتعامل جيدًا مع الإحصائيات غير المنتظمة. استُخدمت هذه الطريقة في اختبار معياري في كتاب " شرح ضغط البيانات" الإلكتروني للمؤلف مات ماهوني. [ 5 ]
يُبيّن الجدول أدناه أحجام الملفات المضغوطة لمجموعة بيانات كالجاري المكونة من 14 ملفًا باستخدام كلا الطريقتين لبعض برامج الضغط الشائعة. عند استخدام الخيارات، يتم اختيار أفضل ضغط. للاطلاع على قائمة أكثر شمولًا، راجع المعايير المذكورة أعلاه.
| ضاغط | خيارات | 14 ملفًا منفصلاً | كملف tar |
|---|---|---|---|
| غير مضغوط | 3,141,622 | 3,152,896 | |
| ضغط | 1,272,772 | 1,319,521 | |
| Info-ZIP 2.32 | -9 | 1,020,781 | 1,023,042 |
| gzip 1.3.5 | -9 | 1,017,624 | 1,022,810 |
| bzip2 1.0.3 | -9 | 828,347 | 860,097 |
| 7-zip 9.12b | 848,687 | 824,573 | |
| bzip3 1.1.8 | 765,939 | 779,795 | |
| ppmd Jr1 | -m256 -o16 | 740,737 | 754,243 |
| ppmonstr J | 675,485 | 669,497 | |
| ZPAQ الإصدار 7.15 | -الطريقة 5 | 659,709 | 659,853 |
تحدي الضغط
مسابقة "ضغط مجموعة بيانات كالجاري وفك تشفير SHA-1 " [ 6 ] هي مسابقة أطلقها ليونيد أ. بروخيس في 21 مايو 1996 لضغط نسخة مجموعة بيانات كالجاري المكونة من 14 ملفًا. تقدم المسابقة جائزة نقدية رمزية تفاوتت قيمتها بمرور الوقت، وتبلغ حاليًا دولارًا أمريكيًا واحدًا لكل 111 بايت يتم تحسينها مقارنةً بالنتيجة السابقة.
بحسب قواعد المسابقة، يجب أن يتضمن كلٌ من البيانات المضغوطة وبرنامج فك الضغط، مُعبأين في أحد تنسيقات الأرشيف القياسية. وقد تم تخفيف قيود الوقت والذاكرة، وتنسيقات الأرشيف، ولغات فك الضغط تدريجيًا. حاليًا، يجب أن يعمل البرنامج خلال 24 ساعة على جهاز بمعالج 2000 MIPS بنظامي التشغيل ويندوز أو لينكس، وأن يستهلك أقل من 800 ميجابايت من الذاكرة. أُضيف لاحقًا تحدٍّ خاص بخوارزمية SHA-1 ، يسمح لبرنامج فك الضغط بإخراج ملفات مختلفة عن مجموعة بيانات كالجاري، شريطة أن تكون قيم التجزئة الخاصة بها مطابقة لقيم التجزئة للملفات الأصلية. وحتى الآن، لم يتم استيفاء هذا الجزء من التحدي.
كان أول إدخال بحجم 759,881 بايت في سبتمبر 1997 من قِبل مالكولم تايلور، مؤلف برنامجي RK وWinRK. أما أحدث إدخال فكان بحجم 580,170 بايت من قِبل ألكسندر راتوشنياك في 2 يوليو 2010. يتكون هذا الإدخال من ملف مضغوط بحجم 572,465 بايت وبرنامج فك ضغط مكتوب بلغة C++ ومضغوط إلى 7700 بايت كأرشيف PPMd var. I، بالإضافة إلى 5 بايتات لاسم الملف المضغوط وحجمه. وفيما يلي تاريخ هذه البيانات.
| الحجم (بايت) | الشهر/السنة | مؤلف |
|---|---|---|
| 759,881 | 09/1997 | مالكولم تايلور |
| 692,154 | 08/2001 | ماكسيم سميرنوف |
| 680,558 | 09/2001 | ماكسيم سميرنوف |
| 653,720 | 11/2002 | سيرج فوسكوبوينيكوف |
| 645,667 | 01/2004 | مات ماهوني |
| 637,116 | 04/2004 | ألكسندر راتوشنياك |
| 608,980 | 12/2004 | ألكسندر راتوشنياك |
| 603,416 | 04/2005 | برزيميسواف سكيبينسكي |
| 596,314 | 10/2005 | ألكسندر راتوشنياك |
| 593,620 | 12/2005 | ألكسندر راتوشنياك |
| 589,863 | 05/2006 | ألكسندر راتوشنياك |
| 580,170 | 07/2010 | ألكسندر راتوشنياك |
انظر أيضاً
مراجع
- ↑ إيان هـ. ويتن؛ أليستير موفات؛ تيموثي سي. بيل (1999). إدارة الجيجابايت: ضغط وفهرسة المستندات والصور . مورغان كوفمان. ص 92. ISBN 9781558605701.
- ↑ سالومون، ديفيد (2007). ضغط البيانات: المرجع الكامل ( الطبعة الرابعة). سبرينغر. ص 12. ISBN 9781846286032.
- ↑ "مجموعة كانتربري" . corpus.canterbury.ac.nz .
- ↑ "مركز التعلم بجامعة كاليفورنيا" . 6 يناير 2023.
- ↑ "شرح ضغط البيانات" . mattmahoney.net .
- ↑ "تحدي الضغط/SHA-1" . mailcom.com .
روابط خارجية
- الموطن الأصلي لمدينة كالجاري
- منزل جديد
- بيل، ويتن، وكلياري، 1988
- معلومات عن مجموعة كالجاري
- تحدي ضغط مجموعة بيانات كالجاري وكسر SHA-1
- ضغط البيانات
- اختبار العناصر