HPCC

HPCC (مجموعة الحوسبة عالية الأداء)، والمعروفة أيضًا باسم DAS (حاسوب تحليلات البيانات الفائق)، هي منصة نظام حوسبة مفتوحة المصدر وكثيفة البيانات ، طورتها شركة LexisNexis Risk Solutions . تعتمد منصة HPCC على بنية برمجية مُطبقة على مجموعات حوسبة قياسية لتوفير معالجة متوازية عالية الأداء للبيانات للتطبيقات التي تستخدم البيانات الضخمة . ^{[ 1 ]} تتضمن منصة HPCC تكوينات نظام لدعم كلٍ من معالجة البيانات الدفعية المتوازية (Thor) وتطبيقات الاستعلام عبر الإنترنت عالية الأداء باستخدام ملفات البيانات المفهرسة (Roxie). ^{[ 2 ]} كما تتضمن منصة HPCC لغة برمجة تصريحية تركز على البيانات لمعالجة البيانات المتوازية تُسمى ECL . ^{[ 3 ]}

أُعلن عن الإصدار العام لمنصة HPCC في عام 2011، بعد عشر سنوات من التطوير الداخلي (وفقًا لشركة LexisNexis). وهي بديلٌ لمنصة Hadoop ^{[ 4 ]} ومنصات البيانات الضخمة الأخرى . ^{[ 5 ]}

تتضمن بنية نظام HPCC بيئتي معالجة مجموعات متميزة Thor و Roxie ، ويمكن تحسين كل منهما بشكل مستقل لغرض معالجة البيانات المتوازية.

تُسمى أولى هذه المنصات "ثور" ، وهي عبارة عن مصفاة بيانات تهدف بشكل عام إلى معالجة كميات هائلة من البيانات الخام من أي نوع ولأي غرض، ولكنها تُستخدم عادةً لتنظيف البيانات وتنقيتها، ومعالجة البيانات الخام من خلال عمليات الاستخراج والتحويل والتحميل (ETL )، وربط السجلات وحل الكيانات، وإجراء تحليلات معقدة مخصصة واسعة النطاق، وإنشاء بيانات مُفهرسة وفهارس لدعم الاستعلامات الهيكلية عالية الأداء وتطبيقات مستودعات البيانات . ويُشير اسم "ثور" إلى إله الرعد الأسطوري في الأساطير الإسكندنافية، حيث يرمز مطرقته الضخمة إلى تحويل كميات هائلة من البيانات الخام إلى معلومات مفيدة. وتتشابه مجموعة "ثور" في وظيفتها وبيئة تنفيذها ونظام ملفاتها وقدراتها مع منصتي "جوجل" و" هادوب ماب ريديوس" .

يوضح الشكل 2 تمثيلاً لمجموعة معالجة Thor المادية التي تعمل كمحرك لتنفيذ مهام الدفعات لتطبيقات الحوسبة واسعة النطاق كثيفة البيانات. بالإضافة إلى عقد Thor الرئيسية والفرعية، يلزم وجود مكونات مساعدة ومشتركة إضافية لتنفيذ بيئة معالجة HPCC كاملة.

تُسمى المنصة الثانية لمعالجة البيانات المتوازية "روكسي"، وتعمل كمحرك سريع لتوصيل البيانات . صُممت هذه المنصة لتكون منصة استعلام وتحليل مُهيكلة عالية الأداء عبر الإنترنت، أو مستودع بيانات، لتلبية متطلبات معالجة الوصول المتوازي للبيانات للتطبيقات عبر الإنترنت من خلال واجهات خدمات الويب، مما يدعم آلاف الاستعلامات والمستخدمين المتزامنين بأوقات استجابة تقل عن ثانية. تستخدم روكسي نظام ملفات مُفهرسًا مُوزعًا لتوفير معالجة متوازية للاستعلامات باستخدام بيئة تنفيذ مُحسّنة ونظام ملفات مُحسّن للمعالجة عالية الأداء عبر الإنترنت. تُشابه مجموعة روكسي في وظيفتها وقدراتها كلاً من ElasticSearch وHadoop، مع إضافة إمكانيات HBase و Hive ، وتوفر زمن استجابة للاستعلامات شبه فوري وقابل للتنبؤ. تستخدم كل من مجموعتي Thor وRoxie لغة برمجة ECL لتنفيذ التطبيقات، مما يزيد من استمرارية العمل وإنتاجية المبرمجين.

يوضح الشكل 3 تمثيلًا لمجموعة معالجة Roxie المادية، والتي تعمل كمحرك تنفيذ استعلامات فوري لتطبيقات الاستعلامات عالية الأداء وتخزين البيانات. تتضمن مجموعة Roxie عدة عُقد مزودة بخوادم وعمليات عاملة لمعالجة الاستعلامات؛ ومكونًا مساعدًا إضافيًا يُسمى خادم ESP، والذي يوفر واجهات وصول للعملاء الخارجيين إلى المجموعة؛ ومكونات مشتركة أخرى تُستخدم مع مجموعة Thor في بيئة الحوسبة عالية الأداء (HPCC). على الرغم من إمكانية تنفيذ واستخدام مجموعة معالجة Thor بدون مجموعة Roxie، إلا أنه يُفضل أن تتضمن بيئة HPCC التي تحتوي على مجموعة Roxie مجموعة Thor أيضًا. تُستخدم مجموعة Thor لإنشاء ملفات الفهرسة الموزعة التي تستخدمها مجموعة Roxie، ولتطوير استعلامات فورية تُنشر مع ملفات الفهرسة إلى مجموعة Roxie.

تتضمن بنية برمجيات HPCC مجموعتي Thor وRoxie، بالإضافة إلى مكونات وسيطة مشتركة ، وطبقة اتصالات خارجية، وواجهات عميل توفر خدمات للمستخدم النهائي وأدوات إدارة النظام، ومكونات مساعدة لدعم المراقبة وتسهيل تحميل وتخزين بيانات نظام الملفات من مصادر خارجية. عادةً ما تتضمن بيئة HPCC مجموعات Thor فقط، أو مجموعتي Thor وRoxie معًا، مع العلم أن Roxie تُستخدم أحيانًا لإنشاء فهارسها الخاصة. يوضح الشكل 4 بنية برمجيات HPCC بشكل عام.

تُعدّ شركة HPCC Systems (مجموعة الحوسبة عالية الأداء) جزءًا من شركة LexisNexis Risk Solutions ، وقد تأسست لترويج وبيع برمجيات HPCC. في يونيو 2011، أعلنت الشركة عن طرح البرمجيات بموجب نموذج ترخيص مزدوج مفتوح المصدر. ^{[ 6 ] [ 7 ] [ 8 ] [ 9 ]}

تُقدّم شركة HPCC Systems إصدارين: الإصدار المجتمعي والإصدار المؤسسي. الإصدار المجتمعي مجاني للتنزيل، ويتضمن شفرة المصدر، وهو مُرخص بموجب رخصة أباتشي 2.0. أما الإصدار المؤسسي، فهو مُتاح بموجب ترخيص تجاري مدفوع، ويشمل التدريب والدعم والتعويضات ووحدات إضافية. في نوفمبر 2011، أعلنت HPCC Systems عن إتاحة مجموعة Thor Data Refinery Cluster على خدمات أمازون السحابية . ^{[ 10 ]} وفي يناير 2012، أعلنت HPCC Systems عن خوارزميات التعلّم الآلي الموزّعة . ^{[ 11 ]}

• أباتشي هادوب
• أباتشي سبارك
• أنظمة بيانات أستر
• لغة البرمجة ECL (لغة برمجة تركز على البيانات)
• ElasticSearch
• القطاع/المجال
• التعلم الآلي
• MapReduce

• ترى سانديا تحديات إدارة البيانات تتفاقم
• تستفيد مختبرات سانديا الوطنية من جهاز الحوسبة الفائقة لتحليل البيانات (DAS) التابع لمجموعة ليكسيس نيكسيس لتحليلات المخاطر والمعلومات، والذي يوفر قدرات حوسبة عالية الأداء رائدة لمعالجة تحديات إدارة البيانات وتحليلها.
• نماذج البرمجة لمجموعة الحوسبة عالية الأداء LexisNexis
• حاسوب ليكسيس نيكسيس العملاق لتحليلات البيانات
• أنظمة ليكسيس نيكسيس HPCC
• الإشارة إلى مصطلح BORPS (مليارات السجلات في الثانية)
• تُوظّف شركة LexisNexis خبرتها الواسعة في إدارة البيانات العلمية.
• شهادة في الحوسبة عالية الأداء (HPCC) وتحليلات البيانات الضخمة - مستقلة
• جامعة فلوريدا أتلانتيك تحصل على منحة استجابة سريعة من المؤسسة الوطنية للعلوم لتطوير نموذج حاسوبي مبتكر لانتشار الإيبولا
• تقدم CPL Online قيمة مضافة للعملاء من خلال منصة البيانات الضخمة الخاصة بها
• أنظمة HPCC