مركز HPCC

الموسوعة الحرة
مركز HPCC
المطور(ون)أنظمة HPCC، حلول المخاطر من LexisNexis
الإصدار الأولي15-06-2011
إصدار مستقر
7.4.18-1 / 13-09-2019
مستودعhttps://github.com/hpcc-systems
مكتوب فيسي++ ، إي سي إل
نظام التشغيللينكس
رخصةرخصة أباتشي 2.0
موقع إلكترونيhpccsystems.com

HPCC (مجموعة الحوسبة عالية الأداء)، والمعروفة أيضًا باسم DAS (حاسوب تحليل البيانات العملاق)، هي منصة نظام حوسبة مفتوحة المصدر كثيفة البيانات طورتها شركة LexisNexis Risk Solutions . تتضمن منصة HPCC بنية برمجية تم تنفيذها على مجموعات الحوسبة السلعية لتوفير معالجة عالية الأداء ومتوازية للبيانات للتطبيقات التي تستخدم البيانات الضخمة . [1] تتضمن منصة HPCC تكوينات النظام لدعم كل من معالجة البيانات الدفعية المتوازية (Thor) وتطبيقات الاستعلام عبر الإنترنت عالية الأداء باستخدام ملفات البيانات المفهرسة (Roxie). [2] تتضمن منصة HPCC أيضًا لغة برمجة إعلانية تركز على البيانات لمعالجة البيانات المتوازية تسمى ECL . [3]

تم الإعلان عن الإصدار العام لـ HPCC في عام 2011، بعد عشر سنوات من التطوير الداخلي (وفقًا لـ LexisNexis). إنه بديل لـ Hadoop [4] ومنصات البيانات الضخمة الأخرى . [5]

هندسة النظام

الشكل 2. مجموعة معالجة ثور

يتضمن نظام HPCC بيئتين متميزتين لمعالجة المجموعات Thor و Roxie ، ويمكن تحسين كل منهما بشكل مستقل لغرض معالجة البيانات المتوازية.

أول هذه المنصات تسمى Thor ، وهي عبارة عن مصفاة بيانات الغرض العام منها هو المعالجة العامة لكميات هائلة من البيانات الخام من أي نوع لأي غرض ولكنها تستخدم عادةً لتنظيف البيانات ونظافتها، ومعالجة ETL ( استخراج وتحويل وتحميل ) للبيانات الخام، وربط السجلات وحل الكيانات، والتحليلات المعقدة المخصصة على نطاق واسع، وإنشاء بيانات ومؤشرات رئيسية لدعم الاستعلامات المنظمة عالية الأداء وتطبيقات مستودعات البيانات. اسم مصفاة البيانات Thor هو إشارة إلى إله الرعد الإسكندنافي الأسطوري الذي يحمل المطرقة الكبيرة التي ترمز إلى سحق كميات كبيرة من البيانات الخام وتحويلها إلى معلومات مفيدة. تتشابه مجموعة Thor في وظيفتها وبيئة التنفيذ ونظام الملفات والقدرات مع منصات Google و Hadoop MapReduce .

يوضح الشكل 2 تمثيلًا لمجموعة معالجة Thor المادية التي تعمل كمحرك تنفيذ وظائف الدفعات لتطبيقات الحوسبة المكثفة للبيانات القابلة للتطوير. بالإضافة إلى عقد Thor الرئيسية والثانوية، هناك حاجة إلى مكونات مساعدة ومشتركة إضافية لتنفيذ بيئة معالجة HPCC كاملة.

الشكل 3. مجموعة معالجة روكسي

تُسمى المنصة الثانية من منصات معالجة البيانات المتوازية Roxie وتعمل كمحرك سريع لتوصيل البيانات . تم تصميم هذه المنصة كمنصة استعلام وتحليل عالية الأداء عبر الإنترنت أو مستودع بيانات يوفر متطلبات معالجة الوصول إلى البيانات المتوازية للتطبيقات عبر الإنترنت من خلال واجهات خدمات الويب التي تدعم الآلاف من الاستعلامات والمستخدمين المتزامنين بأوقات استجابة أقل من الثانية. تستخدم Roxie نظام ملفات مُفهرس موزع لتوفير معالجة متوازية للاستعلامات باستخدام بيئة تنفيذ ونظام ملفات مُحسَّنين للمعالجة عبر الإنترنت عالية الأداء. تتشابه مجموعة Roxie في وظيفتها وقدراتها مع ElasticSearch وHadoop مع إضافة قدرات HBase و Hive ، وتوفر أوقات انتظار استعلامات يمكن التنبؤ بها في الوقت الفعلي تقريبًا. تستخدم كل من مجموعتي Thor وRoxie لغة برمجة ECL لتنفيذ التطبيقات، مما يزيد من الاستمرارية وإنتاجية المبرمج.

يوضح الشكل 3 تمثيلًا لمجموعة معالجة Roxie المادية التي تعمل كمحرك تنفيذ استعلامات عبر الإنترنت لتطبيقات الاستعلامات عالية الأداء وتخزين البيانات. تتضمن مجموعة Roxie عقدًا متعددة مع عمليات الخادم والعامل لمعالجة الاستعلامات؛ ومكونًا إضافيًا مساعدًا يسمى خادم ESP والذي يوفر واجهات للوصول الخارجي للعميل إلى المجموعة؛ ومكونات مشتركة إضافية يتم مشاركتها مع مجموعة Thor في بيئة HPCC. على الرغم من أنه يمكن تنفيذ مجموعة معالجة Thor واستخدامها بدون مجموعة Roxie، إلا أن بيئة HPCC التي تتضمن مجموعة Roxie يجب أن تتضمن أيضًا مجموعة Thor. تُستخدم مجموعة Thor لبناء ملفات الفهرس الموزعة التي تستخدمها مجموعة Roxie وتطوير الاستعلامات عبر الإنترنت والتي سيتم نشرها مع ملفات الفهرس إلى مجموعة Roxie.

الشكل 4. هندسة برمجيات HPCC

هندسة البرمجيات

تتضمن بنية برنامج HPCC مجموعات Thor وRoxie بالإضافة إلى مكونات البرامج الوسيطة الشائعة وطبقة الاتصالات الخارجية وواجهات العميل التي توفر كل من خدمات المستخدم النهائي وأدوات إدارة النظام والمكونات المساعدة لدعم المراقبة وتسهيل تحميل وتخزين بيانات نظام الملفات من مصادر خارجية. عادةً ما تتضمن بيئة HPCC مجموعات Thor فقط أو كل من مجموعات Thor وRoxie، على الرغم من استخدام Roxie أحيانًا لبناء فهارسها الخاصة. يظهر الهيكل العام لبرنامج HPCC في الشكل 4.

أنظمة HPCC

HPCC Systems (High Performance Computing Cluster) هي جزء من LexisNexis Risk Solutions وتم تشكيلها للترويج وبيع برنامج HPCC. في يونيو 2011، أعلنت عن تقديم البرنامج بموجب نموذج الترخيص المزدوج مفتوح المصدر. [6] [7] [8] [9]

تقدم HPCC Systems إصدارين: Community Edition وEnterprise Edition. يمكن تنزيل إصدار Community Edition مجانًا، ويتضمن الكود المصدر ويتم إصداره بموجب ترخيص Apache 2.0. يتوفر إصدار Enterprise Edition بموجب ترخيص تجاري مدفوع ويتضمن التدريب والدعم والتعويض ووحدات إضافية. في نوفمبر 2011، أعلنت HPCC Systems عن توفر مجموعة Thor Data Refinery Cluster على Amazon Web Services . [10] في يناير 2012، أعلنت HPCC Systems عن خوارزميات التعلم الآلي الموزعة . [11]

انظر أيضا

مراجع

  1. ^ Handbook of Cloud Computing, "Data-Intensive Technologies for Cloud Computing," by AM Middleton. Handbook of Cloud Computing. Springer, 2010.
  2. ^ "أنظمة HPCC: مقدمة إلى HPCC (مجموعة الحوسبة عالية الأداء)". 24 مايو 2011. CiteSeerX  10.1.1.456.3571 .
  3. ^ Handbook of Data Intensive Computing, "ECL/HPCC: A Unified Approach to Big Data," by AM Middleton. Handbook of Data Intensive Computing. Springer, 2011.
  4. ^ "LexisNexis ستجعل برنامجها البديل لـ Hadoop مفتوح المصدر للتعامل مع البيانات الضخمة". ReadWrite . 15 يونيو 2011 . تم الاسترجاع في 20 نوفمبر 2014 .
  5. ^ "9 أدوات مفيدة مفتوحة المصدر للبيانات الضخمة". EnterpriseAppsToday . 11 نوفمبر 2015 . تم الاسترجاع في 18 نوفمبر 2015 .
  6. ^ "LexisNexis تفتح مصادرها لقاتل Hadoop". GigaOM . 15 يونيو 2011 . تم الاسترجاع في 8 نوفمبر 2014 .
  7. ^ "LexisNexis ستجعل برنامجها البديل لـ Hadoop مفتوح المصدر للتعامل مع البيانات الضخمة". ReadWrite . 15 يونيو 2011 . تم الاسترجاع في 20 نوفمبر 2014 .
  8. ^ "HPCC A New/Old Kid In Town To Take On Hadoop". NetworkWorld . 16 يونيو 2011 . تم الاسترجاع في 2 ديسمبر 2014 .
  9. ^ "LexisNexis Joins Linux Foundation". مؤسسة لينكس . 17 يونيو 2011. تم الاسترجاع في 29 نوفمبر 2014 .
  10. ^ "HPCC تعلن عن توفر مجموعة ETL على Amazon Web Services". Cloud Computing Today . 17 ديسمبر 2012 . تم الاسترجاع في 30 نوفمبر 2014 .
  11. ^ "HPCC Systems Intros Machine Learning Beta". Datanami . 31 يناير 2012 . تم الاسترجاع في 29 نوفمبر 2014 .
  • ساندي تشهد تفاقم تحديات إدارة البيانات
  • تستفيد مختبرات ساندي الوطنية من حاسوب تحليل البيانات العملاق (DAS) من مجموعة تحليلات المخاطر والمعلومات من شركة LexisNexis، والذي يوفر حوسبة عالية الأداء مبتكرة لمعالجة تحديات إدارة البيانات وتحليلها
  • نماذج البرمجة لمجموعة الحوسبة عالية الأداء LexisNexis
  • حاسوب تحليل البيانات العملاق LexisNexis
  • أنظمة LexisNexis HPCC
  • إشارة إلى مصطلح BORPS (مليارات السجلات في الثانية)
  • تستخدم شركة LexisNexis سحرها في إدارة البيانات في التعامل مع البيانات العلمية
  • شهادة في مجموعات الحوسبة عالية الأداء (HPCC) وتحليلات البيانات الضخمة - شهادة مستقلة
  • حصلت جامعة فلوريدا أتلانتيك على منحة الاستجابة السريعة من مؤسسة العلوم الوطنية لتطوير نموذج حاسوبي مبتكر لانتشار الإيبولا
  • تقدم CPL Online قيمة مضافة للعملاء من خلال منصة البيانات الضخمة الخاصة بها
  • أنظمة HPCC
تم الاسترجاع من "https://en.wikipedia.org/w/index.php?title=HPCC&oldid=1167001616"
Original text
Rate this translation
Your feedback will be used to help improve Google Translate