أباتشي بينوت

📅 آخر تحديث: ٣ أغسطس ٢٠٢٦
✍️ نُشر في: ٣ أغسطس ٢٠٢٦
📷 يحتوي على 1 صور
الموسوعة الحرة

أباتشي بينوت هو مخزن بيانات موزع مفتوح المصدر وموجه نحو الأعمدة ، مكتوب بلغة جافا . صُمم بينوت لتنفيذ استعلامات OLAP بزمن استجابة منخفض. [ 1 ] [ 2 ] [ 3 ] [ 4 ] [ 5 ] وهو مناسب للسياقات التي تتطلب تحليلات سريعة، مثل عمليات التجميع، على بيانات غير قابلة للتغيير، وربما مع استيعاب البيانات في الوقت الفعلي. [ 6 ] [ 7 ] [ 8 ] اسم بينوت مشتق من كروم عنب بينوت التي تُعصر لاستخراج سائل يُستخدم في إنتاج أنواع مختلفة من النبيذ. اختار مؤسسو قاعدة البيانات هذا الاسم كاستعارة لتحليل كميات هائلة من البيانات من مجموعة متنوعة من تنسيقات الملفات أو مصادر البيانات المتدفقة. [ 9 ]

تم تطوير Pinot لأول مرة في LinkedIn بعد أن لاحظ فريق الهندسة عدم وجود حلول جاهزة تلبي متطلبات موقع التواصل الاجتماعي، مثل زمن الاستجابة المنخفض المتوقع، وتحديث البيانات في غضون ثوانٍ، وتحمل الأعطال، وقابلية التوسع. [ 9 ] [ 10 ] ويُستخدم Pinot في بيئات الإنتاج لدى شركات تقنية مثل Uber ، [ 11 ] و Microsoft ، [ 8 ] و Factual .

تاريخ

بدأ مشروع Pinot كمشروع داخلي في LinkedIn عام 2013 لدعم مجموعة متنوعة من المنتجات الموجهة للمستخدمين والشركات. وكان أول منتج تحليلي في LinkedIn يستخدم Pinot هو إعادة تصميم ميزة الموقع التي تتيح للأعضاء معرفة من شاهد ملفاتهم الشخصية في الوقت الفعلي. تم طرح المشروع كمصدر مفتوح في يونيو 2015 بموجب ترخيص Apache 2.0، وتبرعت به LinkedIn لمؤسسة Apache Software Foundation في يونيو 2019. [ 9 ] [ 8 ]

بنيان

هندسة أباتشي بينوت
مخطط معماري لـ Apache Pinot

يستخدم Pinot برنامج Apache Helix لإدارة المجموعات. يُدمج Helix كعامل ضمن المكونات المختلفة، ويستخدم Apache ZooKeeper للتنسيق والحفاظ على حالة المجموعة وسلامتها. تُدار جميع خوادم Pinot ووسطاءها بواسطة Helix. يُعد Helix إطار عمل عامًا لإدارة المجموعات، يُستخدم لإدارة الأقسام والنسخ المتماثلة في نظام موزع.

إدارة الاستفسارات

يتم استقبال الاستعلامات بواسطة الوسطاء - الذين يتحققون من الطلب مقابل جدول توجيه القطاع إلى الخادم - مما يؤدي إلى توزيع الطلب بين الخوادم في الوقت الفعلي والخوادم غير المتصلة بالإنترنت.

إدارة المجموعات

يستفيد Pinot من Apache Helix لإدارة المجموعات. Helix هو إطار عمل لإدارة المجموعات يُستخدم لإدارة الموارد المكررة والمجزأة في نظام موزع. يستخدم Helix برنامج Zookeeper لتخزين حالة المجموعة وبياناتها الوصفية.

سمات

تتشابه قاعدة بيانات Pinot في خصائصها مع قواعد بيانات OLAP المماثلة، مثل Apache Druid . [ 12 ] [ 13 ] ومثل Druid، تُعد Pinot قاعدة بيانات عمودية التوجه، وتدعم أنظمة ضغط متنوعة مثل ضغط طول التشغيل وضغط طول البت الثابت . كما تدعم Pinot تقنيات فهرسة قابلة للتوصيل ، مثل الفهرس المُرتب، وفهرس الخريطة النقطية ، والفهرس المعكوس ، وفهرس شجرة النجمة، وفهرس النطاق، وهي التقنيات التي تميز Pinot بشكل أساسي عن قواعد بيانات OLAP الأخرى.

يدعم Pinot استيعاب البيانات شبه الفوري من مصادر مثل Kafka و AWS Kinesis، واستيعاب البيانات على دفعات من مصادر مثل Hadoop و S3 و Azure و GCS . ومثل معظم مخازن بيانات OLAP وحلول تخزين البيانات الأخرى ، يدعم Pinot لغة استعلام شبيهة بلغة SQL ، تدعم عمليات الاختيار والتجميع والتصفية والترتيب والاستعلامات المميزة على البيانات.

انظر أيضاً

مراجع

  1. ↑ كوي، تينغتينغ؛ بينغ، ليجون؛ باردو، ديفيد؛ ليو، كون؛ أغاروال، ديباك؛ كومار، ديباك (14 أغسطس 2017). "أسعار احتياطية قائمة على البيانات لمزادات الإعلانات الاجتماعية على لينكدإن" . وقائع مؤتمر ADKDD'17 . رابطة آلات الحوسبة. الصفحات 1-7 . doi : 10.1145/3124749.3124759 . ISBN  9781450351942. S2CID 12327343 . 
  2. ↑ روزا، مارسيلو لا (2021). هندسة نظم المعلومات المتقدمة: المؤتمر الدولي الثالث والثلاثون . سبرينغر نيتشر. ISBN 978-3-030-79382-1.
  3. ↑ تشين، فرانسيس واي إل؛ تشين، سي إل فيليب؛ خان، لطيفور؛ لي، كيسونغ؛ تشانغ، ليانغ جي (20 يونيو 2018). البيانات الضخمة – مؤتمر البيانات الضخمة 2018: المؤتمر الدولي السابع، الذي عُقد كجزء من مؤتمر اتحاد خدمات البيانات الضخمة، SCF 2018، سياتل، واشنطن، الولايات المتحدة الأمريكية، 25-30 يونيو 2018، وقائع المؤتمر . سبرينغر. ص 153. ISBN  978-3-319-94301-5.
  4. ↑ إم، جان فرانسوا؛ جوبالاكريشنا، كيشور؛ سوبرامانيام، سوبو؛ شريفاستافا، مايانك؛ تومبدي، أدويت؛ جيانغ، شياوتيان؛ داي، جينيفر؛ لي، سيونغ هيون؛ باوار، نيها؛ لي، جياليانغ؛ أرينغونرام، رافي (27 مايو 2018). "بينو: معالجة تحليلية فورية عبر الإنترنت لـ 530 مليون مستخدم". وقائع المؤتمر الدولي لإدارة البيانات لعام 2018. سيجمود '18. رابطة آلات الحوسبة. الصفحات 583-594 . doi : 10.1145/3183713.3190661 . ISBN  9781450347037. S2CID 44083085 . 
  5. ↑ «مؤسسة برمجيات أباتشي تعلن عن أباتشي® بينوت™ كمشروع من المستوى الأعلى» . blogs.apache.org . 2 أغسطس 2021.
  6. ^ روجرز ، ريان. سوبرامانيام، سوبو؛ بنغ، شون. دورفي، ديفيد؛ لي، سيونغهيون؛ كانشا، سانتوش كومار؛ ساهي، شرادها؛ أحمد، برويز (16 نوفمبر 2020). “واجهة برمجة تطبيقات Audience Engagements API من LinkedIn: نظام تحليل البيانات للحفاظ على الخصوصية على نطاق واسع”. أرخايف : 2002.05839 [ cs.CR ].
  7. ↑ جوادي، سيد أحمد؛ غوبتا، هارش؛ مانهاس، روبن؛ ساهو، شويتا؛ غاندي، أنشول (يوليو 2018). "EASY: استراتيجية فعالة لتخصيص القطاعات لتقليل زمن الاستجابة المتأخر في Pinot". المؤتمر الدولي الثامن والثلاثون لأنظمة الحوسبة الموزعة (ICDCS) لعام 2018، IEEE . الصفحات 1432-1437 . doi : 10.1109/ICDCS.2018.00144 . ISBN  978-1-5386-6871-9. S2CID 21659844 . 
  8. 1 2 3 باوار، نيها. "بينو ينضم إلى حاضنة أباتشي" مؤرشف في 2019-04-02 على موقع Wayback Machine ، لينكد إن للهندسة ، 1 أبريل 2019
  9. 1 2 3 جوبالاكريشنا، كيشور. "الاستعانة بمصادر مفتوحة لـ Pinot: تجاوز عقبة التحليلات الآنية" . engineering.linkedin.com . لينكد إن. مؤرشف من الأصل في 10 سبتمبر 2015. تم الاطلاع عليه في 3 سبتمبر 2020 .
  10. ↑ يغولالب، سردار (11 يونيو 2015). "لينكدإن يملأ فجوة أخرى في مجال SQL-on-Hadoop" . إنفوورلد .
  11. ↑ فو، يوبينغ؛ سومان، تشينماي (9 يونيو 2021). "بنية تحتية للبيانات في الوقت الفعلي في أوبر" . وقائع المؤتمر الدولي لإدارة البيانات لعام 2021. سيغمود/بودز 21. رابطة آلات الحوسبة. الصفحات 2503-2516 . arXiv : 2104.00087 . doi : 10.1145 /3448016.3457552 . ISBN  9781450383431. S2CID 232478317 . 
  12. ^ أوردونيز، كارلوس. سونغ، إيل يول؛ أندرست كوتسيس، غابرييل؛ تجوا، أ. مين؛ خليل، إسماعيل (2 أكتوبر 2019). تحليلات البيانات الضخمة واكتشاف المعرفة: المؤتمر الدولي الحادي والعشرون، DaWaK 2019، لينز، النمسا، 26-29 أغسطس 2019، وقائع . سبرينغر. ص. 170. ردمك  978-3-030-27520-4.
  13. ↑ أوتامشانداني، سانديب (10 سبتمبر 2020). خارطة طريق البيانات للخدمة الذاتية . دار نشر أورايلي ميديا. رقم ISBN 978-1-4920-7520-2.