بريستو (محرك استعلام SQL)

هندسة بريستو.
هندسة بريستو.

بريستو (بما في ذلك بريستو دي بي، وبريستو إس كيو إل التي أعيد تسميتها إلى ترينو ) هو محرك استعلام موزع للبيانات الضخمة باستخدام لغة استعلام SQL . تتيح بنيته للمستخدمين الاستعلام عن مصادر البيانات مثل هادوب ، وكاساندرا ، وكافكا ، و AWS S3 ، وألوكسيو ، وماي إس كيو إل ، ومونغو دي بي ، وتيراداتا ، [ 1 ] كما تتيح استخدام مصادر بيانات متعددة ضمن استعلام واحد. بريستو هو برنامج مفتوح المصدر مدعوم من المجتمع، ومرخص بموجب رخصة أباتشي .

تاريخ

صُمم برنامج Presto وطُوّر في الأصل في شركة فيسبوك (التي أُعيد تسميتها لاحقًا إلى ميتا) لتمكين محللي البيانات من تشغيل استعلامات تفاعلية على مستودع بياناتها الضخم في أباتشي هادوب . وكان المطورون الأربعة الأوائل هم مارتن ترافيرسو، ودين سوندستروم، وديفيد فيليبس، وإريك هوانغ. قبل Presto، كان محللو البيانات في فيسبوك يعتمدون على أباتشي هايف لتشغيل تحليلات SQL على مستودع بياناتهم الذي تبلغ سعته عدة بيتابايت. [ 2 ] ونظرًا لبطء هايف، فقد تم ابتكار Presto لسد هذه الفجوة وتشغيل استعلامات سريعة. [ 3 ] بدأ التطوير الأصلي في عام 2012، وتم نشره في فيسبوك في وقت لاحق من ذلك العام. وفي نوفمبر 2013، أعلنت فيسبوك عن إصداره كمصدر مفتوح. [ 3 ] [ 4 ]

في عام ٢٠١٤، كشفت نتفليكس عن استخدامها لمنصة بريستو على ١٠ بيتابايت من البيانات المخزنة في خدمة التخزين البسيطة من أمازون (S3). [ ٥ ] وفي نوفمبر ٢٠١٦، أعلنت أمازون عن خدمة باسم أثينا مبنية على بريستو. [ ٦ ] وفي عام ٢٠١٧، أنشأت تيراداتا شركةً فرعيةً باسم ستاربرست داتا لتقديم الدعم التجاري لمنصة بريستو، والتي ضمت موظفين تم استقطابهم من هادابت في عام ٢٠١٤. [ ٧ ] وقد مكّن برنامج كويري غريد من تيراداتا منصة بريستو من الوصول إلى قاعدة بيانات تيراداتا العلائقية. [ ٨ ]

في يناير 2019، أُعلن عن تأسيس مؤسسة بريستو للبرمجيات. وهي منظمة غير ربحية تُعنى بتطوير محرك استعلامات SQL الموزع مفتوح المصدر بريستو. [ 9 ] [ 10 ] في الوقت نفسه، انقسم تطوير بريستو إلى فرعين: بريستو دي بي الذي تتولى فيسبوك صيانته، وبريستو إس كيو إل الذي تتولى مؤسسة بريستو للبرمجيات صيانته، مع بعض التداخل في الشيفرة البرمجية.

في سبتمبر 2019، تبرعت فيسبوك ببرنامج PrestoDB لمؤسسة لينكس ، مما أدى إلى تأسيس مؤسسة Presto . [ 11 ] لم تتم دعوة مطوري Presto، ولا كبار المساهمين والمساهمين الرئيسيين، للانضمام إلى هذه المؤسسة. [ 12 ]

بحلول عام 2020، انضم جميع مطوري بريستو الأصليين الأربعة إلى ستاربرست. [ 13 ] وفي ديسمبر 2020، أُعيد تسمية بريستو إس كيو إل إلى ترينو ، بعد أن حصلت فيسبوك على علامة تجارية لاسم "بريستو" (والتي تبرعت بها أيضًا لمؤسسة لينكس). [ 14 ]

تم الإعلان عن شركة أخرى تسمى أهانا في عام 2020 لتسويق نسخة PrestoDB كخدمة سحابية، واستحوذت عليها شركة IBM في عام 2023. [ 15 ]

بنيان

تتشابه بنية Presto إلى حد كبير مع أنظمة إدارة قواعد البيانات الأخرى التي تستخدم الحوسبة العنقودية ، والتي تُعرف أحيانًا بالمعالجة المتوازية الضخمة (MPP). يعمل منسق واحد بالتزامن مع عدة عمال. يُرسل العملاء استعلامات SQL التي تُحلل وتُخطط، وبعد ذلك تُجدول المهام المتوازية على العمال. يُعالج العمال معًا صفوف البيانات من مصادرها ويُنتجون نتائج تُعاد إلى العميل. بالمقارنة مع نموذج تنفيذ Apache Hive الأصلي الذي استخدم آلية Hadoop MapReduce في كل استعلام، لا يكتب Presto النتائج الوسيطة على القرص، مما يُؤدي إلى تحسين كبير في السرعة. Presto مكتوب بلغة Java .

يمكن لاستعلام Presto دمج البيانات من مصادر متعددة. يوفر Presto موصلات لمصادر البيانات، بما في ذلك الملفات في Alluxio ، ونظام ملفات Hadoop الموزع (المعروف غالبًا باسم بحيرة البيانات )، و Amazon S3 ، وMySQL ، وPostgreSQL ، و Microsoft SQL Server ، و Amazon Redshift ، و Apache Kudu ، وApache Phoenix ، وApache Kafka ، وApache Cassandra ، وApache Accumulo ، و MongoDB ، و Redis . على عكس أدوات Hadoop الأخرى الخاصة بتوزيعات محددة، مثل Apache Impala ، يمكن لـ Presto العمل مع أي إصدار من Hadoop أو بدونه. يدعم Presto فصل الحوسبة عن التخزين، ويمكن نشره محليًا أو باستخدام الحوسبة السحابية .

انظر أيضاً

مراجع

  1. 1.1. توزيعة Teradata لـ Presto — وثائق توزيعة Teradata لـ Presto 0.167-t.0.2
  2. مايك فولبي (20 نوفمبر 2019). "ستاربرست وبريستو: بسرعة نجمية" . مدونة إندكس فنتشرز . تم الاطلاع عليه في 27 يناير 2022 .
  3. 1 2 جواب جاكسون (6 نوفمبر 2013). "فيسبوك يُطلق محرك استعلام مفتوح المصدر للبيانات الضخمة" . عالم الكمبيوتر . تم الاطلاع عليه في 26 أبريل 2017 .
  4. جوردان نوفيت (6 يونيو 2013). "فيسبوك تكشف النقاب عن محرك بريستو للاستعلام عن مستودع بيانات بحجم 250 بيتابايت" . جيجا أوم . مؤرشف من الأصل في 8 يونيو 2013. تم الاطلاع عليه في 26 أبريل 2017 .
  5. إيفا تسيه؛ تشنشياو لو؛ نزيه يغيت باشي (7 أكتوبر 2014). "استخدام بريستو في منصة البيانات الضخمة الخاصة بنا على AWS" . مدونة نتفليكس التقنية . تم الاطلاع عليه في 26 أبريل 2017 .
  6. جيف بار (30 نوفمبر 2016). "أمازون أثينا - استعلامات SQL تفاعلية للبيانات في أمازون S3" . مدونة أخبار AWS . تم الاطلاع عليه في 27 يناير 2022 .
  7. فيليب هوارد (21 ديسمبر 2017). "شركة تيراداتا تنفصل عن ستاربرست" . بلور . تم الاطلاع عليه في 26 يناير 2022 .
  8. ليندسي كلارك (17 ديسمبر 2020). "يا للمفاجأة! تيراداتا تعترف بفشل رؤيتها من خلال ربط منصة تحليلات QueryGrid بمستودعات بيانات منافسة" . ذا ريجستر . تاريخ الاطلاع: 26 يناير 2022 .
  9. «مؤسسة بريستو للبرمجيات تطلق مبادرة لدعم مجتمع بريستو مفتوح المصدر» . بيان صحفي . 31 يناير 2019. تم الاطلاع عليه بتاريخ 2 يناير 2022 .
  10. "الأساس الجديد لـ Presto يُشير إلى نمو محرك SQL للبيانات الضخمة" . The New Stack . 31 يناير 2019. تاريخ الاسترجاع: 1 فبراير 2019 .
  11. "فيسبوك، وأوبر، وتويتر، وعلي بابا تُشكّل مؤسسة بريستو لمعالجة معالجة البيانات الموزعة على نطاق واسع" . 23 سبتمبر 2019. تاريخ الاطلاع: 12 نوفمبر 2019 .
  12. بيوتر فينديزن (22 نوفمبر 2019). "ما العلاقة بين prestosql و prestodb؟" . تعليق على المشكلة رقم 38 في Trino Github . تم الاطلاع عليه في 27 يناير 2022 .
  13. "المبتكران الأصليان لـ Presto يجتمعان مجدداً في فريق القيادة التقنية لـ Starburst" . بيان صحفي . 22 سبتمبر 2020. تم الاطلاع عليه بتاريخ 26 يناير 2022 .
  14. مارتن ترافيرسو، داين سوندستروم، ديفيد فيليبس (27 ديسمبر 2020). "نعيد تسمية PrestoSQL إلى Trino" . مدونة Trino . تم ​​الاطلاع عليه في 26 يناير 2022 .{{cite web}}: صيانة CS1: أسماء متعددة: قائمة المؤلفين ( رابط )
  15. جيلين، بول (14 أبريل 2023). "شركة آي بي إم تستحوذ على أهانا، وتنضم إلى مؤسسة بريستو" . سيليكون أنجل . تم الاطلاع عليه بتاريخ 20 أبريل 2023 .