أباتشي آرو

أباتشي آرو هو إطار برمجي مستقل عن لغة البرمجة لتطوير تطبيقات تحليل البيانات التي تعالج البيانات العمودية . يحتوي على تنسيق ذاكرة معياري موجه نحو الأعمدة، قادر على تمثيل البيانات المسطحة والهرمية لإجراء عمليات تحليلية فعالة على أجهزة المعالجة المركزية ووحدات معالجة الرسومات الحديثة . [ 2 ] [ 3 ] [ 4 ] [ 5 ] [ 6 ] يقلل هذا من العوامل التي تحد من جدوى العمل مع مجموعات البيانات الكبيرة، أو يزيلها تمامًا، مثل تكلفة ذاكرة الوصول العشوائي الديناميكية ، أو تقلبها، أو قيودها المادية . [ 7 ]

قابلية التشغيل البيني

يمكن استخدام Arrow مع Apache Parquet و Apache Spark و NumPy و PySpark و pandas ومكتبات معالجة البيانات الأخرى. يتضمن المشروع مكتبات برمجية أصلية مكتوبة بلغات C وC++ وC# وGo وJava وJavaScript وJulia وMATLAB وPython (PyArrow [ 8 ] ) وR وRuby وRust. يتيح Arrow قراءة البيانات دون نسخها، والوصول السريع إليها وتبادلها دون تكلفة إضافية للتسلسل بين هذه اللغات والأنظمة. [ 2 ]

التطبيقات

تم استخدام برنامج Arrow في مجالات متنوعة، بما في ذلك التحليلات، [ 9 ] وعلم الجينوم، [ 10 ] [ 7 ] والحوسبة السحابية. [ 11 ]

مقارنة مع أباتشي باركيه و ORC

يُعدّ كلٌّ من Apache Parquet و Apache ORC مثالين شائعين على تنسيقات البيانات العمودية المخزنة على القرص. صُمِّمَ Arrow ليكون مكمِّلاً لهذه التنسيقات لمعالجة البيانات في الذاكرة. [ 12 ] تختلف المفاضلات الهندسية لموارد الأجهزة اللازمة للمعالجة في الذاكرة عن تلك المرتبطة بالتخزين على القرص. [ 13 ] يتضمن مشروعا Arrow وParquet مكتباتٍ تُتيح قراءة البيانات وكتابتها بين التنسيقين. [ 14 ]

الحوكمة

أعلنت مؤسسة برمجيات أباتشي عن مشروع أباتشي آرو في 17 فبراير 2016، [ 15 ] بقيادة تحالف من المطورين من مشاريع تحليل البيانات مفتوحة المصدر الأخرى. [ 16 ] [ 17 ] [ 6 ] [ 18 ] [ 19 ] وقد استُخدمت شفرة من أباتشي دريل كأساس لقاعدة الشفرة الأولية ومكتبة جافا . [ 15 ]

مراجع

  1. "الإصدار 25.0.0" . 10 يوليو 2026. تم الاطلاع عليه بتاريخ 11 يوليو 2026 .
  2. 1 2 "Apache Arrow والحوسبة الموزعة باستخدام Kubernetes" . 13 ديسمبر 2018.
  3. باير، توني (17 فبراير 2016). "سهم أباتشي: ترتيب البط في صف... أو عمود" . سيكينج ألفا .
  4. باير، توني (25 فبراير 2019). "أباتشي آرو: مُسرِّع البيانات الصغير ذو الإمكانيات الهائلة" . زد نت .
  5. هول، سوزان (23 فبراير 2016). "تخطيطات البيانات العمودية في أباتشي آرو قد تُسرّع هادوب وسبارك" . ذا نيو ستاك .
  6. 1 2 يغولالب، سردار (27 فبراير 2016). "يهدف أباتشي آرو إلى تسريع الوصول إلى البيانات الضخمة" . إنفو وورلد .
  7. 1 2 تنوير أحمد (2019). "ArrowSAM: معالجة بيانات الجينوم في الذاكرة من خلال إطار عمل Apache Arrow". bioRxiv 10.1101/741843 . 
  8. "Python — Apache Arrow v20.0.0" .
  9. دينسمور، ت. و. (2016). "التحليلات في الذاكرة: تلبية الحاجة إلى السرعة". التحليلات الثورية . أبريس، بيركلي، كاليفورنيا. ص 97-116 . doi : 10.1007/978-1-4842-1311-7_5 . ISBN  978-1-4842-1312-4.
  10. فيرساتشي ف، بيريدو ل، زانيتي ج (2016). "علم الجينوم القابل للتوسع: من البيانات الخام إلى القراءات المتراصفة على أباتشي يارن" (ملف PDF) . المؤتمر الدولي لهندسة الكهرباء والإلكترونيات حول البيانات الضخمة : 1232-1241 .
  11. ماس م، أسانوفيتش ك، كوبياتوفيتش ج (2017). "عودة بيئات التشغيل: إعادة التفكير في نظام وقت تشغيل اللغة لعصر الحوسبة السحابية 3.0". وقائع ورشة العمل السادسة عشرة حول المواضيع الساخنة في أنظمة التشغيل . ص 138-143 . doi : 10.1145/3102980.3103003 . ISBN  978-1-4503-5068-6.
  12. لو ديم، جوليان. "أباتشي آرو وأباتشي باركيه: لماذا احتجنا إلى مشاريع مختلفة للبيانات العمودية، على القرص وفي الذاكرة" . كي دي ناغتس .
  13. "Apache Arrow vs. Parquet and ORC: هل نحتاج حقًا إلى مشروع Apache ثالث لتمثيل البيانات العمودية؟" . 2017-10-31.
  14. "PyArrow: قراءة وكتابة تنسيق Apache Parquet" .
  15. ١ ٢ "مؤسسة برمجيات أباتشي® تعلن عن أباتشي آرو™ كمشروع رئيسي" . مدونة مؤسسة برمجيات أباتشي . ١٧ فبراير ٢٠١٦. مؤرشف من الأصل بتاريخ ١٣ مارس ٢٠١٦.
  16. مارتن، ألكسندر ج. (17 فبراير 2016). "مؤسسة أباتشي تُسرع في إطلاق أباتشي آرو كمشروع رئيسي" . ذا ريجستر .
  17. «يحصل مجال البيانات الضخمة على مشروع جديد مفتوح المصدر، أباتشي آرو: فهو يُحسّن الأداء بأكثر من 100 ضعف في أحمال العمل التحليلية، وفقًا لما ذكرته المؤسسة» . 17 فبراير 2016. مؤرشف من الأصل في 27 يوليو 2016. تم الاطلاع عليه في 31 يناير 2018 .
  18. لو ديم، جوليان (28 نوفمبر 2016). "الإصدار الأول من أباتشي آرو" . إس دي تايمز .
  19. "جوليان لو ديم يتحدث عن مستقبل معالجة البيانات الموجهة بالأعمدة باستخدام أباتشي آرو" .