أباتشي إيرفلو

📅 آخر تحديث: ٢٤ يوليو ٢٠٢٦
✍️ نُشر في: ٢٤ يوليو ٢٠٢٦
📷 يحتوي على 1 صور
الموسوعة الحرة

أباتشي إيرفلو هي منصة مفتوحة المصدر لإدارة سير العمل في هندسة البيانات. بدأت في شركة Airbnb في أكتوبر 2014 [ 2 ] كحل لإدارة سير العمل المتزايد التعقيد في الشركة. سمح إنشاء إيرفلو لشركة Airbnb ببرمجة وجدولة سير العمل ومراقبته عبر واجهة المستخدم المدمجة في إيرفلو . [ 3 ] [ 4 ] منذ البداية، كان المشروع مفتوح المصدر، ليصبح مشروعًا تابعًا لحاضنة أباتشي في مارس 2016، ومشروعًا رئيسيًا لمؤسسة برمجيات أباتشي في يناير 2019.

تم تطوير Airflow باستخدام لغة بايثون ، ويتم إنشاء سير العمل عبر نصوص بايثون البرمجية. صُمم Airflow وفقًا لمبدأ "التكوين كشفرة برمجية". في حين توجد منصات أخرى لسير العمل تعتمد على "التكوين كشفرة برمجية" باستخدام لغات ترميز مثل XML ، فإن استخدام بايثون يتيح للمطورين استيراد المكتبات والفئات التي تساعدهم في إنشاء سير العمل الخاص بهم.

بحسب موقع VentureBeat ، في عام 2025، أصبح Airflow الأداة الفعلية لهندسة البيانات وقد اعتمدته شركات Fortune 500. [ 5 ]

ملخص

يستخدم Airflow الرسوم البيانية الموجهة غير الدورية (DAGs) لإدارة تنسيق سير العمل . تُعرَّف المهام والتبعيات باستخدام لغة بايثون، ثم يتولى Airflow إدارة الجدولة والتنفيذ. يمكن تشغيل الرسوم البيانية الموجهة غير الدورية إما وفقًا لجدول زمني محدد (مثلًا كل ساعة أو يوميًا) أو بناءً على محفزات أحداث خارجية (مثل ظهور ملف في Hive [ 6 ] ). كانت أدوات الجدولة السابقة القائمة على الرسوم البيانية الموجهة غير الدورية، مثل Oozie وAzkaban، تعتمد على ملفات تكوين متعددة وأشجار نظام ملفات لإنشاء رسم بياني موجه غير دوري، بينما في Airflow، يمكن غالبًا كتابة الرسوم البيانية الموجهة غير الدورية في ملف بايثون واحد. [ 7 ]

مقدم خدمة مُدارة

يقدم مزودو خدمات الحوسبة السحابية الثلاثة الكبرى خدمات مساعدة حول مشروع المصادر المفتوحة الأساسي:

  • Apache Airflow Job هو إصدار مُدار كخدمة SaaS من Apache Airflow مفتوح المصدر من Microsoft Azure والذي يتكامل مع Microsoft Fabric لتنسيق عناصر Fabric.
  • Cloud Composer هو إصدار مُدار من Airflow يعمل على منصة Google Cloud Platform (GCP) ويتكامل بشكل جيد مع خدمات GCP الأخرى. [ 8 ]
  • تقدم خدمات أمازون السحابية إدارة سير العمل لـ Apache Airflow بدءًا من نوفمبر 2020. [ 9 ]

مراجع

  1. ↑ "ملاحظات الإصدار" . تم الاطلاع عليها بتاريخ 7 يوليو 2026 .
  2. ↑ "أباتشي إيرفلو" . أباتشي إيرفلو . مؤرشف من الأصل في 12 أغسطس 2019. تم الاطلاع عليه في 30 سبتمبر 2019 .
  3. ↑ بوشمين، ماكسيم (2 يونيو 2015). "Airflow: منصة لإدارة سير العمل" . Medium . مؤرشف من الأصل في 13 أغسطس 2019. تم الاطلاع عليه في 30 سبتمبر 2019 .
  4. ↑ "تدفق الهواء" . مؤرشف من الأصل في 6 يوليو 2019. تم الاطلاع عليه في 30 سبتمبر 2019 .
  5. ↑ كيرنر، شون مايكل (22 أبريل 2025). "معالجة البيانات المجمعة بطيئة للغاية بالنسبة للذكاء الاصطناعي في الوقت الفعلي: كيف يحل Apache Airflow 3.0 مفتوح المصدر هذا التحدي من خلال تنسيق البيانات القائم على الأحداث" . VentureBeat . تم الاطلاع عليه في 4 مارس 2026 .
  6. ↑ ترينسيني، مارتون (16 يناير 2016). "مراجعة تدفق الهواء" . بايت باون . مؤرشف من الأصل في 28 فبراير 2019. تم الاطلاع عليه في 1 أكتوبر 2019 .
  7. ↑ "AirflowProposal" . مؤسسة برمجيات أباتشي . 28 مارس 2019. مؤرشف من الأصل في 7 أبريل 2022. تم الاطلاع عليه في 1 أكتوبر 2019 .
  8. ↑ "أطلقت جوجل Cloud Composer، وهي أداة جديدة لأتمتة سير العمل للمطورين" . TechCrunch . مايو 2018. تاريخ الاطلاع: 18 سبتمبر 2019 .
  9. ↑ "تقديم خدمة إدارة سير العمل من أمازون لـ Apache Airflow (MWAA)" . خدمات أمازون السحابية . 24 نوفمبر 2020. تاريخ الاسترجاع: 17 ديسمبر 2020 .

للمزيد من القراءة

  • هارينسلاك، باس؛ دي رويتر، جوليان (2021). خطوط أنابيب البيانات باستخدام أباتشي إيرفلو . منشورات مانينغ (نُشر في 27 أبريل 2021). ISBN 9781617296901.