أباتشي سبارك

يُعدّ Spark Core أساس المشروع ككل. فهو يوفر إمكانية توزيع المهام، وجدولة العمليات، ووظائف الإدخال والإخراج الأساسية ، وذلك من خلال واجهة برمجة تطبيقات (لـ Java و Python و Scala و .NET ^{[ 16 ]} و R ) تتمحور حول تجريد RDD (واجهة برمجة تطبيقات Java متاحة للغات JVM الأخرى، ولكنها قابلة للاستخدام أيضًا مع بعض اللغات الأخرى غير JVM التي يمكنها الاتصال بـ JVM، مثل Julia ^{[ 17 ]} ). تعكس هذه الواجهة نموذجًا وظيفيًا / عالي المستوى للبرمجة: حيث يقوم برنامج "التشغيل" باستدعاء عمليات متوازية مثل map أو filter أو reduce على RDD عن طريق تمرير دالة إلى Spark، الذي يقوم بدوره بجدولة تنفيذ الدالة بالتوازي على المجموعة. ^{[ 2 ]} تأخذ هذه العمليات، بالإضافة إلى عمليات أخرى مثل joins ، كائنات RDD كمدخلات وتنتج كائنات RDD جديدة. كائنات RDD غير قابلة للتغيير ، وعملياتها كسولة . تتحقق مقاومة الأعطال من خلال تتبع "سلسلة" كل مجموعة بيانات موزعة (أي تسلسل العمليات التي أنتجتها) بحيث يمكن إعادة بنائها في حالة فقدان البيانات. يمكن أن تحتوي مجموعات البيانات الموزعة على أي نوع من كائنات بايثون أو دوت نت أو جافا أو سكالا.

إلى جانب أسلوب البرمجة الوظيفي الموجه نحو RDD، يوفر Spark شكلين محدودين من المتغيرات المشتركة: متغيرات البث التي تشير إلى بيانات للقراءة فقط يجب أن تكون متاحة على جميع العقد، بينما يمكن استخدام المُجمِّعات لبرمجة عمليات الاختزال بأسلوب إجرائي . ^{[ 2 ]}

من الأمثلة النموذجية على البرمجة الوظيفية التي تركز على RDD برنامج Scala التالي الذي يحسب ترددات جميع الكلمات الواردة في مجموعة من الملفات النصية ويطبع الكلمات الأكثر شيوعًا. تأخذ كل من map و flatMap (وهي صيغة معدلة من map ) و reduceByKey دالة مجهولة تُجري عملية بسيطة على عنصر بيانات واحد (أو زوج من العناصر)، وتُطبق وسيطها لتحويل RDD إلى RDD جديد.

منظمة الاستيراد​ أباتشي . شرارة .{ سبارك كون ، سبارك كونتيكست }استيراد org.apache.spark.rdd.RDD​​​​​​​​val conf : SparkConf = new SparkConf (). setAppName ( "wiki_test" ) // إنشاء كائن تكوين Sparkval sc : SparkContext = new SparkContext ( conf ) // إنشاء سياق سباركval data : RDD [ String ] = sc . textFile ( "/path/to/somedir" ) // قراءة الملفات من "somedir" إلى RDD من أزواج (اسم الملف، المحتوى).val tokens : RDD [ String ] = data . flatMap ( _ . split ( " " )) // تقسيم كل ملف إلى قائمة من الرموز (الكلمات).val wordFreq : RDD [( String , Int )] = tokens . map (( _ , 1 )). reduceByKey ( _ + _ ) // أضف قيمة واحد لكل رمز، ثم اجمع القيم لكل نوع كلمة.val topWords : Array [( Int , String )] = wordFreq . sortBy ( s => - s . _2 ). map ( x => ( x . _2 , x . _1 )). top ( 10 ) // الحصول على أفضل 10 كلمات. تبديل الكلمة والعدد لترتيبها حسب العدد.

PySpark هي واجهة برمجة تطبيقات بايثون لـ Apache Spark، وقد تم تقديمها في Spark 0.7، الذي صدر في فبراير 2013. ^{[ 18 ]} تتيح هذه الواجهة كتابة تطبيقات Spark بلغة بايثون ، وتوفر بيئة تفاعلية لتحليل البيانات. يتم تنفيذ كود PySpark ضمن بيئة تشغيل CPython القياسية ، ويمكنه استدعاء مكتبات بايثون الأصلية مثل NumPy و SciPy ؛ تاريخيًا، كانت مكتبة Py4J هي الوسيط في عملية التواصل بين كود المستخدم بلغة بايثون ونواة Spark الأساسية القائمة على JVM . ^{[ 18 ] [ 19 ]}

يوفر PySpark واجهات Python لمعظم مكونات Spark، بما في ذلك Spark Core و Spark SQL وواجهة برمجة تطبيقات DataFrame و Structured Streaming و MLlib ؛ ومنذ Spark 4.1، فإنه يعرض أيضًا واجهة برمجة تطبيقات Spark Declarative Pipelines. ^{[ 19 ]}

تم دمج واجهة برمجة تطبيقات متوافقة مع مكتبة Pandas، تُعرف باسم واجهة برمجة تطبيقات Pandas على Spark ، في PySpark في Apache Spark 3.2.0، الذي صدر في أكتوبر 2021. توفر هذه الواجهة مكافئات لواجهة برمجة تطبيقات تحليل البيانات الخاصة بـ Pandas ، والتي تُنفذ على محرك Spark، مما يسمح بتشغيل التعليمات البرمجية بأسلوب Pandas على البيانات الموزعة. ^{[ 20 ] [ 21 ]} وقد نشأ هذا المكون في الأصل باسم Koalas، وهو مشروع منفصل مفتوح المصدر أطلقته Databricks في عام 2019، والذي تم دمجه لاحقًا في PySpark. ^{[ 21 ]}

يوفر PySpark أيضًا عميلًا لـ Spark Connect، وهو بنية عميل-خادم تُمكّن من الاتصال عن بُعد بمجموعات Spark من تطبيقات PySpark. ^{[ 19 ]}

يستخدم برنامج PySpark النموذجي SparkSession لتحميل البيانات كإطار بيانات وتطبيق التحويلات:

from pyspark.sql import SparkSessionspark = SparkSession.builder.appName ( " example " ) . getOrCreate ( )​df = spark.read.json ( " path / to/people.json" ) df.groupBy ( " age " ) . count ( ) . show ( )

يُعدّ Spark SQL مكونًا أساسيًا في Spark Core، وقد قدّم تجريدًا للبيانات يُسمى DataFrames، ^{[ a ]} والذي يدعم البيانات المهيكلة وشبه المهيكلة . يوفر Spark SQL لغة برمجة خاصة بالمجال (DSL) للتعامل مع DataFrames في Scala أو Java أو Python أو .NET . ^{[ 16 ]} كما يدعم لغة SQL، مع واجهات سطر أوامر وخادم ODBC / JDBC . على الرغم من أن DataFrames تفتقر إلى التحقق من النوع في وقت الترجمة الذي توفره RDDs، إلا أنه بدءًا من Spark 2.0، أصبح DataSet ذو النوع القوي مدعومًا بالكامل من قِبل Spark SQL أيضًا.

استيراد org.apache.spark.sql . { DataFrame , SparkSession }​​​​​val url : String = "jdbc:mysql://yourIP:yourPort/test?user=yourUsername;password=yourPassword" // عنوان URL لخادم قاعدة البيانات. val spark : SparkSession = SparkSession . builder (). getOrCreate () // إنشاء كائن جلسة Sparkval df : DataFrame = spark . read . format ( "jdbc" ) . option ( "url" , url ) . option ( "dbtable" , "people" ) . load ()df.printSchema () // يعرض مخطط DataFrame هذا. val countsByAge : DataFrame = df.groupBy ( " age" ) . count () // يحسب عدد الأشخاص حسب العمر

أو بدلاً من ذلك عبر لغة SQL:

df.createOrReplaceTempView ( " people" ) val countsByAge : DataFrame = spark.sql ( " SELECT age, count ( * ) FROM people GROUP BY age" )

تُعدّ Spark Declarative Pipelines (SDP) إطار عمل تصريحيًا لتعريف وتشغيل مسارات استخراج البيانات وتحويلها وتحميلها (ETL)، وقد أُضيفت في Apache Spark 4.1.0، الذي صدر في 16 ديسمبر 2025. ^{[ 23 ] [ 24 ]} يُعرّف المطورون مجموعات البيانات التي يجب أن يُنتجها المسار والاستعلامات التي تُعرّفها، بدلًا من كتابة تعليمات برمجية إجرائية تُحدد كيفية حساب كل مجموعة بيانات وترتيبها؛ إذ يقوم Spark بإنشاء رسم بياني لتدفق البيانات وإدارة ترتيب التبعيات والتوازي ونقاط التحقق وإعادة المحاولات. ^{[ 23 ] [ 25 ]}

يُوسّع هذا الإطار نموذج التنفيذ الكسول والتصريحي لـ Spark، الذي كان يُطبّق سابقًا على الاستعلامات الفردية عبر Spark SQL ، ليشمل مسارات البيانات التي تغطي مجموعات بيانات متعددة. ^{[ 25 ]} تُعرَّف مسارات البيانات بلغة SQL أو Python، وتُنظَّم حول جداول البيانات المتدفقة والعروض المادية، مع التعبير عن التحويلات الأساسية على شكل "تدفقات"؛ ويمكن دمج عمليات الحساب الدفعية والمتدفقة ضمن مسار بيانات واحد. ^{[ 25 ] [ 26 ]}

يمكن لخط الأنابيب الذي يستخدم الصيغة أن يعلن عن جدول تدفق يستوعب السجلات وعرض مادي يجمعها، باستخدام واجهة برمجة تطبيقات بايثون: ^{[ 26 ]}

from pyspark import pipelines as dp@ dp.table def orders ( ) : return spark.readStream.table ( " orders_source " )​@ dp.materialized_view def daily_orders_by_state (): return ( spark.table ( "orders" ) . groupBy ( " state" , "order_date" ) . count ( ) )

يمكن تعريف نفس مجموعات البيانات في لغة SQL: ^{[ 26 ]}

إنشاء جدول بيانات متدفق باسم orders كالتالي: SELECT * FROM STREAM orders_source ;إنشاء عرض مادي daily_orders_by_state كالتالي : SELECT state , order_date , count ( * ) AS order_count FROM orders GROUP BY state , order_date ;

تستخدم خدمة Spark Structured Streaming قدرة الجدولة السريعة في Spark Core لإجراء تحليلات البيانات المتدفقة . حيث تستقبل البيانات على شكل دفعات صغيرة وتُجري عليها تحويلات RDD. يُمكّن هذا التصميم من استخدام نفس مجموعة أكواد التطبيق المُخصصة لتحليلات الدفعات في تحليلات البيانات المتدفقة، مما يُسهّل تطبيق بنية Lambda . ^{[ 27 ] [ 28 ]} مع ذلك، تأتي هذه الميزة مصحوبة بزيادة في زمن الاستجابة تُعادل مدة الدفعة الصغيرة. من بين محركات معالجة البيانات المتدفقة الأخرى التي تُعالج البيانات حدثًا تلو الآخر بدلًا من الدفعات الصغيرة، نذكر Storm ومكون البث في Flink . ^{[ 29 ]} تدعم Spark Streaming بشكل مُدمج استهلاك البيانات من Kafka و Flume و Twitter و ZeroMQ و Kinesis ومنافذ TCP/IP . ^{[ 30 ]}

في Spark 2.x، يتم توفير تقنية منفصلة تعتمد على مجموعات البيانات، تسمى البث المنظم، والتي تحتوي على واجهة ذات مستوى أعلى لدعم البث. ^{[ 31 ]}

أضاف Apache Spark 4.x نموذج تنفيذ في الوقت الحقيقي (RTM) للبث المهيكل، بهدف تقليل زمن الاستجابة الشامل لدعم أحمال العمل التشغيلية والدفعية على محرك واحد. ^{[ 23 ] [ 24 ] [ 32 ]} يمكن تنفيذ استعلامات البث المهيكل الحالية المكتوبة باستخدام واجهات برمجة تطبيقات DataFrame وDataset في الوضع الجديد دون تعديل الاستعلام. ^{[ 32 ]}

يمكن نشر Spark في مركز بيانات تقليدي محلي وكذلك في السحابة . ^{[ 33 ]}

Spark Connect عبارة عن بنية عميل-خادم منفصلة لـ Apache Spark، تسمح للتطبيقات البعيدة بالاتصال بمجموعة Spark من أي بيئة، وقد تم تقديمها في Apache Spark 3.4، الذي صدر في أبريل 2023. ^{[ 34 ]} تفصل هذه البنية تطبيق العميل عن برنامج تشغيل Spark، الذي كان يعمل سابقًا في نفس العملية؛ في Spark Connect، يكون العميل عبارة عن مكتبة بسيطة يمكن تضمينها في خوادم التطبيقات، وبيئات التطوير المتكاملة ، ودفاتر الملاحظات، وبيئات البرمجة الأخرى. ^{[ 34 ]}

يقوم عميل Spark Connect بترجمة عمليات DataFrame إلى خطط استعلام منطقية غير محلولة، ثم يشفرها باستخدام بروتوكول Buffers ، ويرسلها إلى خادم Spark عبر إطار عمل gRPC ؛ يقوم الخادم بترجمة هذه الخطط إلى عوامل تشغيل خطة Spark المنطقية، وينفذها من خلال مسار تنفيذ Spark القياسي. تُعاد النتائج إلى العميل على شكل دفعات صفوف مشفرة باستخدام Apache Arrow . ^{[ 34 ] [ 35 ]}

تتصل تطبيقات PySpark بخادم Spark Connect عن طريق تحديد عنوان URL بعيد عند إنشاء جلسة Spark:

from pyspark.sql import SparkSessionspark = SparkSession.builder.remote ( " sc ://localhost: 15002 " ) .getOrCreate ( )

تمت إضافة دعم PySpark لـ Spark Connect في Spark 3.4، وتلاه دعم عميل Scala في Spark 3.5؛ وتم تطوير عملاء إضافيين للغات تشمل Go و Swift و Rust في الإصدارات اللاحقة. ^{[ 34 ]}

Spark MLlib هو إطار عمل موزّع للتعلم الآلي مبني على Spark Core، وهو أسرع بتسعة أضعاف من التنفيذ القائم على القرص المستخدم في Apache Mahout (وفقًا لاختبارات الأداء التي أجراها مطورو MLlib على تطبيقات المربعات الصغرى المتناوبة (ALS)، وقبل أن يحصل Mahout نفسه على واجهة Spark)، ويتفوق في قابلية التوسع على Vowpal Wabbit . ^{[ 36 ]} تم تنفيذ العديد من خوارزميات التعلم الآلي والإحصائية الشائعة، وهي مُضمّنة في MLlib، مما يُبسّط مسارات التعلم الآلي واسعة النطاق ، بما في ذلك:

• الإحصاءات الموجزة ، والارتباطات ، وأخذ العينات الطبقية ، واختبار الفرضيات ، وتوليد البيانات العشوائية ^{[ 37 ]}
• التصنيف والانحدار : آلات المتجهات الداعمة ، الانحدار اللوجستي ، الانحدار الخطي ، تصنيف بايز الساذج ، شجرة القرار ، الغابة العشوائية ، شجرة التدرج المعزز
• تقنيات الترشيح التعاوني بما في ذلك طريقة المربعات الصغرى المتناوبة (ALS)
• أساليب تحليل التجميع بما في ذلك k-means وتخصيص Dirichlet الكامن (LDA)
• تقنيات تقليل الأبعاد مثل تحليل القيم المفردة (SVD) وتحليل المكونات الرئيسية (PCA)
• وظائف استخراج الميزات وتحويلها
• خوارزميات التحسين مثل التدرج العشوائي ، وخوارزمية BFGS ذات الذاكرة المحدودة (L-BFGS)

GraphX ​​هو إطار عمل لمعالجة الرسوم البيانية الموزعة مبني على Apache Spark. ولأنه يعتمد على RDDs، وهي كائنات غير قابلة للتغيير، فإن الرسوم البيانية غير قابلة للتغيير أيضًا، وبالتالي فإن GraphX ​​غير مناسب للرسوم البيانية التي تحتاج إلى تحديث، ناهيك عن تحديثها بطريقة معاملاتية مثل قواعد بيانات الرسوم البيانية . ^{[ 38 ]} يوفر GraphX ​​واجهتي برمجة تطبيقات منفصلتين لتنفيذ الخوارزميات المتوازية الضخمة (مثل PageRank ): واجهة Pregel المجردة ، وواجهة برمجة تطبيقات أكثر عمومية على غرار MapReduce. ^{[ 39 ]} على عكس سابقه Bagel، الذي تم إيقافه رسميًا في Spark 1.6، يدعم GraphX ​​بشكل كامل الرسوم البيانية الخاصة بالخصائص (الرسوم البيانية التي يمكن فيها ربط الخصائص بالحواف والرؤوس). ^{[ 40 ]}

على غرار أباتشي سبارك، بدأ مشروع GraphX ​​في البداية كمشروع بحثي في ​​مختبر AMPLab التابع لجامعة كاليفورنيا في بيركلي وشركة Databricks، وتم التبرع به لاحقًا لمؤسسة برمجيات أباتشي ومشروع سبارك. ^{[ 41 ]}

يدعم Apache Spark بشكل مدمج لغات Scala و Java و SQL و R و Python و Swift مع دعم من جهات خارجية لـ .NET CLR و ^{[ 42 ]} Julia و ^{[ 43 ]} والمزيد.

يعتمد Spark 3.5.2 على Scala 2.13 (وبالتالي يعمل مع Scala 2.12 و 2.13 بشكل افتراضي)، ولكن يمكن أيضًا جعله يعمل مع Scala 3. ^{[ 59 ]}

تم تطوير Apache Spark بواسطة مجتمع. ويتولى إدارة المشروع مجموعة تسمى "لجنة إدارة المشروع" (PMC). ^{[ 60 ]}

تُحفظ فروع إصدارات الميزات، عمومًا، مع إصدارات تصحيح الأخطاء لمدة 18 شهرًا. على سبيل المثال، لم يعد الفرع 2.3.x يُعتبر مُدارًا اعتبارًا من سبتمبر 2019، أي بعد 18 شهرًا من إصدار 2.3.0 في فبراير 2018. ولا يُتوقع صدور أي إصدارات أخرى من 2.3.x بعد ذلك التاريخ، حتى لتصحيح الأخطاء.

عادةً ما يتم دعم آخر إصدار فرعي ضمن إصدار رئيسي لفترة أطول كإصدار "LTS". على سبيل المثال، تم إصدار الإصدار 2.4.0 في 2 نوفمبر 2018، واستمر دعمه لمدة 31 شهرًا حتى إصدار الإصدار 2.4.8 في مايو 2021. يُعد الإصدار 2.4.8 هو الإصدار الأخير، ولا يُتوقع صدور أي إصدارات أخرى من سلسلة 2.4.x حتى لإصلاح الأخطاء. ^{[ 61 ]}