خنزير أباتشي

أباتشي بيج ^{[ 1 ]} منصة عالية المستوى لإنشاء برامج تعمل على أباتشي هادوب . تُسمى لغة هذه المنصة بيج لاتين . ^{[ 1 ]} يمكن لبيج تنفيذ مهام هادوب باستخدام ماب ريديوس ، أو أباتشي تيز، أو أباتشي سبارك . ^{[ 2 ]} تُجرّد بيج لاتين البرمجة من نمط جافا ماب ريديوس إلى تدوين يجعل برمجة ماب ريديوس عالية المستوى، على غرار لغة SQL لأنظمة إدارة قواعد البيانات العلائقية . يمكن توسيع بيج لاتين باستخدام دوال مُعرّفة من قِبل المستخدم (UDFs) يمكن للمستخدم كتابتها بلغات جافا ، أو بايثون ، أو جافا سكريبت ، أو روبي، أو جروفي ^{[ 3 ]} ثم استدعاؤها مباشرةً من اللغة.

طُوِّر برنامج Apache Pig في الأصل ^{[ 4 ]} في قسم الأبحاث في ياهو حوالي عام 2006، ليوفر للباحثين طريقةً مخصصةً لإنشاء وتنفيذ مهام MapReduce على مجموعات بيانات ضخمة جدًا. وفي عام 2007 ^{[ 5 ]} ، نُقل إلى مؤسسة برمجيات أباتشي .

فيما يلي مثال على برنامج " عد الكلمات " بلغة بيج لاتين:

input_lines = LOAD '/tmp/my-copy-of-all-pages-on-internet' AS ( line: chararray ); -- استخراج الكلمات من كل سطر ووضعها في مجموعة بيانات، ثم تسطيح المجموعة للحصول على كلمة واحدة في كل صف words = FOREACH input_lines GENERATE FLATTEN ( TOKENIZE ( line )) AS word; -- تصفية أي كلمات تحتوي على مسافات بيضاء فقط filtered_words = FILTER words BY word MATCHES '\\w+' ; -- إنشاء مجموعة لكل كلمة word_groups = GROUP filtered_words BY word; -- حساب عدد الإدخالات في كل مجموعة word_count = FOREACH word_groups GENERATE COUNT ( filtered_words ) AS count , group AS word; -- ترتيب السجلات حسب العدد ordered_word_count = ORDER word_count BY count DESC ; STORE ordered_word_count INTO '/tmp/number-of-words-on-internet' ;

سيقوم البرنامج المذكور أعلاه بإنشاء مهام تنفيذية متوازية يمكن توزيعها عبر أجهزة متعددة في مجموعة Hadoop لحساب عدد الكلمات في مجموعة بيانات مثل جميع صفحات الويب على الإنترنت.

بالمقارنة مع لغة SQL، فإن Pig

1. يحتوي على نموذج علائقي متداخل،
2. يستخدم التقييم الكسول ،
3. يستخدم عمليات الاستخراج والتحويل والتحميل (ETL).
4. يستطيع تخزين البيانات في أي نقطة خلال مسار البيانات ،
5. يعلن عن خطط التنفيذ ،
6. يدعم تقسيمات خط الأنابيب، مما يسمح لسير العمل بالاستمرار على طول الرسوم البيانية الموجهة غير الدورية بدلاً من خطوط الأنابيب المتسلسلة بشكل صارم.

من جهة أخرى، يُقال إن أنظمة إدارة قواعد البيانات أسرع بكثير من نظام MapReduce بمجرد تحميل البيانات، إلا أن تحميل البيانات في أنظمة قواعد البيانات يستغرق وقتًا أطول بكثير. كما يُقال إن أنظمة إدارة قواعد البيانات العلائقية توفر دعمًا جاهزًا لتخزين الأعمدة، والتعامل مع البيانات المضغوطة، والفهارس للوصول العشوائي الفعال إلى البيانات، وتحمل الأعطال على مستوى المعاملات. ^{[ 10 ]}

لغة Pig Latin إجرائية وتتناسب بسلاسة مع نموذج خط الأنابيب، بينما لغة SQL تصريحية . في SQL، يمكن للمستخدمين تحديد ضرورة ربط البيانات من جدولين، ولكن ليس تحديد آلية الربط المستخدمة (يمكنك تحديد آلية الربط في SQL، وبالتالي "... بالنسبة للعديد من تطبيقات SQL، قد لا يمتلك كاتب الاستعلام المعرفة الكافية بالبيانات أو الخبرة الكافية لتحديد خوارزمية ربط مناسبة"). تتيح Pig Latin للمستخدمين تحديد آلية الربط أو جوانب منها لاستخدامها في تنفيذ البرنامج النصي بعدة طرق. ^{[ 11 ]} في الواقع، تشبه برمجة Pig Latin تحديد خطة تنفيذ الاستعلام، مما يسهل على المبرمجين التحكم بشكل صريح في تدفق مهمة معالجة البيانات. ^{[ 12 ]}

تتمحور لغة SQL حول الاستعلامات التي تُنتج نتيجة واحدة. تتعامل SQL مع الأشجار بشكل طبيعي، لكنها لا تملك آلية مدمجة لتقسيم تدفق معالجة البيانات وتطبيق عوامل تشغيل مختلفة على كل تدفق فرعي. يصف نص Pig Latin رسمًا بيانيًا موجهًا غير دوري (DAG) بدلاً من خط أنابيب. ^{[ 11 ]}

تُعدّ قدرة لغة Pig Latin على تضمين كود المستخدم في أي مرحلة من مراحل معالجة البيانات مفيدةً لتطوير هذه العمليات. في حال استخدام لغة SQL، يجب أولاً استيراد البيانات إلى قاعدة البيانات، ثم يمكن البدء بعملية التنظيف والتحويل. ^{[ 11 ]}

• أباتشي هايف
• Sawzall — أداة مشابهة من جوجل

• الموقع الرسمي