مجموعة أدوات تطوير مستوى البيانات

مجموعة أدوات تطوير مستوى البيانات ( DPDK ) هي مشروع برمجي مفتوح المصدر تديره مؤسسة لينكس . توفر هذه المجموعة مكتبات مستوى البيانات وبرامج تشغيل وضع الاستقصاء لوحدة تحكم واجهة الشبكة ، وذلك لتفريغ معالجة حزم بروتوكول TCP من نواة نظام التشغيل إلى العمليات التي تعمل في مساحة المستخدم . يحقق هذا التفريغ كفاءة حسابية أعلى وإنتاجية حزم بيانات أكبر مما هو ممكن باستخدام المعالجة القائمة على المقاطعات المتوفرة في النواة.

توفر DPDK إطار عمل برمجيًا لمعالجات x86 و ARM و PowerPC ، مما يُتيح تطويرًا أسرع لتطبيقات شبكات حزم البيانات عالية السرعة. ^{[ 2 ] [ 3 ]} وهي قابلة للتوسع من معالجات الأجهزة المحمولة، مثل Intel Atom ، إلى معالجات الخوادم، مثل Intel Xeon . كما تدعم بنى مجموعات التعليمات مثل Intel وIBM POWER8 و EZchip و ARM . ^{[ 4 ]} وهي مُتاحة ومدعومة بموجب ترخيص BSD مفتوح المصدر . ^{[ 5 ]}

تم إنشاء DPDK بواسطة مهندس شركة إنتل فينكي فينكاتيسان، المعروف باسم "أبو DPDK". توفي في عام 2018 بعد صراع طويل مع مرض السرطان. ^{[ 6 ]}

يُنشئ إطار عمل DPDK مجموعة من المكتبات لبيئات برمجية/مادية محددة من خلال إنشاء طبقة تجريد البيئة (EAL). ^{[ 7 ] [ 8 ]} تُخفي طبقة تجريد البيئة تفاصيل البيئة وتوفر واجهة برمجة قياسية للمكتبات، ومُسرّعات الأجهزة المتاحة، وعناصر أخرى من الأجهزة وأنظمة التشغيل (لينكس، فري بي إس دي). بمجرد إنشاء طبقة تجريد البيئة لبيئة معينة، يقوم المطورون بربطها بالمكتبة لإنشاء تطبيقاتهم. على سبيل المثال، توفر طبقة تجريد البيئة أطر عمل لدعم لينكس ، وفري بي إس دي ، ومعالجات إنتل IA بنظامي 32 أو 64 بت ، ومعالجات IBM POWER9 و ARM بنظامي 32 أو 64 بت.

كما يوفر نظام EAL خدمات إضافية تشمل المراجع الزمنية، والوصول العام إلى ناقل البيانات ، ووظائف التتبع والتصحيح، وعمليات الإنذار.

باستخدام مكتبات DPDK، يُمكن تنفيذ نموذج تشغيل كامل منخفض التكلفة ، أو نموذج خطي، أو نموذج مرحلي، أو نموذج قائم على الأحداث، أو نموذج هجين، كل ذلك في مساحة المستخدم، مما يُلغي الحاجة إلى نواة النظام ونسخها إلى المستخدم. يُساعد الدعم المادي من بطاقات الشبكة/التعبيرات النمطية/المُسرّعات ، بالإضافة إلى المكتبات المُحسّنة للاستفادة من تسريع التخزين الذكي (ISA) ^{[ 9 ]} لتحسين الأداء بشكل كبير، كما يُساعد الوصول إلى الأجهزة عبر الاستقصاء على التخلص من عبء الأداء الناتج عن المقاطعات . تُستخدم الصفحات الضخمة لتخصيص مساحات كبيرة من الذاكرة، مما يُقلل من عمليات البحث وإدارة الصفحات. ^{[ 10 ]}

يتضمن DPDK أيضًا أمثلة برمجية تسلط الضوء على أفضل الممارسات لهندسة البرمجيات، ونصائح لتصميم وتخزين بنية البيانات، وأدوات تحليل أداء التطبيقات وضبط الأداء، ونصائح تعالج أوجه القصور الشائعة في أداء الشبكة.

تتضمن DPDK مكتبات مستوى البيانات وبرامج تشغيل وحدة التحكم في واجهة الشبكة (NIC) المحسّنة لما يلي: ^{[ 11 ]}

• يقوم مدير قائمة الانتظار بتنفيذ قوائم انتظار بدون تأمين.
• يقوم مدير المخزن المؤقت بتخصيص مخازن مؤقتة ذات حجم ثابت مسبقًا
• يقوم مدير الذاكرة بتخصيص مجموعات من الكائنات في الذاكرة ويستخدم حلقة لتخزين الكائنات غير المستخدمة؛ ويضمن توزيع الكائنات بالتساوي على جميع قنوات DRAM
• تم تصميم برامج تشغيل وضع الاستقصاء (PMD) للعمل بدون إشعارات غير متزامنة، مما يقلل من الحمل الزائد
• إطار عمل الحزم - مجموعة من المكتبات التي تساعد في تطوير معالجة الحزم

يتم تخزين جميع المكتبات في الدلائل dpdk/lib/librte_*

صُممت حزمة تطوير البرامج DPDK في الأصل للعمل باستخدام وضع التشغيل المباشر (bare-metal mode)، وهو وضع مُهمل حاليًا. يوفر نظام إدارة التطبيقات (EAL) الخاص بحزمة DPDK دعمًا لتطبيقات بيئة المستخدم في أنظمة Linux أو FreeBSD .

يمكن توسيع نطاق EAL لدعم أي معالجات.

يُعدّ DPDK الآن مشروعًا مفتوح المصدر تابعًا لمؤسسة لينكس ، ويحظى بدعم العديد من الشركات. ويخضع DPDK لإدارة مجلس إدارة، بينما يشرف مجلس تقني على أنشطته التقنية. ^{[ 13 ]} إلى جانب شركة إنتل ، المساهمة في DPDK، يدعم العديد من الموردين الآخرين DPDK ضمن منتجاتهم، ويقدم بعضهم تدريبًا ودعمًا وخدمات احترافية إضافية. تشمل قائمة الموردين الذين أعلنوا دعمهم لـ DPDK: 6WIND ، ^{[ 14 ]} وALTEN Calsoft Labs، ^{[ 15 ] [ 16 ]} وAdvantech، ^{[ 17 ]} وBrocade، ^{[ 18 ]} وBig Switch Networks، و ^Mellanox Technologies ، ^{[ 19} ] وRadisys ، ^{[ 20 ]} وTieto، ^{[ 21 ]} وWind River ، ^{[ 22 ]} و Lanner Inc. ^{، [ 23 ]} و NXP . ^{[ 24 ]}

نشر مشروع pfSense خارطة طريق في 25 فبراير 2015، أعلن فيها المطور جيم تومسون عن إعادة كتابة نواة pfSense - بما في ذلك pf ، وتوجيه حزم الشبكة وتشكيلها، وربط الروابط ، وIPsec - باستخدام DPDK: "هدفنا هو القدرة على التوجيه، مع تصفية الحزم بمعدلات لا تقل عن 14.88  مليون حزمة في الثانية. هذا هو معدل نقل البيانات على  واجهة 10 جيجابت في الثانية. ببساطة، لا توجد طريقة لاستخدام حزم نواة FreeBSD (أو Linux) الحالية لهذا النوع من الأحمال." ^{[ 25 ]}

يحتوي Open vSwitch (OVS) على مجموعة محدودة من الميزات التي تعمل على مستوى المستخدم، والتي يمكن استغلالها لتجاوز معالجة OVS في نواة لينكس. تُعرف حالة استخدام OVS مع DPDK في مستوى المستخدم عادةً باسم OVS-DPDK. يتم نشرها في الغالب مع OpenStack Neutron، ولكنها تفترض تعطيل العديد من ميزات وإمكانيات الشبكات المعرفة بالبرمجيات (SDN) في OpenStack. على سبيل المثال، عند استخدام OVS-DPDK، يوفر Neutron مستوى أمان أقل مما هو عليه عند استخدام نواة OVS (لا يوجد جدار حماية ذو حالة، ومجموعة أمان أقل).

منصة FD.IO VPP هي إطار عمل قابل للتوسيع يوفر وظائف تبديل/توجيه عالية الجودة وجاهزة للاستخدام الفوري. وهي النسخة مفتوحة المصدر من تقنية معالجة حزم البيانات المتجهة (VPP) من سيسكو: وهي حزمة معالجة حزم بيانات عالية الأداء تعمل على وحدات المعالجة المركزية العادية، وتستفيد من برامج تشغيل وضع الاستقصاء لكل من بطاقات الشبكة وأجهزة ومكتبات تسريع التشفير. ^{[ 26 ]} تدعم VPP مكتبة DPDK وتستخدمها. ^{[ 27 ]}

TRex هو مولد حركة مرور مفتوح المصدر يستخدم DPDK. يُولّد حركة مرور من الطبقة الرابعة إلى السابعة (L4-7) بناءً على المعالجة المسبقة وإعادة التشغيل الذكية لقوالب حركة المرور الحقيقية. يُضخّم TRex حركة المرور من جانب العميل والخادم، ويمكن توسيعه ليصل إلى 200  جيجابت/ثانية باستخدام وحدة UCS واحدة مزودة بمعالج Intel XL710. يدعم TRex أيضًا تدفقات متعددة، وإمكانية تغيير أي حقل في الحزمة، ويوفر إحصائيات لكل تدفق، بالإضافة إلى زمن الاستجابة والارتعاش. ^{[ 28 ]}

DTS (مجموعة اختبارات DPDK) هو إطار عمل قائم على لغة بايثون لاختبارات الوظائف ومعايير الأداء. وهو مشروع مفتوح المصدر، بدأ في عام 2014، ويتم استضافته على موقع dpdk.org. يدعم DTS كلاً من مولدات حركة البيانات البرمجية مثل Scapy وdpdk-pktgen، ومولدات حركة البيانات المادية مثل Ixia . ^{[ 29 ]}

يدعم DPDK العديد من برامج تشغيل شبكة SRIOV ، مما يتيح إنشاء PF (الوظيفة الفيزيائية) وVFs، وكذلك تشغيل الأجهزة الافتراضية (مثل QEMU VMs) وتعيين VFs لها باستخدام PCI Passthrough ^{[ 30 ].}

تُعدّ DDP (التخصيص الديناميكي للأجهزة) إحدى الميزات المتقدمة الجديدة المُطبقة مع DPDK. وهي تتيح لك تحميل البرامج الثابتة للجهاز ديناميكيًا، دون إعادة ضبط الجهاز المضيف. ^{[ 31 ]}

• مسار البيانات السريع