GPFS

📅 آخر تحديث: ٣١ يوليو ٢٠٢٦
✍️ نُشر في: ٣١ يوليو ٢٠٢٦
الموسوعة الحرة

نظام الملفات المتوازي العام ( GPFS ) ، المعروف تجاريًا باسم IBM Storage Scale وكان سابقًا IBM Spectrum Scale ، هو نظام ملفات عالي الأداء مُجمّع ، طوّرته شركة IBM . يمكن نشره في وضعيات متوازية موزعة ، إما باستخدام أقراص مشتركة أو بدون مشاركة ، أو مزيج من هذه الوضعيات. يُستخدم هذا النظام من قِبل العديد من أكبر الشركات التجارية في العالم، بالإضافة إلى بعض الحواسيب العملاقة المدرجة في قائمة أفضل 500 حاسوب عملاق . [ 2 ] على سبيل المثال، هو نظام الملفات الخاص بجهاز Summit [ 3 ] في مختبر أوك ريدج الوطني، والذي كان أسرع حاسوب عملاق في العالم في قائمة أفضل 500 حاسوب عملاق لشهر نوفمبر 2019. [ 4 ] يُعد Summit نظامًا بقدرة 200 بيتافلوب، ويتكون من أكثر من 9000 معالج POWER9 و27000 وحدة معالجة رسومية NVIDIA Volta . يُطلق على نظام ملفات التخزين اسم Alpine. [ 5 ]

على غرار أنظمة الملفات العنقودية التقليدية، يوفر نظام GPFS وصولاً متزامناً وعالي السرعة للملفات للتطبيقات التي تعمل على عدة عُقد في العُقد العنقودية. ويمكن استخدامه مع عُقد AIX العنقودية، وعُقد Linux العنقودية، [ 6 ] على خادم Microsoft Windows ، أو مع عُقد عنقودية غير متجانسة من عُقد AIX وLinux وWindows التي تعمل على معالجات x86 أو Power أو IBM Z.

تاريخ

بدأ نظام ملفات GPFS كنظام ملفات Tiger Shark ، وهو مشروع بحثي في ​​مركز أبحاث ألمادن التابع لشركة IBM في وقت مبكر من عام 1993. صُمم Tiger Shark في البداية لدعم تطبيقات الوسائط المتعددة عالية الإنتاجية. وقد تبين أن هذا التصميم مناسب تمامًا للحوسبة العلمية. [ 7 ]

يُعد نظام ملفات Vesta من IBM سلفًا آخر ، وقد طُوّر كمشروع بحثي في ​​مركز أبحاث توماس ج. واتسون التابع لشركة IBM بين عامي 1992 و1995. [ 8 ] قدّم Vesta مفهوم تقسيم الملفات لتلبية احتياجات التطبيقات المتوازية التي تعمل على الحواسيب متعددة المعالجات عالية الأداء المزودة بأنظمة إدخال/إخراج متوازية . مع التقسيم، لا يُمثّل الملف سلسلة من البايتات، بل سلاسل منفصلة متعددة يُمكن الوصول إليها بالتوازي. يُخفي التقسيم عدد ونوع عُقد الإدخال/الإخراج التي تستضيف نظام الملفات، ويُتيح مجموعة متنوعة من طرق عرض الملفات المُقسّمة منطقيًا، بغض النظر عن التوزيع المادي للبيانات داخل عُقد الإدخال/الإخراج. تُرتّب السلاسل المنفصلة لتتوافق مع العمليات الفردية للتطبيق المتوازي، مما يُحسّن قابلية التوسع. [ 9 ] [ 10 ]

تم تسويق نظام الملفات Vesta تحت اسم PIOFS حوالي عام 1994، [ 11 ] وخلفه نظام GPFS حوالي عام 1998. [ 12 ] [ 13 ] يتمثل الاختلاف الرئيسي بين النظامين في أن GPFS استبدل الواجهة المتخصصة التي يوفرها Vesta/PIOFS بواجهة برمجة تطبيقات Unix القياسية : حيث تم إخفاء جميع الميزات اللازمة لدعم عمليات الإدخال/الإخراج المتوازية عالية الأداء عن المستخدمين وتنفيذها داخليًا. [ 7 ] [ 13 ] كما يشترك GPFS في العديد من المكونات مع منتجات IBM Multi-Media Server وIBM Video Charger، ولهذا السبب تبدأ العديد من أدوات GPFS بالبادئة mm (الوسائط المتعددة). [ 14 ] : xi

في عام 2010، عرضت شركة IBM نسخة تجريبية من نظام ملفات GPFS تضمنت ميزة تُعرف باسم GPFS-SNC، حيث يرمز SNC إلى "مجموعة لا تشارك شيئًا". وقد تم إصدار هذه الميزة رسميًا مع GPFS 3.5 في ديسمبر 2012، وتُعرف الآن باسم FPO [ 15 ] (مُحسِّن وضع الملفات).

بنيان

هو نظام ملفات مُجمّع . يقوم بتقسيم الملف إلى كتل ذات حجم مُحدد، أقل من 1 ميجابايت لكل منها، والتي يتم توزيعها عبر عُقد مُجمّعة متعددة.

يخزن النظام البيانات على وحدات تخزين كتلية قياسية، ولكنه يتضمن طبقة RAID داخلية قادرة على محاكاة هذه الوحدات لتحقيق التكرار والوصول المتوازي، تمامًا مثل نظام تخزين كتلي RAID. كما يتميز النظام بقدرته على نسخ البيانات عبر وحدات التخزين على مستوى الملفات الأعلى.

تشمل سمات الهندسة المعمارية ما يلي:

  • البيانات الوصفية موزعة، بما في ذلك شجرة الدليل. لا يوجد "متحكم دليل" أو "خادم فهرسة" واحد مسؤول عن نظام الملفات.
  • فهرسة فعالة لإدخالات الدليل للأدلة الكبيرة جدًا.
  • نظام القفل الموزع. يتيح هذا النظام دلالات نظام ملفات POSIX الكاملة ، بما في ذلك القفل للوصول الحصري إلى الملفات.
  • نظام مُدرك للتقسيم. قد يؤدي تعطل الشبكة إلى تقسيم نظام الملفات إلى مجموعتين أو أكثر من العُقد، بحيث لا تستطيع أي منها رؤية سوى العُقد الموجودة ضمن مجموعتها. يُمكن اكتشاف هذا التقسيم عبر بروتوكول نبضات القلب، وعند حدوث التقسيم، يبقى نظام الملفات فعالاً لأكبر جزء مُتشكل. يُوفر هذا تدهورًا تدريجيًا لنظام الملفات، حيث ستظل بعض الأجهزة تعمل.
  • يمكن إجراء صيانة نظام الملفات أثناء التشغيل. ويمكن تنفيذ معظم مهام صيانة نظام الملفات (إضافة أقراص جديدة، وإعادة توزيع البيانات بين الأقراص) أثناء تشغيل النظام. وهذا يزيد من توافر نظام الملفات، وبالتالي توافر مجموعة الحواسيب العملاقة نفسها.

وتشمل الميزات الأخرى التوافر العالي، والقدرة على الاستخدام في مجموعة غير متجانسة، والتعافي من الكوارث، والأمان، و DMAPI ، و HSM ، و ILM .

بالمقارنة مع نظام ملفات هادوب الموزع (HDFS)

تم تصميم نظام ملفات HDFS الخاص بـ Hadoop لتخزين كميات مماثلة أو أكبر من البيانات على أجهزة عادية - أي مراكز البيانات بدون أقراص RAID وشبكة منطقة تخزين (SAN).

  • يقوم نظام HDFS أيضًا بتقسيم الملفات إلى كتل، ويخزنها على عقد نظام ملفات مختلفة.
  • يتمتع نظام GPFS بدلالات نظام ملفات Posix كاملة. [ 16 ]
  • يوزع نظام ملفات GPFS فهارس الدليل والبيانات الوصفية الأخرى عبر نظام الملفات. في المقابل، يحتفظ نظام Hadoop بهذه البيانات على عقدتي الاسم الأساسية والثانوية، وهما خادمان كبيران يجب عليهما تخزين جميع معلومات الفهرس في ذاكرة الوصول العشوائي (RAM).
  • يقوم نظام GPFS بتقسيم الملفات إلى كتل صغيرة. يُفضل نظام Hadoop HDFS الكتل التي تبلغ 64 ميجابايت أو أكثر، لأن ذلك يقلل من متطلبات التخزين لعقدة الاسم. تؤدي الكتل الصغيرة أو كثرة الملفات الصغيرة إلى امتلاء فهارس نظام الملفات بسرعة، لذا يُنصح بتقييد حجم نظام الملفات.

إدارة دورة حياة المعلومات

تتيح مجموعات التخزين تجميع الأقراص ضمن نظام الملفات. يستطيع المسؤول إنشاء مستويات تخزين مختلفة بتجميع الأقراص بناءً على خصائص الأداء أو الموقع أو الموثوقية. على سبيل المثال، يمكن أن تتكون إحدى المجموعات من أقراص قناة الألياف عالية الأداء ، بينما تتكون مجموعة أخرى من أقراص SATA الأقل تكلفة.

مجموعة الملفات هي شجرة فرعية من مساحة اسم نظام الملفات، وتوفر طريقة لتقسيم مساحة الاسم إلى وحدات أصغر وأسهل إدارة. توفر مجموعات الملفات حدودًا إدارية يمكن استخدامها لتعيين حصص، ويمكن تحديدها في سياسة للتحكم في وضع البيانات الأولي أو ترحيلها. يمكن أن تتواجد البيانات في مجموعة ملفات واحدة في مجموعة تخزين واحدة أو أكثر. يعتمد مكان وجود بيانات الملف وكيفية ترحيلها على مجموعة من القواعد في سياسة يحددها المستخدم.

توجد نوعان من السياسات التي يُحددها المستخدم: سياسات وضع الملفات وسياسات إدارة الملفات. تُوجّه سياسات وضع الملفات بيانات الملفات، عند إنشائها، إلى وحدة التخزين المناسبة. وتُحدد قواعد وضع الملفات بناءً على سمات مثل اسم الملف، واسم المستخدم، ومجموعة الملفات. أما سياسات إدارة الملفات، فتسمح بنقل بيانات الملف أو نسخها، أو حذف الملفات. ويمكن استخدامها لنقل البيانات من وحدة تخزين إلى أخرى دون تغيير موقع الملف في بنية الدليل. وتُحدد سياسات إدارة الملفات بناءً على سمات الملف، مثل وقت آخر وصول، واسم المسار، وحجم الملف.

محرك معالجة السياسات قابل للتوسع ويمكن تشغيله على العديد من العُقد في آن واحد. وهذا يسمح بتطبيق سياسات الإدارة على نظام ملفات واحد يحتوي على مليارات الملفات وإتمام العملية في غضون ساعات قليلة.

انظر أيضاً

مراجع

  1. ↑ "نظام الملفات المتوازي العام (GPFS)" . شركة IBM. مؤرشف من الأصل بتاريخ 23 سبتمبر 2022. تم الاطلاع عليه بتاريخ 7 أبريل 2020 .
  2. ↑ شموك، فرانك؛ روجر هاسكين (يناير 2002). "GPFS: نظام ملفات ذو قرص مشترك لمجموعات الحوسبة الكبيرة" (ملف PDF) . وقائع مؤتمر FAST'02 حول تقنيات الملفات والتخزين . مونتيري، كاليفورنيا، الولايات المتحدة الأمريكية: USENIX. الصفحات 231-244 . ISBN  1-880446-03-0تمت أرشفة الملف (PDF) من النسخة الأصلية بتاريخ 9 أبريل 2011. تم الاطلاع عليه بتاريخ 18 يناير 2008 .
  3. ↑ "أنظمة الحوسبة في القمة" . مختبر أوك ريدج الوطني. مؤرشف من الأصل بتاريخ 21 نوفمبر 2018. تم الاطلاع عليه بتاريخ 7 أبريل 2020 .
  4. ↑ "قائمة أفضل 500 شركة لشهر نوفمبر 2019" . top500.org. مؤرشفة من الأصل بتاريخ 2020-01-02 . تم الاطلاع عليها بتاريخ 2020-04-07 .
  5. ↑ "أسئلة وأجوبة حول القمة" . مختبر أوك ريدج الوطني . تم الاطلاع عليه بتاريخ 7 أبريل 2020 .
  6. ↑ وانغ، تينغ؛ فاسكو، كيفن؛ ليو، تشو؛ تشين، هوي؛ يو، ويكوان (نوفمبر 2014). "BPAR: إطار عمل تجميع متوازي قائم على الحزم لتنفيذ الإدخال/الإخراج المنفصل". ورشة العمل الدولية لعام 2014 حول أنظمة الحوسبة القابلة للتوسع كثيفة البيانات . IEEE. الصفحات 25-32 . doi : 10.1109/DISCS.2014.6 . ISBN  978-1-4673-6750-9. S2CID 2402391 . 
  7. 1 2 مايو، جون م. (2000). الإدخال/الإخراج المتوازي للحوسبة عالية الأداء . مورغان كوفمان. ص 92. ISBN  978-1-55860-664-7تم الاطلاع عليه بتاريخ 18-06-2008 .
  8. ↑ كوربيت، بيتر ف.؛ فيتلسون، درور ج.؛ بروست، ج.-ب.؛ بايلور، س. ج. (1993). "الوصول المتوازي إلى الملفات في نظام ملفات فيستا". وقائع مؤتمر ACM/IEEE للحوسبة الفائقة لعام 1993 - الحوسبة الفائقة '93 . بورتلاند، أوريغون، الولايات المتحدة: ACM/IEEE. الصفحات 472-481 . doi : 10.1145/169627.169786 . ISBN  978-0818643408. S2CID 46409100 . 
  9. ↑ كوربيت، بيتر ف.؛ فيتلسون، درور ج. (أغسطس 1996). "نظام الملفات المتوازي فيستا" (ملف PDF) . معاملات ACM لأنظمة الحاسوب . 14 (3): 225-264 . doi : 10.1145/233557.233558 . S2CID 11975458. مؤرشف من الأصل في 12 فبراير 2012. تم الاسترجاع في 18 يونيو 2008 . {{cite journal}}: CS1 maint: bot: حالة عنوان URL الأصلي غير معروفة ( رابط )
  10. ↑ تينغ وانغ؛ كيفن فاسكو؛ تشو ليو؛ هوي تشن؛ ويكوان يو (2016). "تحسين الإدخال/الإخراج المتوازي باستخدام تجميع الحزم المتقاطعة". المجلة الدولية لتطبيقات الحوسبة عالية الأداء . 30 (2): 241-256 . doi : 10.1177/1094342015618017 . S2CID 12067366 . 
  11. ↑ كوربيت، بي إف؛ دي جي فيتلسون؛ جيه-بي بروست؛ جي إس ألماسي؛ إس جيه بايلور؛ إيه إس بولمارسيتش؛ واي هسو؛ جيه ساتران؛ إم سنير؛ آر كولاو؛ بي دي هير؛ جيه كافاكي؛ تي آر مورغان؛ إيه زلوتيك (1995). "أنظمة الملفات المتوازية لأجهزة كمبيوتر IBM SP" (ملف PDF) . مجلة أنظمة IBM . 34 (2): 222-248 . CiteSeerX 10.1.1.381.2988 . doi : 10.1147/sj.342.0222 . مؤرشف من الأصل في 19 أبريل 2004. تم الاسترجاع في 18 يونيو 2008 . {{cite journal}}: CS1 maint: bot: حالة عنوان URL الأصلي غير معروفة ( رابط )
  12. ↑ باريس، مارسيلو؛ تيري جونز؛ سكوت كينان؛ ماتيس لاندزيتل سافران السافران؛ جيري ستيفنز؛ كريستوفر ستون؛ كريس توماس؛ أولف تروبنز (سبتمبر 1999). تحديد حجم وضبط نظام ملفات GPFS (ملف PDF) . منشورات IBM Redbooks، المنظمة الدولية للدعم الفني. انظر الصفحة 1 ( "نظام ملفات GPFS هو خليفة نظام ملفات PIOFS" ). مؤرشف من الأصل في 14 ديسمبر 2010. تم الاطلاع عليه في 6 ديسمبر 2022 .{{cite book}}: CS1 maint: bot: حالة عنوان URL الأصلي غير معروفة ( رابط )
  13. 1 2 سنير، مارك (يونيو 2001). “الأنظمة المتوازية القابلة للتطوير: المساهمات 1990-2000” (PDF) . ندوة HPC، قسم هندسة الكمبيوتر، جامعة بوليتكنيكا في كاتالونيا. مؤرشفة (PDF) من النسخة الأصلية بتاريخ 2008-10-15 . تم الاسترجاع 2008-06-18 .
  14. ↑ مرجع عام لإدارة وبرمجة نظام الملفات المتوازية، الإصدار 3.1 (ملف PDF) . شركة IBM. أبريل 2006.
  15. ↑ "IBM GPFS FPO (DCS03038-USEN-00)" (ملف PDF) . شركة IBM. 2013. تاريخ الاسترجاع: 12 أغسطس 2012 .
  16. ↑ ستيندر، يان؛ كولبيك، بيورن؛ هوبفيلد، فيليكس؛ سيزاريو، يوجينيو؛ فوخت، إريك؛ هيس، ماتياس؛ مالو، خيسوس؛ مارتي، جوناثان (22-27 يونيو 2008). "التوزيع دون تضحيات: الحفاظ على دلالات POSIX في نظام ملفات متوازٍ" (ملف PDF) . المؤتمر التقني السنوي لـ USENIX لعام 2008. تم الاطلاع عليه بتاريخ 12 أغسطس 2025 .