GPFS

الموسوعة الحرة

نظام الملفات المتوازي العام ( GPFS ) ، المعروف تجاريًا باسم IBM Storage Scale وكان سابقًا IBM Spectrum Scale ، هو نظام ملفات عالي الأداء مُجمّع ، طوّرته شركة IBM . يمكن نشره في وضعيات متوازية موزعة ، إما باستخدام أقراص مشتركة أو بدون مشاركة ، أو مزيج من هذه الوضعيات. يُستخدم هذا النظام من قِبل العديد من أكبر الشركات التجارية في العالم، بالإضافة إلى بعض الحواسيب العملاقة المدرجة في قائمة أفضل 500 حاسوب عملاق . [ 2 ] على سبيل المثال، هو نظام الملفات الخاص بجهاز Summit [ 3 ] في مختبر أوك ريدج الوطني، والذي كان أسرع حاسوب عملاق في العالم في قائمة أفضل 500 حاسوب عملاق لشهر نوفمبر 2019. [ 4 ] يُعد Summit نظامًا بقدرة 200 بيتافلوب، ويتكون من أكثر من 9000 معالج POWER9 و27000 وحدة معالجة رسومية NVIDIA Volta . يُطلق على نظام ملفات التخزين اسم Alpine. [ 5 ]

على غرار أنظمة الملفات العنقودية التقليدية، يوفر نظام GPFS وصولاً متزامناً وعالي السرعة للملفات للتطبيقات التي تعمل على عدة عُقد في العُقد العنقودية. ويمكن استخدامه مع عُقد AIX العنقودية، وعُقد Linux العنقودية، [ 6 ] على خادم Microsoft Windows ، أو مع عُقد عنقودية غير متجانسة من عُقد AIX وLinux وWindows التي تعمل على معالجات x86 أو Power أو IBM Z.

تاريخ

بدأ نظام ملفات GPFS كنظام ملفات Tiger Shark ، وهو مشروع بحثي في ​​مركز أبحاث ألمادن التابع لشركة IBM في وقت مبكر من عام 1993. صُمم Tiger Shark في البداية لدعم تطبيقات الوسائط المتعددة عالية الإنتاجية. وقد تبين أن هذا التصميم مناسب تمامًا للحوسبة العلمية. [ 7 ]

يُعد نظام ملفات Vesta من IBM سلفًا آخر ، وقد طُوّر كمشروع بحثي في ​​مركز أبحاث توماس ج. واتسون التابع لشركة IBM بين عامي 1992 و1995. [ 8 ] قدّم Vesta مفهوم تقسيم الملفات لتلبية احتياجات التطبيقات المتوازية التي تعمل على الحواسيب متعددة المعالجات عالية الأداء المزودة بأنظمة إدخال/إخراج متوازية . مع التقسيم، لا يُمثّل الملف سلسلة من البايتات، بل سلاسل منفصلة متعددة يُمكن الوصول إليها بالتوازي. يُخفي التقسيم عدد ونوع عُقد الإدخال/الإخراج التي تستضيف نظام الملفات، ويُتيح مجموعة متنوعة من طرق عرض الملفات المُقسّمة منطقيًا، بغض النظر عن التوزيع المادي للبيانات داخل عُقد الإدخال/الإخراج. تُرتّب السلاسل المنفصلة لتتوافق مع العمليات الفردية للتطبيق المتوازي، مما يُحسّن قابلية التوسع. [ 9 ] [ 10 ]

تم تسويق نظام الملفات Vesta تحت اسم PIOFS حوالي عام 1994، [ 11 ] وخلفه نظام GPFS حوالي عام 1998. [ 12 ] [ 13 ] يتمثل الاختلاف الرئيسي بين النظامين في أن GPFS استبدل الواجهة المتخصصة التي يوفرها Vesta/PIOFS بواجهة برمجة تطبيقات Unix القياسية : حيث تم إخفاء جميع الميزات اللازمة لدعم عمليات الإدخال/الإخراج المتوازية عالية الأداء عن المستخدمين وتنفيذها داخليًا. [ 7 ] [ 13 ] كما يشترك GPFS في العديد من المكونات مع منتجات IBM Multi-Media Server وIBM Video Charger، ولهذا السبب تبدأ العديد من أدوات GPFS بالبادئة mm (الوسائط المتعددة). [ 14 ] : xi

في عام 2010، عرضت شركة IBM نسخة تجريبية من نظام ملفات GPFS تضمنت ميزة تُعرف باسم GPFS-SNC، حيث يرمز SNC إلى "مجموعة لا تشارك شيئًا". وقد تم إصدار هذه الميزة رسميًا مع GPFS 3.5 في ديسمبر 2012، وتُعرف الآن باسم FPO [ 15 ] (مُحسِّن وضع الملفات).

بنيان

هو نظام ملفات مُجمّع . يقوم بتقسيم الملف إلى كتل ذات حجم مُحدد، أقل من 1 ميجابايت لكل منها، والتي يتم توزيعها عبر عُقد مُجمّعة متعددة.

يخزن النظام البيانات على وحدات تخزين كتلية قياسية، ولكنه يتضمن طبقة RAID داخلية قادرة على محاكاة هذه الوحدات لتحقيق التكرار والوصول المتوازي، تمامًا مثل نظام تخزين كتلي RAID. كما يتميز النظام بقدرته على نسخ البيانات عبر وحدات التخزين على مستوى الملفات الأعلى.

تشمل سمات الهندسة المعمارية ما يلي:

  • البيانات الوصفية موزعة، بما في ذلك شجرة الدليل. لا يوجد "متحكم دليل" أو "خادم فهرسة" واحد مسؤول عن نظام الملفات.
  • فهرسة فعالة لإدخالات الدليل للأدلة الكبيرة جدًا.
  • نظام القفل الموزع. يتيح هذا النظام دلالات نظام ملفات POSIX الكاملة ، بما في ذلك القفل للوصول الحصري إلى الملفات.
  • نظام مُدرك للتقسيم. قد يؤدي تعطل الشبكة إلى تقسيم نظام الملفات إلى مجموعتين أو أكثر من العُقد، بحيث لا تستطيع أي منها رؤية سوى العُقد الموجودة ضمن مجموعتها. يُمكن اكتشاف هذا التقسيم عبر بروتوكول نبضات القلب، وعند حدوث التقسيم، يبقى نظام الملفات فعالاً لأكبر جزء مُتشكل. يُوفر هذا تدهورًا تدريجيًا لنظام الملفات، حيث ستظل بعض الأجهزة تعمل.
  • يمكن إجراء صيانة نظام الملفات أثناء التشغيل. ويمكن تنفيذ معظم مهام صيانة نظام الملفات (إضافة أقراص جديدة، وإعادة توزيع البيانات بين الأقراص) أثناء تشغيل النظام. وهذا يزيد من توافر نظام الملفات، وبالتالي توافر مجموعة الحواسيب العملاقة نفسها.

وتشمل الميزات الأخرى التوافر العالي، والقدرة على الاستخدام في مجموعة غير متجانسة، والتعافي من الكوارث، والأمان، و DMAPI ، و HSM ، و ILM .

بالمقارنة مع نظام ملفات هادوب الموزع (HDFS)

تم تصميم نظام ملفات HDFS الخاص بـ Hadoop لتخزين كميات مماثلة أو أكبر من البيانات على أجهزة عادية - أي مراكز البيانات بدون أقراص RAID وشبكة منطقة تخزين (SAN).

  • يقوم نظام HDFS أيضًا بتقسيم الملفات إلى كتل، ويخزنها على عقد نظام ملفات مختلفة.
  • يتمتع نظام GPFS بدلالات نظام ملفات Posix كاملة. [ 16 ]
  • يوزع نظام ملفات GPFS فهارس الدليل والبيانات الوصفية الأخرى عبر نظام الملفات. في المقابل، يحتفظ نظام Hadoop بهذه البيانات على عقدتي الاسم الأساسية والثانوية، وهما خادمان كبيران يجب عليهما تخزين جميع معلومات الفهرس في ذاكرة الوصول العشوائي (RAM).
  • يقوم نظام GPFS بتقسيم الملفات إلى كتل صغيرة. يُفضل نظام Hadoop HDFS الكتل التي تبلغ 64 ميجابايت أو أكثر، لأن ذلك يقلل من متطلبات التخزين لعقدة الاسم. تؤدي الكتل الصغيرة أو كثرة الملفات الصغيرة إلى امتلاء فهارس نظام الملفات بسرعة، لذا يُنصح بتقييد حجم نظام الملفات.

إدارة دورة حياة المعلومات

تتيح مجموعات التخزين تجميع الأقراص ضمن نظام الملفات. يستطيع المسؤول إنشاء مستويات تخزين مختلفة بتجميع الأقراص بناءً على خصائص الأداء أو الموقع أو الموثوقية. على سبيل المثال، يمكن أن تتكون إحدى المجموعات من أقراص قناة الألياف عالية الأداء ، بينما تتكون مجموعة أخرى من أقراص SATA الأقل تكلفة.

مجموعة الملفات هي شجرة فرعية من مساحة اسم نظام الملفات، وتوفر طريقة لتقسيم مساحة الاسم إلى وحدات أصغر وأسهل إدارة. توفر مجموعات الملفات حدودًا إدارية يمكن استخدامها لتعيين حصص، ويمكن تحديدها في سياسة للتحكم في وضع البيانات الأولي أو ترحيلها. يمكن أن تتواجد البيانات في مجموعة ملفات واحدة في مجموعة تخزين واحدة أو أكثر. يعتمد مكان وجود بيانات الملف وكيفية ترحيلها على مجموعة من القواعد في سياسة يحددها المستخدم.

There are two types of user defined policies: file placement and file management. File placement policies direct file data as files are created to the appropriate storage pool. File placement rules are selected by attributes such as file name, the user name or the fileset. File management policies allow the file's data to be moved or replicated or files to be deleted. File management policies can be used to move data from one pool to another without changing the file's location in the directory structure. File management policies are determined by file attributes such as last access time, path name or size of the file.

The policy processing engine is scalable and can be run on many nodes at once. This allows management policies to be applied to a single file system with billions of files and complete in a few hours.

See also

References

  1. ↑"GPFS (General Parallel File System)". IBM. Archived from the original on 2022-09-23. Retrieved 2020-04-07.
  2. ↑Schmuck, Frank; Roger Haskin (January 2002). "GPFS: A Shared-Disk File System for Large Computing Clusters"(PDF). Proceedings of the FAST'02 Conference on File and Storage Technologies. Monterey, California, US: USENIX. pp. 231–244. ISBN 1-880446-03-0. Archived(PDF) from the original on 2011-04-09. Retrieved 2008-01-18.
  3. ↑"Summit compute systems". Oak Ridge National Laboratory. Archived from the original on 2018-11-21. Retrieved 2020-04-07.
  4. ↑"November 2019 top500 list". top500.org. Archived from the original on 2020-01-02. Retrieved 2020-04-07.
  5. ↑"Summit FAQ". Oak Ridge National Laboratory. Retrieved 2020-04-07.
  6. ↑Wang, Teng; Vasko, Kevin; Liu, Zhuo; Chen, Hui; Yu, Weikuan (Nov 2014). "BPAR: A Bundle-Based Parallel Aggregation Framework for Decoupled I/O Execution". 2014 International Workshop on Data Intensive Scalable Computing Systems. IEEE. pp. 25–32. doi:10.1109/DISCS.2014.6. ISBN 978-1-4673-6750-9. S2CID 2402391.
  7. 1 2 مايو، جون م. (2000). الإدخال/الإخراج المتوازي للحوسبة عالية الأداء . مورغان كوفمان. ص 92. ISBN  978-1-55860-664-7تم الاطلاع عليه بتاريخ 18-06-2008 .
  8. ↑ كوربيت، بيتر ف.؛ فيتلسون، درور ج.؛ بروست، ج.-ب.؛ بايلور، س. ج. (1993). "الوصول المتوازي إلى الملفات في نظام ملفات فيستا". وقائع مؤتمر ACM/IEEE للحوسبة الفائقة لعام 1993 - الحوسبة الفائقة '93 . بورتلاند، أوريغون، الولايات المتحدة: ACM/IEEE. الصفحات 472-481 . doi : 10.1145/169627.169786 . ISBN  978-0818643408. S2CID 46409100 . 
  9. ↑ كوربيت، بيتر ف.؛ فيتلسون، درور ج. (أغسطس 1996). "نظام الملفات المتوازي فيستا" (ملف PDF) . معاملات ACM لأنظمة الحاسوب . 14 (3): 225-264 . doi : 10.1145/233557.233558 . S2CID 11975458. مؤرشف من الأصل في 12 فبراير 2012. تم الاسترجاع في 18 يونيو 2008 . {{cite journal}}: CS1 maint: bot: حالة عنوان URL الأصلي غير معروفة ( رابط )
  10. ↑ تينغ وانغ؛ كيفن فاسكو؛ تشو ليو؛ هوي تشن؛ ويكوان يو (2016). "تحسين الإدخال/الإخراج المتوازي باستخدام تجميع الحزم المتقاطعة". المجلة الدولية لتطبيقات الحوسبة عالية الأداء . 30 (2): 241-256 . doi : 10.1177/1094342015618017 . S2CID 12067366 . 
  11. ↑ كوربيت، بي إف؛ دي جي فيتلسون؛ جيه-بي بروست؛ جي إس ألماسي؛ إس جيه بايلور؛ إيه إس بولمارسيتش؛ واي هسو؛ جيه ساتران؛ إم سنير؛ آر كولاو؛ بي دي هير؛ جيه كافاكي؛ تي آر مورغان؛ إيه زلوتيك (1995). "أنظمة الملفات المتوازية لأجهزة كمبيوتر IBM SP" (ملف PDF) . مجلة أنظمة IBM . 34 (2): 222-248 . CiteSeerX 10.1.1.381.2988 . doi : 10.1147/sj.342.0222 . مؤرشف من الأصل في 19 أبريل 2004. تم الاسترجاع في 18 يونيو 2008 . {{cite journal}}: CS1 maint: bot: حالة عنوان URL الأصلي غير معروفة ( رابط )
  12. ↑ باريس، مارسيلو؛ تيري جونز؛ سكوت كينان؛ ماتيس لاندزيتل سافران السافران؛ جيري ستيفنز؛ كريستوفر ستون؛ كريس توماس؛ أولف تروبنز (سبتمبر 1999). تحديد حجم وضبط نظام ملفات GPFS (ملف PDF) . منشورات IBM Redbooks، المنظمة الدولية للدعم الفني. انظر الصفحة 1 ( "نظام ملفات GPFS هو خليفة نظام ملفات PIOFS" ). مؤرشف من الأصل في 14 ديسمبر 2010. تم الاطلاع عليه في 6 ديسمبر 2022 .{{cite book}}: CS1 maint: bot: حالة عنوان URL الأصلي غير معروفة ( رابط )
  13. 1 2 سنير، مارك (يونيو 2001). “الأنظمة المتوازية القابلة للتطوير: المساهمات 1990-2000” (PDF) . ندوة HPC، قسم هندسة الكمبيوتر، جامعة بوليتكنيكا في كاتالونيا. مؤرشفة (PDF) من النسخة الأصلية بتاريخ 2008-10-15 . تم الاسترجاع 2008-06-18 .
  14. ↑ مرجع عام لإدارة وبرمجة نظام الملفات المتوازية، الإصدار 3.1 (ملف PDF) . شركة IBM. أبريل 2006.
  15. ↑ "IBM GPFS FPO (DCS03038-USEN-00)" (ملف PDF) . شركة IBM. 2013. تاريخ الاسترجاع: 12 أغسطس 2012 .
  16. ↑ ستيندر، يان؛ كولبيك، بيورن؛ هوبفيلد، فيليكس؛ سيزاريو، يوجينيو؛ فوخت، إريك؛ هيس، ماتياس؛ مالو، خيسوس؛ مارتي، جوناثان (22-27 يونيو 2008). "التوزيع دون تضحيات: الحفاظ على دلالات POSIX في نظام ملفات متوازٍ" (ملف PDF) . المؤتمر التقني السنوي لـ USENIX لعام 2008. تم الاطلاع عليه بتاريخ 12 أغسطس 2025 .