إدارة التخزين الهرمي

إدارة التخزين الهرمي ( HSM )، والمعروفة أيضًا بالتخزين متعدد المستويات ، [ 1 ] هي تقنية لتخزين البيانات وإدارتها ، تنقل البيانات تلقائيًا بين وسائط التخزين عالية التكلفة ومنخفضة التكلفة . توجد أنظمة HSM لأن أجهزة التخزين عالية السرعة، مثل مصفوفات محركات الأقراص الصلبة ، أغلى (لكل بايت مُخزّن) من الأجهزة الأبطأ، مثل محركات الأقراص الصلبة ، والأقراص الضوئية ، ومحركات الأشرطة المغناطيسية . وبينما يُعدّ توفير جميع البيانات على أجهزة عالية السرعة طوال الوقت أمرًا مثاليًا، إلا أن هذا مكلف للغاية بالنسبة للعديد من المؤسسات. لذا، تقوم أنظمة HSM بتخزين الجزء الأكبر من بيانات المؤسسة على أجهزة أبطأ، ثم تنسخ البيانات إلى محركات أقراص أسرع عند الحاجة. يراقب نظام HSM طريقة استخدام البيانات، ويُقدّم أفضل التقديرات بشأن البيانات التي يُمكن نقلها بأمان إلى الأجهزة الأبطأ، والبيانات التي يجب أن تبقى على الأجهزة السريعة.
يمكن استخدام وحدات أمان الأجهزة (HSM) أيضًا في حال توفر مساحة تخزين أكبر لحفظ البيانات على المدى الطويل، ولكن الوصول إليها يكون بطيئًا. وقد يكون الحل بسيطًا كعملية نسخ احتياطي خارج الموقع لاستعادة البيانات في حال وقوع كارثة .
يُعدّ مفهوم إدارة البيانات عالية المستوى (HSM) مفهومًا راسخًا، يعود تاريخه إلى بدايات معالجة البيانات التجارية. إلا أن التقنيات المستخدمة فيه قد شهدت تغييرات جذرية مع ظهور تقنيات جديدة، سواءً لتخزين البيانات أو لنقلها لمسافات طويلة. كما تغيّرت معايير مثل "الحجم" و"زمن الوصول" بشكل كبير. ومع ذلك، لا تزال العديد من المفاهيم الأساسية تحظى بالاهتمام حتى بعد سنوات، وإن كان ذلك على نطاق أوسع أو بسرعات أعلى. [ 1 ]
تطبيق
في سيناريو نموذجي لوحدة أمان الأجهزة (HSM)، تُخزَّن البيانات المستخدمة بكثرة على وحدة تخزين دافئة، مثل قرص الحالة الصلبة (SSD). أما البيانات التي لا يتم الوصول إليها كثيرًا، فتُنقل بعد فترة إلى طبقة تخزين باردة ذات سعة عالية وأبطأ. إذا وصل المستخدم إلى بيانات موجودة على طبقة التخزين الباردة، تُعاد تلقائيًا إلى وحدة التخزين الدافئة. تكمن الميزة في أن إجمالي حجم البيانات المخزنة قد يكون أكبر بكثير من سعة وحدة التخزين الدافئة، ولكن نظرًا لأن الملفات قليلة الاستخدام فقط هي الموجودة على وحدة التخزين الباردة، فلن يلاحظ معظم المستخدمين عادةً أي تباطؤ.
من الناحية المفاهيمية، فإن HSM يشبه ذاكرة التخزين المؤقت الموجودة في معظم وحدات المعالجة المركزية للكمبيوتر ، حيث يتم استخدام كميات صغيرة من ذاكرة SRAM باهظة الثمن تعمل بسرعات عالية جدًا لتخزين البيانات المستخدمة بشكل متكرر، ولكن يتم إخراج البيانات الأقل استخدامًا إلى ذاكرة DRAM الرئيسية الأبطأ ولكن الأكبر حجمًا بكثير عندما يتعين تحميل بيانات جديدة.
في الممارسة العملية، يتم تنفيذ إدارة وحدات التخزين (HSM) عادةً بواسطة برامج مخصصة، مثل IBM Tivoli Storage Manager أو Oracle's SAM-QFS .
يُطلق على حذف الملفات من مستوى أعلى في التسلسل الهرمي (مثل القرص المغناطيسي) بعد نقلها إلى مستوى أدنى (مثل الوسائط الضوئية) أحيانًا اسم تنظيف الملفات . [ 2 ]
تاريخ
تم تطبيق نظام إدارة التخزين الهرمي (HSM، ثم DFHSM، وأخيراً DFSMShsm ) لأول مرة من قبل شركة IBM في 31 مارس 1978 لنظام MVS بهدف تقليل تكلفة تخزين البيانات، وتبسيط استرجاعها من الوسائط البطيئة. لم يكن المستخدم بحاجة لمعرفة مكان تخزين البيانات وكيفية استرجاعها؛ إذ كان الحاسوب يسترجعها تلقائياً. وكان الفرق الوحيد بالنسبة للمستخدم هو سرعة استرجاع البيانات. في البداية، كان بإمكان HSM نقل مجموعات البيانات إلى وحدات تخزين الأقراص ووحدات التخزين الافتراضية فقط على وحدة تخزين IBM 3850 Mass Storage Facility، ولكن إصداراً لاحقاً دعم وحدات تخزين الأشرطة المغناطيسية لمستوى الترحيل الثاني (ML2).
وفي وقت لاحق، قامت شركة IBM بنقل HSM إلى نظام التشغيل AIX الخاص بها ، ثم إلى أنظمة تشغيل أخرى شبيهة بنظام Unix مثل Solaris و HP-UX و Linux .
قام قسم أبحاث الحوسبة التابع لمنظمة CSIRO الأسترالية بتطبيق وحدة أمان الأجهزة (HSM) في نظام التشغيل DAD (الأسطوانات والشاشة) مع منطقة المستندات الخاصة به في الستينيات، حيث يتم كتابة نسخ من المستندات على شريط ذي 7 مسارات واسترجاعها تلقائيًا عند الوصول إلى المستندات.
تم تطبيق نظام إدارة الأمان المتكامل (HSM) أيضًا على أنظمة DEC VAX/VMS وأنظمة Alpha/VMS. ويمكن تحديد تاريخ التطبيق الأول بسهولة من أدلة تطبيق نظام VMS أو كتيبات وصف منتج VMS.
في الآونة الأخيرة، أدى تطوير أقراص Serial ATA (SATA) إلى خلق سوق كبيرة لأنظمة HSM ثلاثية المراحل: يتم نقل الملفات من أجهزة شبكة منطقة تخزين Fibre Channel عالية الأداء إلى مصفوفات أقراص SATA أبطأ قليلاً ولكنها أرخص بكثير ويبلغ مجموعها عدة تيرابايت أو أكثر، ثم في النهاية من أقراص SATA إلى الشريط.
حالات الاستخدام
تُستخدم وحدات التخزين الهرمية (HSM) غالبًا لتخزين البيانات بشكل أرشيفي عميق لفترات طويلة بتكلفة منخفضة. ويمكن لروبوتات الأشرطة الآلية تخزين كميات كبيرة من البيانات بكفاءة عالية مع استهلاك منخفض للطاقة.
تتيح بعض برامج إدارة وحدات التخزين (HSM) للمستخدم وضع أجزاء من ملفات البيانات على ذاكرة تخزين مؤقتة عالية السرعة، والباقي على شريط تخزين. يُستخدم هذا في تطبيقات بث الفيديو عبر الإنترنت، حيث يتم تسليم الجزء الأول من الفيديو مباشرةً من القرص، بينما يقوم برنامج آلي بالعثور على باقي الملف وتثبيته وبثه إلى المستخدم النهائي. يُقلل هذا النظام بشكل كبير من تكلفة التخزين لأنظمة توفير المحتوى الضخمة.
يستخدم برنامج HSM اليوم أيضًا للتصنيف بين محركات الأقراص الصلبة وذاكرة الفلاش ، حيث أن ذاكرة الفلاش أسرع بأكثر من 30 مرة من الأقراص المغناطيسية، ولكن الأقراص أرخص بكثير.
الخوارزميات
العامل الرئيسي وراء إدارة أمان الأجهزة (HSM) هو سياسة ترحيل البيانات التي تتحكم في عمليات نقل الملفات داخل النظام. وبشكل أدق، تحدد هذه السياسة مستوى التخزين الأمثل لكل ملف، مما يضمن تنظيمًا فعالًا لنظام التخزين بأكمله وأسرع استجابة للطلبات. توجد عدة خوارزميات تُنفذ هذه العملية، مثل خوارزمية الاستبدال الأقل استخدامًا مؤخرًا (LRU) [ 3 ] ، وخوارزمية الاستبدال حسب الحجم ودرجة الحرارة (STP)، وخوارزمية العتبة الاستدلالية (STEP) [ 4 ]، وغيرها. وفي الأبحاث التي أُجريت في السنوات الأخيرة، ظهرت أيضًا بعض السياسات الذكية التي تستخدم تقنيات التعلم الآلي. [ 5 ]
التدرج الطبقي مقابل التخزين المؤقت
على الرغم من أن حلول التخزين الهرمي والتخزين المؤقت قد تبدو متشابهة ظاهرياً، إلا أن الاختلافات الأساسية تكمن في طريقة استخدام التخزين الأسرع والخوارزميات المستخدمة لاكتشاف البيانات التي يتم الوصول إليها بشكل متكرر وتسريعها. [ 6 ]
تعمل تقنية التخزين المؤقت عن طريق إنشاء نسخة من كتل البيانات التي يتم الوصول إليها بشكل متكرر، وتخزين هذه النسخة في وحدة التخزين الأسرع، واستخدامها بدلاً من مصدر البيانات الأصلي الموجود على وحدة التخزين الخلفية الأبطأ ذات السعة العالية. في كل مرة تتم فيها قراءة البيانات من وحدة التخزين، يتحقق برنامج التخزين المؤقت من وجود نسخة من هذه البيانات في ذاكرة التخزين المؤقت، ويستخدمها إن وجدت. وإلا، تُقرأ البيانات من وحدة التخزين الخلفية الأبطأ ذات السعة العالية. [ 6 ]
من ناحية أخرى، يعمل نظام التخزين الهرمي بطريقة مختلفة تمامًا. فبدلًا من نسخ البيانات التي يتم الوصول إليها بشكل متكرر إلى وحدة تخزين سريعة، ينقل هذا النظام البيانات بين المستويات، على سبيل المثال، عن طريق نقل البيانات قليلة الاستخدام إلى أجهزة تخزين قريبة من الخط منخفضة التكلفة وعالية السعة. [ 7 ] [ 6 ] الفكرة الأساسية هي أن البيانات بالغة الأهمية والتي يتم الوصول إليها بكثرة، أو ما يُعرف بالبيانات "الساخنة"، تُخزن في وسائط تخزين باهظة الثمن مثل محركات الأقراص الصلبة SSD للاستفادة من أداء الإدخال/الإخراج العالي، بينما تُخزن البيانات القريبة من الخط ، أو البيانات قليلة الاستخدام، أو ما يُعرف بالبيانات "الباردة"، في وسائط تخزين قريبة من الخط مثل محركات الأقراص الصلبة HDD وأشرطة التخزين ، وهي وسائط غير مكلفة. [ 8 ] وبالتالي، فإن "درجة حرارة البيانات" أو مستويات النشاط هي التي تحدد التسلسل الهرمي الأساسي للتخزين . [ 9 ]
التطبيقات
- ألوكسيو
- AMASS/DATAMGR من ADIC (كان متاحًا على SGI IRIX و Sun و HP-UX)
- مرفق تخزين البيانات الضخمة IBM 3850
- IBM DFSMS لنظام التشغيل z/VM [ 10 ]
- IBM DFSMShsm ، في الأصل مدير التخزين الهرمي (HSM) ، 5740-XRB ، ولاحقًا مدير التخزين الهرمي لمرفق البيانات الإصدار 2 (DFHSM) ، 5665-329 [ 11 ]
- مدير تخزين IBM Tivoli لإدارة المساحة (HSM متوفر على أنظمة UNIX ( IBM AIX و HP UX و Solaris ) و Linux )
- IBM Tivoli Storage Manager HSM for Windows (المعروف سابقًا باسم OpenStore for File Servers (OS4FS)) (HSM متوفر على Microsoft Windows Server )
- تعاون HPSS مع HPSS
- القرص اللانهائي ، نظام حاسوب شخصي مبكر (متوقف عن العمل)
- EMC DiskXtender ، المعروف سابقًا باسم Legato DiskXtender، المعروف سابقًا باسم OTG DiskXtender
- Moonwalk لنظام التشغيل Windows، وNetApp، وOES Linux
- Oracle SAM-QFS (مفتوح المصدر تحت Opensolaris، [ 12 ] ثم احتكاري)
- Oracle HSM (خاص، تمت إعادة تسميته من SAM-QFS)
- Versity Storage Manager لنظام Linux، ترخيص نموذج النواة المفتوحة
- تقدم بيانات ديل كومبيلنت
- برنامج Zarafa Archiver (مكون من مكونات ZCP، وهو حل أرشفة خاص بالتطبيقات يتم تسويقه كحل "HSM")
- إطار إدارة بيانات HPE (DMF، المعروف سابقًا باسم مرفق ترحيل بيانات SGI ) لأنظمة SLES و RHEL
- StorNext من Quantum
- محرك أقراص Apple Fusion Drive لنظام macOS
- مساحات تخزين مايكروسوفت متوفرة منذ الإصدار المرفق مع ويندوز سيرفر 2012 R2 . وكان منتج مايكروسوفت الأقدم هو التخزين عن بُعد ، المضمن في ويندوز 2000 وويندوز 2003. [ 13 ] [ 14 ]
- CloudTier-HSM-SDK : برنامج تشغيل مرشح HSM لنظام التشغيل Windows، وSDK لتقسيم التخزين في نظام التشغيل Windows.
انظر أيضاً
مراجع
- 1 2 لاري فريمان. "ما هو قديم يصبح جديداً مرة أخرى - تصنيف التخزين" (PDF) .
- ↑ باتريك م. ديلون؛ ديفيد س. ليونارد (1998). الوسائط المتعددة والويب من الألف إلى الياء . ABC-CLIO. ص 116. ISBN 978-1-57356-132-7.
- ↑ أونيل، إليزابيث جيه؛ أونيل، باتريك إي؛ ويكوم، جيرهارد (1993-06-01). "خوارزمية استبدال الصفحات LRU-K لتخزين البيانات على القرص في قواعد البيانات" . سجل ACM SIGMOD . 22 (2): 297-306 . doi : 10.1145/170036.170081 . ISSN 0163-5808 . S2CID 207177617 .
- ↑ فيرما، أ.؛ بيس، د.؛ شارما، يو.؛ كابلان، م.؛ روباس، ج.؛ جاين، ر.؛ ديفاراكوندا، م.؛ بيجي، م. (2005). "معمارية لإدارة دورة حياة أنظمة الملفات الضخمة جدًا". المؤتمر الثاني والعشرون لمعهد مهندسي الكهرباء والإلكترونيات / المؤتمر الثالث عشر لوكالة ناسا غودارد حول أنظمة وتقنيات التخزين الضخم (MSST'05) . مونتيري، كاليفورنيا، الولايات المتحدة الأمريكية: معهد مهندسي الكهرباء والإلكترونيات. الصفحات 160-168 . doi : 10.1109/MSST.2005.4 . ISBN 978-0-7695-2318-7. S2CID 7082285 .
- ↑ تشانغ، تيانرو؛ هيلاندر، أندرياس؛ طور، سلمان (2022). "إدارة تخزين هرمية فعّالة مدعومة بالتعلم المعزز". معاملات IEEE في هندسة المعرفة والبيانات : 1. arXiv : 2201.11668 . doi : 10.1109/TKDE.2022.3176753 . ISSN 1041-4347 .
- 1 2 3 براند، آرون (20 يونيو 2022). "التخزين الساخن مقابل التخزين البارد: اختيار المستوى المناسب لبياناتك" . Medium.com . تم الاطلاع عليه في 20 يونيو 2022 .
- ↑ بوزي، بريان (8 نوفمبر 2016). "الاختلافات بين تقنيات التخزين المؤقت SSD وتقنيات التخزين الهرمي" . TechTarget . تم الاطلاع عليه في 21 يونيو 2022 .
- ↑ وينارد وبيوندو 2016 ، ص 5.
- ↑ وينارد وبيوندو 2016 ، ص. 6.
- ↑ شركة آي بي إم. "ملخص دليل تخطيط DFSMS/VM" . ibm.com . تم الاطلاع عليه في 16 سبتمبر 2021 .
- ↑ إدارة تخزين dFSMShsm في نظام التشغيل z/OS 2.5 (ملف PDF) . شركة IBM. 2022. SC23-6871-50 . تاريخ الاسترجاع: 24 فبراير 2022 .
- ↑ [SAM/QFS على OpenSolaris.org]
- ↑ راند موريموتو؛ مايكل نويل؛ عمر دروبي؛ روس ميستري؛ كريس أماريس (2008). ويندوز سيرفر 2008 Unleashed . دار نشر سامز. ص 938. ISBN 978-0-13-271563-8.
- ↑ "ITPro Today: أخبار تكنولوجيا المعلومات، والإرشادات، والاتجاهات، ودراسات الحالة، ونصائح مهنية، والمزيد" .
- وينارد، كيث؛ بيوندو، جوش (6 يونيو 2016). DFSMS: من فصول التخزين إلى طبقات التخزين . مطبعة IBM . ISBN 9780738455372.
- برامج الأعمال
- تخزين بيانات الحاسوب
- أطر الإدارة
