غارة

تقنية RAID هي أسلوب مُنظّم لتخزين بيانات الحاسوب ، حيث تُكتب البيانات على أكثر من وحدة تخزين ثانوية . فبدلاً من تخزين جميع البيانات على قرص صلب واحد أو قرص ذي حالة صلبة ، تُنسّق RAID بين وحدتين أو أكثر من هذه الوحدات في مصفوفة أقراص . وعندما يكتب الحاسوب البيانات على وحدة التخزين الثانوية، يقوم نظام RAID بتوزيعها على المصفوفة. وهناك عدة طرق ممكنة لتنفيذ ذلك، وتُسمى هذه التكوينات المختلفة بمستويات RAID .

تُصنّف مستويات RAID بحسب مقدار التكرار الذي توفره والحد الأدنى لعدد الأقراص المطلوبة، بالإضافة إلى تعقيدها النسبي وأدائها وكفاءتها في استهلاك الطاقة وقدرتها على تحمل الأعطال وتوافرها . وقد طُوّرت التقنيات الأساسية المستخدمة في RAID في سبعينيات وثمانينيات القرن الماضي، وهي: تجزئة البيانات لتحسين كفاءة القراءة والكتابة، ونسخ الأقراص أو أقراص التكافؤ لاستعادة البيانات . وباستثناء RAID 1 ، تستخدم جميع مستويات RAID القياسية تقنية المحاكاة الافتراضية للتخزين لدمج أجهزة تخزين متعددة في وحدة تخزين منطقية واحدة.

في الأصل، كان مصطلح RAID اختصارًا لعبارة " مصفوفة زائدة من الأقراص الرخيصة" . [ 1 ] [ 2 ] ثم أعاد المجلس الاستشاري لـ RAID (الذي تأسس عام 1992) تعريف الاختصار لاحقًا ليعني " مصفوفة زائدة من الأقراص المستقلة" . [ 2 ] قبل ظهور تقنية تجزئة البيانات والأقراص الزائدة المتصلة بالإنترنت، كان من الشائع الاعتماد على ما يُسمى بـ SLEDs ("أقراص مفردة كبيرة باهظة الثمن") المتصلة بأجهزة الحاسوب المركزية لتخزين البيانات ذات السعة العالية والتوافر العالي . [ 1 ] [ 3 ] وقد تم نشر تقنية RAID ليس فقط في أجهزة الحاسوب المركزية، بل أيضًا في أجهزة الحاسوب الشخصية ، وأجهزة الحاسوب العملاقة ، وخوادم الملفات ، وخوادم قواعد البيانات ، وخوادم الويب ، وأجهزة التخزين المتصلة بالشبكة .

تاريخ

صاغ مصطلح RAID كلٌ من ديفيد باترسون ، وغارث جيبسون ، وراندي كاتز في جامعة كاليفورنيا، بيركلي عام 1987. وفي ورقتهم البحثية التي نُشرت في يونيو 1988 بعنوان "حالة المصفوفات المتكررة للأقراص الرخيصة (RAID)"، والتي عُرضت في مؤتمر SIGMOD ، جادلوا بأن أداء محركات الأقراص في أجهزة الكمبيوتر المركزية عالية الأداء في ذلك الوقت يمكن أن يتفوق عليه أداء مصفوفة من محركات الأقراص (الرخيصة نسبيًا) التي صُنعت لسوق أجهزة الكمبيوتر الشخصية المتنامي . وعلى الرغم من أن معدل تعطل محركات الأقراص الصلبة يزداد طرديًا مع عدد الأقراص المستخدمة، إلا أن موثوقية المصفوفة يمكن أن تتجاوز بكثير موثوقية أي قرص منفرد عالي السعة إذا تم تضمين خاصية التكرار في نظام تخزين الكمبيوتر من خلال تهيئته لكتابة البيانات على أكثر من قرص تلقائيًا. [ 4 ]

على الرغم من عدم استخدام هذه المصطلحات بعد، فقد تم استخدام تقنيات المستويات الخمسة لـ RAID المذكورة في ورقة يونيو 1988 في منتجات مختلفة قبل نشر الورقة، [ 3 ] بما في ذلك ما يلي:

  • كانت تقنية النسخ المتطابق (RAID 1) راسخة في سبعينيات القرن الماضي، بما في ذلك على سبيل المثال أنظمة Tandem NonStop .
  • في عام 1977، قدم نورمان كين أوتشي في شركة IBM براءة اختراع تكشف عما أطلق عليه لاحقًا اسم RAID  4. [ 5 ]
  • في حوالي عام 1983، بدأت شركة DEC بشحن محركات الأقراص RA8X ذات النسخ المتطابق للنظام الفرعي (المعروفة الآن باسم RAID  1) كجزء من نظامها الفرعي HSC50. [ 6 ]
  • في عام 1986، قدم كلارك وآخرون في شركة IBM براءة اختراع تكشف عما أطلق عليه لاحقًا اسم RAID  5. [ 7 ]
  • في حوالي عام 1988، استخدمت شركة Thinking Machines في نظام DataVault رموز تصحيح الأخطاء (المعروفة الآن باسم RAID  2) في مصفوفة من محركات الأقراص. [ 8 ] وقد استُخدم نهج مماثل في أوائل الستينيات على جهاز IBM 353. [ 9 ] [ 10 ]

قام مصنّعو الصناعة لاحقًا بإعادة تعريف اختصار RAID ليصبح "مصفوفة زائدة من الأقراص المستقلة ". [ 2 ] [ 11 ] [ 12 ] [ 13 ]

ملخص

تُقسّم تقنية RAID التخزين الثانوي إلى وحدات نمطية من خلال تخصيص دور لكل جهاز تخزين في مصفوفة الأقراص . ويُحدد مستوى RAID للمصفوفة بناءً على أدوار وعلاقات هذه الأجهزة المكونة لها. تستخدم بعض مستويات RAID بيانات التكافؤ لزيادة تحمل الأعطال . تُحسب معظم بيانات التكافؤ باستخدام عملية XOR ، بينما يستخدم RAID  6 الجمع والضرب في حقل Galois محدد أو تصحيح أخطاء Reed-Solomon . [ 14 ]

يمكن لتقنية RAID أيضًا توفير أمان البيانات باستخدام محركات الأقراص الصلبة (SSD) دون الحاجة إلى نظام كامل يعتمد على محركات الأقراص الصلبة. على سبيل المثال، يمكن نسخ محرك أقراص صلبة سريع باستخدام محرك أقراص صلبة ميكانيكي أبطأ. ولتحقيق ميزة سرعة كبيرة في هذا التكوين، يلزم وجود وحدة تحكم مناسبة تستخدم محرك الأقراص الصلبة السريع لجميع عمليات القراءة. تُطلق شركة Adaptec على هذا النوع من الأنظمة اسم "RAID الهجين". [ 15 ]

المستويات القياسية

خوادم تخزين مزودة بـ 24 قرصًا صلبًا لكل منها ووحدات تحكم RAID مدمجة تدعم مستويات RAID المختلفة

في الأصل، كانت هناك خمسة مستويات قياسية لتقنية RAID، ولكن تطورت العديد من الاختلافات، بما في ذلك عدة مستويات متداخلة والعديد من المستويات غير القياسية (معظمها خاصة ). يتم توحيد مستويات RAID وتنسيقات البيانات المرتبطة بها من قبل جمعية صناعة شبكات التخزين (SNIA) في معيار تنسيق محرك الأقراص RAID الشائع (DDF): [ 16 ] [ 17 ]

  • يعتمد نظام RAID 0 على تجزئة البيانات على مستوى الكتل، دون أي نسخ متطابق أو تكافؤ . بافتراض وجود n من محركات الأقراص متساوية السعة ومستخدمة بالكامل، فإن سعة وحدة تخزين RAID 0 تساوي سعة وحدة تخزين ممتدة : أي مجموع سعات محركات الأقراص n . مع ذلك، ولأن التجزئة توزع محتويات كل ملف على جميع محركات الأقراص، فإن تعطل أي محرك منها يجعل وحدة تخزين RAID 0 بأكملها غير قابلة للوصول. عادةً، تُفقد جميع البيانات، ولا يمكن استعادة الملفات إلا من خلال نسخة احتياطية.
على النقيض من ذلك، يفقد القرص الممتد، الذي يخزن الملفات بالتسلسل، البيانات المخزنة على القرص المعطل، ولكنه يحتفظ بالبيانات المخزنة على الأقراص المتبقية. مع ذلك، قد يكون استعادة الملفات بعد تعطل القرص أمرًا صعبًا، وغالبًا ما يعتمد على خصائص نظام الملفات. على أي حال، ستُفقد الملفات التي تمتد على القرص المعطل أو منه نهائيًا.
من ناحية أخرى، تتمثل ميزة RAID  0 في مضاعفة إنتاجية عمليات القراءة والكتابة لأي ملف بعدد الأقراص، وذلك لأن عمليات القراءة والكتابة تتم بشكل متزامن ، على عكس وحدات التخزين الممتدة . [ 11 ] أما عيبها فهو زيادة احتمالية تعطل الأقراص، إذ أن تعطل أي قرص في  نظام RAID 0 يؤدي إلى فقدان وحدة التخزين بأكملها، وبالتالي يرتفع معدل تعطل وحدة التخزين مع ازدياد عدد الأقراص المتصلة. وهذا ما يجعل RAID  0 خيارًا غير مناسب للسيناريوهات التي تتطلب موثوقية عالية للبيانات أو تحملًا للأعطال.
  • يعتمد نظام RAID 1 على نسخ البيانات، دون استخدام التكافؤ أو التوزيع. تُكتب البيانات بشكل متطابق على قرصين أو أكثر، مما يُنتج "مجموعة متطابقة" من الأقراص. وبالتالي، يمكن لأي قرص في المجموعة تلبية أي طلب قراءة. إذا تم بث طلب إلى جميع الأقراص في المجموعة، فيمكن تلبيته بواسطة القرص الذي يصل إلى البيانات أولاً (اعتمادًا على وقت البحث وزمن الاستجابة الدوراني )، مما يُحسّن الأداء. يقترب معدل نقل البيانات للقراءة المستمر، إذا كان المتحكم أو البرنامج مُحسَّنًا لذلك، من مجموع معدلات نقل البيانات لكل قرص في المجموعة، تمامًا كما هو الحال في RAID 0. يكون معدل نقل البيانات الفعلي للقراءة في معظم تطبيقات RAID 1 أبطأ من أسرع قرص. يكون معدل نقل البيانات للكتابة أبطأ دائمًا لأن كل قرص يجب تحديثه، ويُحدِّد أبطأ قرص أداء الكتابة. تستمر المصفوفة في العمل طالما أن قرصًا واحدًا على الأقل يعمل. [ 11 ]
  • يتكون نظام RAID 2 من تجزئة البيانات على مستوى البت مع تكافؤ مخصص باستخدام رمز هامينغ . تتم مزامنة دوران جميع محاور الأقراص، ويتم تجزئة البيانات بحيث يكون كل بت متسلسل على قرص مختلف. يُحسب تكافؤ رمز هامينغ عبر البتات المتناظرة ويُخزن على قرص تكافؤ واحد على الأقل. [ 11 ] هذا المستوى ذو أهمية تاريخية فقط؛ على الرغم من استخدامه في بعض الأجهزة المبكرة (على سبيل المثال، Thinking Machines CM-2)، [ 18 ] اعتبارًا من عام 2014لا يتم استخدامه بواسطة أي نظام متوفر تجارياً. [ 19 ]
  • تعتمد تقنية RAID 3 على تجزئة البيانات على مستوى البايت مع تخصيص قرص التكافؤ. تتم مزامنة دوران جميع محاور الأقراص، وتُجزأ البيانات بحيث يكون كل بايت متسلسل على قرص مختلف. يُحسب التكافؤ عبر البايتات المتناظرة ويُخزن على قرص تكافؤ مخصص. [ 11 ] على الرغم من وجود تطبيقات لهذه التقنية، [ 20 ] إلا أن RAID 3 لا يُستخدم بشكل شائع في الممارسة العملية.
  • يتكون نظام RAID 4 من تجزئة البيانات على مستوى الكتل مع قرص تكافؤ مخصص. كان هذا المستوى مستخدمًا سابقًا من قبل شركة NetApp ، ولكنه استُبدل الآن إلى حد كبير بتطبيق خاص لنظام RAID 4 مع قرصي تكافؤ، يُسمى RAID-DP . [ 21 ] تتمثل الميزة الرئيسية لنظام RAID 4 مقارنةً بنظامي RAID 2 و3 في التوازي في عمليات الإدخال/الإخراج: ففي نظامي RAID 2 و3، تتطلب عملية قراءة واحدة قراءة مجموعة محركات البيانات بأكملها، بينما في نظام RAID 4، لا تتطلب عملية القراءة الواحدة توزيع البيانات على جميع محركات البيانات. ونتيجةً لذلك، يمكن تنفيذ المزيد من عمليات الإدخال/الإخراج بالتوازي، مما يُحسّن أداء عمليات النقل الصغيرة. [ 1 ]
  • يعتمد نظام RAID 5 على تجزئة البيانات على مستوى الكتل مع توزيع التكافؤ. على عكس RAID 4، تُوزّع معلومات التكافؤ بين الأقراص، مما يتطلب وجود جميع الأقراص باستثناء قرص واحد للتشغيل. عند تعطل قرص واحد، يمكن حساب عمليات القراءة اللاحقة من التكافؤ الموزع بحيث لا تُفقد أي بيانات. يتطلب RAID 5 ثلاثة أقراص على الأقل. [ 11 ] وكما هو الحال مع جميع مفاهيم التكافؤ الأحادي، فإن تطبيقات RAID 5 الكبيرة عُرضة لأعطال النظام بسبب اتجاهات وقت إعادة بناء المصفوفة واحتمالية تعطل القرص أثناء إعادة البناء (انظر قسم " زيادة وقت إعادة البناء واحتمالية الفشل " أدناه). [ 22 ] تتطلب إعادة بناء المصفوفة قراءة جميع البيانات من جميع الأقراص، مما يزيد من احتمالية تعطل قرص ثانٍ وفقدان المصفوفة بأكملها.
  • يعتمد RAID 6 على تجزئة البيانات على مستوى الكتل مع توزيع التكافؤ المزدوج. يوفر توزيع التكافؤ المزدوج تحملًا للأعطال حتى في حالة تعطل قرصين. وهذا يجعل مجموعات RAID الأكبر حجمًا أكثر عملية، خاصةً لأنظمة التوافر العالي، حيث تستغرق الأقراص ذات السعة الكبيرة وقتًا أطول للاستعادة. يتطلب RAID 6 أربعة أقراص كحد أدنى. وكما هو الحال في RAID 5، يؤدي تعطل قرص واحد إلى انخفاض أداء المصفوفة بأكملها حتى يتم استبدال القرص المعطل. [ 11 ] باستخدام مصفوفة RAID 6، مع أقراص من مصادر ومصنعين متعددين، يمكن التخفيف من معظم المشاكل المرتبطة بـ RAID 5. كلما زادت سعات الأقراص وكبر حجم المصفوفة، زادت أهمية اختيار RAID 6 بدلًا من RAID 5. [ 23 ]  كما يقللRAID 10 من هذه المشاكل. [ 24 ]

RAID المتداخل (الهجين)

فيما كان يُعرف في الأصل باسم RAID الهجين ، [ 25 ] تسمح العديد من وحدات التحكم في التخزين بتداخل مستويات RAID. قد تكون عناصر RAID إما محركات أقراص فردية أو مصفوفات نفسها. ونادرًا ما تتداخل المصفوفات لأكثر من مستوى واحد.

تُعرف المصفوفة النهائية باسم المصفوفة العلوية. عندما تكون المصفوفة العلوية من نوع RAID  0 (كما هو الحال في RAID  1+0 وRAID  5+0)، فإن معظم الشركات المصنعة تحذف علامة "+" (مما ينتج عنه RAID 10 وRAID  50، على التوالي).

  • RAID  0+1: يُنشئ شريطين ويُجري نسخًا متطابقًا لهما. في حال تعطل أحد الأقراص، فإن أحد النسختين المتطابقتين يكون قد تعطل، وعندها يعمل النظام فعليًا كـ RAID 0 بدون أي تكرار. يُضيف هذا النظام مخاطرة أكبر بكثير أثناء إعادة البناء مقارنةً بـ RAID 1+0، حيث يجب قراءة جميع البيانات من جميع الأقراص في الشريط المتبقي بدلًا من قرص واحد فقط، مما يزيد من احتمالية حدوث خطأ قراءة غير قابل للاسترداد (URE) ويُطيل بشكل ملحوظ فترة إعادة البناء. [ 26 ] [ 27 ] [ 28 ]
  • RAID  1+0: (انظر: RAID 10 ) يُنشئ مجموعة مُخططة من سلسلة من الأقراص المتطابقة. يمكن للمصفوفة تحمل فقدان عدة أقراص طالما لم يفقد أي قرص متطابق جميع أقراصه. [ 29 ]
  • JBOD RAID N+N: مع JBOD ( مجموعة من الأقراص )، يُمكن دمج الأقراص، وكذلك وحدات التخزين مثل مجموعات RAID. مع زيادة سعات الأقراص، يزداد تأخير الكتابة ووقت إعادة البناء بشكل كبير (خاصةً، كما ذُكر سابقًا، مع RAID 5 وRAID 6). بتقسيم مجموعة RAID N كبيرة إلى مجموعات فرعية أصغر ودمجها باستخدام JBOD الخطي،سيقل وقت الكتابة وإعادة البناء. إذا لم يكن مُتحكم مصفوفة الأقراص قادرًا على دمج JBOD الخطي مع RAID N، فيُمكن تحقيق JBOD الخطي باستخدام RAID البرمجي على مستوى نظام التشغيل مع وحدات تخزين فرعية منفصلة من RAID N مُنشأة داخل مُتحكم RAID واحد أو أكثر. إلى جانب الزيادة الكبيرة في السرعة، يُوفر هذا أيضًا ميزة هامة: إمكانية بدء JBOD خطي بمجموعة صغيرة من الأقراص والقدرة على توسيع المجموعة الإجمالية بأقراص ذات أحجام مختلفة لاحقًا (مع توفر أقراص ذات أحجام أكبر في السوق). هناك ميزة أخرى تتمثل في استعادة البيانات في حالات الكوارث (إذا حدث فشل في مجموعة فرعية من RAID N، فلن يتم فقدان البيانات الموجودة على مجموعات RAID N الفرعية الأخرى، مما يقلل من وقت الاستعادة).

مستويات غير قياسية

توجد العديد من التكوينات الأخرى غير مستويات RAID الأساسية المرقمة، وقد ابتكرت العديد من الشركات والمؤسسات والمجموعات تكوينات غير قياسية خاصة بها، مصممة في كثير من الأحيان لتلبية الاحتياجات المتخصصة لمجموعة صغيرة. تشمل هذه التكوينات ما يلي:

  • يوفر نظام Linux MD RAID 10 برنامج تشغيل RAID عامًا، حيث يكون في وضع "القريب" افتراضيًا RAID  1 قياسيًا مع قرصين، وRAID  1+0 قياسيًا مع أربعة أقراص؛ ومع ذلك، يمكنه تضمين أي عدد من الأقراص، بما في ذلك الأعداد الفردية. في وضع "البعيد"،  يمكن لـ MD RAID 10 العمل بنظامي التوزيع والنسخ المتطابق، حتى مع قرصين فقط f2؛ حيث يعمل النسخ المتطابق مع قراءة التوزيع، مما يوفر أداء قراءة مماثلًا لـ RAID  0. أما RAID  1 العادي، كما هو مُقدم من برنامج RAID في Linux ، فلا يقوم بتوزيع القراءة، ولكنه يستطيع إجراء عمليات القراءة بالتوازي. [ 29 ] [ 30 ] [ 31 ]
  • يحتوي هادوب على نظام RAID يقوم بإنشاء ملف تكافؤ عن طريق عملية XOR لشريط من الكتل في ملف HDFS واحد. [ 32 ]
  • يحتوي نظاما الملفات المتوازيان BeeGFS و Lustre على خيارات التجزئة الداخلية (مقارنة بـ RAID0 القائم على الملفات) والنسخ المتماثل (مقارنة بـ RAID10 القائم على الملفات) لتجميع الإنتاجية وسعة الخوادم المتعددة، وعادة ما يعتمدان على RAID أساسي لجعل أعطال القرص شفافة.
  • يقوم نظام RAID غير المجمّع بتوزيع نسختين (أو أكثر) من البيانات على جميع الأقراص (التي قد يصل عددها إلى المئات) في نظام التخزين الفرعي، مع الاحتفاظ بسعة احتياطية كافية تحسبًا لتعطل بعض الأقراص. يعتمد هذا التوزيع على خوارزميات تُعطي انطباعًا بالعشوائية. عند تعطل قرص واحد أو أكثر، تُعاد بناء النسخ المفقودة في تلك السعة الاحتياطية، بشكل عشوائي أيضًا. ولأن إعادة البناء تتم من وإلى جميع الأقراص المتبقية، فإن النظام يعمل بسرعة أكبر بكثير من نظام RAID التقليدي، مما يقلل من التأثير الإجمالي على عملاء نظام التخزين.

التطبيقات

يمكن إدارة توزيع البيانات عبر محركات أقراص متعددة إما بواسطة أجهزة حاسوب مخصصة أو بواسطة برامج . قد يكون حل البرنامج جزءًا من نظام التشغيل، أو جزءًا من البرامج الثابتة وبرامج التشغيل المرفقة مع وحدة تحكم محرك الأقراص القياسية (ما يسمى "RAID البرمجي المدعوم بالأجهزة")، أو قد يكون موجودًا بالكامل داخل وحدة تحكم RAID المادية.

يعتمد على الأجهزة

يمكن تهيئة وحدات تحكم RAID المادية عبر BIOS البطاقة أو ذاكرة القراءة فقط الاختيارية قبل بدء تشغيل نظام التشغيل ، وبعد بدء تشغيل نظام التشغيل، تتوفر أدوات تهيئة خاصة من الشركة المصنعة لكل وحدة تحكم. على عكس وحدات تحكم واجهة الشبكة لشبكة الإيثرنت ، والتي يمكن عادةً تهيئتها وصيانتها بالكامل من خلال نماذج نظام التشغيل الشائعة مثل ifconfig في يونكس ، دون الحاجة إلى أي أدوات خارجية، فإن كل شركة مصنعة لوحدات تحكم RAID عادةً ما توفر أدوات برمجية خاصة بها لكل نظام تشغيل تعتبره مدعومًا، مما يضمن احتكار المورد ويساهم في مشاكل الموثوقية. [ 33 ]

على سبيل المثال، في نظام FreeBSD ، يتطلب الوصول إلى إعدادات وحدات تحكم Adaptec RAID تفعيل طبقة توافق Linux واستخدام أدوات Linux من Adaptec، [ 34 ] مما قد يُعرّض استقرار وموثوقية وأمان إعداداتهم للخطر، خاصةً على المدى الطويل. [ 33 ]

قامت بعض أنظمة التشغيل الأخرى بتطبيق أطر عمل عامة خاصة بها للتفاعل مع أي وحدة تحكم RAID، وتوفر أدوات لمراقبة حالة وحدة تخزين RAID، بالإضافة إلى تسهيل تحديد محركات الأقراص من خلال وميض مؤشر LED، وإدارة الإنذارات، وتعيينات الأقراص الاحتياطية الساخنة من داخل نظام التشغيل دون الحاجة إلى إعادة التشغيل إلى BIOS الخاص بالبطاقة. على سبيل المثال، كان هذا هو النهج الذي اتبعته OpenBSD في عام 2005 مع جهازها الوهمي bio(4) وأداة bioctl ، والتي توفر حالة وحدة التخزين، وتتيح التحكم في مؤشر LED/الإنذار/الأقراص الاحتياطية الساخنة، بالإضافة إلى أجهزة الاستشعار (بما في ذلك مستشعر محرك الأقراص ) لمراقبة الحالة؛ [ 35 ] وقد تم اعتماد هذا النهج وتوسيعه لاحقًا بواسطة NetBSD في عام 2007 أيضًا. [ 36 ]

البرمجيات

توفر العديد من أنظمة التشغيل الحديثة تطبيقات RAID البرمجية . ويمكن تطبيق RAID البرمجي على النحو التالي:

  • طبقة تعمل على تجريد أجهزة متعددة، وبالتالي توفير جهاز افتراضي واحد (مثل md في نواة لينكس و softraid في OpenBSD).
  • مدير وحدات تخزين منطقية أكثر عمومية (متوفر مع معظم أنظمة تشغيل الخوادم مثل Veritas أو LVM )
  • أحد مكونات نظام الملفات (مثل ZFS أو Spectrum Scale أو Btrfs )
  • طبقة تقع فوق أي نظام ملفات وتوفر حماية التكافؤ لبيانات المستخدم (مثل RAID-F) [ 37 ]

تم تصميم بعض أنظمة الملفات المتقدمة لتنظيم البيانات عبر أجهزة تخزين متعددة بشكل مباشر، دون الحاجة إلى مساعدة مدير وحدات تخزين منطقية تابع لجهة خارجية:

ثلاثة  أقراص صلبة سعة 5 تيرابايت في تكوين ZFS RAID-Z1. تحتوي هذه المصفوفة على نسخة من أكبر أرشيف طولي معروف لسجلات بيانات التنوع البيولوجي المسجلة في شبكات GBIF و iDigBio و BioCASe.
  • يدعم نظام الملفات ZFS ما يُعادل RAID  0 وRAID  1 وRAID  5 (RAID-Z1) أحادي التكافؤ، وRAID  6 (RAID-Z2) ثنائي التكافؤ، وإصدارًا ثلاثي التكافؤ (RAID-Z3) يُشار إليه أيضًا باسم RAID  7. [ 38 ] ولأنه يُوزّع البيانات دائمًا على وحدات التخزين الافتراضية (vdevs) ذات المستوى الأعلى، فإنه يدعم ما يُعادل مستويات RAID المتداخلة 1+0 و5+0 و6+0 (بالإضافة إلى مجموعات ثلاثية التكافؤ مُوزّعة)، ولكنه لا يدعم تركيبات متداخلة أخرى. يُعد ZFS نظام الملفات الأصلي على Solaris و illumos ، وهو مُتاح أيضًا على FreeBSD وLinux. يجري تطوير تطبيقات ZFS مفتوحة المصدر بنشاط ضمن مشروع OpenZFS . [ 39 ] [ 40 ] [ 41 ] [ 42 ] [ 43 ]
  • يدعم Spectrum Scale ، الذي طورته IBM في الأصل لبث الوسائط وتحليلات البيانات القابلة للتوسع، أنظمة حماية RAID غير المجمعة  حتى n+3. ومن خصائصه المميزة أولوية إعادة البناء الديناميكية التي تعمل بسلاسة في الخلفية حتى تصل مجموعة البيانات إلى مستوى التكرار n+0، وعندها يُعاد بناء هذه المجموعة بسرعة إلى مستوى n+1 على الأقل. علاوة على ذلك، يدعم Spectrum Scale نظام RAID 1 للمسافات الطويلة. [ 44 ]
  • يدعم نظام الملفات Btrfs  أنظمة RAID 0 وRAID  1 وRAID  10 (أما RAID  5 وRAID 6 فهما قيد التطوير). [ 45 ] [ 46 ]
  • صُمم نظام الملفات XFS في الأصل لتوفير مدير وحدات تخزين متكامل يدعم دمج ونسخ وتوزيع البيانات على أجهزة تخزين فعلية متعددة. [ 47 ] ومع ذلك، يفتقر تطبيق XFS في نواة لينكس إلى مدير وحدات التخزين المتكامل. [ 48 ]

توفر العديد من أنظمة التشغيل تطبيقات RAID، بما في ذلك ما يلي:

في حال تعطل قرص الإقلاع، يجب أن يكون النظام متطورًا بما يكفي للإقلاع من القرص أو الأقراص المتبقية. على سبيل المثال، لنفترض جهاز كمبيوتر مُهيأ بنظام RAID  1 (أقراص متطابقة)؛ إذا تعطل القرص الأول في المصفوفة، فقد لا يكون مُحمل الإقلاع في المرحلة الأولى متطورًا بما يكفي لمحاولة تحميل مُحمل الإقلاع في المرحلة الثانية من القرص الثاني كخيار احتياطي. مُحمل الإقلاع في المرحلة الثانية لنظام FreeBSD قادر على تحميل نواة النظام من هذه المصفوفة. [ 63 ]

البرامج الثابتة وبرامج التشغيل

وحدة تحكم SATA 3.0 توفر وظائف RAID من خلال برامج ثابتة وبرامج تشغيل خاصة.

لا يتوافق نظام RAID المُنفذ برمجياً دائماً مع عملية إقلاع النظام، وهو غير عملي عموماً لإصدارات ويندوز المكتبية. مع ذلك، فإن وحدات تحكم RAID المادية باهظة الثمن ومملوكة لشركات محددة. لسد هذه الفجوة، طُرحت "وحدات تحكم RAID" منخفضة التكلفة لا تحتوي على شريحة تحكم RAID مخصصة، بل على شريحة تحكم قياسية للأقراص، أو وظيفة RAID المدمجة في مجموعة الشرائح، مع برامج ثابتة وبرامج تشغيل خاصة. خلال المراحل الأولى من الإقلاع، تُنفذ البرامج الثابتة نظام RAID، وبمجرد اكتمال تحميل نظام التشغيل، تتولى برامج التشغيل زمام الأمور. بالتالي، قد لا تعمل هذه الوحدات عندما لا يتوفر دعم برامج التشغيل لنظام التشغيل المضيف. [ 64 ] ومن الأمثلة على ذلك تقنية التخزين السريع من إنتل ، المُطبقة في العديد من اللوحات الأم المخصصة للمستهلكين. [ 65 ] [ 66 ]

نظرًا لاحتياج هذا التطبيق إلى دعم برمجي محدود، يُطلق عليه أيضًا اسم "RAID البرمجي المدعوم بالأجهزة" [ 67 ] [ 68 ] [ 69 أو "RAID الهجين" [ 69 ] ، أو حتى "RAID الوهمي" [ 70 ] . في حال دعم RAID  5، قد توفر الأجهزة مُسرِّع XOR ماديًا. من مزايا هذا النموذج على RAID البرمجي البحت أنه - في حال استخدام وضع التكرار - يكون قرص الإقلاع محميًا من العطل (بسبب البرامج الثابتة) أثناء عملية الإقلاع حتى قبل أن تتولى برامج تشغيل نظام التشغيل زمام الأمور [ 69 ] .

نزاهة

تتضمن عملية تنظيف البيانات (المعروفة في بعض البيئات باسم قراءة الدورية ) قراءة وفحصًا دوريًا من قِبل وحدة تحكم RAID لجميع الكتل في المصفوفة، بما في ذلك الكتل التي لم يتم الوصول إليها. يكشف هذا عن الكتل التالفة قبل استخدامها. [ 71 ] تتحقق عملية تنظيف البيانات من وجود كتل تالفة على كل جهاز تخزين في المصفوفة، كما تستخدم خاصية التكرار في المصفوفة لاستعادة الكتل التالفة على محرك أقراص واحد وإعادة تعيين البيانات المستعادة إلى كتل احتياطية في مكان آخر على محرك الأقراص. [ 72 ]

في كثير من الأحيان، يُضبط مُتحكم RAID على "إسقاط" محرك أقراص مُكوّن (أي افتراض تعطل محرك الأقراص المُكوّن) إذا ظلّ غير مُستجيب لمدة ثماني ثوانٍ تقريبًا؛ وقد يتسبب هذا في إسقاط مُتحكم المصفوفة لمحرك أقراص سليم لعدم منحه الوقت الكافي لإكمال إجراء استعادة الأخطاء الداخلي. ونتيجةً لذلك، يُمكن أن يكون استخدام محركات الأقراص المُسوّقة للمستهلكين مع RAID مُحفوفًا بالمخاطر، وتُحدّ محركات الأقراص "المُخصصة للمؤسسات" من وقت استعادة الأخطاء هذا لتقليل المخاطر. كانت محركات أقراص سطح المكتب من Western Digital تحتوي على حل مُحدد. حيث كانت أداة تُسمى WDTLER.exe تُحدّد وقت استعادة الأخطاء لمحرك الأقراص. تُفعّل هذه الأداة خاصية TLER (استعادة الأخطاء المُحدّدة زمنيًا) ، والتي تُحدّد وقت استعادة الأخطاء بسبع ثوانٍ. في سبتمبر 2009 تقريبًا، عطّلت Western Digital هذه الميزة في محركات أقراص سطح المكتب (مثل سلسلة Caviar Black)، مما جعل هذه المحركات غير مُناسبة للاستخدام في تكوينات RAID. [ 73 ] ومع ذلك، يتم شحن محركات أقراص Western Digital المُخصصة للمؤسسات من المصنع مع تفعيل خاصية TLER. تستخدم شركات سيجيت وسامسونج وهيتاشي تقنيات مماثلة. لذا، بالنسبة للاستخدامات غير المتعلقة بتقنية RAID، يُعد محرك الأقراص من فئة المؤسسات ذو مهلة استعادة الأخطاء القصيرة التي لا يمكن تغييرها أقل ملاءمة من محرك أقراص سطح المكتب. [ 73 ] في أواخر عام 2010، بدأ برنامج Smartmontools بدعم تكوين التحكم في استعادة أخطاء ATA، مما يسمح للأداة بتكوين العديد من محركات الأقراص الصلبة من فئة سطح المكتب لاستخدامها في إعدادات RAID. [ 73 ]

على الرغم من أن تقنية RAID قد توفر حماية ضد أعطال محركات الأقراص المادية، إلا أن البيانات لا تزال عرضة للتلف الناتج عن أخطاء المشغل، والبرامج، والأجهزة، والفيروسات. تشير العديد من الدراسات إلى أن خطأ المشغل هو سبب شائع للأعطال، [ 74 ] [ 75 ] مثل قيام مشغل الخادم باستبدال محرك أقراص غير صحيح في نظام RAID معيب، مما يؤدي إلى تعطيل النظام (ولو مؤقتًا) أثناء العملية. [ 76 ]

قد تتعرض مصفوفة التخزين لعطل كارثي يتجاوز قدرتها على التعافي، وتصبح المصفوفة بأكملها عرضة للتلف المادي بسبب الحرائق والكوارث الطبيعية والتدخل البشري، ومع ذلك، يمكن تخزين النسخ الاحتياطية خارج الموقع. كما أن المصفوفة عرضة لعطل وحدة التحكم، لأنه ليس من الممكن دائمًا نقلها إلى وحدة تحكم جديدة مختلفة دون فقدان البيانات. [ 77 ]

نقاط الضعف

حالات الفشل المترابطة

عمليًا، غالبًا ما تكون محركات الأقراص من نفس العمر (مع تآكل مماثل) وتخضع لنفس الظروف البيئية. ولأن العديد من أعطال محركات الأقراص تعود إلى مشاكل ميكانيكية (وهي أكثر شيوعًا في محركات الأقراص القديمة)، فإن هذا يُخالف افتراضات معدل الفشل المستقل والمتطابق بين محركات الأقراص؛ إذ توجد في الواقع علاقة إحصائية بين الأعطال. [ 11 ] عمليًا، تكون احتمالية حدوث عطل ثانٍ قبل استعادة البيانات من العطل الأول (مما يؤدي إلى فقدان البيانات) أعلى من احتمالية حدوث أعطال عشوائية. في دراسة شملت حوالي 100,000 محرك أقراص من أربعة موردين مختلفين على الأقل، كان احتمال تعطل محركي أقراص في نفس المجموعة خلال ساعة واحدة أكبر بأربع مرات من المتوقع وفقًا للتوزيع الإحصائي الأسي - الذي يصف العمليات التي تحدث فيها الأحداث باستمرار وبشكل مستقل بمعدل متوسط ​​ثابت. وكان احتمال حدوث عطلين في نفس الفترة الزمنية التي تبلغ 10 ساعات أكبر بمرتين من المتوقع وفقًا للتوزيع الأسي. [ 78 ]

أحد أنماط فشل الأقراص المترابطة التي يمكن تجنبها هو فشل الأقراص المترابطة بالدفعة ، حيث تُبنى المصفوفة من أقراص من نفس الدفعة، مما يؤدي إلى فشل الأقراص تباعًا بسرعة. هذه الحالات نادرة الحدوث، ولكنها ليست مستحيلة. التوصية القياسية هي استخدام أقراص من دفعات مختلفة، وربما من شركات مصنعة مختلفة. [ 79 ] تصف دراسة أجريت عام 2021 أنماط فشل الأقراص المترابطة بالدفعة في مراكز بيانات متعددة تابعة لشركة علي بابا تعتمد على أقراص SSD، حيث يستخدم 88.6% من العقد التي تحتوي على قرصي SSD على الأقل نفس الطراز. [ 80 ]

لا يكمن مصدر آخر لفشل القرص المترابط في القرص نفسه، بل في الوصلات البينية أو وحدة المعالجة المركزية أو الذاكرة. وقد أظهر جيانغ وآخرون (2008) أن ما بين 20% و 55% فقط من حالات فشل أنظمة التخزين تعود إلى الأقراص. وتتميز هذه الأجزاء أيضًا بنمط فشل متقطع ومترابط. [ 81 ] [ 82 ]

أخطاء قراءة غير قابلة للاسترداد أثناء إعادة البناء

تظهر أخطاء القراءة غير القابلة للاسترداد (URE) على شكل فشل في قراءة القطاعات، والمعروفة أيضًا بأخطاء القطاعات الكامنة (LSE). يُضمن عادةً أن يكون معدل خطأ البت غير القابل للاسترداد (UBE)، وهو مقياس تقييم الوسائط المرتبط بها، أقل من بت واحد في 10^ 15 لمحركات الأقراص من فئة المؤسسات ( SCSI ، FC ، SAS ، أو SATA)، وأقل من بت واحد في 10 ^14 لمحركات الأقراص من فئة أجهزة سطح المكتب (IDE/ATA/PATA أو SATA). أدى ازدياد سعات محركات الأقراص ووجود أنظمة RAID 5 كبيرة إلى عدم كفاية معدلات الخطأ القصوى لضمان استرداد البيانات بنجاح، نظرًا لارتفاع احتمالية حدوث مثل هذا الخطأ على محرك أقراص واحد أو أكثر من المحركات المتبقية أثناء إعادة بناء مجموعة RAID. [ 11 ] [ 83 ] عند إعادة البناء، تكون أنظمة RAID 5 القائمة على التكافؤ عرضة بشكل خاص لتأثيرات أخطاء القراءة غير القابلة للاسترداد، لأنها لا تؤثر فقط على القطاع الذي تحدث فيه، بل تؤثر أيضًا على الكتل المُعاد بناؤها باستخدام ذلك القطاع لحساب التكافؤ. [ 84 ]  

تحاول أنظمة الحماية المزدوجة القائمة على التكافؤ، مثل RAID  6، معالجة هذه المشكلة بتوفير التكرار الذي يسمح بفشل محركي أقراص؛ ولكن من عيوب هذه الأنظمة ارتفاع تكلفة الكتابة - أي عدد مرات الوصول إلى وسيط التخزين أثناء عملية كتابة واحدة. [ 85 ] تتميز الأنظمة التي تُكرر (تعكس) البيانات من محرك أقراص إلى آخر، مثل RAID  1 وRAID  10، بانخفاض مخاطر أخطاء الكتابة غير القابلة للتصحيح (UREs) مقارنةً بتلك التي تستخدم حساب التكافؤ أو النسخ المتطابق بين مجموعات البيانات المخططة. [ 24 ] [ 86 ] يمكن استخدام تنظيف البيانات ، كعملية خلفية، لاكتشاف أخطاء الكتابة غير القابلة للتصحيح (UREs) والتعافي منها، مما يقلل بشكل فعال من خطر حدوثها أثناء إعادة بناء RAID وتسببها في فشل محركي أقراص. يتضمن التعافي من أخطاء الكتابة غير القابلة للتصحيح (UREs) إعادة تعيين قطاعات القرص الأساسية المتأثرة، باستخدام مجموعة إعادة تعيين قطاعات القرص. في حالة اكتشاف أخطاء غير قابلة للتكرار أثناء عملية التنظيف في الخلفية، فإن تكرار البيانات الذي توفره مجموعة RAID عاملة بالكامل يسمح بإعادة بناء البيانات المفقودة وإعادة كتابتها إلى قطاع مُعاد تعيينه. [ 87 ] [ 88 ]

يُعدّ سلوك تطبيق RAID عند مواجهة خطأ في إعادة البناء أمرًا بالغ الأهمية. فبعض التطبيقات تقوم بثقب المصفوفة عند مواجهة خطأ غير قابل للقراءة (URE)، مما يُعلّم القطاع/الكتلة على أنها غير قابلة للوصول، لكنها تستمر في إعادة البناء. بينما قد تقوم تطبيقات أخرى ببساطة بإلغاء العملية.

زيادة وقت إعادة البناء واحتمالية الفشل

لقد نمت سعة محركات الأقراص بمعدل أسرع بكثير من سرعة النقل، بينما انخفضت معدلات الخطأ انخفاضًا طفيفًا نسبيًا. لذلك، قد تستغرق محركات الأقراص ذات السعات الأكبر ساعات، إن لم تكن أيامًا، لإعادة بناء نفسها، وخلال هذه الفترة قد تتعطل محركات أقراص أخرى أو قد تظهر أخطاء قراءة لم يتم اكتشافها بعد. كما أن وقت إعادة البناء محدود إذا كانت المصفوفة بأكملها لا تزال تعمل بسعة منخفضة. [ 89 ] في حالة وجود مصفوفة تحتوي على محرك أقراص احتياطي واحد فقط (ينطبق هذا على مستويات RAID 3 و4 و5، وعلى RAID  1 "الكلاسيكي" المكون من محركي أقراص)، فإن تعطل محرك أقراص ثانٍ سيؤدي إلى تعطل المصفوفة بالكامل. على الرغم من أن متوسط ​​الوقت بين الأعطال (MTBF) لمحركات الأقراص الفردية قد ازداد بمرور الوقت، إلا أن هذه الزيادة لم تواكب الزيادة في سعة تخزين محركات الأقراص. وقد ازداد وقت إعادة بناء المصفوفة بعد تعطل محرك أقراص واحد، وكذلك احتمال حدوث عطل ثانٍ أثناء إعادة البناء، بمرور الوقت. [ 22 ]

يرى بعض المعلقين أن تقنية RAID  6 ليست سوى حل مؤقت في هذا الصدد، لأنها لا تُعالج المشكلة إلا مؤقتًا. [ 22 ] مع ذلك، ووفقًا لدراسة أجرتها شركة NetApp عام 2006 من قِبل بيريمان وآخرون، فإن احتمال الفشل ينخفض ​​بنحو 3800 ضعف (مقارنةً بتقنية RAID  5) عند تطبيق RAID  6 بشكل صحيح، حتى عند استخدام محركات أقراص عادية. [ 90 ] ومع ذلك، إذا استمرت اتجاهات التكنولوجيا الحالية دون تغيير،  فسيكون احتمال فشل مصفوفة RAID 6 في عام 2019 مماثلاً لاحتمال فشل  نظيرتها RAID 5 في عام 2010. [ 90 ]

تتميز أنظمة النسخ المتطابق، مثل RAID  10، بوقت استعادة محدود لأنها تتطلب نسخ قرص واحد معطل، مقارنةً بأنظمة التكافؤ، مثل RAID  6، التي تتطلب نسخ جميع كتل الأقراص في مجموعة المصفوفة. وقد اقتُرحت أنظمة التكافؤ الثلاثي، أو النسخ المتطابق الثلاثي، كأحد الأساليب لتحسين القدرة على مواجهة عطل إضافي في القرص خلال فترة إعادة البناء الطويلة هذه. [ 90 ]

الذرية

قد يؤدي تعطل النظام أو أي انقطاع آخر في عملية الكتابة إلى حالات يكون فيها التكافؤ غير متسق مع البيانات بسبب عدم ذرية عملية الكتابة، بحيث لا يمكن استخدام التكافؤ للاستعادة في حالة تعطل القرص. يُطلق على هذه الحالة عادةً اسم " ثغرة الكتابة" ، وهي مشكلة معروفة في تلف البيانات في أنظمة RAID القديمة والمنخفضة الأداء، وتنتج عن انقطاع عملية تفريغ الكتابة إلى القرص. [ 91 ] يمكن معالجة ثغرة الكتابة بعدة طرق:

  • تسجيل البيانات مسبقًا .
    • تستخدم أنظمة RAID المادية ذاكرة تخزين مؤقتة غير متطايرة مدمجة لهذا الغرض. [ 92 ]
    • يمكن لـ mdadm استخدام جهاز تسجيل مخصص (لتجنب انخفاض الأداء، يُفضل عادةً استخدام محركات الأقراص الصلبة SSD وذاكرة NVM ) لهذا الغرض. [ 93 ] [ 94 ] يعمل الجهاز كذاكرة تخزين مؤقتة للكتابة في وضع الكتابة المباشرة أو وضع الكتابة المؤجلة. [ 95 ]
  • تسجيل نوايا الكتابة . يستخدم mdadm "خريطة بتات نوايا الكتابة". إذا وجد أي موقع مُعلّم بأنه غير مكتمل الكتابة عند بدء التشغيل، فإنه يُعيد مزامنته. يُغلق ثغرة الكتابة ولكنه لا يحمي من فقدان البيانات أثناء النقل، على عكس سجل الكتابة المسبقة الكامل (WAL). [ 92 ] [ 96 ]
  • التكافؤ الجزئي. يمكن لـ mdadm حفظ "تكافؤ جزئي" يستعيد التكافؤ الأصلي عند دمجه مع الأجزاء المُعدّلة. هذا يُغلق ثغرة الكتابة، ولكنه لا يحمي من فقدان البيانات أثناء النقل. [ 97 ]
  • حجم الشريط الديناميكي. يضمن RAID-Z أن كل كتلة تُمثل شريطًا مستقلًا، وبالتالي تكون كل كتلة كاملة. تحمي دلالات المعاملات القائمة على النسخ عند الكتابة ( COW ) البيانات الوصفية المرتبطة بالشرائط. [ 98 ] أما الجانب السلبي فهو تجزئة عمليات الإدخال/الإخراج. [ 99 ]
  • تجنب الكتابة فوق الشرائح المستخدمة. يختار bcachefs ، الذي يستخدم جامع قمامة نسخ، هذا الخيار. تحمي تقنية COW مرة أخرى المراجع إلى البيانات المُقسّمة. [ 99 ]

يُعدّ ثقب الكتابة نمط فشل غير مفهوم جيدًا ونادرًا ما يُذكر في أنظمة التخزين الاحتياطية التي لا تستخدم ميزات المعاملات. وقد كتب باحث قواعد البيانات جيم غراي مقالًا بعنوان "التحديث في مكانه تفاحة مسمومة" في بدايات تسويق قواعد البيانات العلائقية. [ 100 ]

موثوقية ذاكرة التخزين المؤقت للكتابة

تُثار مخاوف بشأن موثوقية ذاكرة التخزين المؤقت للكتابة، لا سيما فيما يتعلق بالأجهزة المزودة بذاكرة تخزين مؤقتة للكتابة المؤجلة ، وهي نظام تخزين مؤقت يُبلغ عن كتابة البيانات فورًا عند كتابتها في ذاكرة التخزين المؤقت، وليس عند كتابتها على وسيط التخزين غير المتطاير . في حال انقطاع التيار الكهربائي أو حدوث عطل كبير آخر، قد تُفقد البيانات نهائيًا من ذاكرة التخزين المؤقت قبل وصولها إلى وسيط التخزين غير المتطاير. لهذا السبب، تتضمن تطبيقات ذاكرة التخزين المؤقت للكتابة المؤجلة الجيدة آليات، مثل طاقة البطارية الاحتياطية، للحفاظ على محتويات ذاكرة التخزين المؤقت في حال حدوث أعطال في النظام (بما في ذلك انقطاع التيار الكهربائي) ولمسح ذاكرة التخزين المؤقت عند إعادة تشغيل النظام. [ 101 ]

انظر أيضاً

مراجع

  1. 1 2 3 باترسون، ديفيد ؛ جيبسون، غارث أكاتز، راندي (1988). دراسة حالة حول مصفوفات الأقراص غير المكلفة المتكررة (RAID) (ملف PDF) . مؤتمرات SIGMOD . تم الاطلاع عليه بتاريخ 3 يناير 2024 .
  2. 1 2 3 غوبتا، ميتا (2002). "تقنية RAID وموردي قنوات الألياف" . أساسيات شبكة منطقة التخزين . تقنية الشبكات، مطبعة سيسكو. إنديانابوليس: مطبعة سيسكو. ص 261. ISBN  978-1-58705-065-7OCLC 52356423. تم الاطلاع عليه بتاريخ 27 يناير 2026 عبر كتب جوجل. كان يُشار إليه في الأصل باسم "مصفوفة الأقراص الرخيصة المتكررة " ، وقد نُشر مصطلح RAID لأول مرة في أواخر ثمانينيات القرن الماضي من قِبل باترسون وجيبسون وكاتز من جامعة كاليفورنيا في بيركلي. (وقد استبدل المجلس الاستشاري لتقنية RAID منذ ذلك الحين مصطلح "رخيصة" بمصطلح "مستقلة"). 
  3. 1 2 كاتز، راندي هـ. (أكتوبر 2010). "RAID: ذكريات شخصية عن كيفية تحول التخزين إلى نظام" (ملف PDF) . eecs.umich.edu . جمعية مهندسي الكهرباء والإلكترونيات (IEEE ). تاريخ الاسترجاع: 18 يناير 2015. لم نكن أول من فكر في استبدال ما وصفه باترسون بالقرص البطيء الكبير باهظ الثمن (SLED) بمصفوفة من الأقراص منخفضة التكلفة. على سبيل المثال، كان مفهوم نسخ الأقراص، الذي روجت له شركة تانديم، معروفًا جيدًا، وقد تم بالفعل تصميم بعض منتجات التخزين حول مصفوفات من الأقراص الصغيرة.
  4. هايز، فرانك (17 نوفمبر 2003). " القصة حتى الآن" . كمبيوتر وورلد . تم الاسترجاع في 18 نوفمبر 2016. استذكر باترسون بدايات مشروع RAID الخاص به في عام 1987. [...] 1988: قاد ديفيد أ. باترسون فريقًا قام بتحديد معايير RAID لتحسين الأداء والموثوقية وقابلية التوسع.
  5. ↑ براءة اختراع أمريكية رقم 4092732 ، نورمان كين أوتشي، "نظام لاستعادة البيانات المخزنة في وحدة ذاكرة معطلة"، صدرت في 30 مايو 1978 
  6. "دليل الأجهزة الفنية HSC50/70" (ملف PDF) . ديسمبر . يوليو 1986. الصفحات 29، 32. مؤرشف من النسخة الأصلية (ملف PDF) بتاريخ 4 مارس 2016. تم الاطلاع عليه بتاريخ 3 يناير 2014 . 
  7. ↑ براءة الاختراع الأمريكية رقم 4761785 ، بريان إي. كلارك وآخرون، "نشر التكافؤ لتحسين الوصول إلى التخزين"، صدرت في 2 أغسطس 1988 
  8. ↑ براءة الاختراع الأمريكية رقم 4899342 ، ديفيد بوتر وآخرون، "طريقة وجهاز لتشغيل مصفوفة متعددة الوحدات من الذاكرة"، صدرت في 1990-02-06. انظر أيضًا آلة الاتصال (1988). 
  9. "نظام معالجة البيانات IBM 7030: دليل مرجعي" (PDF) . bitsavers.trailing-edge.com . IBM . 1960. ص 157. تاريخ الاسترجاع: 17 يناير 2015. نظرًا لمعالجة عدد كبير من البتات بالتوازي، يُعد استخدام بتات تصحيح الأخطاء (ECC) عمليًا، حيث يتكون كل بايت من 39 بتًا من 32 بتًا للبيانات وسبعة بتات ECC. تُرافق بتات ECC جميع البيانات المنقولة من وإلى الأقراص عالية السرعة، وتُستخدم عند القراءة لتصحيح خطأ بت واحد في البايت، واكتشاف الأخطاء المزدوجة ومعظم الأخطاء المتعددة في البايت. 
  10. "نظام معالجة البيانات IBM Stretch (المعروف أيضًا باسم IBM 7030)" . brouhaha.com . 18-06-2009 . تاريخ الاسترجاع: 17-01-2015 . قد يتكون نظام معالجة البيانات IBM 7030 النموذجي من الوحدات التالية: [...] وحدة تخزين القرص IBM 353 - مشابهة لوحدة تخزين القرص IBM 1301، ولكنها أسرع بكثير. 2,097,152 (2^21) كلمة 72 بت (64 بت للبيانات و8 بتات تصحيح الأخطاء)، 125,000 كلمة في الثانية    
  11. 1 2 3 4 5 6 7 8 9 تشين، بيتر؛ لي، إدوارد؛ جيبسون، جارث؛ كاتز، راندي؛ باترسون، ديفيد (1994). "RAID: تخزين ثانوي عالي الأداء وموثوق". مجلة ACM Computing Surveys . 26 (2): 145–185 . CiteSeerX 10.1.1.41.3889 . doi : 10.1145/176979.176981 . S2CID 207178693 .  
  12. دونالد، ل. (2003). أساسيات الحاسوب والشبكات MCSA/MCSE 2006 JumpStart ( الطبعة الثانية). غلاسكو: SYBEX. 
  13. هاو، دينيس (محرر). "مصفوفات الأقراص المستقلة المتكررة" . قاموس الحوسبة المجاني على الإنترنت (FOLDOC) . قسم الحوسبة، إمبريال كوليدج . تم الاسترجاع في 10 نوفمبر 2011 .
  14. دوكينز، بيل وجونز، أرنولد. "مواصفات تنسيق بيانات قرص RAID الشائعة" مؤرشفة في 24 أغسطس 2009 في Wayback Machine [رابطة صناعة شبكات التخزين] كولورادو سبرينغز، 28 يوليو 2006. تم الاطلاع عليها في 22 فبراير 2011.
  15. "حلول Adaptec الهجينة لتقنية RAID" (ملف PDF) . Adaptec.com . Adaptec. 2012. تاريخ الاسترجاع: 7 سبتمبر 2013 .
  16. "معيار تنسيق محرك الأقراص RAID الشائع (DDF)" . SNIA.org . SNIA . تم الاطلاع عليه بتاريخ 26-08-2012 .
  17. "قاموس SNIA" . SNIA.org . SNIA. مؤرشف من الأصل بتاريخ 9 يناير 2010. تم الاطلاع عليه بتاريخ 24 أغسطس 2010 .
  18. تانينباوم، أندرو س. تنظيم الحاسوب الهيكلي، الطبعة السادسة ، ص 95. 
  19. هينيسي، جون؛ باترسون، ديفيد (2006). هندسة الحاسوب: منهج كمي، الطبعة الرابعة . مورغان كوفمان. ص 362. ISBN  978-0123704900.
  20. "دليل FreeBSD، الفصل 20.5 GEOM: إطار عمل تحويل الأقراص المعياري" . تم الاطلاع عليه بتاريخ 20-12-2012 .
  21. وايت، جاي؛ لوث، كريس (مايو 2010). "RAID-DP: تطبيق NetApp لتقنية RAID ذات التكافؤ المزدوج لحماية البيانات. تقرير NetApp الفني TR-3298" . تم الاطلاع عليه بتاريخ 2013-03-02 .
  22. 1 2 3 نيومان، هنري (17-09-2009). "أيام RAID قد تكون معدودة" . منتدى تخزين المؤسسات . تم الاسترجاع في 07-09-2010 .
  23. "لماذا توقف نظام RAID 6 عن العمل في عام 2019؟" . ZDNet . 22 فبراير 2010. مؤرشف من الأصل في 15 أغسطس 2010. 
  24. 1 2 لوي، سكوت (16 نوفمبر 2009). "كيفية حماية نفسك من أخطاء القراءة غير القابلة للاسترداد المتعلقة بتقنية RAID". Techrepublic" . تم الاسترجاع في 1 ديسمبر 2012 .
  25. فيجايان، س.؛ سيلفاماني، س.؛ فيجايان، س. (1995). "مصفوفة الأقراص ذات التقاطع المزدوج: بنية RAID هجينة عالية الموثوقية" . وقائع المؤتمر الدولي للمعالجة المتوازية لعام 1995: المجلد 1. مطبعة CRC . الصفحات من 1 إلى 146 وما بعدها . ISBN  978-0-8493-2615-8 عبر كتب جوجل .
  26. "لماذا يُعدّ RAID 1+0 أفضل من RAID 0+1؟" . aput.net . تاريخ الاسترجاع : 23-05-2016
  27. "شرح الفرق بين RAID 10 و RAID 01 (RAID 1+0 مقابل RAID 0+1) مع رسم توضيحي" . www.thegeekstuff.com . تاريخ الاطلاع: 23 مايو 2016 .
  28. "مقارنة بين RAID 10 وRAID 01 | مجلة SMB IT" . www.smbitjournal.com . 30 يوليو 2014. تاريخ الاطلاع: 23 مايو 2016 .
  29. 1 2 جيفري ب. لايتون: "مقدمة إلى RAID المتداخل: RAID-01 وRAID-10" ، مجلة لينكس، 6 يناير 2011
  30. "الأداء والأدوات والأسئلة العامة الساذجة" . tldp.org . تم الاطلاع عليه بتاريخ 25-12-2013 .
  31. "الصفحة الرئيسية - Linux-raid" . osdl.org. 2010-08-20. مؤرشف من الأصل بتاريخ 2008-07-05 . تم الاطلاع عليه بتاريخ 2010-08-24 .
  32. "Hdfs Raid" . Hadoopblog.blogspot.com. 2009-08-28 . تم الاطلاع عليه بتاريخ 2010-08-24 .
  33. 1 2 "3.8: "قراصنة الغارة المفقودة"أغاني إصدار OpenBSD . OpenBSD . 2005-11-01 . تم الاطلاع عليه بتاريخ 2019-03-23 .
  34. لونغ، سكوت؛ شركة أدابتك (2000). "aac(4) — برنامج تشغيل وحدة تحكم AdvancedRAID من أدابتك" . مرجع BSD المتقاطع . FreeBSD .، "aac -- برنامج تشغيل وحدة تحكم Adaptec AdvancedRAID". صفحات دليل FreeBSD . FreeBSD.
  35. رادت، ثيو دي (9 سبتمبر 2005). "دعم إدارة RAID قادم في OpenBSD 3.8" . misc@ (قائمة بريدية). OpenBSD .
  36. مورينين، قسطنطين أ. (21-05-2010). "1.1. الدافع؛ 4. برامج تشغيل المستشعرات؛ 7.1. نظام NetBSD envsys / sysmon". مستشعرات أجهزة OpenBSD - مراقبة البيئة والتحكم في المراوح ( رسالة ماجستير في الرياضيات ). جامعة واترلو : UWSpace. hdl : 10012/5234 . معرف المستند: ab71498b6b1a60ff817b29d56997a418.
  37. "RAID عبر نظام الملفات" . مؤرشف من الأصل بتاريخ 2013-11-09 . تم الاطلاع عليه بتاريخ 2014-07-22 .
  38. "أداء نظام ZFS Raidz وسعته وسلامته" . calomel.org . تم الاطلاع عليه بتاريخ 26 يونيو 2017 .
  39. "ZFS -illumos" . illumos.org . 15-09-2014. مؤرشف من الأصل في 15-03-2019 . تم الاطلاع عليه في 23-05-2016 .
  40. "إنشاء وتدمير مجموعات تخزين ZFS - دليل إدارة Oracle Solaris ZFS" . شركة أوراكل . 1 أبريل 2012. تاريخ الاسترجاع: 27 يوليو 2014 .
  41. "20.2. نظام الملفات Z (ZFS)" . freebsd.org . مؤرشف من الأصل بتاريخ 2014-07-03 . تم الاطلاع عليه بتاريخ 2014-07-27 .
  42. "دليل إدارة نظام الملفات ZFS في سولاريس (RAID-Z) ذو التكافؤ المزدوج (raidz2)" . شركة أوراكل . تم الاطلاع عليه بتاريخ 27 يوليو 2014 .
  43. "دليل إدارة نظام الملفات ZFS على نظام Solaris (RAIDZ) ذو التكافؤ الثلاثي (raidz3)" . شركة أوراكل . تم الاطلاع عليه بتاريخ 27 يوليو 2014 .
  44. دينادهايالان، فيرا (2011). "نظام الملفات المتوازي العام (GPFS) RAID الأصلي" (ملف PDF) . UseNix.org . IBM . تاريخ الاسترجاع: 28-09-2014 .
  45. "ويكي Btrfs: قائمة الميزات" . 2012-11-07 . تم الاطلاع عليه بتاريخ 2012-11-16 .
  46. "ويكي Btrfs: سجل التغييرات" . 2012-10-01 . تم الاطلاع عليه بتاريخ 2012-11-14 .
  47. تراوتمان، فيليب؛ موستيك، جيم. "قابلية التوسع والأداء في أنظمة الملفات الحديثة" . linux-xfs.sgi.com . مؤرشف من الأصل بتاريخ 22 أبريل 2015. تم الاطلاع عليه بتاريخ 17 أغسطس 2015 .
  48. "إعداد نظام RAID في لينكس - XFS" . kernel.org . 2013-10-05 . تم الاطلاع عليه بتاريخ 2015-08-17 .
  49. شركة هيوليت باكارد إنتربرايز. "وثيقة دعم HPE - مركز دعم HPE" . support.hpe.com .
  50. "نظام التشغيل ماك أو إس إكس: كيفية دمج مجموعات RAID في أداة القرص" . تم الاطلاع عليه بتاريخ 4 يناير 2010 .
  51. "أنظمة ملفات خادم نظام التشغيل ماك أو إس إكس من أبل" . تم الاطلاع عليه بتاريخ 23-04-2008 .
  52. "صفحة دليل مدير نظام FreeBSD لـ GEOM(8)" . تم الاطلاع عليها بتاريخ 19-03-2009 .
  53. "قائمة بريدية freebsd-geom – فئة جديدة / geom_raid5" . 6 يوليو 2006. تم الاطلاع عليه بتاريخ 19 مارس 2009 .
  54. "دليل واجهات نواة FreeBSD لـ CCD(4)" . تم الاطلاع عليه بتاريخ 19-03-2009 .
  55. "دليل استخدام برنامج RAID" . تم الاطلاع عليه بتاريخ 10-11-2008 .
  56. "mdadm(8) – صفحة دليل لينكس" . Linux.Die.net . تم الاطلاع عليه بتاريخ 20-11-2014 .
  57. "دعم نظام التشغيل ويندوز فيستا لمحركات الأقراص الصلبة ذات القطاعات الكبيرة" . مايكروسوفت . 29 مايو 2007. مؤرشف من الأصل في 3 يوليو 2007. تم الاطلاع عليه في 8 أكتوبر 2007 .
  58. «لا يمكنك تحديد أو تهيئة قسم من القرص الصلب عند محاولة تثبيت Windows Vista أو Windows 7 أو Windows Server 2008 R2» . مايكروسوفت . ١٤ سبتمبر ٢٠١١. مؤرشف من الأصل في ٣ مارس ٢٠١١. تم الاطلاع عليه في ١٧ ديسمبر ٢٠٠٩ .
  59. "استخدام نظام التشغيل ويندوز إكس بي لتفعيل نظام RAID 5" . موقع Tom's Hardware . ١٩ نوفمبر ٢٠٠٤. تاريخ الاطلاع: ٢٤ أغسطس ٢٠١٠ . 
  60. سينوفسكي، ستيفن (5 يناير 2012). "تحويل التخزين إلى نظام افتراضي لتحقيق قابلية التوسع والمرونة والكفاءة" . مدونة بناء ويندوز 8. مؤرشف من الأصل في 9 مايو 2013. تم الاطلاع عليه في 6 يناير 2012 .
  61. ميتزجر، بيري (12 مايو 1999). "إعلان إصدار NetBSD 1.4" . NetBSD.org . مؤسسة NetBSD . تم الاطلاع عليه بتاريخ 30 يناير 2013 .
  62. "صفحة دليل برنامج Softraid في OpenBSD" . OpenBSD.org . تم الاطلاع عليه بتاريخ 3 فبراير 2018 .
  63. "دليل FreeBSD" . الفصل 19: GEOM: إطار عمل تحويل الأقراص المعياري . تم الاطلاع عليه بتاريخ 19-03-2009 .
  64. "أسئلة وأجوبة حول SATA RAID" . Ata.wiki.kernel.org. 2011-04-08 . تم الاطلاع عليه بتاريخ 2012-08-26 .
  65. "Red Hat Enterprise Linux – دليل مسؤول التخزين – أنواع RAID" . redhat.com .
  66. راسل، تشارلي؛ كروفورد، شارون؛ إدني، أندرو (2011). العمل مع Windows Small Business Server 2011 Essentials . دار نشر أورايلي ميديا، ص 90. ISBN  978-0-7356-5670-3 عبر كتب جوجل .
  67. بلوك، وارن. "19.5. أجهزة RAID البرمجية" . freebsd.org . تم الاطلاع عليه بتاريخ 27-07-2014 .
  68. كروتز، رونالد ل.؛ كونلي، جيمس (2007). أساسيات أمن الشبكات من وايلي باثويز . جون وايلي وأولاده . ص 422. ISBN  978-0-470-10192-6 عبر كتب جوجل .
  69. 1 2 3 "تقنية RAID المادية مقابل تقنية RAID البرمجية: أي تطبيق هو الأفضل لتطبيقي؟ ورقة بيضاء من Adaptec" (ملف PDF) . adaptec.com .
  70. سميث، غريغوري (2010). PostgreSQL 9.0: الأداء العالي . Packt Publishing Ltd. ص 31. ISBN  978-1-84951-031-8 عبر كتب جوجل .
  71. أولف تروبنز، وولفغانغ مولر-فريدت، راينر إركنز، راينر وولافكا، نيلز هاوستين. شرح شبكات التخزين: أساسيات وتطبيقات شبكات التخزين الشبكية (SAN) وشبكات التخزين المتصلة بالشبكة (NAS) وبروتوكول ISCSI وبروتوكول InfiniBand وبروتوكول FCoE عبر قناة الألياف . جون وايلي وأولاده، 2009، ص 39
  72. حواسيب ديل، قراءة دورية الخلفية لوحدات تحكم Dell PowerEdge RAID، بقلم درو هاباس وجون سيبر، مُعاد طبعه من Dell Power Solutions، فبراير 2006 http://www.dell.com/downloads/global/power/ps1q06-20050212-Habas.pdf
  73. 1 2 3 "التحكم في استعادة الأخطاء باستخدام Smartmontools" . 2009. مؤرشف من الأصل في 28 سبتمبر 2011. تم الاطلاع عليه في 29 سبتمبر 2017 .
  74. غراي، جيم (أكتوبر 1990). "إحصاء لتوافر نظام تانديم بين عامي 1985 و1990" (ملف PDF) . معاملات IEEE في الموثوقية . 39 (4). IEEE: 409-418 . Bibcode : 1990ITR....39..409G . doi : 10.1109/24.58719 . S2CID 2955525. مؤرشف من الأصل (ملف PDF) بتاريخ 20 فبراير 2019. 
  75. مورفي، بريندان؛ جنت، تيد (1995). "قياس موثوقية النظام والبرمجيات باستخدام عملية جمع بيانات آلية". مجلة هندسة الجودة والموثوقية الدولية . 11 (5): 341-353 . doi : 10.1002/qre.4680110505 .
  76. باترسون، د.، هينيسي، ج. (2009)، 574.
  77. "مغامرة ترحيل RAID" . 10 يوليو 2007. تم الاسترجاع في 10 مارس 2010 .
  78. أعطال الأقراص في الواقع العملي: ماذا يعني لك متوسط ​​الوقت بين الأعطال (MTTF) البالغ مليون ساعة؟ بيانكا شرودر وغارث أ. جيبسون
  79. باريس، جيهان فرانسوا؛ لونغ، داريل دي إي (30 أكتوبر 2006). "استخدام تنوع الأجهزة لحماية البيانات من أعطال الأقراص المرتبطة بالدفعات". وقائع ورشة عمل ACM الثانية حول أمن التخزين وقابلية استمراريته . الصفحات 47-52 . doi : 10.1145/1179559.1179568 . ISBN  1-59593-552-5.
  80. هان، شوجي؛ لي، باتريك بي سي؛ شو، فان؛ ليو، يي؛ هي، تشنغ؛ ليو، جيونغتشو (2021). دراسة معمقة للأعطال المترابطة في مراكز البيانات الإنتاجية القائمة على محركات الأقراص الصلبة SSD . FAST '21. ص 417-429 . 
  81. روزنتال، ديفيد. "الإخفاقات المترابطة (ملخص ورقة شوجي هان وآخرون FAST '21)" .
  82. هل الأقراص هي المساهم الرئيسي في أعطال التخزين؟ دراسة شاملة لخصائص فشل النظام الفرعي للتخزين . المؤتمر السادس لـ USENIX حول تقنيات الملفات والتخزين (FAST '08).
  83. هاريس، روبن (27 فبراير 2010). "هل سيتوقف نظام RAID 6 عن العمل في عام 2019؟" . StorageMojo.com . TechnoQWAN . تاريخ الاسترجاع: 17 ديسمبر 2013 .
  84. جيه إل هافنر، في. دينادهايالان، كيه. راو، وجيه إيه توملين. "طرق المصفوفات لإعادة بناء البيانات المفقودة في رموز المحو. مؤتمر USENIX حول تقنيات الملفات والتخزين ، 13-16 ديسمبر 2005.
  85. ميلر، سكوت آلان (5 يناير 2016). "فهم أداء RAID على مستويات مختلفة" . منطقة الاستعادة . ستورج كرافت . تم الاسترجاع في 22 يوليو 2016 .
  86. كاجل، آرت س. (2 مارس 2011). "RAID 5 مقابل RAID 10 (أو حتى RAID 3، أو RAID 4)" . miracleas.com . مؤرشف من الأصل في 3 نوفمبر 2014. تم الاطلاع عليه في 30 أكتوبر 2014 .    
  87. بيكر، م.؛ شاه، م.؛ روزنتال، د.س.هـ.؛ روسوبولوس، م.؛ مانياتيس، ب.؛ جيولي، ت.؛ بونجالي، ب. (أبريل 2006). "نظرة جديدة على موثوقية التخزين الرقمي طويل الأجل". وقائع المؤتمر الأوروبي الأول لأنظمة الحاسوب ACM SIGOPS/EuroSys لعام 2006. الصفحات 221-234 . doi : 10.1145/1217935.1217957 . ISBN  1595933220. S2CID 7655425 . 
  88. بايرافاسوندارام، إل إن؛ جودسون، جي آر؛ باسوباثي، إس؛ شيندلر، جيه. (12-16 يونيو 2007). "تحليل أخطاء القطاعات الكامنة في محركات الأقراص" (ملف PDF) . وقائع المؤتمر الدولي لعام 2007 لجمعية ACM SIGMETRICS حول قياس ونمذجة أنظمة الحاسوب . الصفحات 289-300 . doi : 10.1145/1254882.1254917 . ISBN  9781595936394. S2CID 14164251 . 
  89. باترسون، د.، هينيسي، ج. (2009). تنظيم وتصميم الحاسوب . نيويورك: دار مورغان كوفمان للنشر. الصفحات 604-605.
  90. 1 2 3 ليفينثال، آدم (2009-12-01). "تقنية RAID ثلاثية التكافؤ وما بعدها. مجلة ACM Queue، رابطة آلات الحوسبة" . تم الاطلاع عليه بتاريخ 2012-11-30 .
  91. ""ثقب الكتابة" في RAID5 وRAID6 وRAID1 وغيرها من المصفوفات . فريق ZAR . تم الاطلاع عليه بتاريخ 15 فبراير 2012 .
  92. 1 2 دانتي، جيوناتان. "ثقب الكتابة: ما هي مستويات RAID المتأثرة؟" . خطأ الخادم .
  93. "إعلان: mdadm 3.4 - أداة لإدارة md Soft RAID تحت نظام Linux [ LWN.net ] " . lwn.net .
  94. براون، نيل (24 نوفمبر 2015). "مجلة لـ MD/RAID5 [ LWN.net ] " . lwn.net .
  95. "ذاكرة التخزين المؤقت RAID 4/5/6 — وثائق نواة لينكس" . docs.kernel.org .
  96. دليل مبرمج لينكس – ملفات خاصة من Manned.orgmd(4)  
  97. "سجل التكافؤ الجزئي" . وثائق نواة لينكس .
  98. بونويك، جيف (17 نوفمبر 2005). "RAID-Z" . مدونة جيف بونويك . مدونات أوراكل . مؤرشف من الأصل في 16 ديسمبر 2014. تم الاطلاع عليه في 1 فبراير 2015 .
  99. 1 2 أوفرستريت، كينت (18 ديسمبر 2021). "bcachefs: مبادئ التشغيل" (ملف PDF) . تم الاطلاع عليه في 10 مايو 2023 .
  100. غراي، جيم (11 يونيو 2008). "مفهوم المعاملة: مزاياه وقيوده (ورقة بحثية مدعوة)" . VLDB [قواعد البيانات الضخمة جدًا] 1981. ص 144-154 . مؤرشف من الأصل في 11 يونيو 2008. 
  101. "تعريف ذاكرة التخزين المؤقت للكتابة في قاموس SNIA" . snia.org .

للمزيد من القراءة

  • أوبرا، ألينا؛ جولز، آري (23 فبراير 2010). "نظرة شاملة على تنظيف القرص" (ملف PDF) . مؤتمر USENIX حول تقنيات الملفات والتخزين .
  • غراي، جيم؛ فان إنجن، كاثرين (ديسمبر 2005). "القياسات التجريبية لمعدلات فشل القرص ومعدلات الخطأ". arXiv : cs/0701166 .
  • أنفين، هـ. بيتر (20 ديسمبر 2011) [20 يناير 2004]. “رياضيات RAID-6” (PDF) . Kernel.org .
  • مورلي، جيمس؛ نورغارد، موغنس (6 يونيو 2003). "BAARF: معركة ضد أي غارة 3/4/5" . مؤرشف من الأصل بتاريخ 16 ديسمبر 2013.