أرشفة الويب

أرشفة الويب هي عملية جمع المواد من شبكة الويب العالمية وحفظها وتوفير الوصول إليها . والهدف هو ضمان الحفاظ على المعلومات بتنسيق أرشيفي للبحث والجمهور. ^[1]

يستخدم مؤرشفو الويب عادةً برامج زحف ويب آلية لالتقاط كمية هائلة من المعلومات على الويب. ومن بين خدمات أرشيف الويب المعروفة على نطاق واسع خدمة Wayback Machine ، التي تديرها Internet Archive .

إن الجزء المتزايد من الثقافة الإنسانية التي تم إنشاؤها وتسجيلها على الويب يجعل من المحتم أن يواجه المزيد والمزيد من المكتبات والأرشيفات تحديات أرشفة الويب. ^[2] كما تشارك المكتبات الوطنية والأرشيفات الوطنية ومختلف اتحادات المنظمات في أرشفة محتوى الويب لمنع فقده.

تتوفر أيضًا برامج وخدمات أرشفة الويب التجارية للمؤسسات التي تحتاج إلى أرشفة محتوى الويب الخاص بها لأغراض تراث الشركة أو التنظيمية أو القانونية.

في حين كان تنظيم الويب وإدارته منتشرًا منذ منتصف إلى أواخر التسعينيات، كان أحد أول مشاريع أرشفة الويب واسعة النطاق هو أرشيف الإنترنت ، وهي منظمة غير ربحية أنشأها بريوستر كاهل في عام 1996. ^[3] أصدر أرشيف الإنترنت محرك البحث الخاص به لعرض محتوى الويب المؤرشف، Wayback Machine ، في عام 2001. ^[3] اعتبارًا من عام 2018، كان أرشيف الإنترنت موطنًا لـ 40 بيتابايت من البيانات. ^[4] طور أرشيف الإنترنت أيضًا العديد من أدواته الخاصة لجمع وتخزين بياناته، بما في ذلك PetaBox لتخزين كميات كبيرة من البيانات بكفاءة وأمان، و Heritrix ، وهو برنامج زحف ويب تم تطويره بالاشتراك مع المكتبات الوطنية في دول الشمال الأوروبي. ^[3] تضمنت المشاريع الأخرى التي تم إطلاقها في نفس الوقت تقريبًا مشروع أرشفة الويب من قبل المكتبة الوطنية الكندية ، وباندورا الأسترالية ، وأرشيفات الويب التسمانية وKulturarw3 السويدية. ^{[5] [6]}

من عام 2001 إلى عام 2010، ^{[ فشل التحقق ]} قدمت ورشة عمل أرشفة الويب الدولية (IWAW) منصة لمشاركة الخبرات وتبادل الأفكار. ^{[7] [8]} عمل اتحاد الحفاظ على الإنترنت الدولي (IIPC)، الذي تأسس في عام 2003، على تسهيل التعاون الدولي في تطوير المعايير وأدوات المصدر المفتوح لإنشاء أرشيفات الويب. ^[9]

تأسست مؤسسة ذاكرة الإنترنت التي لم تعد موجودة الآن في عام 2004، وأنشأتها المفوضية الأوروبية بهدف أرشفة الويب في أوروبا. ^[3] طور هذا المشروع وأطلق العديد من أدوات المصدر المفتوح، مثل "التقاط الوسائط الغنية، وتحليل التماسك الزمني، وتقييم البريد العشوائي، واكتشاف تطور المصطلحات". ^[3] يتم الآن تخزين البيانات من المؤسسة بواسطة أرشيف الإنترنت، ولكنها غير متاحة للجمهور حاليًا. ^[10]

وعلى الرغم من عدم وجود مسؤولية مركزية عن الحفاظ على المحتوى على شبكة الإنترنت، إلا أنه أصبح سريعًا السجل الرسمي. على سبيل المثال، في عام 2017، أكدت وزارة العدل الأمريكية أن الحكومة تعامل تغريدات الرئيس باعتبارها تصريحات رسمية. ^[11]

يقوم مؤرخو الويب عمومًا بأرشفة أنواع مختلفة من محتوى الويب بما في ذلك صفحات الويب HTML وأوراق الأنماط وجافا سكريبت والصور والفيديو . كما يقومون بأرشفة البيانات الوصفية حول الموارد المجمعة مثل وقت الوصول ونوع MIME وطول المحتوى. هذه البيانات الوصفية مفيدة في تحديد مصداقية ومصدر المجموعة المؤرشفة.

الأرشفة التفاعلية هي نهج قائم على الأحداث، يجمع المعاملات الفعلية التي تتم بين خادم الويب ومتصفح الويب . يتم استخدامها في المقام الأول كوسيلة للحفاظ على دليل المحتوى الذي تم عرضه بالفعل على موقع ويب معين ، في تاريخ معين. قد يكون هذا مهمًا بشكل خاص للمؤسسات التي تحتاج إلى الامتثال للمتطلبات القانونية أو التنظيمية للإفصاح عن المعلومات والاحتفاظ بها. ^[12]

يعمل نظام الأرشفة المعاملاتي عادةً عن طريق اعتراض كل طلب HTTP إلى خادم الويب، وكل استجابة منه، وتصفية كل استجابة لإزالة المحتوى المكرر، وتخزين الاستجابات بشكل دائم على هيئة تدفقات بتات.

تتأثر أرشيفات الويب التي تعتمد على الزحف على الويب كوسيلة أساسية لجمع الويب بصعوبات الزحف على الويب:

• قد يطلب بروتوكول استبعاد الروبوتات من برامج الزحف عدم الوصول إلى أجزاء من موقع ويب. قد يتجاهل بعض أمناء أرشيف الويب هذا الطلب ويقومون بزحف تلك الأجزاء على أي حال.
• قد تكون أجزاء كبيرة من موقع الويب مخفية في شبكة الويب العميقة . على سبيل المثال، قد تكون صفحة النتائج خلف نموذج ويب موجودة في شبكة الويب العميقة إذا لم تتمكن برامج الزحف من تتبع رابط إلى صفحة النتائج.
• قد تتسبب مصائد الزاحف (على سبيل المثال، التقويمات) في قيام الزاحف بتنزيل عدد لا نهائي من الصفحات، لذا يتم تكوين الزاحف عادةً للحد من عدد الصفحات الديناميكية التي يقوم بزحفها.
• لا تقوم أغلب أدوات الأرشفة بالتقاط الصفحة كما هي. ومن الملاحظ أن لافتات الإعلانات والصور غالبًا ما يتم تجاهلها أثناء الأرشفة.

ومع ذلك، من المهم ملاحظة أن أرشيف الويب بتنسيق أصلي، أي أرشيف ويب قابل للتصفح بالكامل، مع روابط عاملة ووسائط وما إلى ذلك، لا يمكن إنشاؤه إلا باستخدام تقنية الزاحف.

إن شبكة الويب ضخمة للغاية لدرجة أن فحص جزء كبير منها يتطلب عددًا كبيرًا من الموارد الفنية. كما أن شبكة الويب تتغير بسرعة كبيرة لدرجة أن أجزاء من موقع الويب قد تتعرض لتعديلات قبل أن ينتهي برنامج الزحف من فحصها.

يتم تكوين بعض خوادم الويب لإرجاع صفحات مختلفة إلى طلبات أرشيف الويب مقارنة بالاستجابة لطلبات المتصفح العادية. يتم ذلك عادةً لخداع محركات البحث لتوجيه المزيد من حركة مرور المستخدم إلى موقع ويب ويتم ذلك غالبًا لتجنب المساءلة أو لتوفير محتوى محسّن فقط للمتصفحات التي يمكنها عرضه.

لا يتعين على أمناء أرشيف الويب التعامل مع التحديات الفنية لأرشفة الويب فحسب، بل يتعين عليهم أيضًا التعامل مع قوانين الملكية الفكرية. يذكر بيتر ليمان ^[13] أنه "على الرغم من أن الويب يُنظر إليه عمومًا على أنه مورد من المجال العام ، إلا أنه محمي بموجب حقوق الطبع والنشر؛ وبالتالي، لا يتمتع أمناء الأرشيف بالحق القانوني في نسخ الويب". ومع ذلك، تتمتع المكتبات الوطنية في بعض البلدان ^[14] بالحق القانوني في نسخ أجزاء من الويب بموجب تمديد الإيداع القانوني .

تسمح بعض أرشيفات الويب الخاصة غير الربحية التي يتم إتاحتها للعامة مثل WebCite أو Internet Archive أو Internet Memory Foundation لأصحاب المحتوى بإخفاء أو إزالة المحتوى المؤرشف الذي لا يريدون للجمهور الوصول إليه. لا يمكن الوصول إلى أرشيفات الويب الأخرى إلا من مواقع معينة أو يتم تنظيم استخدامها. يستشهد WebCite بدعوى قضائية حديثة ضد التخزين المؤقت لشركة Google، والتي فازت بها Google . ^[15]

في عام 2017، أصدرت هيئة تنظيم الصناعة المالية (FINRA)، وهي منظمة تنظيمية مالية في الولايات المتحدة، إشعارًا ينص على أن جميع الشركات التي تقوم بالاتصالات الرقمية ملزمة بالاحتفاظ بسجل. ويشمل ذلك بيانات الموقع الإلكتروني ومنشورات وسائل التواصل الاجتماعي والرسائل. ^[16] قد تمنع بعض قوانين حقوق النشر أرشفة الويب. على سبيل المثال، تقع الأرشفة الأكاديمية بواسطة Sci-Hub خارج حدود قانون حقوق النشر المعاصر. يوفر الموقع وصولاً دائمًا إلى الأعمال الأكاديمية بما في ذلك تلك التي لا تحتوي على ترخيص مفتوح الوصول وبالتالي يساهم في أرشفة الأبحاث العلمية التي قد تضيع بخلاف ذلك. ^{[17] [18]}

• اتحاد الحفاظ على الإنترنت الدولي (IIPC) - اتحاد دولي مهمته الحصول على المعرفة والمعلومات من الإنترنت وحفظها وإتاحتها للأجيال القادمة
• المكتبة الوطنية الأسترالية، الحفاظ على الوصول إلى المعلومات الرقمية (PADI)
• مكتبة الكونجرس - أرشفة الويب