استخراج البيانات من مواقع الويب

أبسط أشكال استخراج البيانات من مواقع الويب هو النسخ اليدوي للبيانات ولصقها من صفحة ويب إلى ملف نصي أو جدول بيانات. لا تتطلب هذه الطريقة أي أدوات تقنية، ويمكن استخدامها عندما تكون قيود الموقع الإلكتروني تحظر الاستخراج الآلي للبيانات، أو عندما يكون التدخل البشري ضروريًا لتفسير المحتوى المعقد. مع ذلك، يُعدّ الاستخراج اليدوي للبيانات غير فعال للغاية مع مجموعات البيانات الكبيرة، فهو يستغرق وقتًا طويلاً، وعرضة للخطأ البشري، ومُرهِق ذهنيًا. لهذا السبب، يُعتبر عمومًا غير عملي مقارنةً بالأساليب الآلية، إلا في الحالات التي لا يكون فيها التشغيل الآلي ممكنًا.

تتمثل إحدى الطرق البسيطة لاستخراج المعلومات من صفحات الويب في استخدام أمر grep الخاص بنظام UNIX أو إمكانيات مطابقة التعبيرات النمطية للغات البرمجة (على سبيل المثال Perl أو Python )، وذلك للعثور على نص يطابق نمطًا محددًا.

يمكن استرداد صفحات الويب الثابتة والديناميكية عن طريق إرسال طلبات HTTP إلى خادم الويب البعيد باستخدام برمجة المقابس .

تحتوي العديد من المواقع الإلكترونية على مجموعات كبيرة من الصفحات المُنشأة ديناميكيًا من مصدر بيانات مُهيكل، كقاعدة بيانات مثلاً. عادةً ما تُشفّر البيانات من نفس الفئة في صفحات متشابهة باستخدام نص برمجي أو قالب مشترك. في مجال استخراج البيانات، يُطلق على البرنامج الذي يكتشف هذه القوالب في مصدر معلومات معين، ويستخرج محتواه، ويُحوله إلى صيغة علائقية، اسم " المُغلِّف" . تفترض خوارزميات إنشاء المُغلِّفات أن صفحات الإدخال لنظام استقراء المُغلِّف تتوافق مع قالب مشترك، وأنه يُمكن تحديدها بسهولة من خلال مخطط عناوين URL مشترك. ^{[ 8 ]} علاوة على ذلك، يُمكن استخدام بعض لغات استعلام البيانات شبه المهيكلة ، مثل XQuery وHTQL، لتحليل صفحات HTML واسترجاع محتوى الصفحة وتحويله.

باستخدام برامج مثل Selenium أو Playwright ، يستطيع المطورون التحكم في متصفحات الويب مثل Chrome أو Firefox لتحميل البيانات من مواقع الويب والتنقل بينها واسترجاعها. تُعدّ هذه الطريقة مفيدةً للغاية لاستخراج البيانات من المواقع الديناميكية، حيث يقوم متصفح الويب بتحميل كل صفحة بالكامل. بمجرد تحميل الصفحة، يمكن للمطورين الوصول إلى نموذج كائن المستند (DOM) وتحليله باستخدام لغة تعبير مثل XPath .

طورت العديد من الشركات منصات متخصصة لجمع البيانات في قطاعات محددة. تقوم هذه المنصات بإنشاء ومراقبة عدد كبير من "البرامج الآلية" لقطاعات معينة دون تدخل بشري مباشر، ودون أي عمل مرتبط بموقع مستهدف محدد. تتضمن عملية الإعداد إنشاء قاعدة معرفية شاملة للقطاع، ثم تقوم المنصة بإنشاء البرامج الآلية تلقائيًا. تُقاس كفاءة المنصة بجودة المعلومات التي تسترجعها (عادةً عدد الحقول) وقابليتها للتوسع (سرعة استيعابها لمئات أو آلاف المواقع). تُستخدم هذه القابلية للتوسع بشكل أساسي لاستهداف المواقع المتخصصة التي يصعب على منصات تجميع البيانات الشائعة جمع محتواها أو تتطلب جهدًا كبيرًا.

قد تتضمن الصفحات التي يتم استخراج البيانات منها بيانات وصفية أو علامات دلالية وشروحًا، والتي يمكن استخدامها لتحديد أجزاء بيانات معينة. إذا كانت الشروح مضمنة في الصفحات، كما هو الحال في Microformat ، فيمكن اعتبار هذه التقنية حالة خاصة من تحليل DOM. في حالة أخرى، تُخزَّن الشروح، المنظمة في طبقة دلالية، ^{[ 9 ]} وتُدار بشكل منفصل عن صفحات الويب، بحيث يمكن لبرامج استخراج البيانات استرداد مخطط البيانات والتعليمات من هذه الطبقة قبل استخراج البيانات من الصفحات.

هناك جهود تستخدم التعلم الآلي ورؤية الحاسوب لمحاولة تحديد واستخراج المعلومات من صفحات الويب من خلال تفسير الصفحات بصريًا كما يفعل الإنسان. ^{[ 10 ]}

في الولايات المتحدة، يمكن لأصحاب المواقع الإلكترونية اللجوء إلى ثلاثة دعاوى قانونية رئيسية لمنع استخراج البيانات غير المرغوب فيه من مواقعهم: (1) انتهاك حقوق النشر (التجميع)، (2) انتهاك قانون الاحتيال وإساءة استخدام الحاسوب (CFAA)، و(3) التعدي على الممتلكات المنقولة . ^{[ 12 ]} ومع ذلك، فإن فعالية هذه الدعاوى تعتمد على استيفاء معايير مختلفة، ولا يزال القانون القضائي في هذا الشأن قيد التطور. فعلى سبيل المثال، فيما يتعلق بحقوق النشر، في حين أن النسخ الصريح للتعبير الأصلي يُعد غير قانوني في كثير من الحالات، فقد قضت المحاكم الأمريكية في قضية Feist Publications ضد Rural Telephone Service بأن نسخ الحقائق جائز.

أقرت المحاكم الأمريكية بإمكانية تحميل مستخدمي برامج استخراج البيانات أو الروبوتات مسؤولية التعدي على الممتلكات المنقولة ، ^{[ 13 ] [ 14 ]} حيث يُعتبر نظام الحاسوب نفسه ملكية شخصية يتعدى عليها مستخدم برنامج استخراج البيانات. وأشهر هذه القضايا، قضية eBay ضد Bidder's Edge ، التي أسفرت عن أمر قضائي يُلزم Bidder's Edge بالتوقف عن الوصول إلى مزادات موقع eBay الإلكتروني وجمعها وفهرستها. وتضمنت هذه القضية تقديم عروض أسعار تلقائية، تُعرف باسم " اقتناص المزادات" . ومع ذلك، لكي ينجح المدعي في دعوى التعدي على الممتلكات المنقولة ، يجب عليه إثبات أن المدعى عليه قد تدخل عمدًا وبدون ترخيص في حق المدعي في حيازة نظام الحاسوب، وأن استخدام المدعى عليه غير المصرح به قد ألحق ضررًا بالمدعي. ولم تُعتبر جميع قضايا استخراج البيانات من مواقع الويب التي عُرضت على المحاكم تعديًا على الممتلكات المنقولة. ^{[ 15 ]}

كانت إحدى أولى التجارب الرئيسية لتقنية استخراج البيانات من الشاشة هي تلك التي أجرتها الخطوط الجوية الأمريكية (AA) وشركة تُدعى FareChase. ^{[ 16 ]} نجحت الخطوط الجوية الأمريكية في الحصول على أمر قضائي من محكمة ابتدائية في تكساس، يمنع FareChase من بيع برنامج يمكّن المستخدمين من مقارنة أسعار تذاكر الطيران عبر الإنترنت إذا كان البرنامج يبحث أيضًا في موقع الخطوط الجوية الأمريكية. زعمت الخطوط الجوية أن برنامج البحث على الإنترنت الخاص بـ FareChase قد انتهك خوادمها عند جمعه للبيانات المتاحة للجمهور. قدمت FareChase استئنافًا في مارس 2003. وبحلول يونيو، اتفقت FareChase والخطوط الجوية الأمريكية على تسوية وتم إسقاط الاستئناف. ^{[ 17 ]}

طعنت شركة طيران ساوث ويست في ممارسات استخراج البيانات من الشاشة، ورفعت دعوى قضائية ضد كل من شركة FareChase وشركة Outtask. اتهمت ساوث ويست شركة الطيران بأن استخراج البيانات من الشاشة غير قانوني لأنه يُعد مثالاً على "الاحتيال وإساءة استخدام الحاسوب"، وقد أدى إلى "ضرر وخسارة" و"وصول غير مصرح به" إلى موقعها الإلكتروني. كما أنه يشكل "تدخلاً في العلاقات التجارية" و"تعدياً" و"وصولاً ضاراً عبر الحاسوب". وادعت أيضاً أن استخراج البيانات من الشاشة يُعد ما يُعرف قانونياً بـ"الاختلاس والإثراء غير المشروع"، فضلاً عن كونه انتهاكاً لاتفاقية استخدام الموقع الإلكتروني. نفت شركة Outtask جميع هذه الادعاءات، مؤكدةً أن القانون الساري في هذه الحالة هو قانون حقوق النشر الأمريكي ، وأنه بموجب هذا القانون، فإن المعلومات التي يتم استخراجها لا تخضع لحماية حقوق النشر. على الرغم من أن القضايا لم تُحسم في المحكمة العليا للولايات المتحدة ، إلا أن شركة ياهو الأم أغلقت شركة FareChase في نهاية المطاف. واستحوذت شركة Concur، المتخصصة في إدارة نفقات السفر، على شركة Outtask. ^{[ 18 ]} في عام 2012، قامت شركة ناشئة تُدعى 3Taps بجمع إعلانات الإسكان المبوبة من موقع Craigslist. أرسل موقع Craigslist خطاب إنذار إلى 3Taps وحظر عناوين بروتوكول الإنترنت الخاصة بها، ثم رفع دعوى قضائية ضدها في قضية Craigslist ضد 3Taps . قضت المحكمة بأن خطاب الإنذار وحظر عناوين بروتوكول الإنترنت كانا كافيين لكي يدّعي موقع Craigslist بشكل صحيح أن 3Taps قد انتهكت قانون الاحتيال وإساءة استخدام الحاسوب (CFAA).

على الرغم من أن هذه قرارات مبكرة بشأن استخراج البيانات، وأن نظريات المسؤولية ليست موحدة، إلا أنه من الصعب تجاهل نمط ناشئ مفاده أن المحاكم مستعدة لحماية المحتوى المحمي بحقوق الملكية الفكرية على المواقع التجارية من الاستخدامات غير المرغوب فيها لأصحاب هذه المواقع. ومع ذلك، فإن درجة حماية هذا المحتوى غير محددة، وستعتمد على نوع الوصول الذي يقوم به برنامج استخراج البيانات، وكمية المعلومات التي يتم الوصول إليها ونسخها، ومدى تأثير هذا الوصول سلبًا على نظام مالك الموقع، وأنواع وأساليب الحظر المفروضة على هذا السلوك. ^{[ 19 ]}

مع ازدياد وضوح القانون في هذا المجال، ينبغي على الجهات التي تفكر في استخدام برامج استخراج البيانات للوصول إلى موقع ويب عام أن تتأكد من قانونية هذا الإجراء، وذلك بمراجعة شروط الاستخدام وغيرها من الشروط أو الإشعارات المنشورة على الموقع أو المتاحة من خلاله. في قضية Cvent Inc. ضد Eventbrite Inc. (2010)، قضت محكمة الولايات المتحدة للمنطقة الشرقية من ولاية فرجينيا بضرورة إطلاع المستخدمين على شروط الاستخدام لكي يكون عقد أو ترخيص التصفح نافذًا. ^{[ 20 ]} وفي قضية أخرى رُفعت عام 2014 أمام محكمة الولايات المتحدة للمنطقة الشرقية من ولاية بنسلفانيا ، ^{[ 21 ]} اعترض موقع التجارة الإلكترونية QVC على قيام منصة Resultly، وهي منصة تجميع تسوق شبيهة بـ Pinterest، باستخراج بيانات الأسعار من موقع QVC في الوقت الفعلي. تزعم شركة QVC أن برنامج Resultly قام بـ"زحف مفرط" لموقعها الإلكتروني (حيث يُزعم أنه كان يرسل ما بين 200 و300 طلب بحث إلى موقع QVC في الدقيقة، وأحيانًا يصل العدد إلى 36000 طلب في الدقيقة)، مما تسبب في تعطل موقع QVC لمدة يومين، وأدى إلى خسائر في المبيعات. ^{[ 22 ]} وتزعم شكوى QVC أن المدعى عليه أخفى عنوان IP الخاص ببرنامج الزحف الخاص به، مما حال دون تمكن QVC من إصلاح المشكلة بسرعة. وتُعد هذه القضية مثيرة للاهتمام بشكل خاص في مجال استخراج البيانات، لأن QVC تسعى للحصول على تعويضات عن تعطل موقعها الإلكتروني، والذي تدعي QVC أن برنامج Resultly هو السبب فيه.

خلال فترة هذه المحاكمة، كان رابط شروط الاستخدام في موقع المدعي الإلكتروني يظهر ضمن جميع روابط الموقع، أسفل الصفحة كما هو الحال في معظم مواقع الإنترنت. ويتعارض هذا الحكم مع الحكم الأيرلندي المذكور أدناه. كما رفضت المحكمة حجة المدعي بأن قيود التصفح قابلة للتنفيذ في ضوء تبني ولاية فرجينيا لقانون المعاملات الموحدة لمعلومات الحاسوب (UCITA)، وهو قانون موحد اعتقد كثيرون أنه يدعم ممارسات التعاقد الشائعة المتعلقة بالتصفح. ^{[ 23 ]}

في قضية فيسبوك ضد باور فنتشرز، قضت محكمة ابتدائية عام 2012 بأن باور فنتشرز لا يحق لها جمع بيانات صفحات فيسبوك نيابةً عن مستخدمي فيسبوك. ولا تزال القضية قيد الاستئناف، وقد قدمت مؤسسة الحدود الإلكترونية مذكرةً عام 2015 تطالب فيها بإلغاء الحكم. ^{[ 24 ] [ 25 ]} وفي قضية أسوشيتد برس ضد ميلتووتر يو إس هولدينغز، حمّلت محكمة أمريكية ميلتووتر مسؤولية جمع وإعادة نشر معلومات إخبارية من أسوشيتد برس، إلا أن محكمة بريطانية أيدت ميلتووتر.

أصدرت محكمة الاستئناف للدائرة التاسعة في عام 2019 حكمًا يقضي بأنّ استخراج البيانات من مواقع الويب لا يُعدّ انتهاكًا لقانون الاحتيال وإساءة استخدام الحاسوب (CFAA) في قضية hiQ Labs ضد LinkedIn . وقد رُفعت القضية إلى المحكمة العليا للولايات المتحدة ، التي أعادت القضية إلى محكمة الاستئناف للدائرة التاسعة لإعادة النظر فيها في ضوء قرار المحكمة العليا الصادر عام 2021 في قضية Van Buren ضد الولايات المتحدة، والذي ضيّق نطاق تطبيق قانون الاحتيال وإساءة استخدام الحاسوب. ^{[ 26 ]} وفي هذه المراجعة، أيّدت محكمة الاستئناف للدائرة التاسعة قرارها السابق. ^{[ 27 ]}

يقوم أرشيف الإنترنت بجمع وتوزيع عدد كبير من صفحات الويب المتاحة للجمهور دون أن يُعتبر ذلك انتهاكًا لقوانين حقوق النشر.

في فبراير 2006، قضت المحكمة البحرية والتجارية الدنماركية (كوبنهاغن) بأن الزحف المنهجي والفهرسة والربط العميق من قبل موقع البوابة الإلكترونية ofir.dk لموقع العقارات Home.dk لا يتعارض مع القانون الدنماركي أو توجيهات قواعد البيانات للاتحاد الأوروبي. ^{[ 28 ]}

يدعم استخراج البيانات الأخلاقي التوريد من مصادر خارجية في مجال الأعمال، ولكنه يجب أن يلتزم باللائحة العامة لحماية البيانات (GDPR) لتجنب انتهاكات الخصوصية في جمع البيانات الآلي. ^{[ 29 ]}

في قضيةٍ عُقدت في فبراير 2010، تعقدت بسبب مسائل الاختصاص القضائي، أصدرت المحكمة العليا في أيرلندا حكمًا يُظهر حالة عدم اكتمال تطور السوابق القضائية. ففي قضية Ryanair Ltd ضد Billigfluege.de GmbH ، قضت المحكمة العليا في أيرلندا بأن اتفاقية " النقر للموافقة " الخاصة بشركة Ryanair ملزمة قانونًا. وخلافًا لما توصلت إليه محكمة المقاطعة الأمريكية للمنطقة الشرقية من ولاية فرجينيا، والمحكمة البحرية والتجارية الدنماركية، قضى القاضي مايكل حنا بأن الرابط التشعبي لشروط وأحكام Ryanair كان واضحًا للعيان، وأن إلزام المستخدم بالموافقة على الشروط والأحكام للوصول إلى الخدمات الإلكترونية يكفي لتكوين علاقة تعاقدية. ^{[ 30 ]} ويجري حاليًا استئناف هذا القرار أمام المحكمة العليا في أيرلندا. ^{[ 31 ]}

في 30 أبريل 2020، أصدرت الهيئة الوطنية الفرنسية لحماية البيانات (CNIL) توجيهات جديدة بشأن استخراج البيانات من مواقع الويب. ^{[ 32 ]} أوضحت توجيهات الهيئة أن البيانات المتاحة للجمهور تظل بيانات شخصية، ولا يجوز إعادة استخدامها لأغراض أخرى دون علم صاحبها. ^{[ 33 ]}

في أستراليا، يحظر قانون مكافحة البريد العشوائي لعام 2003 بعض أشكال جمع البيانات من الإنترنت، على الرغم من أن هذا ينطبق فقط على عناوين البريد الإلكتروني. ^{[ 34 ] [ 35 ]}

باستثناء بعض القضايا المتعلقة بانتهاك حقوق الملكية الفكرية، لم تُصدر المحاكم الهندية أحكامًا صريحة بشأن مشروعية استخراج البيانات من مواقع الويب. ومع ذلك، ونظرًا لأن جميع أشكال العقود الإلكترونية الشائعة قابلة للتنفيذ في الهند، فإن انتهاك شروط الاستخدام التي تحظر استخراج البيانات يُعدّ انتهاكًا لقانون العقود. كما يُعدّ انتهاكًا لقانون تكنولوجيا المعلومات لعام 2000 ، الذي يُعاقب على الوصول غير المصرح به إلى موارد الحاسوب أو استخراج البيانات منها.