استخراج البيانات من محركات البحث

📅 آخر تحديث: ٢٦ يوليو ٢٠٢٦
✍️ نُشر في: ٢٦ يوليو ٢٠٢٦
الموسوعة الحرة

يشير مصطلح " استخراج البيانات من محركات البحث" إلى الاستخراج الآلي لعناوين المواقع الإلكترونية والأوصاف وغيرها من البيانات من نتائج محركات البحث . وهو فرع متخصص من عمليات استخراج البيانات من الويب يركز حصريًا على محتوى محركات البحث.

يعتمد مقدمو خدمات تحسين محركات البحث (SEO) الأكبر حجماً في أغلب الأحيان على استخراج الكلمات الرئيسية بانتظام من محركات البحث لمراقبة الوضع التنافسي لمواقع عملائهم الإلكترونية بحثاً عن الكلمات الرئيسية ذات الصلة أو حالة فهرسة مواقعهم .

تُعرف عملية دخول موقع ويب واستخراج البيانات منه بطريقة آلية باسم " الزحف ". وتحصل محركات البحث على جميع بياناتها تقريبًا من برامج الزحف الآلية.

الصعوبات

يُعد جوجل أكبر محرك بحث على الإطلاق، إذ يمتلك أكبر عدد من المستخدمين وأكبر قدر من الإيرادات من الإعلانات الإبداعية، مما يجعله محرك البحث الأهم الذي يجب على الشركات العاملة في مجال تحسين محركات البحث (SEO) استخراج البيانات منه. [ 1 ]

على الرغم من أن جوجل لا تتخذ إجراءات قانونية ضد عمليات استخراج البيانات، إلا أنها تستخدم مجموعة من الأساليب الدفاعية التي تجعل استخراج نتائجها مهمة صعبة، حتى عندما تقوم أداة الاستخراج بانتحال متصفح ويب عادي بشكل واقعي :

  • تستخدم جوجل نظامًا معقدًا لتقييد معدل الطلبات، والذي يختلف باختلاف اللغة والبلد ونوع المتصفح، فضلًا عن الكلمات المفتاحية ومعايير البحث. قد يجعل هذا التقييد الوصول الآلي إلى محرك البحث غير متوقع، إذ لا يعرف المطور الخارجي أو المستخدم أنماط سلوكه.
  • تُعدّ قيود الشبكة وعناوين IP جزءًا من أنظمة الحماية من عمليات استخراج البيانات. لا يمكن خداع محركات البحث بسهولة بتغيير عنوان IP، بينما يُعدّ استخدام الخوادم الوكيلة عنصرًا بالغ الأهمية في نجاح عملية استخراج البيانات. كما أن تنوّع عنوان IP وتاريخ إساءة استخدامه لهما عاملان مهمان أيضًا.
  • يمكن بسهولة تخزين عناوين IP وشبكات IP المخالفة في قاعدة بيانات قائمة سوداء لاكتشاف المخالفين بسرعة أكبر. ولأن معظم مزودي خدمة الإنترنت يمنحون عناوين IP ديناميكية لعملائهم، فإن هذه الحظر التلقائي يكون مؤقتًا فقط، ولا يحجب المستخدمين الأبرياء.
  • يُعدّ الكشف القائم على السلوك من أصعب أنظمة الدفاع. إذ تُقدّم محركات البحث صفحاتها لملايين المستخدمين يوميًا، ما يُوفّر كمًّا هائلًا من معلومات السلوك. ولا يتصرّف برنامج الاستخراج أو الروبوت كالمستخدم الحقيقي، فإلى جانب أوقات الوصول غير المعتادة، والتأخيرات، وأوقات الجلسات، قد تكون الكلمات المفتاحية التي يتم جمعها مرتبطة ببعضها أو تتضمن معايير غير مألوفة. على سبيل المثال، تمتلك جوجل نظامًا متطورًا للغاية لتحليل السلوك، ربما يستخدم برمجيات التعلّم العميق للكشف عن أنماط الوصول غير المعتادة. ويمكنه رصد النشاط غير المعتاد بسرعة أكبر بكثير من محركات البحث الأخرى. [ 2 ]
  • قد تؤدي التغييرات في ترميز HTML ، اعتمادًا على الطرق المستخدمة لجمع محتوى موقع الويب، حتى التغيير الطفيف في بيانات HTML يمكن أن يجعل أداة الكشط معطلة حتى يتم تحديثها.
  • تغييرات عامة في أنظمة الكشف. في السنوات الماضية، شددت محركات البحث أنظمة الكشف لديها بشكل شبه شهري، مما جعل عملية استخراج البيانات الموثوقة أكثر صعوبة، حيث يحتاج المطورون إلى التجربة وتعديل أكوادهم بانتظام. [ 3 ]

كشف

عندما يعتقد نظام حماية محركات البحث أن الوصول قد يكون آليًا، يمكن لمحرك البحث أن يتفاعل بشكل مختلف.

تتمثل الطبقة الأولى من الحماية في صفحة اختبار التحقق (CAPTCHA) [ 4 ] حيث يُطلب من المستخدم تأكيد أنه شخص حقيقي وليس برنامجًا آليًا أو أداة. يؤدي حل اختبار التحقق إلى إنشاء ملف تعريف ارتباط (cookie) يسمح بالوصول إلى محرك البحث مرة أخرى لفترة من الوقت. بعد حوالي يوم واحد، تُعرض صفحة اختبار التحقق مجددًا.

أما الطبقة الثانية من الدفاع فهي صفحة خطأ مماثلة ولكن بدون اختبار التحقق (captcha)، وفي هذه الحالة يتم حظر المستخدم تمامًا من استخدام محرك البحث حتى يتم رفع الحظر المؤقت، أو يقوم المستخدم بتغيير عنوان IP الخاص به.

تتمثل الطبقة الثالثة من الحماية في حظر طويل الأمد لجزء الشبكة بأكمله . وقد حظرت جوجل أجزاءً كبيرة من الشبكة لعدة أشهر. من المرجح أن يتم تفعيل هذا النوع من الحظر من قِبل مسؤول النظام، ولا يحدث إلا إذا كانت أداة استخراج البيانات تُرسل عددًا كبيرًا جدًا من الطلبات.

قد تحدث كل هذه الأشكال من الكشف أيضًا للمستخدم العادي، وخاصة المستخدمين الذين يتشاركون نفس عنوان IP أو فئة الشبكة (نطاقات IPV4 وكذلك نطاقات IPv6 ).

طرق الكشط

لاستخراج البيانات من محرك بحث بنجاح، فإن العاملين الرئيسيين هما الوقت والكمية.

كلما زاد عدد الكلمات الرئيسية التي يحتاج المستخدم إلى استخراجها، وكلما قل الوقت اللازم لإنجاز المهمة، زادت صعوبة عملية الاستخراج، وازدادت الحاجة إلى تطوير برنامج أو أداة استخراج البيانات.

تحتاج برامج استخراج البيانات إلى التغلب على بعض التحديات التقنية. [ 5 ]

  • استخدام خاصية تناوب عناوين IP مع الخوادم الوكيلة. يجب أن تكون هذه الخوادم الوكيلة حصرية (غير مشتركة) وغير مدرجة في أي قوائم سوداء.
  • إدارة الوقت بشكل سليم، والفاصل الزمني بين تغييرات الكلمات المفتاحية، والترقيم، بالإضافة إلى التأخيرات المناسبة، كلها عوامل تؤثر على معدلات استخراج البيانات الفعالة على المدى الطويل، والتي تتراوح من 3 إلى 5 طلبات (كلمات مفتاحية أو صفحات) في الساعة إلى 100 طلب أو أكثر في الساعة لكل عنوان IP/خادم وكيل مستخدم. وتؤثر جودة عناوين IP، وطرق استخراج البيانات، والكلمات المفتاحية المطلوبة، واللغة/البلد المطلوب بشكل كبير على الحد الأقصى الممكن للمعدل.
  • التعامل الصحيح مع معلمات عنوان URL وملفات تعريف الارتباط بالإضافة إلى رؤوس HTTP لمحاكاة مستخدم لديه متصفح نموذجي
  • تحليل نموذج كائن المستند (DOM) لـ HTML (استخراج عناوين URL والأوصاف وموقع الترتيب وروابط الموقع وغيرها من البيانات ذات الصلة من كود HTML)
  • معالجة الأخطاء، والتفاعل الآلي على صفحات التحقق أو الصفحات المحظورة، وغيرها من الاستجابات غير المعتادة

لغات البرمجة

عند تطوير برنامج استخراج بيانات لمحركات البحث، يمكن استخدام أي لغة برمجة تقريبًا. مع ذلك، قد تكون بعض اللغات مفضلة حسب متطلبات الأداء.

تُعد لغة PHP لغة شائعة الاستخدام لكتابة برامج استخراج البيانات من مواقع الويب أو خدمات الواجهة الخلفية، نظرًا لما تتمتع به من إمكانيات قوية مدمجة (محللات DOM، libcURL). كما تُستخدم Ruby on Rails و Python بشكل متكرر لأتمتة مهام استخراج البيانات.

بالإضافة إلى ذلك، يمكن استخدام برمجة باش مع cURL كأداة سطر أوامر لاستخراج البيانات من محرك بحث.

عند استخراج البيانات من المواقع الإلكترونية والخدمات، غالبًا ما يمثل الجانب القانوني مصدر قلق كبير للشركات، إذ يعتمد ذلك بشكل كبير على بلد المستخدم/الشركة التي تقوم بالاستخراج، بالإضافة إلى نوع البيانات أو الموقع الإلكتروني المراد استخراجه. وقد صدرت أحكام قضائية مختلفة في جميع أنحاء العالم. [ 6 ] [ 7 ]

لكن عندما يتعلق الأمر باستخراج البيانات من محركات البحث، فإن الوضع مختلف، فمحركات البحث عادة لا تدرج الملكية الفكرية لأنها ببساطة تكرر أو تلخص المعلومات التي جمعتها من مواقع الويب الأخرى.

أكبر حادثة معروفة لمحرك بحث تم فيها استخراج البيانات حدثت في عام 2011 عندما تم ضبط مايكروسوفت وهي تستخرج كلمات مفتاحية غير معروفة من جوجل لخدمة بينج الخاصة بها، وهي خدمة جديدة نسبياً، [ 8 ] ولكن حتى هذه الحادثة لم تسفر عن قضية في المحكمة.

انظر أيضاً

مراجع