جوجلبوت

جوجل بوت هو برنامج زحف الويب الذي تستخدمه جوجل لجمع المستندات من الإنترنت لبناء فهرس قابل للبحث لمحرك بحث جوجل . يُستخدم هذا الاسم في الواقع للإشارة إلى نوعين مختلفين من برامج زحف الويب: برنامج زحف سطح المكتب (لمحاكاة مستخدمي أجهزة الكمبيوتر المكتبية) وبرنامج زحف الجوال (لمحاكاة مستخدمي الأجهزة المحمولة). ^{[ 1 ]}

من المرجح أن يتم فهرسة موقع الويب بواسطة كلٍ من Googlebot Desktop وGooglebot Mobile. مع ذلك، انتقلت جوجل إلى فهرسة المواقع الإلكترونية مع إعطاء الأولوية للأجهزة المحمولة، ما يعني أنها تزحف إلى الويب وتفهرسه بشكل أساسي باستخدام Googlebot للهواتف الذكية. بدأ تطبيق هذه العملية تدريجيًا في عام 2016 واكتملت لجميع المواقع الإلكترونية بحلول أواخر عام 2023. ^{[ 2 ] [ 3 ]} يمكن تحديد نوع Googlebot الفرعي من خلال النظر إلى سلسلة وكيل المستخدم في الطلب. مع ذلك، يلتزم كلا نوعي الزاحف بنفس رمز المنتج (رمز وكيل المستخدم) في ملف robots.txt ، وبالتالي لا يمكن للمطور استهداف Googlebot Mobile أو Googlebot Desktop بشكل انتقائي باستخدام ملف robots.txt.

تُوفّر جوجل طرقًا مُتعددة تُمكّن أصحاب المواقع الإلكترونية من إدارة المحتوى المعروض في نتائج بحث جوجل. إذا اختار مُدير الموقع تقييد المعلومات المُتاحة لبرنامج جوجل بوت، أو أي برنامج زحف آخر ، فيُمكنه القيام بذلك من خلال التوجيهات المُناسبة في ملف robots.txt ، ^{[ 4 ]} أو بإضافة علامة meta<meta name="Googlebot" content="nofollow" /> إلى صفحة الويب. ^{[ 5 ]} يُمكن التعرّف على طلبات جوجل بوت إلى خوادم الويب من خلال سلسلة وكيل المستخدم التي تحتوي على "Googlebot" وعنوان المضيف الذي يحتوي على "googlebot.com". ^{[ 6 ]}

يتتبع Googlebot حاليًا روابط HREF وروابط SRC. ^{[ 4 ]} وهناك أدلة متزايدة على قدرة Googlebot على تنفيذ جافا سكريبت وتحليل المحتوى الناتج عن استدعاءات Ajax . ^{[ 7 ]} وتتعدد النظريات حول مدى تطور قدرة Googlebot على معالجة جافا سكريبت، وتتراوح الآراء بين القدرة المحدودة المستمدة من مترجمات مخصصة. ^{[ 8 ]} ومنذ مايو 2019، يستخدم Googlebot خدمة عرض ويب "دائمة التحديث" (WRS) تُحدَّث تلقائيًا إلى أحدث إصدار مستقر من محرك عرض Chromium ، مما يضمن دعم إمكانيات المتصفحات الحديثة مثل ميزات ECMAScript 6. ^{[ 9 ]} يكتشف Googlebot الصفحات من خلال جمع كل رابط في كل صفحة يعثر عليها. وما لم يُحظر ذلك بواسطة وسم nofollow ، فإنه يتبع هذه الروابط إلى صفحات ويب أخرى. يجب أن تكون صفحات الويب الجديدة مرتبطة بصفحات أخرى معروفة على الويب ليتم فهرستها، أو أن يقوم مدير الموقع بإضافتها يدويًا.

من المشاكل التي لاحظها مشرفو المواقع الإلكترونية الذين يستخدمون خطط استضافة ذات نطاق ترددي منخفض، استهلاك برنامج Googlebot لكمية هائلة من النطاق الترددي. قد يؤدي ذلك إلى تجاوز المواقع الإلكترونية الحد المسموح به من النطاق الترددي، ما قد يتسبب في توقفها مؤقتًا. ويُعدّ هذا الأمر إشكاليًا بشكل خاص للمواقع البديلة التي تستضيف بيانات بحجم عدة غيغابايت . توفر جوجل أداة " Search Console " التي تُمكّن أصحاب المواقع الإلكترونية من التحكم في معدل زحف Googlebot. ^{[ 10 ]}

يعتمد عدد مرات زحف Googlebot إلى موقع ما على ميزانية الزحف. ميزانية الزحف هي تقدير لمدى تكرار تحديث موقع الويب. من الناحية التقنية، يستخدم فريق تطوير Googlebot (فريق الزحف والفهرسة) عدة مصطلحات محددة داخليًا لتحديد معنى "ميزانية الزحف". ^{[ 11 ]}

Mediabot هو برنامج زحف الويب الذي تستخدمه جوجل لتحليل المحتوى حتى تتمكن خدمة جوجل أدسنس من عرض إعلانات ذات صلة بسياق صفحة الويب. يُعرّف Mediabot نفسه من خلال سلسلة وكيل المستخدم "Mediapartners-Google/2.1".

على عكس برامج الزحف الأخرى، لا يتبع Mediabot الروابط لاكتشاف عناوين URL جديدة قابلة للزحف، بل يزور فقط عناوين URL التي تتضمن رمز AdSense. ^{[ 12 ]} وفي حال كان هذا المحتوى محميًا بتسجيل دخول، يمكن تزويد برنامج الزحف ببيانات تسجيل الدخول ليتمكن من الوصول إلى المحتوى المحمي. ^{[ 13 ]}

InspectionTool هو برنامج الزحف الذي تستخدمه أدوات اختبار البحث مثل اختبار النتائج المنسقة وفحص عناوين URL في Google Search Console . وبصرف النظر عن وكيل المستخدم ورمز وكيل المستخدم، فإنه يحاكي Googlebot. ^{[ 14 ]}

تم نشر دليل خاص ببرامج الزحف بشكل مستقل. ^{[ 15 ]} وهو يفصّل أربعة برامج زحف مميزة تعتمد على بيانات فهرس دليل خادم الويب - برنامج زحف واحد غير متوافق مع متصفح كروم وثلاثة برامج زحف متوافقة مع متصفح كروم.

• الأسئلة الشائعة الرسمية حول برنامج Googlebot من جوجل