محرك البحث

في عام ١٩٤٥، وصف فانيفار بوش نظامًا لاسترجاع المعلومات يُمكّن المستخدم من الوصول إلى كم هائل من المعلومات، كل ذلك من مكان واحد، وأطلق عليه اسم " ميمكس" . ^{[ ٢ ]} وقد وصف هذا النظام في مقال بعنوان " كما قد نفكر " في مجلة "ذا أتلانتيك مونثلي " . ^{[ ٣ ]} كان الهدف من "ميمكس" هو منح المستخدم القدرة على التغلب على الصعوبة المتزايدة باستمرار في تحديد موقع المعلومات في الفهارس المركزية المتنامية باستمرار للأعمال العلمية. تخيّل فانيفار بوش مكتبات بحثية مزودة بتعليقات توضيحية مترابطة، تشبه الروابط التشعبية الحديثة . ^{[ ٤ ]}

أصبح تحليل الروابط في نهاية المطاف عنصراً أساسياً في محركات البحث من خلال خوارزميات مثل Hyper Search و PageRank . ^{[ 5 ] [ 6 ]}

يعود تاريخ محركات البحث الأولى على الإنترنت إلى ما قبل ظهور الويب في ديسمبر 1990: يعود تاريخ البحث عن المستخدمين في قاعدة بيانات WHOIS إلى عام 1982، ^{[ 7 ]} وتم تطبيق خدمة Knowbot Information Service للبحث عن المستخدمين عبر الشبكات المتعددة لأول مرة في عام 1989. ^{[ 8 ]} وكان أول محرك بحث موثق جيدًا يبحث في ملفات المحتوى، وتحديدًا ملفات FTP ، هو Archie ، الذي ظهر لأول مرة في 10 سبتمبر 1990. ^{[ 9 ]}

قبل سبتمبر 1993، كانت فهرسة شبكة الإنترنت العالمية تتم يدويًا بالكامل. كانت هناك قائمة بخوادم الويب يُحررها تيم بيرنرز لي وتُستضاف على خادم الويب الخاص بمركز سيرن . لا تزال نسخة واحدة من القائمة محفوظة منذ عام 1992، ^{[ 10 ]} ولكن مع ازدياد عدد خوادم الويب المتصلة بالإنترنت، لم تعد القائمة المركزية قادرة على مواكبة التحديثات. على موقع المركز الوطني لعلوم الفضاء (NCSA) ، كان يتم الإعلان عن الخوادم الجديدة تحت عنوان "ما الجديد!". ^{[ 11 ]}

كانت أداة "آرتشي" أول أداة تُستخدم للبحث عن المحتوى (بدلاً من المستخدمين) على الإنترنت . ^{[ 12 ]} الاسم اختصار لكلمة "أرشيف" (archive) بدون حرف "v". ^{[ 13 ]} ابتكرها آلان إمتاج ، ^{[ 13 ] [ 14 ] [ 15 ] [ 16 ]} طالب علوم الحاسوب في جامعة ماكجيل في مونتريال، كيبيك ، كندا. كان البرنامج يُحمّل قوائم الملفات الموجودة على مواقع بروتوكول نقل الملفات (FTP ) العامة المجهولة، مُنشئًا قاعدة بيانات قابلة للبحث لأسماء الملفات؛ إلا أن محرك بحث "آرتشي" لم يُفهرس محتويات هذه المواقع نظرًا لمحدودية البيانات التي كان من السهل البحث فيها يدويًا.

أدى ظهور لغة غوفر (التي ابتكرها مارك مكاهيل في جامعة مينيسوتا عام ١٩٩١ ) إلى ظهور برنامجي بحث جديدين، هما فيرونيكا وجاغهيد . وكما هو الحال مع برنامج آرتشي، كانا يبحثان في أسماء الملفات وعناوينها المخزنة في أنظمة فهرسة غوفر. وفر برنامج فيرونيكا (فهرس سهل الاستخدام للغاية وموجه للقوارض على مستوى الشبكة للأرشيفات المحوسبة) إمكانية البحث بالكلمات المفتاحية عن معظم عناوين قوائم غوفر في جميع قوائم غوفر. أما برنامج جاغهيد (أداة جونزي العالمية لاستخراج وعرض التسلسل الهرمي لغوفر) فكان أداة للحصول على معلومات القوائم من خوادم غوفر محددة. ورغم أن اسم محرك البحث " محرك بحث آرتشي " لم يكن إشارة إلى سلسلة قصص آرتشي المصورة ، إلا أن " فيرونيكا " و" جاغهيد " شخصيتان في السلسلة، مما يشير إلى سابقتها.

في صيف عام 1993، لم يكن هناك محرك بحث للويب، على الرغم من وجود العديد من الفهارس المتخصصة التي كانت تُدار يدويًا. قام أوسكار نيرستراز، من جامعة جنيف، بكتابة سلسلة من نصوص بيرل البرمجية التي كانت تُنسخ هذه الصفحات دوريًا وتعيد كتابتها بتنسيق قياسي. شكل هذا الأساس لـ W3Catalog ، أول محرك بحث بدائي للويب، والذي تم إصداره في 2 سبتمبر 1993. ^{[ 17 ]}

في يونيو 1993، أنتج ماثيو غراي، الذي كان يعمل آنذاك في معهد ماساتشوستس للتكنولوجيا ، ما يُرجّح أنه أول روبوت ويب ، وهو برنامج World Wide Web Wanderer المبني على لغة بيرل ، واستخدمه لإنشاء فهرس يُسمى "Wandex". كان الغرض من Wanderer قياس حجم شبكة الويب العالمية، وهو ما استمر في فعله حتى أواخر عام 1995. ظهر محرك البحث الثاني على الإنترنت، Aliweb، في نوفمبر 1993. لم يستخدم Aliweb روبوت ويب، بل اعتمد على تلقي إشعارات من مديري المواقع الإلكترونية بوجود ملف فهرس بتنسيق مُحدد في كل موقع.

استخدم برنامج JumpStation (الذي أنشأه جوناثان فليتشر في ديسمبر 1993 ^{[ 18 ]} ) روبوتًا للبحث عن صفحات الويب وبناء فهرسه، واستخدم نموذجًا إلكترونيًا كواجهة لبرنامج الاستعلام الخاص به. وبذلك، كان أول أداة لاكتشاف موارد الويب تجمع بين الميزات الأساسية الثلاث لمحرك بحث الويب (الزحف، والفهرسة، والبحث) كما هو موضح أدناه. ونظرًا لمحدودية الموارد المتاحة على المنصة التي يعمل عليها، اقتصرت فهرسته، وبالتالي بحثه، على العناوين الرئيسية والفرعية الموجودة في صفحات الويب التي صادفها برنامج الزحف.

كان WebCrawler ، الذي ظهر عام 1994، من أوائل محركات البحث التي تعتمد على برامج الزحف النصية. وعلى عكس سابقاته، أتاح للمستخدمين البحث عن أي كلمة في أي صفحة ويب ، وهو ما أصبح معيارًا لجميع محركات البحث الرئيسية منذ ذلك الحين. وكان أيضًا محرك البحث الأكثر شهرة بين الجمهور. وفي عام 1994 أيضًا، تم إطلاق Lycos (التي بدأت في جامعة كارنيجي ميلون ) وأصبحت مشروعًا تجاريًا ضخمًا.

كان محرك بحث ياهو! أول محرك بحث شائع على الإنترنت . ^{[ 19 ]} وكان أول منتج من ياهو!، التي أسسها جيري يانغ وديفيد فيلو في يناير 1994، دليلًا للمواقع الإلكترونية يُسمى دليل ياهو !. وفي عام 1995، أُضيفت خاصية البحث، مما أتاح للمستخدمين البحث في دليل ياهو!. ^{[ 20 ] [ 21 ]} وأصبح هذا الدليل من أكثر الطرق شيوعًا للعثور على صفحات الويب التي تهم المستخدمين، إلا أن خاصية البحث فيه كانت تعمل على دليل الموقع نفسه، وليس على النصوص الكاملة لصفحات الويب.

بعد ذلك بوقت قصير، ظهرت عدة محركات بحث وتنافست على الشعبية، منها ماجلان ، وإكسايت ، وإنفوسيك ، وإنكتومي ، ونورثرن لايت ، وألتافيستا . كما أصبح بإمكان الباحثين عن المعلومات تصفح الدليل بدلاً من البحث باستخدام الكلمات المفتاحية.

في عام 1996، طوّر روبن لي خوارزمية RankDex لتقييم المواقع الإلكترونية في محركات البحث، والتي تُستخدم لترتيب صفحات نتائج البحث ^{[ 22 ] [ 23 ] [ 24 ]} ، وحصل على براءة اختراع أمريكية لهذه التقنية. ^{[ 25 ]} كان محرك البحث هذا أول محرك يستخدم الروابط التشعبية لقياس جودة المواقع التي يُفهرسها، ^{[ 26 ]} وقد سبق بذلك براءة اختراع خوارزمية مشابهة جدًا قدمتها جوجل بعد ذلك بعامين في عام 1998. ^{[ 27 ]} استشهد لاري بيج بعمل لي في بعض براءات اختراعه الأمريكية الخاصة بخوارزمية PageRank. ^{[ 28 ]} لاحقًا، استخدم لي تقنية RankDex في محرك بحث بايدو ، الذي أسسه في الصين وأطلقه عام 2000.

في عام ١٩٩٦، كانت شركة نتسكيب تسعى لمنح محرك بحث واحد صفقة حصرية ليكون محرك البحث الرئيسي على متصفحها. ونظرًا للإقبال الكبير، أبرمت نتسكيب صفقات مع خمسة من محركات البحث الرئيسية: مقابل ٥ ملايين دولار سنويًا، يُعرض كل محرك بحث بالتناوب على صفحة محركات البحث في نتسكيب. وهذه المحركات الخمسة هي: ياهو!، ماجلان، ليكوس، إنفوسيك، وإكسايت. ^{[ ٢٩ ] [ ٣٠ ]}

تبنّت جوجل فكرة بيع كلمات البحث عام ١٩٩٨ من شركة محركات بحث صغيرة تُدعى goto.com . كان لهذه الخطوة أثرٌ بالغٌ على قطاع محركات البحث، الذي انتقل من كونه قطاعًا متعثرًا إلى أحد أكثر القطاعات ربحيةً على الإنترنت. ^{[ ٣١ ] [ ٣٢ ]}

استقطبت محركات البحث استثمارات ضخمة في أواخر التسعينيات. ^{[ 33 ]} ودخلت عدة شركات السوق محققة مكاسب قياسية خلال طرحها الأولي للاكتتاب العام . وقد أوقفت بعضها محركات البحث العامة الخاصة بها، وبدأت بتسويق نسخ مخصصة للمؤسسات فقط، مثل Northern Light. وتأثرت العديد من شركات محركات البحث بفقاعة الإنترنت ، وهي طفرة سوقية مدفوعة بالمضاربة بلغت ذروتها في مارس 2000.

في حوالي عام 2000، برز محرك بحث جوجل بقوة. ^{[ 34 ]} حققت الشركة نتائج أفضل في العديد من عمليات البحث باستخدام خوارزمية تُسمى PageRank ، كما هو موضح في ورقة بحثية بعنوان "تشريح محرك بحث" كتبها سيرجي برين ولاري بيج ، المؤسسان اللاحقان لجوجل. ^{[ 6 ]} تُصنّف هذه الخوارزمية التكرارية صفحات الويب بناءً على عدد صفحات الويب الأخرى التي ترتبط بها وقيمة PageRank الخاصة بها، انطلاقًا من فرضية أن الصفحات الجيدة أو المرغوبة تحظى بأكبر عدد من الروابط مقارنةً بغيرها. يشير لاري بيج في براءة اختراعه لخوارزمية PageRank إلى براءة اختراع روبن لي السابقة لخوارزمية RankDex كمصدر إلهام. ^{[ 28 ] [ 24 ]} حافظت جوجل أيضًا على واجهة بسيطة لمحرك بحثها. في المقابل، قام العديد من منافسيها بتضمين محرك البحث في بوابة ويب . في الواقع، أصبح محرك بحث جوجل شائعًا جدًا لدرجة ظهور محركات بحث مُزيّفة مثل Mystery Seeker .

بحلول عام 2000، كانت ياهو! تقدم خدمات البحث بالاعتماد على محرك بحث إنكتومي. استحوذت ياهو! على إنكتومي في عام 2002، وعلى أوفرتشر (التي كانت تمتلك أول ذا ويب وألتافيستا) في عام 2003. ثم تحولت ياهو! إلى استخدام محرك بحث جوجل حتى عام 2004، حين أطلقت محرك بحثها الخاص بالاعتماد على التقنيات المدمجة من عمليات الاستحواذ.

أطلقت مايكروسوفت محرك بحث MSN لأول مرة في خريف عام 1998 مستخدمةً نتائج بحث من Inktomi. وفي أوائل عام 1999، بدأ الموقع بعرض قوائم من Looksmart ، ممزوجةً بنتائج Inktomi. ولفترة وجيزة في عام 1999، استخدم محرك بحث MSN نتائج من AltaVista بدلاً من ذلك. وفي عام 2004، بدأت مايكروسوفت عملية انتقال إلى تقنية البحث الخاصة بها، المدعومة ببرنامج زحف الويب الخاص بها (المسمى msnbot ).

تم إطلاق محرك البحث Bing التابع لشركة مايكروسوفت والذي أعيد تسميته في 1 يونيو 2009. وفي 29 يوليو 2009، أبرمت ياهو! ومايكروسوفت صفقة يتم بموجبها تشغيل محرك بحث ياهو! بواسطة تقنية مايكروسوفت Bing.

اعتبارًا من عام 2019،تشمل برامج زحف محركات البحث النشطة تلك الخاصة بـ Baidu و Bing و Brave و ^{[ 35 ]} Google و DuckDuckGo و Gigablast و Mojeek و Sogou و Yandex .

في العقد الثاني من القرن الحادي والعشرين، أصبحت محركات البحث المدعومة بالذكاء الاصطناعي ومساعدو الذكاء الاصطناعي التوليدي جزءًا لا يتجزأ من عمليات البحث على الإنترنت. تجمع هذه الأنظمة بين فهرسة الويب التقليدية ونماذج اللغة الضخمة لتقديم ردود حوارية وملخصات وتوصيات سياقية. ^{[ 36 ]}

يُعدّ البحث المحلي عملية تُحسّن جهود الشركات المحلية، حيث تُركّز على ضمان نتائج بحث متسقة. وهو أمرٌ بالغ الأهمية لأنّ الكثير من الناس يُحدّدون وجهتهم وما يشترونه بناءً على عمليات البحث التي يُجرونها. ^{[ 42 ]}

وحتى أواخر عام 2023، ظلت حصص سوق محركات البحث في روسيا وشرق آسيا مستقرة نسبياً ولكن مع بعض التحولات الملحوظة بسبب التطورات الجيوسياسية والتكنولوجية.

في روسيا، لا تزال ياندكس تهيمن على سوق محركات البحث بحصة تبلغ حوالي 73%، بينما تبلغ حصة جوجل حوالي 25%. ^{[ 45 ]} كما تظل ياندكس لاعباً رئيسياً في الخدمات المحلية، بما في ذلك الملاحة وخدمات النقل والتجارة الإلكترونية، مما يعزز منظومتها.

في الصين، لا يزال بايدو محرك البحث الرائد بحصة سوقية تبلغ حوالي 59.3% اعتبارًا من أوائل عام 2024. أما محركات البحث المحلية الأخرى مثل سوغو و360 سيرش، فلها حصص أصغر. ولا يزال جوجل غير متاح في بر الصين الرئيسي بسبب مشاكل الرقابة المستمرة منذ فترة طويلة، بعد أن انسحب من السوق الصينية عام 2010 إثر نزاعات حول الرقابة والأمن السيبراني. ^{[ 46 ] [ 47 ]}

حافظ محرك البحث Bing التابع لشركة مايكروسوفت على وجوده المحدود في الصين بحصة سوقية تبلغ حوالي 13.6%، مما يجعله أحد محركات البحث الأجنبية القليلة التي تعمل في ظل قيود تنظيمية محلية. ^{[ 48 ]}

في اليابان، تستحوذ جوجل اليابان حاليًا على أكبر حصة سوقية (حوالي 76.2%)، بينما تحتفظ ياهو! اليابان، التي تديرها شركة Z Holdings (مشروع مشترك بين سوفت بنك ونافير)، بحصة سوقية تبلغ حوالي 15.8%. ^{[ 49 ]}

بعد اندماج كاكاو مع داوم في عام 2014، سيطرت محركات البحث المحلية على معظم سوق كوريا الجنوبية. وتصدرت نيفر السوق بحصة أغلبية، تلتها داوم. ^{[ 50 ]} ومع انفصال كاكاو عن داوم في عام 2025، انخفضت حصة داوم في السوق الكورية إلى ما دون حصة جوجل وبينج. في المقابل، احتفظت نيفر بحصة أغلبية السوق. ^{[ 51 ]} وتستضيف نيفر "مجموعة ضخمة من المحتوى المُعدّ خصيصًا للمستخدمين الكوريين". ^{[ 52 ]}

في تايوان، يُعد جوجل محرك البحث المهيمن، حيث يستحوذ على أكثر من 93% من السوق، بينما يتخلف كل من ياهو! تايوان وبينغ بفارق كبير. ^{[ 53 ]}

كان أول محرك بحث على الإنترنت هو Archie ، الذي تم إنشاؤه في عام 1990 ^{[ 73 ]} بواسطة آلان إمتاج ، وهو طالب في جامعة ماكجيل في مونتريال.

كانت الطريقة الأساسية لتخزين الملفات واسترجاعها هي بروتوكول نقل الملفات (FTP)، وهو بروتوكول اتصال يحدد طريقة شائعة لتبادل الملفات بين أجهزة الكمبيوتر عبر الإنترنت. يعمل هذا البروتوكول كالتالي: يقرر مسؤول النظام إتاحة الملفات من جهازه، فيقوم بتثبيت برنامج على جهازه يُسمى خادم FTP. عندما يرغب أي شخص على الإنترنت في استرجاع ملف من هذا الجهاز، يتصل به عبر برنامج آخر يُسمى عميل FTP. يمكن لأي برنامج عميل FTP الاتصال بأي برنامج خادم FTP طالما أن كلا البرنامجين يلتزمان تمامًا بالمواصفات المحددة في بروتوكول FTP.

في البداية، كان على كل من يرغب في مشاركة ملف أن يُنشئ خادم FTP ليُتيح الملف للآخرين. لاحقاً، أصبحت مواقع FTP "المجهولة" بمثابة مستودعات للملفات، مما يسمح لجميع المستخدمين بنشرها واسترجاعها.

حتى مع وجود مواقع الأرشيف، ظلت العديد من الملفات المهمة متناثرة على خوادم FTP صغيرة. ولم يكن بالإمكان العثور على هذه الملفات إلا من خلال ما يُشبه التناقل الشفهي على الإنترنت: حيث يقوم أحدهم بنشر بريد إلكتروني في قائمة بريدية أو منتدى نقاش يُعلن فيه عن توفر ملف ما.

غيّر برنامج آرتشي كل ذلك. فقد جمع بين أداة لجمع البيانات تعتمد على البرمجة النصية، والتي كانت تجلب قوائم مواقع ملفات FTP المجهولة، وأداة مطابقة للتعبيرات النمطية لاسترجاع أسماء الملفات المطابقة لاستعلام المستخدم. (4) بعبارة أخرى، كانت أداة جمع البيانات في آرتشي تجوب مواقع FTP عبر الإنترنت وتفهرس جميع الملفات التي عثرت عليها. أما أداة مطابقة التعبيرات النمطية، فكانت تتيح للمستخدمين الوصول إلى قاعدة بياناتها. ^{[ 74 ]}

في عام ١٩٩٣، طوّر فريق خدمات الحوسبة بجامعة نيفادا برنامج فيرونيكا . ^{[ ٧٣ ]} صُمم البرنامج كأداة بحث مشابهة لبرنامج آرتشي، ولكن لملفات غوفر. ظهرت خدمة بحث أخرى عن غوفر، تُدعى جاغهيد ، بعد ذلك بقليل، ربما لغرض وحيد هو إكمال ثلاثية برامج البحث. جاغهيد هو اختصار لعبارة "جونزي: استكشاف وعرض التسلسل الهرمي العالمي لغوفر"، مع أنه، كما هو الحال مع فيرونيكا، من المرجح أن يكون مبتكر البرنامج قد اختار الاختصار بشكل غير مباشر. كانت وظائف جاغهيد مطابقة تقريبًا لوظائف فيرونيكا، مع أنها تبدو أقل دقة. ^{[ ٧٤ ]}

كان برنامج "المتجول على شبكة الويب العالمية" (World Wide Web Wanderer )، الذي طوره ماثيو غراي عام 1993 ^{[ 75 ]} ، أول روبوت على شبكة الويب، وقد صُمم لتتبع نمو الشبكة. في البداية، كان البرنامج يحصي خوادم الويب فقط، ولكن بعد فترة وجيزة من إطلاقه، بدأ في جمع عناوين المواقع الإلكترونية (URLs) أثناء تنقله. أصبحت قاعدة بيانات عناوين المواقع الإلكترونية التي تم جمعها تُعرف باسم "واندكس" (Wandex)، وهي أول قاعدة بيانات للويب.

أثار برنامج "واندرر" لماثيو غراي جدلاً واسعاً آنذاك، ويعود ذلك جزئياً إلى أن النسخ الأولى منه انتشرت بسرعة كبيرة عبر الإنترنت، مما تسبب في تدهور ملحوظ في أداء الشبكة. حدث هذا التدهور لأن "واندرر" كان يصل إلى الصفحة نفسها مئات المرات يومياً. سرعان ما عدّل "واندرر" أساليبه، لكن الجدل حول ما إذا كانت الروبوتات مفيدة أم ضارة للإنترنت ظل قائماً.

رداً على المتجول، أنشأ مارتين كوستر فهرسة الويب الشبيهة بـ Archie، أو ALIWEB، في أكتوبر 1993. وكما يوحي الاسم، كان ALIWEB هو المكافئ HTTP لـ Archie، ولهذا السبب، لا يزال فريدًا من نوعه في نواحٍ عديدة.

لا يمتلك موقع ALIWEB روبوتًا للبحث على الإنترنت. بدلاً من ذلك، يقوم مشرفو المواقع المشاركة بنشر معلومات الفهرسة الخاصة بهم لكل صفحة يرغبون في إدراجها. وتكمن ميزة هذه الطريقة في تمكين المستخدمين من وصف مواقعهم بأنفسهم، وتجنب استهلاك الروبوتات لعرض النطاق الترددي للإنترنت. أما عيوب ALIWEB، فتُعدّ مشكلةً أكبر في الوقت الراهن. يتمثل العيب الرئيسي في ضرورة تقديم ملف فهرسة خاص. لا يُدرك معظم المستخدمين كيفية إنشاء مثل هذا الملف، وبالتالي لا يُقدمون صفحاتهم. يؤدي هذا إلى قاعدة بيانات صغيرة نسبيًا، مما يعني أن احتمالية بحث المستخدمين في ALIWEB أقل من احتمالية بحثهم في المواقع الكبيرة التي تعتمد على الروبوتات. وقد تم التخفيف من هذه المعضلة جزئيًا من خلال دمج قواعد بيانات أخرى في بحث ALIWEB، ولكنه لا يزال يفتقر إلى الانتشار الواسع لمحركات البحث مثل Yahoo! أو Lycos. ^{[ 74 ]}

بدأ مشروع Excite ، الذي كان يُعرف في البداية باسم Architext، على يد ستة طلاب جامعيين من جامعة ستانفورد في فبراير 1993. وكانت فكرتهم استخدام التحليل الإحصائي للعلاقات بين الكلمات لتوفير عمليات بحث أكثر كفاءة في الكم الهائل من المعلومات على الإنترنت. حصل مشروعهم على التمويل الكامل بحلول منتصف عام 1993. وبمجرد تأمين التمويل، أصدروا نسخة من برنامج البحث الخاص بهم ليستخدمها مشرفو المواقع على مواقعهم الإلكترونية. في ذلك الوقت، كان البرنامج يُسمى Architext، ولكنه يُعرف الآن باسم Excite لخوادم الويب. ^{[ 74 ]}

كان محرك البحث Excite أول محرك بحث تجاري جاد، وقد أُطلق عام 1995. ^{[ 76 ]} طُوّر في جامعة ستانفورد، واشترته شركة @Home مقابل 6.5 مليار دولار. في عام 2001، أفلست كل من Excite و@Home، واشترت شركة InfoSpace محرك Excite مقابل 10 ملايين دولار.

أُجريت بعض التحليلات الأولى للبحث على الويب على سجلات البحث من Excite ^{[ 77 ] [ 40 ]}

في أبريل 1994، أنشأ طالبان في برنامج الدكتوراه بجامعة ستانفورد، ديفيد فيلو وجيري يانغ ، صفحاتٍ لاقت رواجًا نسبيًا. أطلقوا على هذه الصفحات اسم "ياهو!" . وكان تفسيرهم الرسمي لاختيار هذا الاسم هو أنهم يعتبرون أنفسهم "ياهو!".

مع ازدياد عدد الروابط ووصول صفحاتها إلى آلاف الزيارات يوميًا، ابتكر الفريق طرقًا لتحسين تنظيم البيانات. ولتسهيل استرجاع البيانات، تحوّل موقع ياهو! (www.yahoo.com) إلى دليل قابل للبحث. وكانت خاصية البحث عبارة عن محرك بحث بسيط يعتمد على قاعدة بيانات. ولأن إدخالات ياهو! وتصنيفها كان يتم يدويًا، لم يُصنّف الموقع رسميًا كمحرك بحث، بل كان يُعتبر دليلًا قابلًا للبحث. ومنذ ذلك الحين، قام ياهو! بأتمتة بعض جوانب عملية جمع البيانات وتصنيفها، مما أدى إلى تلاشي التمييز بين محرك البحث والدليل.

لم يلتقط محرك البحث "ذا واندرر" سوى عناوين المواقع الإلكترونية (URLs)، مما صعّب العثور على ما لم يُذكر صراحةً في عنوان الموقع. ولأن عناوين المواقع الإلكترونية غامضة بطبيعتها، لم يُساعد هذا المستخدم العادي. وكان البحث في "ياهو!" أو "غالاكسي" أكثر فعاليةً بكثير لاحتوائهما على معلومات وصفية إضافية حول المواقع المفهرسة.

في جامعة كارنيجي ميلون خلال شهر يوليو 1994، قام مايكل مولدين، الذي كان في إجازة من جامعة كارنيجي ميلون، بتطوير محرك البحث Lycos .

محركات البحث على الإنترنت هي مواقع مزودة بإمكانية البحث في المحتوى المخزن على مواقع أخرى. تختلف محركات البحث في طريقة عملها، لكنها جميعًا تؤدي ثلاث مهام أساسية. ^{[ 78 ]}

1. إيجاد واختيار المحتوى الكامل أو الجزئي بناءً على الكلمات المفتاحية المقدمة.
2. الاحتفاظ بفهرس للمحتوى والإشارة إلى الموقع الذي يعثرون عليه
3. السماح للمستخدمين بالبحث عن كلمات أو مجموعات من الكلمات الموجودة في ذلك الفهرس.

تبدأ العملية عندما يقوم المستخدم بإدخال عبارة استعلام في النظام من خلال الواجهة المتوفرة.

توجد بشكل أساسي ثلاثة أنواع من محركات البحث: تلك التي تعمل بواسطة الروبوتات (تسمى الزواحف ؛ النمل أو العناكب)، وتلك التي تعمل بواسطة مدخلات بشرية، وتلك التي تمثل مزيجًا من الاثنين.

محركات البحث القائمة على برامج الزحف هي تلك التي تستخدم برامج آلية (تُسمى برامج الزحف) تزور موقعًا إلكترونيًا، وتقرأ معلوماته، وتقرأ بياناته الوصفية، وتتبع الروابط التي يشير إليها، وتُجري فهرسة لجميع المواقع المرتبطة به. يُعيد برنامج الزحف هذه المعلومات إلى قاعدة بيانات مركزية، حيث تُفهرس البيانات. ويعود برنامج الزحف دوريًا إلى المواقع للتحقق من أي تغييرات في المعلومات. ويُحدد مديرو محرك البحث وتيرة هذه الزيارات.

تعتمد محركات البحث التي يديرها البشر على البشر في إرسال المعلومات التي يتم فهرستها وتصنيفها لاحقًا. ولا تُضاف إلى الفهرس إلا المعلومات المُرسلة.

في كلتا الحالتين، عندما يستعلم المستخدم من محرك بحث للعثور على معلومات، فإنه في الواقع يبحث في فهرس أنشأه محرك البحث، وليس في شبكة الإنترنت نفسها. هذه الفهارس عبارة عن قواعد بيانات ضخمة للمعلومات تُجمع وتُخزن ثم يُبحث فيها. وهذا يفسر سبب ظهور نتائج بحث في بعض محركات البحث التجارية، مثل ياهو أو جوجل، عبارة عن روابط معطلة. فبما أن نتائج البحث تعتمد على الفهرس، فإذا لم يُحدّث الفهرس منذ أن أصبحت صفحة ويب غير صالحة، فإن محرك البحث يتعامل مع الصفحة على أنها لا تزال رابطًا نشطًا، حتى وإن لم تعد كذلك. وستبقى كذلك إلى حين تحديث الفهرس.

تُنتج محركات البحث المختلفة نتائج متباينة، ويعود ذلك جزئيًا إلى اختلاف الفهارس، التي تعتمد على ما تعثر عليه برامج الزحف أو ما يُدخله المستخدمون. والأهم من ذلك، أن محركات البحث لا تستخدم جميعها نفس الخوارزمية للبحث في الفهارس. فالخوارزمية هي التي تستخدمها محركات البحث لتحديد مدى صلة المعلومات الموجودة في الفهرس بما يبحث عنه المستخدم.

من بين العناصر التي يفحصها محرك البحث هو تكرار الكلمات المفتاحية وموقعها على صفحة الويب. فالكلمات ذات التكرار الأعلى تُعتبر عادةً أكثر صلةً بالموضوع. لكن تقنية محركات البحث تتطور باستمرار في محاولاتها للحد من ما يُعرف بحشو الكلمات المفتاحية، أو ما يُسمى بـ" التلاعب بنتائج البحث ".

من العناصر الشائعة الأخرى التي تحللها الخوارزميات طريقة ربط الصفحات ببعضها على الإنترنت. فمن خلال تحليل هذه الروابط، يستطيع محرك البحث تحديد موضوع الصفحة (إذا كانت الكلمات المفتاحية للصفحات المرتبطة مشابهة للكلمات المفتاحية في الصفحة الأصلية)، وما إذا كانت هذه الصفحة تُعتبر "مهمة" وتستحق تحسين ترتيبها. وكما تتطور التكنولوجيا باستمرار لتجاهل حشو الكلمات المفتاحية، فإنها في الوقت نفسه تُصبح أكثر حذرًا من قِبل مُطوري المواقع الذين يُضيفون روابط اصطناعية إلى مواقعهم بهدف رفع ترتيبها بشكل مصطنع.

محركات البحث الحديثة على الإنترنت عبارة عن أنظمة برمجية بالغة التعقيد، تستخدم تقنيات تطورت عبر السنين. توجد عدة فئات فرعية من برامج محركات البحث، كل منها مصمم لتلبية احتياجات تصفح محددة. تشمل هذه الفئات محركات البحث على الإنترنت (مثل جوجل )، ومحركات البحث في قواعد البيانات أو البيانات المنظمة (مثل ديزل بوينت)، ومحركات البحث المختلطة أو محركات البحث المؤسسية. تستخدم محركات البحث الأكثر شيوعًا، مثل جوجل وياهو ، مئات الآلاف من أجهزة الكمبيوتر لمعالجة تريليونات صفحات الويب، بهدف تقديم نتائج دقيقة وفعّالة. ونظرًا لهذا الكم الهائل من الاستعلامات ومعالجة النصوص، يتطلب تشغيل هذه البرامج بيئة موزعة جغرافيًا بشكل كبير، مع مستوى عالٍ من التكرار.

هناك فئة أخرى من محركات البحث وهي محركات البحث العلمية. هذه محركات بحث تبحث في الأدبيات العلمية. وأبرز مثال عليها هو جوجل سكولار. ويعمل الباحثون على تحسين تقنية محركات البحث من خلال جعلها تفهم عناصر محتوى المقالات، مثل استخلاص المفاهيم النظرية أو النتائج البحثية الرئيسية. ^{[ 79 ]}