محرك بحث شامل

الموسوعة الحرة
بنية محرك البحث الفائق

محرك البحث الفوقي ( أو مُجمِّع البحث ) هو أداة استرجاع معلومات عبر الإنترنت تستخدم بيانات محرك بحث الويب لإنتاج نتائجها الخاصة. [ 1 ] [ 2 ] تستقبل محركات البحث الفوقية مدخلات من المستخدم وتستعلم مباشرةً من محركات البحث [ 3 ] للحصول على النتائج. ثم تُجمع البيانات الكافية ، وتُرتب، وتُعرض للمستخدمين.

تُقلل مشاكل مثل الرسائل المزعجة من دقة النتائج ووضوحها . [ 4 ] تهدف عملية الدمج إلى تحسين هندسة محرك البحث الفائق. [ 5 ]

من أمثلة محركات البحث الشاملة Skyscanner و Kayak.com ، اللذان يجمعان نتائج البحث من مواقع وكالات السفر ومواقع مزودي الخدمات عبر الإنترنت. أما SearXNG فهو برنامج بحث عام مجاني ومفتوح المصدر ، يجمع نتائج البحث من محركات البحث على الإنترنت ومصادر أخرى مثل ويكيبيديا، ويُقدم مجانًا من قِبل أكثر من 70 مزودًا لخدمة SearXNG. [ 6 ]

تاريخ

كان أول من قام بدمج فكرة البحث الفائق هو طالب جامعة واشنطن إريك سيلبرغ، [ 7 ] الذي نشر ورقة بحثية حول تجربته MetaCrawler في عام 1995. ولا يزال محرك البحث قابلاً للاستخدام حتى عام 2026. [ 8 ]

في 20 مايو 1996، كان HotBot ، الذي تملكه آنذاك شركة Wired ، محرك بحث يعتمد على قواعد بيانات Inktomi وDirect Hit. اشتهر HotBot بسرعة نتائجه وقدرته على البحث داخل نتائج البحث. بعد استحواذ Lycos عليه عام 1998، تباطأ تطوير محرك البحث وانخفضت حصته السوقية بشكل كبير. بعد إجراء بعض التعديلات، أُعيد تصميم HotBot ليصبح بواجهة بحث مبسطة، وتم دمج ميزاته في تصميم موقع Lycos الإلكتروني الجديد. [ 9 ]

في عام 1997، نشر دانيال دريلينجر ورقة بحثية حول محرك البحث التجريبي الخاص به، SavvySearch، والذي كان قادرًا على اختيار محرك البحث الصحيح تلقائيًا لتحديد أولوياته بناءً على الخبرة السابقة. [ 10 ]

قام بو شو وسوبهاش كاك بتطوير محرك بحث شامل يُدعى أنفيش في عام 1999؛ حيث تم فرز نتائج البحث باستخدام شبكات عصبية مدربة فورياً . [ 11 ] وقد تم دمج هذا لاحقاً في محرك بحث شامل آخر يُدعى سولوسيرش. [ 12 ]

في أغسطس 2000، حصلت الهند على أول محرك بحث شامل لها مع إطلاق موقع HumHaiIndia.com. [ 13 ] وقد طوّره سوميت لامبا، الذي كان يبلغ من العمر آنذاك 16 عامًا. [ 14 ] أُعيد تسمية الموقع لاحقًا إلى Tazaa.com. [ 15 ]

إكس كويك هو محرك بحث معروف بسياسة الخصوصية الخاصة به. طُوّر وأُطلق عام ١٩٩٨ على يد ديفيد بودنيك، وهو مملوك لشركة سيرف بورد هولدينغ بي في. في يونيو ٢٠٠٦، بدأ إكس كويك بحذف البيانات الشخصية لمستخدميه، مُتبعًا نفس نهج سكروغل . تتضمن سياسة خصوصية إكس كويك عدم تسجيل عناوين IP للمستخدمين، وعدم استخدام ملفات تعريف الارتباط التعريفية، وعدم جمع البيانات الشخصية، وعدم مشاركتها مع أي جهات خارجية. [ ١٦ ] كما يستخدم نظام تصنيف فريدًا، حيث تُصنّف النتائج بالنجوم. كلما زاد عدد النجوم في نتيجة ما، زادت نسبة تأييد محركات البحث لها.

في أبريل 2005، تعاونت شركة Dogpile ، التي كانت آنذاك مملوكة ومدارة من قبل شركة InfoSpace ، مع باحثين من جامعة بيتسبرغ وجامعة ولاية بنسلفانيا لقياس مدى التداخل والاختلافات في ترتيب نتائج محركات البحث الرائدة على الإنترنت، وذلك لتقييم فوائد استخدام محرك بحث شامل للبحث في الويب. أظهرت النتائج أنه من بين 10,316 استعلامًا عشوائيًا من المستخدمين على محركات البحث Google و Yahoo! و Ask Jeeves ، كانت 3.2% فقط من نتائج الصفحة الأولى متطابقة بين هذه المحركات لنفس الاستعلام. وفي دراسة أخرى أُجريت في وقت لاحق من ذلك العام، باستخدام 12,570 استعلامًا عشوائيًا من المستخدمين على محركات البحث Google و Yahoo! و MSN Search و Ask Jeeves ، وُجد أن 1.1% فقط من نتائج الصفحة الأولى كانت متطابقة بين هذه المحركات لنفس الاستعلام. [ 17 ]

المزايا

من خلال إرسال استعلامات متعددة إلى عدة محركات بحث أخرى، يتم توسيع نطاق بيانات التغطية للموضوع، مما يتيح العثور على المزيد من المعلومات. تستخدم هذه المحركات الفهارس التي أنشأتها محركات البحث الأخرى، حيث تقوم بتجميع النتائج ومعالجتها بطرق فريدة. يتميز محرك البحث الجامع عن محرك البحث الأحادي بإمكانية استرجاع المزيد من النتائج بنفس الجهد المبذول. [ 2 ] كما أنه يقلل من جهد المستخدمين في كتابة عمليات البحث بشكل فردي من محركات مختلفة للعثور على الموارد. [ 2 ]

يُعدّ البحث المقارن أسلوبًا مفيدًا أيضًا إذا كان هدف المستخدم من البحث هو الحصول على نظرة عامة على الموضوع أو الحصول على إجابات سريعة. فبدلًا من تصفح محركات بحث متعددة مثل ياهو! أو جوجل ومقارنة النتائج، تستطيع محركات البحث المقارن تجميع النتائج ودمجها بسرعة. ويمكنها القيام بذلك إما عن طريق عرض نتائج كل محرك بحث مُستعلم عنه دون أي معالجة لاحقة (مثل Dogpile)، أو عن طريق تحليل النتائج وترتيبها وفقًا لقواعدها الخاصة (مثل IxQuick وMetacrawler وVivismo).

يمكن لمحرك البحث الفوقي أيضًا إخفاء عنوان IP الخاص بالباحث عن محركات البحث التي يتم الاستعلام عنها، مما يوفر خصوصية للبحث.

العيوب

لا تستطيع محركات البحث الفوقية تحليل نماذج الاستعلام أو ترجمة صيغة الاستعلام بالكامل . كما أن عدد الروابط التشعبية التي تولدها هذه المحركات محدود، وبالتالي لا توفر للمستخدم النتائج الكاملة للاستعلام. [ 18 ]

لا توفر معظم محركات البحث المجمعة أكثر من عشرة ملفات مرتبطة من محرك بحث واحد، ولا تتفاعل عمومًا مع محركات البحث الأكبر حجمًا للحصول على النتائج. وتُعطى الأولوية لروابط الدفع مقابل النقرة ، وعادةً ما تُعرض أولًا. [ 19 ]

يُعطي البحث الشامل أيضًا وهمًا بوجود تغطية أوسع للموضوع المطلوب، خاصةً إذا كان المستخدم يبحث عن معلومات شائعة أو مألوفة. ومن الشائع الحصول على نتائج متطابقة متعددة من محركات البحث المستخدمة. كما يصعب على المستخدمين البحث باستخدام صيغة بحث متقدمة تُرسل مع الاستعلام، لذا قد لا تكون النتائج دقيقة كما لو استخدم المستخدم واجهة بحث متقدمة في محرك بحث محدد. ونتيجةً لذلك، تعتمد العديد من محركات البحث الشامل على البحث البسيط. [ 20 ]

عملية

يستقبل محرك البحث الفوقي طلب بحث واحد من المستخدم ، ثم يُمرر هذا الطلب إلى قاعدة بيانات محرك بحث آخر . لا يُنشئ محرك البحث الفوقي قاعدة بيانات لصفحات الويب ، بل يُنشئ نظام قاعدة بيانات موحدًا لتكامل البيانات من مصادر متعددة. [ 21 ] [ 22 ] [ 23 ]

بما أن كل محرك بحث فريد من نوعه ويستخدم خوارزميات مختلفة لإنشاء البيانات المصنفة، فسيتم إنشاء نتائج مكررة. ولإزالة هذه النتائج، يقوم محرك البحث الجامع بمعالجة هذه البيانات وتطبيق خوارزميته الخاصة. ثم يتم إنتاج قائمة منقحة كمخرج للمستخدم. وعندما يتصل محرك البحث الجامع بمحركات بحث أخرى، ستستجيب هذه المحركات بثلاث طرق:

  • سيتعاون كلاهما وسيوفران وصولاً كاملاً إلى واجهة محرك البحث الفائق، بما في ذلك الوصول الخاص إلى قاعدة بيانات الفهرس، وسيبلغان محرك البحث الفائق بأي تغييرات يتم إجراؤها على قاعدة بيانات الفهرس؛
  • يمكن لمحركات البحث أن تتصرف بطريقة غير تعاونية حيث أنها لن تمنع أو توفر أي وصول إلى الواجهات؛
  • قد يكون محرك البحث عدائياً تماماً ويرفض منح محرك البحث الفوقي حق الوصول الكامل إلى قاعدة بياناته، وفي الحالات الخطيرة، قد يلجأ إلى الوسائل القانونية . [ 24 ]

بنية التصنيف

من المرجح أن تكون صفحات الويب ذات التصنيف العالي في العديد من محركات البحث أكثر صلةً بتقديم معلومات مفيدة. [ 24 ] ومع ذلك، فإن لكل محرك بحث معايير تصنيف مختلفة لكل موقع، وغالبًا ما تكون هذه المعايير غير متطابقة. ويعود ذلك إلى اختلاف معايير وأساليب التصنيف التي تعتمدها محركات البحث، وبالتالي قد يظهر موقع ويب بتصنيف عالٍ في محرك بحث، وبتصنيف منخفض في محرك آخر. وتُعد هذه مشكلة لأن محركات البحث الفوقية تعتمد بشكل كبير على اتساق هذه البيانات لإنشاء حسابات موثوقة. [ 24 ]

الاندماج

نموذج دمج البيانات

يستخدم محرك البحث الفائق عملية الدمج لتصفية البيانات والحصول على نتائج أكثر كفاءة. الطريقتان الرئيسيتان المستخدمتان في الدمج هما: دمج المجموعات ودمج البيانات.

  • دمج المجموعات: يُعرف أيضًا بالاسترجاع الموزع، ويتعامل تحديدًا مع محركات البحث التي تفهرس بيانات غير مترابطة. لتحديد مدى قيمة هذه المصادر، يفحص دمج المجموعات المحتوى ثم يرتب البيانات بناءً على احتمالية تقديمها معلومات ذات صلة بالاستعلام. ومن خلال النتائج المُولّدة، يستطيع دمج المجموعات اختيار أفضل الموارد من بين هذه الموارد المُرتبة. ثم تُدمج هذه الموارد المختارة في قائمة. [ 24 ]
  • دمج البيانات: يتعامل مع المعلومات المسترجعة من محركات البحث التي تفهرس مجموعات البيانات المشتركة. العملية متشابهة إلى حد كبير. تُدمج درجات الترتيب الأولية للبيانات في قائمة واحدة، ثم تُحلل الدرجات الأصلية لكل وثيقة من هذه الوثائق. تشير البيانات ذات الدرجات العالية إلى مستوى عالٍ من الصلة باستعلام معين، وبالتالي يتم اختيارها. لإنتاج قائمة، يجب توحيد الدرجات باستخدام خوارزميات مثل CombSum. وذلك لأن محركات البحث تتبنى سياسات خوارزمية مختلفة، مما يجعل الدرجات الناتجة غير قابلة للمقارنة. [ 25 ] [ 26 ]

التلاعب بنتائج البحث

التلاعب بفهرسة محركات البحث (Spamdexing) هو تلاعب متعمد بفهرسة محركات البحث. يستخدم هذا الأسلوب عدة طرق للتأثير على مدى ملاءمة أو بروز الموارد المفهرسة بطريقة لا تتوافق مع هدف نظام الفهرسة. قد يكون التلاعب بفهرسة محركات البحث مزعجًا للغاية للمستخدمين ومُشكلاً لمحركات البحث، نظرًا لضعف دقة نتائج البحث. سيؤدي هذا في النهاية إلى فقدان محرك البحث لموثوقيته. ولمعالجة هذه المشكلة، يتم تطوير خوارزميات روبوتات البحث وتحديثها بشكل شبه يومي للقضاء عليها. [ 27 ]

تُعدّ هذه مشكلة كبيرة لمحركات البحث الفوقية لأنها تُؤثر على معايير فهرسة برامج الزحف على الويب ، والتي يُعتمد عليها بشكل كبير في ترتيب قوائم التصنيف. يُؤدي التلاعب بفهرسة المواقع الإلكترونية إلى تغيير نظام التصنيف الطبيعي لمحرك البحث، ووضع مواقع الويب في مرتبة أعلى من ترتيبها الطبيعي. [ 28 ] وهناك ثلاث طرق رئيسية تُستخدم لتحقيق ذلك:

محتوى غير مرغوب فيه

تُعرف أساليب التلاعب بالمحتوى بأنها تغيير في طريقة عرض محركات البحث لمحتوى الصفحة. وتشمل هذه الأساليب ما يلي:

  • حشو الكلمات المفتاحية – وضع الكلمات المفتاحية بشكل مدروس داخل الصفحة لزيادة عدد الكلمات المفتاحية وتنوعها وكثافتها.
  • النص المخفي/غير المرئي – نص غير ذي صلة يتم إخفاؤه بجعله بنفس لون الخلفية، أو باستخدام حجم خط صغير جدًا، أو إخفاؤه داخل كود HTML
  • حشو الكلمات المفتاحية – تكرار الكلمات المفتاحية في الكلمات المفتاحية و/أو استخدام كلمات مفتاحية لا علاقة لها بمحتوى الموقع
  • صفحات البوابة – صفحات ويب منخفضة الجودة ذات محتوى قليل، ولكنها تحتوي على كلمات مفتاحية أو عبارات ذات صلة
  • مواقع استخراج البيانات – برامج تسمح للمواقع الإلكترونية بنسخ المحتوى من مواقع أخرى وإنشاء محتوى خاص بها.
  • إعادة صياغة المقالات - إعادة كتابة المقالات الموجودة بدلاً من نسخ المحتوى من مواقع أخرى
  • الترجمة الآلية – تستخدم الترجمة الآلية لإعادة كتابة المحتوى بلغات مختلفة، مما ينتج عنه نص غير قابل للقراءة

الروابط المزعجة هي روابط بين صفحات موجودة لأسباب لا علاقة لها بجودتها. وتشمل أساليبها ما يلي:

  • برامج بناء الروابط – أتمتة عملية تحسين محركات البحث (SEO)
  • مزارع الروابط – صفحات تشير إلى بعضها البعض (وتُعرف أيضاً باسم جمعيات الإعجاب المتبادل)
  • الروابط المخفية – وضع الروابط التشعبية في أماكن لا يراها الزوار أو لا يمكنهم رؤيتها
  • هجوم سيبيل – تزوير هويات متعددة لأغراض خبيثة
  • مدونات البريد العشوائي – مدونات تم إنشاؤها حصراً لأغراض الترويج التجاري ونقل قوة الروابط إلى المواقع المستهدفة
  • اختطاف الصفحات – إنشاء نسخة من موقع ويب شهير بمحتوى مشابه، ولكن يتم إعادة توجيه متصفحي الويب إلى مواقع ويب غير ذات صلة أو حتى ضارة
  • شراء النطاقات المنتهية الصلاحية – شراء النطاقات التي ستنتهي صلاحيتها واستبدال الصفحات بروابط لمواقع ويب غير ذات صلة
  • حشو ملفات تعريف الارتباط – وضع ملف تعريف ارتباط تابع على جهاز كمبيوتر زائر موقع الويب دون علمه
  • البريد العشوائي في المنتديات – مواقع إلكترونية يمكن للمستخدمين تعديلها لإضافة روابط إلى مواقع البريد العشوائي

التخفي

هذه تقنية لتحسين محركات البحث، حيث تُرسل مواد ومعلومات مختلفة إلى برنامج زحف الويب ومتصفح الويب . [ 29 ] وهي شائعة الاستخدام كتقنية تلاعب بنتائج البحث، لأنها قادرة على خداع محركات البحث إما لزيارة موقع يختلف اختلافًا كبيرًا عن وصف محرك البحث، أو لمنح موقع معين تصنيفًا أعلى.

انظر أيضاً

مراجع

  1. ↑ بيرغر، ساندي (2005). "دليل ساندي بيرغر الرائع للإنترنت حسب العمر" (وثيقة). دار نشر كيو.رقم الكتاب المعياري الدولي (ISBN) 0-7897-3442-7.
  2. 1 2 3 "هندسة محرك بحث شامل يدعم احتياجات المستخدم من المعلومات" . 1999.
  3. ↑ رايد، أونيون (2021). "كيف تعمل محركات البحث" . onionride.
  4. ↑ لورانس، ستيفن ر.؛ لي جايلز، سي. (10 أكتوبر 1997). "براءة اختراع أمريكية رقم 6999959 - محرك بحث ميتا" – عبر كتب جوجل .
  5. ↑ فوريس، إيلين م .؛ غوبتا، ناريندرا؛ جونسون-ليرد، بن (أبريل 2000). "مشكلة دمج المجموعات" .
  6. ↑ "حالات SearXNG" . 2025-02-03.
  7. ↑ سيلبرغ، إريك؛ إتزيوني، أورين (11 ديسمبر 1995). "البحث والمقارنة باستخدام محركات بحث متعددة باستخدام ميتا كراولر" . وقائع المؤتمر الدولي الرابع للويب العالمي . WWW4. نيويورك، نيويورك، الولايات المتحدة الأمريكية: رابطة آلات الحوسبة. الصفحات 195-208 . doi : 10.1145/3592626.3592641 . ISBN  978-1-56592-169-6.
  8. ↑ "Metacrawler" . www.metacrawler.com . تم الاطلاع عليه بتاريخ 15 يوليو 2026 .
  9. ↑ "تصنيفات محركات البحث على HotBot: تاريخ موجز لمحرك بحث HotBot" .
  10. ↑ هاو، أديل إي؛ دريلينجر، دانيال (15 يونيو 1997). "SavvySearch: محرك بحث شامل يتعلم محركات البحث التي يجب الاستعلام عنها" . مجلة الذكاء الاصطناعي . 18 (2): 19. doi : 10.1609/aimag.v18i2.1290 . ISSN 2371-9621 . 
  11. ↑ شو، بو؛ كاك، سوبهاش (1999). "محرك بحث ذكي قائم على الشبكات العصبية". علوم المعلومات . 120 (4): 1-11 . CiteSeerX 10.1.1.84.6837 . doi : 10.1016/S0020-0255(99)00062-6 . 
  12. ↑ كاك، سوبهاش (نوفمبر 1999). "تحسين عمليات البحث والتنبؤ على الويب باستخدام الشبكات العصبية المدربة فورياً" (ملف PDF) . أنظمة IEEE الذكية.
  13. ↑ "الوافد الجديد إلى المدينة" . إنديا توداي . 6 يوليو 2012. تم الاطلاع عليه بتاريخ 14 مارس 2024 .
  14. ↑ "ما هو محرك البحث الفائق؟" . جيكس فور جيكس . 1 أغسطس 2020. تاريخ الاسترجاع: 14 مارس 2024 .
  15. ↑ "www.metaseek.nl" . www.metaseek.nl . تاريخ الاسترجاع: 14 مارس 2024 .
  16. ↑ "نبذة عنا - تاريخنا" .
  17. ↑ سبينك، أماندا؛ جانسن، برنارد جيه؛ كاثوريا، فينيش؛ كوشمان، شيري (2006). "التداخل بين محركات البحث الرئيسية على الإنترنت" (ملف PDF) . إميرالد.
  18. ↑ "قسم المعلوماتية" . جامعة فريبورغ .
  19. ↑ "استغلال المعلومات الاستخباراتية للإنترنت" (ملف PDF) . 2002.
  20. ↑ هينيغار، آن (16 سبتمبر 2009). "محركات البحث الفوقية توسع آفاقك" .
  21. ^ منغ ، ويي (5 مايو 2008). “محركات البحث الوصفية” (PDF) .
  22. ↑ سيلبرغ، إريك؛ إتزيوني، أورين (1997). "بنية MetaCrawler لتجميع الموارد على الويب" . خبير IEEE. ص 11-14 . 
  23. ↑ مانوج، م؛ جاكوب، إليزابيث (يوليو 2013). "تصميم وتطوير محرك بحث ميتا قابل للبرمجة" (ملف PDF) . مؤسسة علوم الحاسوب. ص 6-11 . 
  24. 1 2 3 4 مانوج، م.؛ جاكوب، إليزابيث (أكتوبر 2008). "استرجاع المعلومات على الإنترنت باستخدام محركات البحث الفوقية: مراجعة" (ملف PDF) . مجلس البحوث العلمية والصناعية .
  25. ↑ وو، شينغلي؛ كريستاني، فابيو؛ بي، ياكسين (2006). "تقييم أساليب توحيد الدرجات في دمج البيانات". تكنولوجيا استرجاع المعلومات . سلسلة محاضرات في علوم الحاسوب. المجلد 4182. الصفحات 642-648 . CiteSeerX 10.1.1.103.295 . doi : 10.1007/11880592_57 . ISBN    978-3-540-45780-0.
  26. ↑ مانماثا، ر.؛ سيفر، هـ. (2014). "نهج رسمي لتطبيع الدرجات في البحث الفائق" (ملف PDF) . مؤرشف من الأصل (ملف PDF) بتاريخ 30 سبتمبر 2019. تم الاطلاع عليه بتاريخ 27 أكتوبر 2014 .
  27. ↑ ناجورك، مارك (2014). "الكشف عن البريد العشوائي على الويب" . مايكروسوفت .
  28. ^ فانديندريش، جيريت (فبراير 2009). "بعض التعليقات القانونية حول فهرسة البريد العشوائي" .
  29. ^ وانغ ، يي مين. ما، مينغ؛ نيو، يوان؛ تشين ، هاو (8 مايو 2007). “ربط مرسلي البريد العشوائي على الويب بالمعلنين” (PDF) .