بحث ياندكس

يتكون محرك البحث من ثلاثة مكونات رئيسية: ^{[ 12 ]}

1. الوكيل هو روبوت بحث. يتجاوز الشبكة، ويقوم بتنزيل المستندات وتحليلها. إذا تم العثور على رابط جديد أثناء تحليل الموقع، فإنه يُضاف إلى قائمة عناوين الويب الخاصة بالروبوت. روبوتات البحث هي الأنواع التالية: العناكب - تقوم بتنزيل المواقع كما يفعل متصفح المستخدم؛ الزاحف - يكتشف روابط جديدة غير معروفة بناءً على تحليل المستندات المعروفة مسبقًا؛ المفهرس - يحلل صفحات الويب المكتشفة ويضيف البيانات إلى الفهرس . يتم تقسيم العديد من المستندات غير المكتملة إلى أجزاء منفصلة ويتم حذف ترميزها.
2. الفهرس عبارة عن قاعدة بيانات يتم تجميعها بواسطة روبوتات فهرسة محركات البحث . ويتم البحث عن المستندات في الفهرس.
3. محرك البحث. يُرسل طلب البحث من المستخدم إلى الخادم الأقل ازدحامًا بعد تحليل حمل نظام البحث. ^{[ 13 ] [ 14 ]} ولتوفير هذه الإمكانية، تُجمّع خوادم ياندكس في مجموعات. ثم يُعالج طلب المستخدم بواسطة برنامج يُسمى "ميتابواسك". ^{[ 14 ]} يُحلل ميتابواسك الطلب في الوقت الفعلي: فهو يُحدد الموقع الجغرافي للمستخدم، ويُجري تحليلًا لغويًا، وما إلى ذلك. كما يُحدد البرنامج ما إذا كان الطلب ينتمي إلى فئة الأكثر شيوعًا أو المُعرّفة حديثًا. تُخزّن هذه الطلبات لفترة من الوقت في ذاكرة (ذاكرة التخزين المؤقت) البحث الفائق، وفي حالة وجود تطابق، تُعرض النتائج المحفوظة مسبقًا. ^{[ 14 ]} إذا كان الطلب نادرًا ولم تكن هناك نتائج مطابقة في ذاكرة التخزين المؤقت، يُعيد النظام توجيهه إلى برنامج البحث الأساسي. يُحلل هذا البرنامج فهرس النظام، والذي يُقسّم أيضًا إلى خوادم مُكررة مختلفة (مما يُسرّع العملية). ثم تعود المعلومات المستلمة إلى عملية البحث الفائق، حيث يتم ترتيب البيانات وعرضها للمستخدم في شكل نهائي. ^{[ 13 ]}

بشكل عام، يقوم Yandex بفهرسة أنواع الملفات التالية: ^{[ 15 ]} html ، pdf ، rtf ، doc ، xls ، ppt ، docx ، odt ، odp، ods، odg، xlsx ، pptx .

محرك البحث قادر أيضًا على فهرسة النص داخل كائنات Shockwave Flash (إذا لم يتم وضع النص على الصورة نفسها)، إذا تم نقل هذه العناصر كصفحة منفصلة، ​​والتي لها نوع MIME application/x-shockwave-flash، وملفات بامتداد .swf ^{[ 16 ]}

لدى ياندكس روبوتان للمسح الضوئي: "الرئيسي" و"السريع". الأول مسؤول عن الإنترنت بأكمله، بينما يقوم الثاني بفهرسة المواقع ذات المعلومات المتغيرة والمحدثة باستمرار (مواقع الأخبار ووكالات الأنباء). في عام 2010، حصل الروبوت "السريع" على تقنية جديدة تُسمى "أورانج"، طُوّرت بالتعاون بين فرعي ياندكس في كاليفورنيا وموسكو. ^{[ 16 ]}

تدعم ياندكس تقنية خرائط المواقع منذ عام 2009. ^{[ 16 ]}

في سجلات الخادم، يتم تمثيل روبوتات ياندكس على النحو التالي: ^{[ 17 ]}

• Mozilla/5.0 (compatible; YandexBot/3.0)هو برنامج الفهرسة الرئيسي.
• Mozilla/5.0 (compatible; YandexBot/3.0; MirrorDetector)- برنامج آلي يكشف عن المواقع المكررة. إذا وُجدت عدة مواقع بنفس المحتوى، فسيتم عرض موقع واحد فقط في نتائج البحث.
• Mozilla/5.0 (compatible; YandexImages/3.0)- فهرسة صور ياندكس
• Mozilla/5.0 (compatible; YandexVideo/3.0)- فهرسة فيديوهات ياندكس
• Mozilla/5.0 (compatible; YandexMedia/3.0)- فهرسة بيانات الوسائط المتعددة
• Mozilla/5.0 (compatible; YandexBlogs/0.99; robot)هو برنامج بحث آلي يقوم بفهرسة تعليقات المنشورات.
• Mozilla/5.0 (compatible; YandexAddurl/2.0)- هو روبوت بحث يقوم بفهرسة الصفحات من خلال نموذج "إضافة عنوان URL ".
• Mozilla/5.0 (compatible; YandexDirect/2.0; Dyatel)- يتحقق من ياندكس دايركت
• Mozilla/5.0 (compatible; YandexMetrika/2.0)- مُفهرس مقاييس ياندكس
• Mozilla/5.0 (compatible; YandexCatalog/3.0; Dyatel)- يتحقق من كتالوج ياندكس
• Mozilla/5.0 (compatible; YandexNews/3.0)- مُفهرس أخبار ياندكس
• Mozilla/5.0 (compatible; YandexAntivirus/2.0)- برنامج ياندكس لمكافحة الفيروسات

تُستخدم العوامل التالية للضبط:

• ""- اقتباس دقيق
• |- أدخل بين الكلمات، إذا كنت بحاجة إلى العثور على إحداها
• *- أدخل الكلمة بين الكلمات، إذا كانت هناك كلمة مفقودة
• site:- البحث في موقع محدد
• date:- ابحث عن المستندات حسب التاريخ، على سبيل المثال، التاريخ: 2007
• +- أدخل قبل الكلمة التي يجب أن تكون في المستند

يقوم محرك البحث ياندكس، بشكل تلقائي، بالبحث عن مختلف صيغه واختلافاته، إلى جانب "الشكل الدقيق" الأصلي للاستعلام. ^{[ 18 ]}

يأخذ محرك بحث ياندكس في الاعتبار بنية اللغة الروسية، لذا، وبغض النظر عن شكل الكلمة في عبارة البحث، سيتم البحث عن جميع أشكالها. إذا لم ترغب في إجراء تحليل صرفي ، يمكنك وضع علامة تعجب (!) قبل الكلمة، وفي هذه الحالة سيُظهر البحث الشكل المحدد للكلمة فقط. إضافةً إلى ذلك، لا تأخذ عبارة البحث في الاعتبار عمليًا ما يُسمى بالكلمات الشائعة ، أي حروف الجر وعلامات الترقيم والضمائر، وما إلى ذلك، نظرًا لانتشارها الواسع ^{[ 12 ] .}

كقاعدة عامة، يتم الكشف عن الاختصارات تلقائيًا، ويتم تصحيح الأخطاء الإملائية. كما يبحث النظام عن المرادفات (مثل: mobile - cellular). يعتمد توسيع نطاق طلب المستخدم الأصلي على السياق. لا يحدث التوسيع عند استخدام مجموعة من المصطلحات المتخصصة للغاية، أو أسماء الشركات (على سبيل المثال، OJSC “Hippo” - OJSC “Hippopotamus”)، أو إضافة كلمة "price"، أو عند استخدام علامات اقتباس دقيقة (هذه الاستعلامات مميزة بعلامات اقتباس مكتوبة). ^{[ 18 ]}

تُشكّل نتائج البحث لكل مستخدم على حدة بناءً على موقعه الجغرافي، ولغة الاستعلام، واهتماماته، وتفضيلاته، وذلك استنادًا إلى نتائج جلسات البحث السابقة والحالية. ومع ذلك، فإن العامل الأساسي في ترتيب نتائج البحث هو مدى صلتها بالاستعلام. ^{[ 19 ]} ويتم تحديد الصلة بناءً على معادلة ترتيب تُحدَّث باستمرار باستخدام خوارزميات التعلّم الآلي.

يتم إجراء البحث باللغات الروسية والإنجليزية والفرنسية والألمانية والأوكرانية والبيلاروسية والتتارية والكازاخية .​​​​

يمكن فرز نتائج البحث حسب الصلة وحسب التاريخ (الأزرار الموجودة أسفل نتائج البحث).

تتألف صفحة نتائج البحث من 10 روابط مع شروحات موجزة تُعرف باسم "المقتطفات". تشمل هذه المقتطفات تعليقًا نصيًا، ورابطًا، وعنوانًا، وأقسامًا شائعة من الموقع، وصفحات على مواقع التواصل الاجتماعي، وما إلى ذلك. ^{[ 20 ]} وكبديل للمقتطفات، قدمت ياندكس في عام 2014 واجهة جديدة تُسمى "الجزر". ^{[ 21 ]}

يطبق ياندكس آلية "البحث المتوازي"، فعندما يتم إجراء بحث على خدمات ياندكس، مثل الكتالوج والأخبار والسوق والموسوعات والصور وما إلى ذلك، بالتزامن مع البحث على الويب، فإن النظام، نتيجة لذلك، واستجابةً لطلب المستخدم، لا يعرض معلومات نصية فحسب، بل يعرض أيضًا روابط لملفات الفيديو والصور ومداخل القاموس وما إلى ذلك. ^{[ 22 ]}

من السمات المميزة لمحرك البحث تقنية "البحث القائم على النية"، أي البحث عن حل لمشكلة ما. ^{[ 23 ]} تشمل عناصر البحث القائم على النية: نوافذ حوارية في حال وجود طلب غامض، وترجمة نصية تلقائية، ومعلومات حول خصائص السيارة المطلوبة، وما إلى ذلك. على سبيل المثال، عند طلب " Boris Grebenshchikov - Golden City"، سيعرض النظام نموذجًا للاستماع إلى الموسيقى عبر الإنترنت من خدمة Yandex Music ، وعند طلب "st. Koroleva 12"، سيعرض جزءًا من الخريطة مع تحديد الموقع المطلوب.

في عام 2013، اعتبر البعض ياندكس محرك البحث الأكثر أمانًا آنذاك، وثالث أكثر محركات البحث أمانًا بين جميع موارد الويب. ^{[ 26 ]} وبحلول عام 2016، تراجع ياندكس إلى المركز الثالث، بينما تصدر جوجل القائمة. ^{[ 27 ]}

ظهرت ميزة فحص صفحات الويب وتنبيه المستخدمين في محرك بحث ياندكس عام 2009: ومنذ ذلك الحين، تظهر في صفحة نتائج البحث، بجانب أي موقع خطير، ملاحظة "قد يُهدد هذا الموقع أمان جهاز الكمبيوتر الخاص بك". ^{[ 28 ]} يستخدم ياندكس تقنيتين في آنٍ واحد للكشف عن التهديدات. الأولى مُشتراة من شركة مكافحة الفيروسات الأمريكية سوفوس، وتعتمد على أسلوب التوقيع: أي أنه عند الوصول إلى صفحة ويب، يقوم نظام مكافحة الفيروسات بالوصول إلى قاعدة بيانات الفيروسات والبرامج الضارة المعروفة . هذا الأسلوب سريع، ولكنه عمليًا غير فعال ضد الفيروسات الجديدة التي لم تُضَف بعد إلى قاعدة البيانات. لذلك، يستخدم ياندكس، إلى جانب التوقيع، نظام مكافحة فيروسات خاص به، يعتمد على تحليل سلوك المستخدم. يتحقق برنامج ياندكس، عند الوصول إلى الموقع، مما إذا كان الموقع قد طلب ملفات إضافية من المتصفح، أو أعاد توجيهه إلى مورد خارجي، وما إلى ذلك. وبالتالي، إذا وردت معلومات تفيد بأن الموقع بدأ بتنفيذ إجراءات معينة (مثل تحميل صفحات أنماط متتالية، أو تشغيل وحدات جافا سكريبت ، أو برامج كاملة) دون إذن المستخدم، فإنه يُضاف إلى "القائمة السوداء" وقاعدة بيانات توقيعات الفيروسات. ^{[ 29 ]} تظهر معلومات إصابة الموقع في نتائج البحث، ويتلقى مالك الموقع إشعارًا عبر خدمة Yandex.Webmaster. بعد الفحص الأول، تُجري Yandex فحصًا ثانيًا، وإذا تأكدت الإصابة للمرة الثانية، تُجرى الفحوصات بوتيرة أعلى حتى يتم القضاء على التهديد. لا تتجاوز نسبة المواقع المصابة في قاعدة بيانات Yandex 1%. ^{[ 28 ]}

في عام 2013، كان محرك بحث ياندكس يفحص 23 مليون صفحة ويب يومياً (ويكشف عن 4300 موقع خطير) ويعرض للمستخدمين 8 ملايين تحذير. ^{[ 30 ]} ويتم فحص ما يقارب مليار موقع شهرياً. ^{[ 28 ]}

لفترة طويلة، كان العامل الرئيسي لتصنيف محرك بحث ياندكس هو عدد الروابط الخارجية المؤدية إلى موقع معين. كان يُخصص لكل صفحة على الإنترنت مؤشر استشهاد فريد، مشابه لمؤشر مؤلفي المقالات العلمية: كلما زاد عدد الروابط، كان ذلك أفضل. تم تطبيق آلية مماثلة في ياندكس وفي نظام PageRank الخاص بجوجل . ولمنع التلاعب ، يستخدم ياندكس تحليلًا متعدد المتغيرات، حيث يتأثر 70 عاملًا فقط من أصل 800 بعدد الروابط الخارجية. أما اليوم، فيلعب محتوى الموقع، ووجود الكلمات المفتاحية فيه من عدمه، وسهولة قراءة النص، واسم النطاق، وتاريخه، ووجود محتوى الوسائط المتعددة، دورًا أكبر بكثير.

On 5 December 2013 Yandex announced a complete refusal of accounting the link factor in the future.^[31]

Since around 2014, user behavior signals - such as click-through rate on search results, time spent on a page, and return-to-search-results ("pogo-sticking") - have been treated by Yandex as a significant ranking factor, particularly for commercial queries. This has led to a persistent market of services attempting to artificially manipulate these signals ("behavioral factor manipulation," or накрутка поведенческих факторов) in order to influence rankings^[32]. Yandex representatives have stated that the company's primary countermeasure is not to penalize offending sites but to detect and discount fraudulent behavioral signals so that manipulation has no ranking effect. Mikhail Slivinsky, Yandex's Search ambassador for web platforms, described this approach in a 2024 interview, saying the company works "to not count fraud signals... so that manipulation simply does not work by default."^[33]

As the user types the query in the search bar, the search engine offers hints in the form of a drop-down list. Hints appear even before the search results appears and allow you to refine the query, correct the layout or typo, or go directly to the site you are looking for. For each user, hints are generated based on the history of their search queries using the My Finds service. In 2012, the so-called “Smart Search Hints” appeared, which instantly give out information about the main constants (equator length, speed of light, and so on), traffic jams, and have a built-in calculator. In addition, a translator was integrated in the “Hints” (the query “love in French” instantly gives out amour, affection), the schedule and results of football matches, exchange rates, weather forecasts and more. You can find out the exact time by asking "what time is it." In 2011, Hints in the search for Yandex became completely local to 83 regions of Russia.^[34]

In addition to the actual search, Hints are built into Yandex search engines. Dictionaries ”,“ Yandex. Market ”,“ Yandex. Maps "and other Yandex services.

The hint function is a consequence of the development of the technology of intent search and first appeared on Yandex.Bar in August 2007, and in October 2008 it was introduced on the main page of the search engine.^[35] Available both in the desktop and mobile versions of the site, Yandex shows its users more than a billion search hints per day^[36]

اسم النظام - ياندكس - ابتكره أركادي فولوز وإيليا سيغالوفيتش معًا . ^{[ 38 ]} الكلمة تعني " أنا" و " فهرس " (أو " أنا " (بالروسية " ya " ) ). وفقًا لتفسير أرتيمي ليبيديف ، فإن اسم محرك البحث متوافق مع كلمة "ياندكس"، حيث تعني "يانغ" بداية المذكر. ^{[ 39 ]}

أعلنت شركة كومبتيك عن محرك البحث ياندكس.رو في 23 سبتمبر 1997 ^{[ 40 ]} خلال معرض سوفتول، على الرغم من أن الشركة قد أجرت بعض التطورات في مجال البحث ( فهرسة الكتاب المقدس ، والبحث عن المستندات على أقراص مدمجة ، والبحث في المواقع) قبل ذلك. احتوى الفهرس الأول على معلومات عن 5000 خادم، وشغل مساحة 4.5 جيجابايت. ^{[ 41 ]}

في عام 1997 نفسه، بدأ استخدام محرك بحث ياندكس في النسخة الروسية من متصفح إنترنت إكسبلورر 4.0. ^{[ 42 ] [ 43 ]} وأصبح من الممكن الاستعلام باللغة الطبيعية. ^{[ 44 ]}

في عام 1998، ظهرت وظيفة "البحث عن مستندات مماثلة" لكل نتيجة بحث. ^{[ 45 ]}

كان نظام "Yandex.Search" يعمل اعتبارًا من عام 1998 على ثلاثة أجهزة تعمل بنظام FreeBSD تحت مظلة Apache : جهاز واحد يقوم بفهرسة الإنترنت والمستندات، وجهاز آخر يقوم بتشغيل محرك البحث، وجهاز ثالث يقوم بنسخ محرك البحث. ^{[ 46 ]}

في عام 1999، ظهر محرك بحث ضمن فئات البحث، وهو عبارة عن مزيج من محرك بحث وفهرس. ^{[ 47 ]} تم تحديث إصدار محرك البحث. ^{[ 48 ]}

في السادس من يونيو/حزيران عام 2000، تم تقديم النسخة الثانية من محرك البحث . ^{[ 49 ]} وقد أُضيفت آلية بحث متوازية، وبالتزامن مع إطلاقها، تم توفير معلومات من مصادر واسعة النطاق. وأصبح بإمكان المستخدمين حصر نتائج البحث في الموضوع المُختار. وظهر عنوان "النتائج الشائعة" - وهي كلمات تُحسّن دقة البحث. ^{[ 50 ]}

In December 2000, the volume of indexed information reached 355.22 GB.^[51]

In 2001, Yandex overtook another Russian search engine, Rambler, in terms of attendance, and became the leading search engine of Runet.^[52][53] Yandex began to understand requests in a natural language that were asked in interrogative form. The system has learned to recognize typos and suggest correcting them. The design has changed.^[54]

The number of daily queries to the Yandex search engine exceeded 2 million^[55]

Indexing .rtf and .pdf documents was launched.^[56] Search results began to be issued including in XML format.^[57]

The ranking algorithm has changed.^[58]

Yandex began indexing documents in .swf (Flash).^[59]xls and .ppt formats.^[60]

At the end of the year, the study “Some Aspects of Full-Text Search and Ranking in YandexArchived 2022-04-09 at the Wayback Machine” was published (authors Ilya Segalovich, Mikhail Maslov), which revealed certain ranking details in a search engine.^[61]

In summer, the so-called “fast” search robot was launched, working in parallel with the actual pages intended for indexing. The base of the "fast robot" is updated every 1.5–2 hours.^[62]

The ranking algorithm has been improved to increase search accuracy.^[63]

Search capabilities have been expanded with the help of Yandex. Dictionaries ”and“ Yandex. Lingvo ". The search engine has learned to understand queries like “What is [something] in Spanish” and automatically translate them.

It became possible to limit search results by region.^[64]

Since May 2006, site icons have been displayed in the search results.^[65]

In early December, next to each link in the results of search appeared the item “Saved copy”, clicking on which, the user goes to a full copy of the page in a special archive database (“Yandex cache”).^[66]

Ranking algorithm changed again.^[67]

في عام ٢٠٠٨، بدأت ياندكس لأول مرة بالإعلان علنًا عن تغييرات في خوارزمية البحث ، وبدأت بتسمية هذه التغييرات بأسماء مدن روسية. ^{[ ٦٨ ]} يبدأ اسم "المدينة" في كل خوارزمية لاحقة بالحرف الذي انتهى به اسم الخوارزمية السابقة. ^{[ ٦٩ ]}

في أبريل 2020، بدأ محرك البحث ياندكس بوضع التعليقات السلبية حول أليكسي نافالني بشكل مصطنع في أعلى نتائج البحث عند البحث عن اسمه. ^{[ 70 ]} وأعلن ياندكس أن هذا جزء من "تجربة" وعاد إلى عرض نتائج البحث العضوية. ^{[ 71 ] [ 72 ] [ 73 ]}