فهرسة محركات البحث

تشمل العوامل الرئيسية في تصميم بنية محرك البحث ما يلي:

عوامل الدمج

كيفية إدخال البيانات إلى الفهرس، أو كيفية إضافة الكلمات أو السمات الموضوعية إليه أثناء استعراض مجموعة النصوص، وما إذا كان بإمكان عدة مفهرسين العمل بشكل غير متزامن. يجب على المفهرس أولاً التحقق مما إذا كان يُحدِّث محتوىً قديماً أو يُضيف محتوىً جديداً. يرتبط الاستعراض عادةً بسياسة جمع البيانات . يُشابه دمج فهارس محركات البحث في مفهومه أمر دمج SQL وخوارزميات الدمج الأخرى. ^{[ 4 ]}

تقنيات التخزين

كيفية تخزين بيانات الفهرس ، أي ما إذا كان ينبغي ضغط البيانات أو تصفيتها.

حجم الفهرس

ما مقدار مساحة التخزين الحاسوبية المطلوبة لدعم الفهرس؟

سرعة البحث

سرعة العثور على كلمة في الفهرس المعكوس . تُعد سرعة العثور على مدخل في بنية بيانات، مقارنةً بسرعة تحديثه أو حذفه، محورًا أساسيًا في علوم الحاسوب.

صيانة

كيف يتم الحفاظ على المؤشر بمرور الوقت. ^{[ 5 ]}

تحمل الأعطال

مدى أهمية أن تكون الخدمة موثوقة. تشمل المشكلات التعامل مع تلف الفهرس، وتحديد ما إذا كان يمكن معالجة البيانات التالفة بشكل منفصل، والتعامل مع الأجهزة التالفة، والتقسيم ، ومخططات مثل التقسيم القائم على التجزئة أو التقسيم المركب، ^{[ 6 ]} بالإضافة إلى النسخ المتماثل .

تختلف بنى محركات البحث في طريقة تنفيذ الفهرسة وفي أساليب تخزين الفهرس لتلبية عوامل التصميم المختلفة.

شجرة اللواحق

تُبنى شجرة اللواحق، وهي مُصممة بشكل مجازي على هيئة شجرة، على أساس البحث الخطي. وتُنشأ بتخزين لواحق الكلمات. تُعد شجرة اللواحق نوعًا من أنواع أشجار البحث (Trie) . تدعم أشجار البحث التجزئة القابلة للتوسيع ، وهو أمر بالغ الأهمية لفهرسة محركات البحث. ^{[ 7 ]} تُستخدم للبحث عن الأنماط في تسلسلات الحمض النووي (DNA) والتجميع. من أبرز عيوبها أن تخزين كلمة في الشجرة قد يتطلب مساحة تخزين أكبر من تلك المطلوبة لتخزين الكلمة نفسها. ^{[ 8 ]} هناك تمثيل بديل هو مصفوفة اللواحق ، والتي يُعتقد أنها تتطلب ذاكرة افتراضية أقل وتدعم ضغط البيانات مثل خوارزمية BWT .

مؤشر معكوس

يخزن قائمة بتكرارات كل معيار من معايير البحث الذري، ^{[ 9 ]} وعادةً ما يكون ذلك في شكل جدول تجزئة أو شجرة ثنائية . ^{[ 10 ] [ 11 ]}

مؤشر الاستشهاد

يخزن الاستشهادات أو الروابط التشعبية بين المستندات لدعم تحليل الاستشهادات، وهو موضوع من مواضيع علم قياسات الاستشهادات .

مؤشر n -gram

يخزن تسلسلات من أطوال البيانات لدعم أنواع أخرى من الاسترجاع أو استخراج النصوص . ^{[ 12 ]}

مصفوفة المصطلحات والوثائق

يستخدم في التحليل الدلالي الكامن، ويخزن تكرارات الكلمات في المستندات في مصفوفة متفرقة ثنائية الأبعاد .

يُعدّ إدارة عمليات الحوسبة التسلسلية تحديًا رئيسيًا في تصميم محركات البحث، حيث تكثر فرص حدوث حالات التزامن المتنافس والأخطاء المتسقة. على سبيل المثال، عند إضافة مستند جديد إلى مجموعة النصوص، يجب تحديث الفهرس، ولكن في الوقت نفسه، يجب أن يستمر الفهرس في الاستجابة لاستعلامات البحث. هذا يُشكّل تعارضًا بين مهمتين متنافستين. لنفترض أن المؤلفين هم منتجو المعلومات، وأن برنامج زحف الويب هو مستهلك هذه المعلومات، حيث يقوم باستخراج النص وتخزينه في ذاكرة تخزين مؤقتة (أو مجموعة نصوص ). يُعدّ الفهرس الأمامي مستهلكًا للمعلومات التي تنتجها مجموعة النصوص، بينما يُعدّ الفهرس العكسي مستهلكًا للمعلومات التي ينتجها الفهرس الأمامي. يُشار إلى هذا عادةً بنموذج المنتج والمستهلك . يُعدّ المفهرس منتجًا للمعلومات القابلة للبحث، بينما يُعدّ المستخدمون مستهلكين يحتاجون إلى البحث. يتفاقم التحدي عند العمل مع التخزين والمعالجة الموزعة. في محاولة للتوسع مع كميات أكبر من المعلومات المفهرسة، قد تتضمن بنية محرك البحث الحوسبة الموزعة ، حيث يتكون محرك البحث من عدة أجهزة تعمل بتناغم. يزيد هذا من احتمالات عدم الاتساق ويجعل من الصعب الحفاظ على بنية متزامنة وموزعة ومتوازية بالكامل. ^{[ 13 ]}

تستخدم العديد من محركات البحث فهرسًا معكوسًا عند تقييم استعلام البحث لتحديد موقع المستندات التي تحتوي على الكلمات المطلوبة بسرعة، ثم ترتيب هذه المستندات حسب الصلة. ولأن الفهرس المعكوس يخزن قائمة بالمستندات التي تحتوي على كل كلمة، يستطيع محرك البحث الوصول المباشر إلى المستندات المرتبطة بكل كلمة في الاستعلام، وبالتالي استرجاع المستندات المطابقة بسرعة. فيما يلي رسم توضيحي مبسط للفهرس المعكوس:

لا يُمكن لهذا الفهرس سوى تحديد وجود كلمة ما في مستند مُحدد، إذ لا يُخزّن أي معلومات حول تكرار الكلمة أو موقعها؛ ولذلك يُعتبر فهرسًا منطقيًا . يُحدد هذا الفهرس المستندات المُطابقة للاستعلام، لكنه لا يُرتبها. في بعض التصاميم، يتضمن الفهرس معلومات إضافية مثل تكرار كل كلمة في كل مستند أو موقعها فيه. ^{[ 14 ]} تُمكّن معلومات الموقع خوارزمية البحث من تحديد تقارب الكلمات لدعم البحث عن العبارات؛ بينما يُمكن استخدام التكرار للمساعدة في ترتيب مدى صلة المستندات بالاستعلام. تُعدّ هذه المواضيع محورًا رئيسيًا لبحوث استرجاع المعلومات .

الفهرس المعكوس عبارة عن مصفوفة متفرقة ، نظرًا لعدم وجود جميع الكلمات في كل مستند. ولتقليل متطلبات ذاكرة التخزين الحاسوبية ، يُخزَّن بطريقة مختلفة عن المصفوفة ثنائية الأبعاد . يشبه هذا الفهرس مصفوفات المصطلحات والمستندات المستخدمة في التحليل الدلالي الكامن . يمكن اعتبار الفهرس المعكوس شكلاً من أشكال جدول التجزئة. في بعض الحالات، يكون الفهرس على شكل شجرة ثنائية ، مما يتطلب مساحة تخزين إضافية ولكنه قد يقلل من وقت البحث. في الفهارس الكبيرة، يكون التصميم عادةً عبارة عن جدول تجزئة موزع . ^{[ 15 ]}

يتم ملء الفهرس المعكوس عبر عملية دمج أو إعادة بناء. تشبه عملية إعادة البناء عملية الدمج، ولكنها تحذف محتويات الفهرس المعكوس أولًا. قد يُصمَّم النظام لدعم الفهرسة التزايدية، ^{[ 17 ]} حيث تُحدِّد عملية الدمج المستند أو المستندات المراد إضافتها أو تحديثها، ثم تُحلِّل كل مستند إلى كلمات. ولضمان الدقة التقنية، تُدمج عملية الدمج المستندات المفهرسة حديثًا، والتي عادةً ما تكون موجودة في الذاكرة الافتراضية، مع ذاكرة التخزين المؤقت للفهرس الموجودة على قرص صلب واحد أو أكثر من أقراص الحاسوب.

بعد التحليل، يُضيف المُفهرس المستند المُشار إليه إلى قائمة المستندات الخاصة بالكلمات المناسبة. في محركات البحث الكبيرة، قد تستغرق عملية البحث عن كل كلمة في الفهرس المعكوس (للإشارة إلى وجودها في المستند) وقتًا طويلاً، لذا تُقسّم هذه العملية عادةً إلى جزأين: إنشاء فهرس أمامي، وعملية فرز محتويات الفهرس الأمامي في الفهرس المعكوس. سُمّي الفهرس المعكوس بهذا الاسم لأنه عكس الفهرس الأمامي.

يخزن الفهرس الأمامي قائمة بالكلمات لكل مستند. فيما يلي شكل مبسط للفهرس الأمامي:

يكمن الأساس المنطقي لتطوير الفهرس الأمامي في أنه أثناء تحليل المستندات، من الأفضل تخزين الكلمات لكل مستند بشكل وسيط. يُمكّن هذا التحديد من معالجة النظام بشكل غير متزامن، مما يُخفف جزئيًا من مشكلة اختناق تحديث الفهرس المعكوس . ^{[ 18 ]} يتم فرز الفهرس الأمامي لتحويله إلى فهرس معكوس. الفهرس الأمامي هو في الأساس قائمة من الأزواج تتكون من مستند وكلمة، مُرتبة حسب المستند. تحويل الفهرس الأمامي إلى فهرس معكوس هو مجرد فرز الأزواج حسب الكلمات. من هذا المنطلق، يُعد الفهرس المعكوس فهرسًا أماميًا مُرتبًا حسب الكلمات.

يمثل إنشاء أو صيانة فهرس محرك بحث واسع النطاق تحديًا كبيرًا من حيث التخزين والمعالجة. تستخدم العديد من محركات البحث نوعًا من الضغط لتقليل حجم الفهارس على القرص . ^{[ 19 ]} لنفترض السيناريو التالي لمحرك بحث نصي كامل على الإنترنت.

• يتطلب تخزين حرف واحد 8 بتات (أو بايت واحد). تستخدم بعض أنظمة التشفير بايتين لكل حرف ^{[ 20 ] [ 21 ].}
• يمكن تقدير متوسط ​​عدد الأحرف في أي كلمة معينة على الصفحة بـ 5 ( ويكيبيديا: مقارنات الحجم )

في هذا السيناريو، سيحتاج فهرس غير مضغوط (بافتراض فهرس بسيط غير مُدمج ) لملياري صفحة ويب إلى تخزين 500 مليار مدخل كلمة. وبمعدل بايت واحد لكل حرف، أو 5 بايتات لكل كلمة، سيتطلب ذلك 2500 غيغابايت من مساحة التخزين وحدها. وقد يكون هذا المتطلب أكبر في حالة بنية تخزين موزعة مقاومة للأعطال. وبحسب تقنية الضغط المُختارة، يُمكن تقليص حجم الفهرس إلى جزء صغير من هذا الحجم. ويكمن المقابل في الوقت وقوة المعالجة اللازمين لعمليتي الضغط وفك الضغط.

تجدر الإشارة إلى أن تصميمات محركات البحث واسعة النطاق تتضمن تكلفة التخزين بالإضافة إلى تكاليف الكهرباء اللازمة لتشغيل هذا التخزين. وبالتالي، يُعدّ الضغط مقياسًا للتكلفة.

غموض حدود الكلمات

قد يظنّ متحدثو اللغة الإنجليزية الأصليون في البداية أن عملية تجزئة النصوص مهمة بسيطة، لكن الأمر ليس كذلك عند تصميم فهرس متعدد اللغات . ففي شكلها الرقمي، تُمثّل النصوص المكتوبة بلغات أخرى، كالصينية أو اليابانية ، تحديًا أكبر، إذ لا تُحدّد المسافات البيضاء الكلمات بوضوح . والهدف من تجزئة النصوص هو تحديد الكلمات التي سيبحث عنها المستخدمون. ويُستخدم منطق خاص بكل لغة لتحديد حدود الكلمات بدقة، وهو ما يُبرّر غالبًا تصميم محلل نحوي لكل لغة مدعومة (أو لمجموعات من اللغات ذات علامات حدودية وبنية نحوية متشابهة).

غموض اللغة

للمساعدة في ترتيب المستندات المطابقة بشكل صحيح، تجمع العديد من محركات البحث معلومات إضافية عن كل كلمة، مثل لغتها أو فئتها المعجمية ( نوعها النحوي ). وتعتمد هذه التقنيات على اللغة، إذ يختلف تركيبها النحوي بين اللغات. ولا تُحدد المستندات دائمًا لغتها بوضوح أو تُمثلها بدقة. وفي عملية تجزئة المستند، تحاول بعض محركات البحث تحديد لغة المستند تلقائيًا.

تنسيقات ملفات متنوعة

لكي يتم تحديد البايتات التي تمثل الأحرف في المستند بدقة، يجب التعامل مع تنسيق الملف بشكل صحيح. يجب أن تكون محركات البحث التي تدعم تنسيقات ملفات متعددة قادرة على فتح المستند والوصول إليه بشكل صحيح، وأن تكون قادرة على تحليل أحرف المستند إلى رموز.

تخزين معيب

قد لا تكون جودة بيانات اللغة الطبيعية مثالية دائمًا. فعددٌ غير محدد من المستندات، لا سيما على الإنترنت، لا يلتزم التزامًا دقيقًا ببروتوكولات الملفات الصحيحة. وقد تُشفّر الأحرف الثنائية خطأً في أجزاء مختلفة من المستند. وبدون التعرّف على هذه الأحرف ومعالجتها بالشكل المناسب، قد تتدهور جودة الفهرس أو أداء المُفهرس.

على عكس البشر الملمين بالقراءة والكتابة ، لا تفهم الحواسيب بنية مستندات اللغة الطبيعية، ولا تستطيع التعرف على الكلمات والجمل تلقائيًا. فبالنسبة للحاسوب، المستند ليس سوى سلسلة من البايتات. ولا "تعرف" الحواسيب أن المسافة تفصل بين الكلمات في المستند. لذا، يجب على البشر برمجة الحاسوب لتحديد ما يشكل كلمةً منفردةً أو مميزةً تُسمى "الرمز". ويُطلق على هذا البرنامج عادةً اسم " المُجزئ" أو "المحلل اللغوي" . وتتضمن العديد من محركات البحث، بالإضافة إلى برامج معالجة اللغة الطبيعية الأخرى، برامج متخصصة للتحليل اللغوي، مثل YACC أو Lex .

أثناء عملية التجزئة، يُحدد المُحلل تسلسلات الأحرف التي تُمثل الكلمات وعناصر أخرى، مثل علامات الترقيم، والتي تُمثل برموز رقمية، بعضها أحرف تحكم غير قابلة للطباعة. كما يُمكن للمُحلل تحديد كيانات مثل عناوين البريد الإلكتروني وأرقام الهواتف وعناوين المواقع الإلكترونية . عند تحديد كل رمز، قد تُخزن عدة خصائص، مثل حالة الرمز (كبير، صغير، مختلط، علم)، واللغة أو الترميز، والفئة المعجمية (نوع الكلمة، مثل "اسم" أو "فعل")، والموقع، ورقم الجملة، وموضع الجملة، والطول، ورقم السطر.

إذا كان محرك البحث يدعم لغات متعددة، فإن الخطوة الأولى الشائعة في عملية تجزئة الكلمات هي تحديد لغة كل مستند؛ وتعتمد العديد من الخطوات اللاحقة على اللغة (مثل التجريد وتحديد أجزاء الكلام ). التعرف على اللغة هو العملية التي يحاول من خلالها برنامج حاسوبي تحديد لغة المستند أو تصنيفها تلقائيًا. ومن المسميات الأخرى للتعرف على اللغة: تصنيف اللغة، وتحليل اللغة، وتحديد اللغة، ووضع علامات اللغة. يُعد التعرف الآلي على اللغة موضوعًا لبحوث مستمرة في مجال معالجة اللغات الطبيعية . وقد يتطلب تحديد اللغة التي تنتمي إليها الكلمات استخدام مخطط التعرف على اللغة .

إذا كان محرك البحث يدعم تنسيقات متعددة للمستندات ، فيجب تهيئة المستندات لعملية التجزئة. يكمن التحدي في أن العديد من تنسيقات المستندات تحتوي على معلومات تنسيق بالإضافة إلى المحتوى النصي. على سبيل المثال، تحتوي مستندات HTML على وسوم HTML، التي تحدد معلومات التنسيق مثل بداية الأسطر الجديدة، والخط العريض، وحجم الخط أو نمطه . إذا تجاهل محرك البحث الفرق بين المحتوى و"الترميز"، فسيتم تضمين معلومات زائدة في الفهرس، مما يؤدي إلى نتائج بحث ضعيفة. تحليل التنسيق هو تحديد ومعالجة محتوى التنسيق المضمن في المستندات والذي يتحكم في طريقة عرض المستند على شاشة الكمبيوتر أو تفسيره بواسطة برنامج. يُشار إلى تحليل التنسيق أيضًا باسم تحليل البنية، وتحليل التنسيق، وإزالة الوسوم، وإزالة التنسيق، وتطبيع النص، وتنظيف النص، وإعداد النص. يزداد تحدي تحليل التنسيق تعقيدًا بسبب تعقيدات تنسيقات الملفات المختلفة. بعض تنسيقات الملفات خاصة ولا يُفصح عن الكثير من المعلومات عنها، بينما البعض الآخر موثق جيدًا. تشمل تنسيقات الملفات الشائعة والموثقة جيدًا والتي تدعمها العديد من محركات البحث ما يلي:

• HTML
• ملفات نصية ASCII (مستند نصي بدون تنسيق محدد قابل للقراءة بواسطة الكمبيوتر)
• تنسيق المستندات المحمولة من أدوبي ( PDF )
• PostScript (PS)
• مطاط
• تنسيقات خادم أخبار يوزنت
• XML ومشتقاتها مثل RSS
• SGML
• تنسيقات بيانات الوسائط المتعددة الوصفية مثل ID3
• مايكروسوفت وورد
• مايكروسوفت إكسل
• مايكروسوفت باوربوينت
• برنامج IBM Lotus Notes

تشمل خيارات التعامل مع التنسيقات المختلفة استخدام أداة تحليل تجارية متاحة للجمهور تقدمها المنظمة التي طورت أو تحافظ على أو تمتلك التنسيق، وكتابة محلل مخصص .

تدعم بعض محركات البحث فحص الملفات المخزنة بتنسيق مضغوط أو مشفر. عند التعامل مع تنسيق مضغوط، يقوم برنامج الفهرسة أولاً بفك ضغط المستند؛ وقد ينتج عن هذه الخطوة ملف واحد أو أكثر، يجب فهرسة كل منها على حدة. تشمل تنسيقات الملفات المضغوطة الشائعة المدعومة ما يلي :

• ملف مضغوط (ZIP) - ملف أرشيف مضغوط
• ملف أرشيف روشال ( RAR)
• ملف CAB - ملف خزانة مايكروسوفت ويندوز
• ملف مضغوط باستخدام gzip
• BZIP - ملف مضغوط باستخدام bzip2
• ملف أرشيف الشريط (TAR) ، وهو ملف أرشيف في نظام يونكس ، غير مضغوط (بذاته).
• TAR.Z أو TAR.GZ أو TAR.BZ2 - ملفات أرشيفية لنظام يونكس مضغوطة باستخدام Compress أو GZIP أو BZIP2

قد يشمل تحليل التنسيق أساليب تحسين الجودة لتجنب إدراج "معلومات غير صحيحة" في الفهرس. يمكن للمحتوى التلاعب بمعلومات التنسيق لإضافة محتوى إضافي. أمثلة على إساءة استخدام تنسيق المستندات لأغراض فهرسة البريد العشوائي :

• يتضمن ذلك تضمين مئات أو آلاف الكلمات في قسم مخفي عن الأنظار على شاشة الكمبيوتر، ولكنه مرئي للمفهرس، وذلك باستخدام التنسيق (على سبيل المثال، علامة "div" المخفية في HTML ، والتي قد تتضمن استخدام CSS أو JavaScript للقيام بذلك).
• ضبط لون خط المقدمة للكلمات ليكون مطابقًا للون الخلفية، مما يجعل الكلمات مخفية على شاشة الكمبيوتر بالنسبة للشخص الذي يشاهد المستند، ولكنها ليست مخفية بالنسبة للمفهرس.

تُدمج بعض محركات البحث خاصية التعرف على الأقسام، أي تحديد الأجزاء الرئيسية من المستند، قبل عملية التجزئة. لا تُقرأ جميع المستندات في مجموعة النصوص ككتابٍ مُتقن الكتابة، مُقسّم إلى فصول وصفحات مُنظمة. تحتوي العديد من المستندات على الإنترنت ، مثل النشرات الإخبارية وتقارير الشركات، على محتوى خاطئ وأقسام جانبية لا تتضمن المادة الأساسية (موضوع المستند). على سبيل المثال، تعرض مقالات موقع ويكيبيديا قائمة جانبية تحتوي على روابط لصفحات ويب أخرى. تسمح بعض تنسيقات الملفات، مثل HTML أو PDF، بعرض المحتوى في أعمدة. على الرغم من عرض المحتوى في مناطق مختلفة من الشاشة، إلا أن ترميز النص الخام قد يُخزّن هذه المعلومات بشكل تسلسلي. تُفهرس الكلمات التي تظهر بشكل تسلسلي في محتوى المصدر الخام بشكل تسلسلي، حتى وإن كانت هذه الجمل والفقرات تُعرض في أجزاء مختلفة من شاشة الحاسوب. إذا فهرست محركات البحث هذا المحتوى كما لو كان محتوىً عاديًا، فقد تتدهور جودة الفهرس وجودة البحث بسبب المحتوى المختلط وتقارب الكلمات غير الصحيح. لوحظت مشكلتان رئيسيتان:

• يتم التعامل مع المحتوى الموجود في أقسام مختلفة على أنه مرتبط في الفهرس، بينما هو في الواقع ليس كذلك.
• تم تضمين محتوى الشريط الجانبي التنظيمي في الفهرس، لكن محتوى الشريط الجانبي لا يساهم في معنى المستند، والفهرس مليء بتمثيل ضعيف لمستنداته.

قد يتطلب تحليل الأقسام من محرك البحث تطبيق منطق عرض كل مستند، وهو في جوهره تمثيل مجرد للمستند الفعلي، ثم فهرسة هذا التمثيل. على سبيل المثال، يُعرض بعض المحتوى على الإنترنت باستخدام جافا سكريبت. إذا لم يقم محرك البحث بعرض الصفحة وتقييم جافا سكريبت الموجودة فيها، فلن "يرى" هذا المحتوى بالطريقة نفسها، وسيفهرس المستند بشكل خاطئ. ونظرًا لأن بعض محركات البحث لا تهتم بمشاكل العرض، يتجنب العديد من مصممي صفحات الويب عرض المحتوى باستخدام جافا سكريبت، أو يستخدمون وسم Noscript ( مؤرشف بتاريخ 7 يوليو 2020 في Wayback Machine) لضمان فهرسة صفحة الويب بشكل صحيح. في الوقت نفسه، يمكن استغلال هذه الحقيقة أيضًا لجعل مُفهرس محرك البحث "يرى" محتوى مختلفًا عن المحتوى الذي يراه المستخدم.

غالبًا ما يتطلب فهرسة النصوص التعرف على وسوم HTML لترتيب أولوياتها. قد لا يكون من المجدي فهرسة الوسوم ذات الأولوية المنخفضة إلى العالية، مثل الوسوم القوية والروابط ، لتحسين ترتيب الأولويات إذا كانت هذه الوسوم في بداية النص. تضمن بعض محركات البحث، مثل جوجل وبينج ، عدم اعتبار النصوص الطويلة مصادر ذات صلة، وذلك بفضل توافقها مع أنظمة الكتابة القوية. ^{[ 22 ]}

يلعب فهرسة العلامات الوصفية دورًا هامًا في تنظيم وتصنيف محتوى الويب. غالبًا ما تحتوي المستندات على معلومات وصفية مضمنة مثل المؤلف والكلمات المفتاحية والوصف واللغة. بالنسبة لصفحات HTML، تحتوي العلامة الوصفية على كلمات مفتاحية تُدرج أيضًا في الفهرس. في السابق، كانت تقنية محركات البحث على الإنترنت تفهرس الكلمات المفتاحية في العلامات الوصفية فقط للفهرسة الأمامية، دون تحليل المستند بالكامل. في ذلك الوقت، لم تكن فهرسة النصوص الكاملة راسخة، ولم تكن أجهزة الكمبيوتر قادرة على دعم هذه التقنية. صُممت لغة ترميز HTML في البداية لدعم العلامات الوصفية لغرض فهرستها بسهولة ودقة، دون الحاجة إلى تجزئة النص. ^{[ 23 ]}

مع نمو الإنترنت خلال التسعينيات، اتجهت العديد من الشركات التقليدية إلى الإنترنت وأنشأت مواقع إلكترونية خاصة بها. وتغيرت الكلمات المفتاحية المستخدمة لوصف صفحات الويب (والتي كان العديد منها صفحات موجهة للشركات تشبه كتيبات المنتجات) من كلمات وصفية إلى كلمات تسويقية تهدف إلى زيادة المبيعات من خلال وضع الصفحة في أعلى نتائج البحث لاستعلامات بحث محددة. وقد أدى تحديد هذه الكلمات بشكل شخصي إلى ما يُعرف بـ" البريد العشوائي" (Spamdexing )، مما دفع العديد من محركات البحث إلى تبني تقنيات فهرسة النصوص الكاملة في التسعينيات. ولم يكن بإمكان مصممي محركات البحث والشركات وضع عدد كبير من "الكلمات التسويقية" في محتوى صفحة الويب قبل أن تُفرغها من جميع المعلومات المفيدة والقيّمة. ونظرًا لهذا التضارب في المصالح مع هدف العمل المتمثل في تصميم مواقع ويب جذابة وسهلة الاستخدام، تم تعديل معادلة قيمة العميل على المدى الطويل لتشمل محتوى أكثر فائدة في الموقع الإلكتروني، وذلك بهدف الاحتفاظ بالزائر. وبهذا المعنى، كان فهرسة النص الكامل أكثر موضوعية وزاد من جودة نتائج محركات البحث، لأنه كان خطوة أخرى بعيدًا عن التحكم الذاتي في وضع نتائج محركات البحث، الأمر الذي بدوره عزز البحث في تقنيات فهرسة النص الكامل.

في البحث على أجهزة الكمبيوتر ، تتضمن العديد من الحلول علامات وصفية (meta tags) تتيح للمؤلفين تخصيص طريقة فهرسة محرك البحث للمحتوى من ملفات مختلفة، وهو أمر غير واضح من محتوى الملف نفسه. يُتيح البحث على أجهزة الكمبيوتر تحكمًا أكبر للمستخدم، بينما يجب على محركات البحث على الإنترنت التركيز بشكل أكبر على فهرسة النص الكامل.