التقطيع إلى أجزاء

التجريد اللغوي ( أو التجريد اللغوي بشكل أقل شيوعاً ) هو عملية تجميع الأشكال المصرفة للكلمة بحيث يمكن تحليلها كعنصر واحد، يتم تحديده من خلال جذر الكلمة ، أو شكلها المعجمي. ^{[ 1 ]}

في اللغويات الحاسوبية ، تُعرف عملية التجريد المعجمي بأنها عملية حسابية لتحديد الجذر اللغوي للكلمة بناءً على معناها المقصود. وعلى عكس التجريد الجذري ، يعتمد التجريد المعجمي على تحديد الجزء الكلامي والمعنى المقصودين للكلمة في الجملة، وكذلك ضمن السياق الأوسع المحيط بها، كالجمل المجاورة أو حتى النص بأكمله. ونتيجةً لذلك، يُعد تطوير خوارزميات فعالة للتجريد المعجمي مجالًا بحثيًا مفتوحًا. ^{[ 2 ] [ 3 ] [ 4 ]}

في العديد من اللغات، تظهر الكلمات بأشكال تصريفية متعددة . على سبيل المثال، في اللغة الإنجليزية، قد يظهر الفعل "to walk" بأشكال مختلفة مثل "walk" و"walked" و"walks" و"walking". يُطلق على الشكل الأساسي "walk"، الذي يمكن البحث عنه في القاموس، اسم " الجذر" للكلمة. أما ارتباط الشكل الأساسي بنوع معين من أنواع الكلام فيُطلق عليه غالبًا اسم " المعجم" للكلمة.

تُعدّ عملية التجريد اللغوي (التقسيم إلى جمل) وثيقة الصلة بعملية التجريد الجذري (التجذير ). ويكمن الفرق في أن المُجَذِّر يعمل على كلمة واحدة دون معرفة السياق، وبالتالي لا يستطيع التمييز بين الكلمات التي تحمل معاني مختلفة تبعًا لنوعها النحوي. مع ذلك، عادةً ما يكون تطبيق المُجَذِّرات أسهل وأسرع. وقد لا يُشكّل انخفاض "الدقة" مشكلة في بعض التطبيقات. في الواقع، عند استخدام التجريد الجذري في أنظمة استرجاع المعلومات، فإنه يُحسّن دقة استرجاع الاستعلام ، أو معدل النتائج الإيجابية الحقيقية، مقارنةً بالتجريد اللغوي. ومع ذلك، يُقلّل التجريد الجذري من الدقة ، أو نسبة الحالات المصنفة إيجابيًا والتي هي إيجابية بالفعل، في هذه الأنظمة. ^{[ 5 ]}

على سبيل المثال:

1. كلمة "better" مشتقة من كلمة "good". هذا الرابط لا يظهر عند تحليل الكلمات، لأنه يتطلب الرجوع إلى القاموس.
2. كلمة "walk" هي الشكل الأساسي لكلمة "walking"، وبالتالي يتم مطابقتها في كل من التجريد والتحليل الصرفي.
3. يمكن أن تكون كلمة "اجتماع" إما صيغة اسمية أو صيغة فعلية ("يلتقي") بحسب السياق؛ مثلاً: "في اجتماعنا الأخير" أو "سنلتقي مجدداً غداً". وعلى عكس التجريد، تسعى عملية التجريد اللغوي إلى اختيار الجذر الصحيح وفقاً للسياق.

يمكن لبرامج فهرسة المستندات، مثل Lucene ^{[ 6 ]،} تخزين الصيغة الأساسية للكلمة دون معرفة معناها، مع الأخذ في الاعتبار قواعد تكوين الكلمات فقط. قد لا تكون الكلمة المُشتقة صحيحةً في حد ذاتها: فكلمة "lazy"، كما هو موضح في المثال أدناه، تُشتق في العديد من برامج التجريد إلى "lazi". والسبب في ذلك هو أن الغرض من التجريد ليس إنتاج الجذر الصحيح  - فهذه مهمة أكثر تعقيدًا تتطلب معرفة السياق. الغرض الرئيسي من التجريد هو ربط الأشكال المختلفة للكلمة بصيغة واحدة. ^{[ 7 ]} وباعتبارها خوارزمية قائمة على القواعد، تعتمد فقط على تهجئة الكلمة، فإنها تُضحي بالدقة لضمان، على سبيل المثال، أن يكون لكلمة "laziness" نفس جذر كلمة "lazy" عند تجريدها إلى "lazi".

إحدى الطرق البسيطة لإجراء التجريد اللغوي هي البحث في القاموس. هذه الطريقة فعّالة مع الصيغ الصرفية البسيطة، ولكن يلزم نظام قائم على القواعد في حالات أخرى، كما هو الحال في اللغات التي تحتوي على كلمات مركبة طويلة . يمكن صياغة هذه القواعد يدويًا أو تعلمها تلقائيًا من مدونة لغوية مشروحة .

يمكن أن يُسفر التحليل المورفولوجي للأدبيات الطبية الحيوية المنشورة عن نتائج مفيدة. ويمكن أن تكون المعالجة المورفولوجية للنصوص الطبية الحيوية أكثر فعالية باستخدام برنامج متخصص في تحليل الكلمات في مجال الطب الحيوي، وقد تُحسّن دقة مهام استخلاص المعلومات العملية . ^{[ 8 ]}

• التوحيد القياسي – عملية تحويل البيانات إلى شكل "قياسي" أو "طبيعي" أو قياسي.