نموذج الفضاء المتجهي

الموسوعة الحرة

نموذج الفضاء المتجهي (VSM) أو نموذج متجه المصطلحات هو نموذج جبري لتمثيل المستندات النصية (أو بشكل أعم، العناصر) كمتجهات ، بحيث تمثل المسافة بين المتجهات مدى الصلة بين المستندات. يُستخدم هذا النموذج في تصفية المعلومات ، واسترجاعها ، وفهرستها ، وترتيبها حسب الصلة. وكان أول استخدام له في نظام SMART لاسترجاع المعلومات . [ 1 ]

التعريفات

في هذا القسم، نتناول نموذجًا محددًا لفضاء المتجهات يعتمد على تمثيل حقيبة الكلمات . يتم تمثيل المستندات والاستعلامات كمتجهات.

دج=(w1،ج،w2،ج،...،wن،ج){\displaystyle d_{j}=(w_{1,j},w_{2,j},\dotsc ,w_{n,j})}
q=(w1،q،w2،q،...،wن،q){\displaystyle q=(w_{1,q},w_{2,q},\dotsc ,w_{n,q})}

يمثل كل بُعد مصطلحًا منفصلاً. إذا ورد مصطلح في المستند، فإن قيمته في المتجه لا تساوي صفرًا. وقد طُوّرت عدة طرق مختلفة لحساب هذه القيم، والمعروفة أيضًا بأوزان المصطلحات. ومن أشهر هذه الطرق طريقة ترجيح tf-idf (انظر المثال أدناه).

يختلف تعريف المصطلح باختلاف التطبيق. عادةً ما تكون المصطلحات كلمات مفردة، أو كلمات مفتاحية ، أو عبارات أطول. إذا تم اختيار الكلمات لتكون المصطلحات، فإن بُعد المتجه هو عدد الكلمات في المفردات (عدد الكلمات المختلفة الواردة في المدونة ) .

يمكن استخدام عمليات المتجهات لمقارنة المستندات بالاستعلامات. [ 2 ]

التطبيقات

يمكن استرجاع المستندات المرشحة من مجموعة النصوص وترتيبها باستخدام طرق متنوعة. ويمكن حساب ترتيب المستندات حسب الصلة في البحث بالكلمات المفتاحية، باستخدام افتراضات نظرية تشابه المستندات ، من خلال مقارنة انحراف الزوايا بين متجه كل مستند ومتجه الاستعلام الأصلي، حيث يُمثَّل الاستعلام كمتجه له نفس أبعاد المتجهات التي تُمثِّل المستندات الأخرى.

من الناحية العملية، من الأسهل حساب جيب تمام الزاوية بين المتجهين، بدلاً من الزاوية نفسها:

كوس⁡θ=د2⋅q‖د2‖‖q‖{\displaystyle \cos {\theta}={\frac {\mathbf {d_{2}} \cdot \mathbf {q} }{\left\|\mathbf {d_{2}} \right\|\left\|\mathbf {q} \right\|}}}

أيند2⋅q{\displaystyle \mathbf {d_{2}} \cdot \mathbf {q} }هو تقاطع (أي حاصل الضرب النقطي ) متجهي المستند (d 2 في الشكل على اليمين) والاستعلام (q في الشكل)،‖د2‖\displaystyle \left\|\mathbf {d_{2}} \right\|}هي معيار المتجه d 2 ، و‖q‖{\displaystyle \left\|\mathbf {q} \right\|}يمثل معيار المتجه q. ويتم حساب معيار المتجه على النحو التالي:

‖q‖=∑أنا=1نqأنا2\displaystyle \left\|\mathbf {q} \right\|={\sqrt {\sum _{i=1}^{n}q_{i}^{2}}}}

باستخدام دالة جيب التمام، يمكن حساب التشابه بين المستند d j والاستعلام q على النحو التالي:

جos(دج،q)=دج⋅q‖دج‖‖q‖=∑أنا=1شمالدأنا،جqأنا∑أنا=1شمالدأنا،ج2∑أنا=1شمالqأنا2{\displaystyle \mathrm {cos} (d_{j},q)={\frac {\mathbf {d_{j}} \cdot \mathbf {q} }{\left\|\mathbf {d_{j}} \right\|\left\|\mathbf {q} \right\|}}={\frac {\sum _{i=1}^{N}d_{i,j}q_{i}}{{\sqrt {\sum _{i=1}^{N}d_{i,j}^{2}}}{\sqrt {\sum _{i=1}^{N}q_{i}^{2}}}}}}

بما أن جميع المتجهات التي يأخذها هذا النموذج في الاعتبار عناصرها غير سالبة، فإن قيمة جيب التمام التي تساوي صفرًا تعني أن متجه الاستعلام ومتجه المستند متعامدان ولا يوجد بينهما تطابق (أي أن مصطلح الاستعلام غير موجود في المستند قيد الدراسة). انظر تشابه جيب التمام لمزيد من المعلومات. [ 2 ]

أوزان تردد المصطلح - تردد المستند العكسي (tf-idf)

في نموذج فضاء المتجهات الكلاسيكي الذي اقترحه سالتون وونغ ويانغ [ 3 ] ، تُحسب الأوزان الخاصة بكل مصطلح في متجهات المستندات كحاصل ضرب معلمات محلية وعالمية. يُعرف هذا النموذج بنموذج تردد المصطلح - تردد المستند العكسي (tf-idf). متجه الأوزان للمستند d هوvد=[w1،د،w2،د،...،wشمال،د]تي{\displaystyle \mathbf {v} _{d}=[w_{1,d},w_{2,d},\ldots ,w_{N,d}]^{T}}، أين

wت،د=توت،د⋅سجل⁡|د||{د′∈د|ت∈د′}|{\displaystyle w_{t,d}=\mathrm {tf} _{t,d}\cdot \log {\frac {|D|}{|\{d'\in D\,|\,t\in d'\}|}}}

و

  • توت،د{\displaystyle \mathrm {tf} _{t,d}}هل تردد المصطلح t في المستند d (معامل محلي)
  • سجل⁡|د||{د′∈د|ت∈د′}|{\displaystyle \log {\frac {|D|}{|\{d'\in D\,|\,t\in d'\}|}}}هو تردد المستند العكسي (معامل عام).|د|{\displaystyle |D|}يمثل العدد الإجمالي للمستندات في مجموعة المستندات؛|{د′∈د|ت∈د′}|{\displaystyle |\{d'\in D\,|\,t\in d'\}|}يمثل عدد المستندات التي تحتوي على المصطلح t .

المزايا

يتميز نموذج الفضاء المتجهي بالمزايا التالية مقارنةً بنموذج المنطق البولياني القياسي :

  1. يسمح بتصنيف المستندات وفقًا لمدى صلتها المحتملة بالموضوع.
  2. يسمح باسترجاع العناصر ذات التداخل الجزئي في المصطلحات [ 2 ]

تُعزى معظم هذه المزايا إلى اختلاف كثافة تمثيل مجموعة المستندات بين أساليب الأوزان المنطقية وأساليب تردد المصطلحات - تردد المستندات العكسي. عند استخدام الأوزان المنطقية، يقع أي مستند في رأس من رؤوس مكعب فائق الأبعاد ذي n بُعد . وبالتالي، فإن تمثيلات المستندات الممكنة هي2ن{\displaystyle 2^{n}}والمسافة الإقليدية القصوى بين الأزواج هين{\displaystyle {\sqrt {n}}}مع إضافة المزيد من المستندات إلى مجموعة المستندات، تزداد كثافة المنطقة المحددة برؤوس المكعب الفائق. على عكس طريقة Boolean، عند إضافة مستند باستخدام أوزان تردد المصطلح - تردد المستند العكسي، ينخفض ​​تردد المستند العكسي للمصطلحات في المستند الجديد، بينما يزداد تردد المستندات العكسي للمصطلحات المتبقية. في المتوسط، مع إضافة المزيد من المستندات، تتوسع المنطقة التي تقع فيها المستندات، مما ينظم كثافة تمثيل المجموعة بأكملها. يُجسد هذا السلوك الدافع الأصلي لسالتون وزملائه، وهو أن تمثيل مجموعة المستندات في منطقة منخفضة الكثافة قد يُحسّن نتائج الاسترجاع.

القيود

يحتوي نموذج الفضاء المتجهي على القيود التالية:

  1. يُفترض أن تكون مصطلحات الاستعلام مستقلة، لذا قد لا يتم تمثيل العبارات بشكل جيد في الترتيب.
  2. الحساسية الدلالية؛ لن يتم ربط المستندات ذات السياق المماثل ولكن بمفردات مصطلحات مختلفة [ 2 ]

ومع ذلك، يمكن التغلب على العديد من هذه الصعوبات من خلال دمج أدوات مختلفة، بما في ذلك التقنيات الرياضية مثل تحليل القيم المفردة وقواعد البيانات المعجمية مثل WordNet .

نماذج تستند إلى نموذج الفضاء المتجهي وتوسعه

تشمل النماذج القائمة على نموذج الفضاء المتجهي والموسعة له ما يلي:

برنامج يطبق نموذج الفضاء المتجهي

قد تكون حزم البرامج التالية ذات أهمية لأولئك الذين يرغبون في تجربة نماذج المتجهات وتنفيذ خدمات البحث بناءً عليها.

برامج مفتوحة المصدر مجانية

نموذج الفضاء المتجهي المعمم

يُعدّ نموذج الفضاء المتجهي المعمم تعميمًا لنموذج الفضاء المتجهي المستخدم في استرجاع المعلومات . وقدّم وونغ وآخرون [ 4 ] تحليلًا للمشاكل التي يُثيرها افتراض التعامد الثنائي في نموذج الفضاء المتجهي. ومن هنا، قاموا بتوسيع نموذج الفضاء المتجهي إلى نموذج الفضاء المتجهي المعمم.

ركز تساتسارونيس مؤخرًا [ 5 ] على النهج الأول. يقيسون الترابط الدلالي ( SR ) باستخدام قاموس مرادفات ( O ) مثل WordNet . يأخذ هذا النهج في الاعتبار طول المسار، الذي يتم قياسه من خلال التماسك ( SCM )، وعمق المسار، الذي يتم قياسه من خلال تفصيل المسار الدلالي ( SPE ).

وبالاستناد إلى النهج الأول، قام وايتيلونيس وآخرون [ 6 ] بحساب الترابط الدلالي من موارد البيانات المفتوحة المرتبطة، بما في ذلك DBpedia وتصنيف YAGO . وبذلك، يستغلون العلاقات التصنيفية بين الكيانات الدلالية في المستندات والاستعلامات بعد ربط الكيانات المسماة .

انظر أيضاً

مراجع

  1. ↑ بيري، مايكل دبليو؛ درماك، زلاتكو؛ جيسوب، إليزابيث آر. (يناير 1999). "المصفوفات، فضاءات المتجهات، واسترجاع المعلومات". مجلة SIAM . 41 (2): 335-362 . doi : 10.1137/s0036144598347035 .
  2. 1 2 3 4 بوتشر، ستيفان؛ كلارك، تشارلز إل إيه؛ كورماك، جوردون في. (2016). استرجاع المعلومات: تطبيق وتقييم محركات البحث (الطبعة الأولى ذات الغلاف الورقي من مطبعة معهد ماساتشوستس للتكنولوجيا). كامبريدج، ماساتشوستس. لندن، إنجلترا: مطبعة معهد ماساتشوستس للتكنولوجيا. ISBN  978-0-262-52887-0.
  3. ↑ جي. سالتون، أ. وونغ، سي إس يانغ، نموذج فضاء متجه للفهرسة التلقائية ، اتصالات رابطة آلات الحوسبة، المجلد 18، العدد 11، الصفحات 613-620، نوفمبر 1975
  4. ↑ وونغ، إس كيه إم؛ زياركو، فويتش؛ وونغ، باتريك سي إن (5 يونيو 1985)، "نموذج فضاءات المتجهات المعممة في استرجاع المعلومات"، وقائع المؤتمر الدولي السنوي الثامن لجمعية ACM SIGIR حول البحث والتطوير في استرجاع المعلومات - SIGIR '85 ، SIGIR ACM ، الصفحات 18-25 ، doi : 10.1145/253495.253506 ، ISBN  0897911598
  5. ↑ تساتسارونيس، جورج؛ بانايوتوبولو، فيكي (2009-04-02)، نموذج فضاء متجهي معمّم لاسترجاع النصوص بناءً على الترابط الدلالي (PDF) ، EACL ACM
  6. ↑ وايتيلونيس، يورغ؛ إكسيلر، كلوديا؛ ساك، هارالد (2015-09-11)، نموذج فضاء متجهي معمّم مُمكّن بالبيانات المرتبطة لتحسين استرجاع المستندات (PDF) ، ISWC 2015، CEUR-WS 1581

للمزيد من القراءة