الطي الدلالي

تصف نظرية الطي الدلالي إجراءً لترميز دلالات نص اللغة الطبيعية في تمثيل ثنائي قائم على الدلالة . يوفر هذا النهج إطارًا لنمذجة كيفية معالجة بيانات اللغة بواسطة القشرة المخية الحديثة . ^{[ 1 ]}

تستمد نظرية الطي الدلالي إلهامها من كتاب دوغلاس ر. هوفستاتر " التشابه جوهر الإدراك" ، الذي يشير إلى أن الدماغ يفهم العالم من خلال تحديد التشابهات وتطبيقها . ^{[ 2 ]} تفترض النظرية أنه يجب بالتالي إدخال البيانات الدلالية إلى القشرة المخية الحديثة بشكل يسمح بتطبيق مقياس التشابه ، وتقدم، كحل، المتجه الثنائي المتفرق الذي يستخدم فضاءً دلاليًا طوبوغرافيًا ثنائي الأبعاد كإطار مرجعي للتوزيع. تستند النظرية إلى النظرية الحسابية للقشرة المخية البشرية المعروفة باسم الذاكرة الزمنية الهرمية ، وتُقدم نفسها كنظرية مكملة لتمثيل دلالات اللغة.

تتمثل إحدى نقاط القوة الخاصة التي يدعيها هذا النهج في أن التمثيل الثنائي الناتج يمكّن من تنفيذ العمليات الدلالية المعقدة ببساطة وكفاءة على المستوى الحسابي الأساسي.

على غرار بنية القشرة المخية الحديثة، تفترض نظرية الطي الدلالي تنفيذ الفضاء الدلالي كشبكة ثنائية الأبعاد. تُملأ هذه الشبكة بمتجهات السياق ^{[ ملاحظة 1 ]} بطريقة تجعل متجهات السياق المتشابهة أقرب إلى بعضها، على سبيل المثال، باستخدام مبادئ التعلم التنافسي. يُقدَّم نموذج فضاء المتجهات هذا في النظرية كمكافئ لنموذج فضاء الكلمات المعروف ^{[ 3 ]} الموصوف في أدبيات استرجاع المعلومات .

بالنظر إلى فضاء دلالي (مطبق كما هو موضح أعلاه)، يمكن الحصول على متجه الكلمات ^{[ ملاحظة 2 ]} لأي كلمة معينة Y باستخدام الخوارزمية التالية :

لكل موضع X في الخريطة الدلالية (حيث يمثل X الإحداثيات الديكارتية ) ، إذا كانت الكلمة Y موجودة في متجه السياق عند الموضع X ، فأضف 1 إلى الموضع المقابل في متجه الكلمة للكلمة Y، وإلا فأضف 0 إلى الموضع المقابل في متجه الكلمة للكلمة Y.

ستكون نتيجة هذه العملية متجهًا للكلمات يحتوي على جميع السياقات التي تظهر فيها الكلمة Y، وبالتالي سيكون ممثلاً لدلالات تلك الكلمة في الفضاء الدلالي. يُلاحظ أن متجه الكلمات الناتج يكون أيضًا بتنسيق تمثيل موزع متفرق (SDR) [Schütze، 1993] و[Sahlgreen، 2006]. ^{[ 3 ] [ 4 ]} من خصائص تمثيلات الكلمات الموزعة المتفرقة (SDR) ذات الأهمية الخاصة فيما يتعلق بالدلالات الحاسوبية ما يلي: ^{[ 5 ]}

• مقاومة عالية للضوضاء: نتيجة لوضع السياقات المتشابهة بالقرب من بعضها البعض في الخريطة الأساسية، فإن وحدات التعرف على الكلمات (word-SDRs) تتمتع بقدرة عالية على تحمل "البتات" الخاطئة أو المزاحة.
• المنطق البولياني : من الممكن معالجة سلاسل الكلمات بطريقة ذات معنى باستخدام الدوال البوليانية (أو، و، أو الحصرية) و/أو الدوال الحسابية (الطرح).
• أخذ العينات الفرعية: يمكن أخذ عينات فرعية من Word-SDRs بدرجة عالية دون أي فقدان ملحوظ للمعلومات الدلالية.
• التمثيل الطوبولوجي ثنائي الأبعاد: يحافظ تمثيل SDR على التوزيع الطوبولوجي للخريطة الأساسية، وبالتالي فإن الكلمات ذات المعاني المتشابهة سيكون لها متجهات كلمات متشابهة. يشير هذا إلى إمكانية تطبيق مجموعة متنوعة من المقاييس لحساب التشابه الدلالي ، بدءًا من التداخل البسيط لعناصر المتجه، وصولًا إلى نطاق واسع من مقاييس المسافة مثل: المسافة الإقليدية ، ومسافة هامينغ ، ومسافة جاكارد ، وتشابه جيب التمام ، ومسافة ليفنشتاين ، ومؤشر سورنسن-دايس ، وغيرها.

تهدف الفضاءات الدلالية ^{[ ملاحظة 3 ] [ 6 ]} في مجال اللغة الطبيعية إلى إنشاء تمثيلات للغة الطبيعية قادرة على استيعاب المعنى. وينبع الدافع الأصلي للفضاءات الدلالية من تحديين أساسيين في اللغة الطبيعية: عدم تطابق المفردات (إمكانية التعبير عن المعنى نفسه بطرق متعددة) والغموض في اللغة الطبيعية (إمكانية امتلاك المصطلح نفسه عدة معانٍ).

يهدف تطبيق الفضاءات الدلالية في معالجة اللغة الطبيعية إلى التغلب على قيود المناهج القائمة على القواعد أو النماذج التي تعمل على مستوى الكلمات المفتاحية . يتمثل العيب الرئيسي لهذه المناهج في هشاشتها، والجهد اليدوي الكبير المطلوب لإنشاء أنظمة معالجة اللغة الطبيعية القائمة على القواعد أو مجموعات بيانات التدريب لتعلم النماذج. ^{[ 7 ] [ 8 ]} تعتمد النماذج القائمة على القواعد والتعلم الآلي على مستوى الكلمات المفتاحية، وتفشل إذا اختلفت المفردات عن تلك المحددة في القواعد أو عن مواد التدريب المستخدمة في النماذج الإحصائية.

يعود تاريخ البحث في الفضاءات الدلالية إلى أكثر من عشرين عامًا. ففي عام ١٩٩٦، نُشرت ورقتان بحثيتان أثارتا اهتمامًا واسعًا حول فكرة إنشاء هذه الفضاءات: التحليل الدلالي الكامن ^{[ ٩ ]} من مايكروسوفت ، ونموذج الفضاء الفائق للغة ^{[ ١٠ ]} من جامعة كاليفورنيا . إلا أن اعتمادهما كان محدودًا بسبب الجهد الحسابي الكبير المطلوب لإنشائهما واستخدامهما. وفي عام ٢٠٠٧، تحقق تقدم ملحوظ في دقة نمذجة العلاقات الترابطية بين الكلمات (مثل "شبكة العنكبوت"، "ولاعة-سيجارة"، مقارنةً بالعلاقات الترادفية مثل "حوت-دلفين"، "رائد فضاء-سائق") بفضل التحليل الدلالي الصريح (ESA) ^{[ ١١ ]} . وكان ESA منهجًا جديدًا (غير قائم على التعلم الآلي) يُمثل الكلمات على شكل متجهات ذات ١٠٠٠٠٠ بُعد (حيث يُمثل كل بُعد مقالة في ويكيبيديا ). إلا أن التطبيقات العملية لهذا النهج محدودة بسبب العدد الكبير من الأبعاد المطلوبة في المتجهات.

في الآونة الأخيرة، أدت التطورات في تقنيات الشبكات العصبية بالاشتراك مع مناهج جديدة أخرى ( الموترات ) إلى مجموعة من التطورات الحديثة الجديدة: Word2vec ^{[ 12 ]} من جوجل و GloVe ^{[ 13 ]} من جامعة ستانفورد .

يمثل الطي الدلالي نهجًا جديدًا مستوحى من علم الأحياء لدراسة الفضاءات الدلالية، حيث تُمثَّل كل كلمة كمتجه ثنائي متفرق ذي 16000 بُعد (بصمة دلالية) في خريطة دلالية ثنائية الأبعاد (الكون الدلالي). يتميز التمثيل الثنائي المتفرق بكفاءته الحسابية العالية، ويتيح تخزين أعداد هائلة من الأنماط المحتملة. ^{[ 5 ]}

يُتيح التوزيع الطوبولوجي على شبكة ثنائية الأبعاد (الموضحة أعلاه) إمكانية تمثيل دلالات أي كلمة أو نص بصريًا ، حيث يمكن عرض كل سمة دلالية فعّالة كبكسل ، على سبيل المثال . وكما هو موضح في الصور المعروضة هنا، يسمح هذا التمثيل بإجراء مقارنة بصرية مباشرة لدلالات عنصرين لغويين (أو أكثر).

توضح الصورة 1 بوضوح أن المصطلحين المتباينين ​​"كلب" و "سيارة" لهما، كما هو متوقع، دلالات مختلفة بشكل واضح للغاية.

تُظهر الصورة 2 أن سياقًا واحدًا فقط من سياقات معنى كلمة "جاغوار"، وهو سياق "جاغوار" السيارة، يتداخل مع معنى كلمة "بورش" (مما يشير إلى تشابه جزئي). أما سياقات المعنى الأخرى لكلمة "جاغوار"، مثل "جاغوار" الحيوان، فلها سياقات مختلفة تمامًا وغير متداخلة. يُشابه تصوير التشابه الدلالي باستخدام تقنية الطي الدلالي إلى حد كبير صور الرنين المغناطيسي الوظيفي التي أُنتجت في دراسة بحثية أجراها إيه جي هوث وآخرون ^{[ 14 ] [ 15 ]،} حيث زُعم أن الكلمات تُجمّع في الدماغ حسب معناها. وقد وُجد أن وحدات البكسل ، وهي أجزاء صغيرة الحجم من الدماغ، تتبع نمطًا تُمثَّل فيه المعلومات الدلالية على طول حدود القشرة البصرية، حيث تُمثَّل الفئات البصرية واللغوية على الجانبين الخلفي والأمامي على التوالي ^{[ 16 ] [ 17 ] [ 18 ] .}