تخفيض الأبعاد غير الخطية

تقليل الأبعاد غير الخطية ، والمعروف أيضًا باسم التعلم المتعدد الأبعاد ، هو أي من التقنيات المختلفة ذات الصلة التي تهدف إلى إسقاط البيانات عالية الأبعاد، والتي قد توجد عبر متعددات غير خطية لا يمكن التقاطها بشكل كافٍ من خلال طرق التحلل الخطي، على متعددات كامنة ذات أبعاد أقل ، بهدف إما تصور البيانات في الفضاء منخفض الأبعاد، أو تعلم التعيين (إما من الفضاء عالي الأبعاد إلى التضمين منخفض الأبعاد أو العكس) نفسه. ^{[1] [2]} يمكن فهم التقنيات الموضحة أدناه على أنها تعميمات لطرق التحلل الخطي المستخدمة لتقليل الأبعاد ، مثل تحلل القيمة المفردة وتحليل المكونات الأساسية .

قد يكون من الصعب على الآلات التعامل مع البيانات ذات الأبعاد العالية، حيث تتطلب وقتًا ومساحة كبيرين للتحليل. كما أنها تشكل تحديًا للبشر، نظرًا لأنه من الصعب تصور أو فهم البيانات بأكثر من ثلاثة أبعاد. إن تقليل أبعاد مجموعة البيانات، مع الحفاظ على سماتها الأساسية سليمة نسبيًا، يمكن أن يجعل الخوارزميات أكثر كفاءة ويسمح للمحللين بتصور الاتجاهات والأنماط.

غالبًا ما يشار إلى التمثيلات ذات الأبعاد المخفضة للبيانات باسم "المتغيرات الجوهرية". يشير هذا الوصف إلى أن هذه هي القيم التي تم إنتاج البيانات منها. على سبيل المثال، ضع في اعتبارك مجموعة بيانات تحتوي على صور للحرف "A"، والتي تم قياسها وتدويرها بكميات متفاوتة. تحتوي كل صورة على 32 × 32 بكسل. يمكن تمثيل كل صورة كمتجه لقيم 1024 بكسل. كل صف هو عينة على متعدد الأبعاد ثنائي الأبعاد في مساحة 1024 بعدًا ( مساحة هامينج ). البعد الجوهري هو اثنان، لأنه تم تغيير متغيرين (الدوران والمقياس) من أجل إنتاج البيانات. المعلومات حول شكل أو مظهر الحرف "A" ليست جزءًا من المتغيرات الجوهرية لأنها هي نفسها في كل حالة. سيؤدي تقليل الأبعاد غير الخطي إلى تجاهل المعلومات المرتبطة (الحرف "A") واستعادة المعلومات المتغيرة فقط (الدوران والمقياس). تُظهر الصورة الموجودة على اليمين صورًا نموذجية من هذه المجموعة من البيانات (لتوفير المساحة، لا يتم عرض جميع صور الإدخال)، ورسمًا بيانيًا للنقط ثنائية الأبعاد الناتجة عن استخدام خوارزمية NLDR (في هذه الحالة، تم استخدام Manifold Sculpting) لتقليل البيانات إلى بعدين فقط.

بالمقارنة، إذا تم استخدام تحليل المكونات الأساسية ، وهو خوارزمية تقليل الأبعاد الخطية، لتقليل نفس مجموعة البيانات هذه إلى بعدين، فإن القيم الناتجة ليست منظمة بشكل جيد. يوضح هذا أن المتجهات عالية الأبعاد (كل منها يمثل حرف "A") التي تأخذ عينات من هذا المتعدد تختلف بطريقة غير خطية.

لذا، ينبغي أن يكون واضحًا أن NLDR لها تطبيقات عديدة في مجال الرؤية الحاسوبية. على سبيل المثال، لنفترض وجود روبوت يستخدم كاميرا للتنقل في بيئة ثابتة مغلقة. يمكن اعتبار الصور التي تم الحصول عليها بواسطة تلك الكاميرا عينات على متعدد الأبعاد في فضاء عالي الأبعاد، وستمثل المتغيرات الجوهرية لهذا المتعدد الأبعاد موضع الروبوت واتجاهه.

تعد المتشعبات الثابتة موضع اهتمام عام لتخفيض ترتيب النموذج في الأنظمة الديناميكية . وعلى وجه الخصوص، إذا كان هناك متشعب ثابت جاذب في فضاء الطور، فإن المسارات القريبة سوف تتقارب عليه وتبقى عليه إلى أجل غير مسمى، مما يجعله مرشحًا لتخفيض أبعاد النظام الديناميكي. وفي حين لا يُضمن وجود مثل هذه المتشعبات بشكل عام، فإن نظرية المتشعبات الطيفية الفرعية (SSM) توفر الشروط لوجود أجسام ثابتة جاذبة فريدة في فئة واسعة من الأنظمة الديناميكية. ^[3] يسعى البحث النشط في NLDR إلى الكشف عن متشعبات المراقبة المرتبطة بالأنظمة الديناميكية لتطوير تقنيات النمذجة. ^[4]

يتم سرد بعض تقنيات تقليل الأبعاد غير الخطية الأكثر شهرة أدناه.

تعتبر خريطة سامون واحدة من أولى وأشهر تقنيات NLDR.

تستخدم الخريطة ذاتية التنظيم (SOM، والتي تسمى أيضًا خريطة Kohonen ) وخرائطها الطوبوغرافية التوليدية للمتغيرات الاحتمالية (GTM) تمثيلًا نقطيًا في الفضاء المضمن لتشكيل نموذج متغير كامن يعتمد على تعيين غير خطي من الفضاء المضمن إلى الفضاء عالي الأبعاد. ^[6] ترتبط هذه التقنيات بالعمل على شبكات الكثافة، والتي تعتمد أيضًا على نفس النموذج الاحتمالي.

ربما تكون الخوارزمية الأكثر استخدامًا على نطاق واسع لتقليل الأبعاد هي تحليل مكونات رئيسية للنواة . ^[7] يبدأ تحليل مكونات رئيسية بحساب مصفوفة التغاير للمصفوفة${\displaystyle m\times n}$${\displaystyle \mathbf {X} }$

${\displaystyle C={\frac {1}{m}}\sum _{i=1}^{m}{\mathbf {x} _{i}\mathbf {x} _{i}^{\mathsf {T}}}.}$

ثم يقوم بإسقاط البيانات على أول متجهات ذاتية k لتلك المصفوفة. وبالمقارنة، يبدأ KPCA بحساب مصفوفة التباين للبيانات بعد تحويلها إلى فضاء ذي أبعاد أعلى،

${\displaystyle C={\frac {1}{m}}\sum _{i=1}^{m}{\Phi (\mathbf {x} _{i})\Phi (\mathbf {x} _{i})^{\mathsf {T}}}.}$

ثم يقوم بإسقاط البيانات المحولة على أول k متجه ذاتي لتلك المصفوفة، تمامًا مثل تحليل مكونات البيانات الأساسية. ويستخدم خدعة النواة لاستبعاد الكثير من العمليات الحسابية، بحيث يمكن تنفيذ العملية بأكملها دون حساب فعلي . بالطبع يجب اختيارها بحيث يكون لها نواة مقابلة معروفة. لسوء الحظ، ليس من السهل العثور على نواة جيدة لمشكلة معينة، لذلك لا ينتج تحليل مكونات البيانات الأساسية نتائج جيدة مع بعض المشاكل عند استخدام النوى القياسية. على سبيل المثال، من المعروف أنه يعمل بشكل سيئ مع هذه النوى على متعدد اللفة السويسرية . ومع ذلك، يمكن للمرء أن ينظر إلى بعض الطرق الأخرى التي تعمل بشكل جيد في مثل هذه الإعدادات (على سبيل المثال، خرائط لابلاس الذاتية، LLE) كحالات خاصة من تحليل مكونات البيانات الأساسية للنواة من خلال إنشاء مصفوفة نواة تعتمد على البيانات. ^[8]${\displaystyle \Phi (\mathbf {x} )}$${\displaystyle \Phi }$

يحتوي KPCA على نموذج داخلي، لذا يمكن استخدامه لتعيين النقاط على تضمينه والتي لم تكن متوفرة في وقت التدريب.

تُعطي المنحنيات والمتعددات الأساسية الإطار الهندسي الطبيعي لتقليل الأبعاد غير الخطية وتوسع التفسير الهندسي لتحليل المكونات الرئيسية من خلال إنشاء متعدد مدمج بشكل صريح، ومن خلال الترميز باستخدام الإسقاط الهندسي القياسي على المتعدد. تم اقتراح هذا النهج في الأصل من قبل تريفور هاستي في أطروحته عام 1984، ^[11] والتي قدمها رسميًا في عام 1989. ^[12] تم استكشاف هذه الفكرة بشكل أكبر من قبل العديد من المؤلفين. ^[13] تعتمد كيفية تعريف "بساطة" المتعدد على المشكلة، ومع ذلك، يتم قياسها عادةً من خلال الأبعاد الجوهرية و/أو نعومة المتعدد. عادةً، يتم تعريف المتعدد الأساسي كحل لمشكلة التحسين. تتضمن دالة الهدف جودة تقريب البيانات وبعض شروط الجزاء لانحناء المتعدد. يتم إنشاء التقريبات الأولية الشائعة من خلال تحليل المكونات الرئيسية الخطي وSOM لكوهونين.

تستخدم الخرائط الذاتية اللابلاسية تقنيات طيفية لإجراء تقليل الأبعاد. ^[14] تعتمد هذه التقنية على الافتراض الأساسي بأن البيانات تكمن في متعدد الأبعاد منخفض الأبعاد في مساحة عالية الأبعاد. ^[15] لا يمكن لهذه الخوارزمية تضمين نقاط خارج العينة، ولكن توجد تقنيات تعتمد على إعادة إنتاج تنظيم مساحة هيلبرت للنواة لإضافة هذه القدرة. ^[16] يمكن تطبيق مثل هذه التقنيات على خوارزميات تقليل الأبعاد غير الخطية الأخرى أيضًا.

لا تأخذ التقنيات التقليدية مثل تحليل المكونات الأساسية في الاعتبار الهندسة الجوهرية للبيانات. تبني خرائط لابلاس الذاتية رسمًا بيانيًا من معلومات الجوار لمجموعة البيانات. تعمل كل نقطة بيانات كعقدة على الرسم البياني ويتم التحكم في الاتصال بين العقد من خلال قرب النقاط المجاورة (باستخدام خوارزمية أقرب جار k على سبيل المثال ). يمكن اعتبار الرسم البياني الناتج على هذا النحو تقريبًا منفصلًا لمتعدد الشعب منخفض الأبعاد في الفضاء عالي الأبعاد. يضمن تقليل دالة التكلفة القائمة على الرسم البياني تعيين النقاط القريبة من بعضها البعض على متعدد الشعب بالقرب من بعضها البعض في الفضاء منخفض الأبعاد، مع الحفاظ على المسافات المحلية. تعمل الدوال الذاتية لمشغل لابلاس -بلترامي على متعدد الشعب كأبعاد تضمين، لأنه في ظل الظروف المعتدلة، يكون لهذا المشغل طيف قابل للعد وهو أساس للوظائف القابلة للتكامل المربع على متعدد الشعب (مقارنة بمتسلسلة فورييه على متعدد الشعب الدائرة الوحدوية). لقد لاقت محاولات وضع الخرائط الذاتية اللابلاسية على أرضية نظرية صلبة بعض النجاح، حيث ثبت أنه تحت افتراضات غير مقيدة معينة، تتقارب مصفوفة اللابلاسي البيانية مع عامل لابلاس-بلترامي عندما يتجه عدد النقاط إلى ما لا نهاية. ^[15]

Isomap ^[17] عبارة عن مزيج من خوارزمية Floyd–Warshall مع القياس متعدد الأبعاد الكلاسيكي (MDS). يأخذ MDS الكلاسيكي مصفوفة من المسافات الزوجية بين جميع النقاط ويحسب موضعًا لكل نقطة. يفترض Isomap أن المسافات الزوجية معروفة فقط بين النقاط المجاورة، ويستخدم خوارزمية Floyd–Warshall لحساب المسافات الزوجية بين جميع النقاط الأخرى. هذا يقدر بشكل فعال المصفوفة الكاملة للمسافات الجيوديسية الزوجية بين جميع النقاط. يستخدم Isomap بعد ذلك MDS الكلاسيكي لحساب المواضع ذات الأبعاد المخفضة لجميع النقاط. Landmark-Isomap هو أحد أشكال هذه الخوارزمية التي تستخدم المعالم لزيادة السرعة، على حساب بعض الدقة.

في التعلم المتعدد الأبعاد، يُفترض أن بيانات الإدخال مأخوذة من متعدد أبعاد منخفض مضمن داخل فضاء متجه ذي أبعاد أعلى. الحدس الرئيسي وراء التعلم المتعدد الأبعاد هو استغلال الخطية المحلية للمتعددات وإنشاء تعيين يحافظ على الأحياء المحلية في كل نقطة من المتعدد الأبعاد الأساسي.

تم تقديم التضمين الخطي المحلي (LLE) في نفس الوقت تقريبًا مع Isomap. ^[18] وله العديد من المزايا على Isomap، بما في ذلك التحسين الأسرع عند تنفيذه للاستفادة من خوارزميات المصفوفة المتفرقة ، ونتائج أفضل مع العديد من المشكلات. يبدأ LLE أيضًا بالعثور على مجموعة من أقرب الجيران لكل نقطة. ثم يحسب مجموعة من الأوزان لكل نقطة تصف النقطة بشكل أفضل كتركيبة خطية لجيرانها. أخيرًا، يستخدم أسلوب تحسين قائم على المتجه الذاتي للعثور على التضمين منخفض الأبعاد للنقاط، بحيث لا تزال كل نقطة موصوفة بنفس التركيبة الخطية لجيرانها. يميل LLE إلى التعامل مع كثافات العينة غير المنتظمة بشكل سيئ لأنه لا توجد وحدة ثابتة لمنع الأوزان من الانجراف حيث تختلف المناطق المختلفة في كثافات العينة. لا يحتوي LLE على نموذج داخلي.

تحسب LLE إحداثيات مركز الثقل لنقطة X _i بناءً على جيرانها X _j . يتم إعادة بناء النقطة الأصلية من خلال تركيبة خطية، يتم تحديدها بواسطة مصفوفة الأوزان W _ij ، لجيرانها. يتم تحديد خطأ إعادة البناء بواسطة دالة التكلفة E ( W ).

${\displaystyle E(W)=\sum _{i}\left|\mathbf {X} _{i}-\sum _{j}{\mathbf {W} _{ij}\mathbf {X} _{j}}\right|^{2}}$

تشير الأوزان W _ij إلى مقدار المساهمة التي تمتلكها النقطة X _j أثناء إعادة بناء النقطة X _i . يتم تقليل دالة التكلفة تحت قيدين: (أ) يتم إعادة بناء كل نقطة بيانات X _i فقط من جيرانها، وبالتالي فرض W _ij ليكون صفرًا إذا لم تكن النقطة X _j جارة للنقطة X _i و (ب) مجموع كل صف من مصفوفة الأوزان يساوي 1.

${\displaystyle \sum _{j}{\mathbf {W} _{ij}}=1}$

يتم جمع نقاط البيانات الأصلية في فضاء الأبعاد D والهدف من الخوارزمية هو تقليل الأبعاد إلى d بحيث D >> d . سيتم استخدام نفس الأوزان W _ij التي تعيد بناء نقطة البيانات i في فضاء الأبعاد D لإعادة بناء نفس النقطة في فضاء الأبعاد d الأقل . يتم إنشاء خريطة الحفاظ على الجوار بناءً على هذه الفكرة. يتم تعيين كل نقطة X _i في فضاء الأبعاد D على نقطة Y _i في فضاء الأبعاد d عن طريق تقليل دالة التكلفة

${\displaystyle C(Y)=\sum _{i}\left|\mathbf {Y} _{i}-\sum _{j}{\mathbf {W} _{ij}\mathbf {Y} _{j}}\right|^{2}}$

في دالة التكلفة هذه، على عكس الدالة السابقة، يتم الاحتفاظ بالأوزان W _ij ثابتة ويتم إجراء التقليل إلى الحد الأدنى على النقاط Y _i لتحسين الإحداثيات. يمكن حل مشكلة التقليل هذه عن طريق حل مشكلة قيمة ذاتية متفرقة N X N ( حيث N هو عدد نقاط البيانات)، حيث توفر متجهات ذاتية غير صفرية في أسفلها مجموعة متعامدة من الإحداثيات. بشكل عام، يتم إعادة بناء نقاط البيانات من أقرب K من الجيران، كما يتم قياسها بواسطة المسافة الإقليدية . لمثل هذا التنفيذ، تحتوي الخوارزمية على معلمة مجانية واحدة فقط K، والتي يمكن اختيارها عن طريق التحقق المتبادل.

مثل LLE، يعتمد Hessian LLE أيضًا على تقنيات المصفوفة المتفرقة. ^[19] يميل إلى إعطاء نتائج ذات جودة أعلى بكثير من LLE. لسوء الحظ، لديه تعقيد حسابي مكلف للغاية، لذلك فهو غير مناسب للمتعددات ذات العينات الكثيفة. ليس لديه نموذج داخلي.

تعد خوارزمية تعديل LLE (MLLE) ^[20] متغيرًا آخر لخوارزمية تعديل LLE يستخدم أوزانًا متعددة في كل حي لمعالجة مشكلة تكييف مصفوفة الأوزان المحلية التي تؤدي إلى تشوهات في خرائط LLE. وبعبارة فضفاضة، فإن الأوزان المتعددة هي الإسقاط المتعامد المحلي للأوزان الأصلية التي أنتجتها خوارزمية تعديل LLE. كما أن مبتكري هذا المتغير المنظم هم مؤلفو خوارزمية محاذاة الفضاء المماس المحلي (LTSA)، والتي ضمنية في صياغة خوارزمية تعديل LLE عند إدراك أن التحسين العالمي للإسقاطات المتعامدة لكل متجه وزن، في جوهره، يعمل على محاذاة الفضاء المماس المحلي لكل نقطة بيانات. إن الآثار النظرية والتجريبية المترتبة على التطبيق الصحيح لهذه الخوارزمية بعيدة المدى. ^[21]

تعتمد LTSA ^{[22] على الحدس القائل بأنه عندما يتم فتح متعدد الشعب بشكل صحيح، فإن جميع المستويات المماسّة للمتعدد الشعب ستصبح محاذية. تبدأ بحساب} أقرب جيران لكل نقطة. تحسب مساحة الظل في كل نقطة عن طريق حساب المكونات الرئيسية d الأولى في كل جوار محلي. ثم تقوم بالتحسين لإيجاد تضمين يحاذي مساحات الظل.

تشترك خوارزمية كشف التباين الأقصى وخوارزمية Isomap والتضمين الخطي المحلي في حدس مشترك يعتمد على فكرة مفادها أنه إذا تم فتح متعدد الشعب بشكل صحيح، فسيتم تعظيم التباين على النقاط. تتمثل خطوتها الأولية، مثل خوارزمية Isomap والتضمين الخطي المحلي، في العثور على أقرب جيران لكل نقطة. ثم تسعى إلى حل مشكلة تعظيم المسافة بين جميع النقاط غير المجاورة، مقيدة بحيث يتم الحفاظ على المسافات بين النقاط المجاورة. تتمثل المساهمة الأساسية لهذه الخوارزمية في تقنية لصب هذه المشكلة كمشكلة برمجة شبه محددة. لسوء الحظ، فإن حلول البرمجة شبه المحددة لها تكلفة حسابية عالية. مثل التضمين الخطي المحلي، ليس لديها نموذج داخلي.

إن المشفر التلقائي عبارة عن شبكة عصبية ذات تغذية أمامية يتم تدريبها لتقريب دالة الهوية. أي أنه يتم تدريبها على رسم خريطة من متجه القيم إلى نفس المتجه. عند استخدامها لأغراض تقليل الأبعاد، فإن إحدى الطبقات المخفية في الشبكة تقتصر على احتواء عدد صغير فقط من وحدات الشبكة. وبالتالي، يجب أن تتعلم الشبكة ترميز المتجه إلى عدد صغير من الأبعاد ثم فك تشفيره مرة أخرى إلى الفضاء الأصلي. وبالتالي، فإن النصف الأول من الشبكة عبارة عن نموذج يرسم خريطة من الفضاء عالي الأبعاد إلى الفضاء منخفض الأبعاد، والنصف الثاني يرسم خريطة من الفضاء منخفض الأبعاد إلى الفضاء عالي الأبعاد. على الرغم من أن فكرة المشفرات التلقائية قديمة جدًا، ^[23] إلا أن تدريب المشفرات التلقائية العميقة أصبح ممكنًا مؤخرًا فقط من خلال استخدام آلات بولتزمان المقيدة والمشفرات التلقائية المكدسة لإزالة الضوضاء. ترتبط بالمشفرات التلقائية خوارزمية NeuroScale، والتي تستخدم وظائف الإجهاد المستوحاة من التدرج متعدد الأبعاد وتعيينات Sammon (انظر أعلاه) لتعلم رسم خريطة غير خطية من الفضاء عالي الأبعاد إلى الفضاء المضمن. تعتمد المخططات في NeuroScale على شبكات الوظائف الأساسية الشعاعية .

نماذج المتغيرات الكامنة لعملية غاوس (GPLVM) ^[24] هي طرق تقليل الأبعاد الاحتمالية التي تستخدم العمليات الغوسية (GPs) للعثور على تضمين غير خطي منخفض الأبعاد للبيانات عالية الأبعاد. إنها امتداد للصيغة الاحتمالية لتحليل مكونات البيانات الرئيسية. يتم تعريف النموذج احتماليًا ثم يتم تهميش المتغيرات الكامنة ويتم الحصول على المعلمات عن طريق تعظيم الاحتمالية. مثل تحليل مكونات البيانات الرئيسي للنواة، فإنها تستخدم دالة نواة لتشكيل تعيين غير خطي (في شكل عملية غاوسية ). ومع ذلك، في GPLVM، يكون التعيين من المساحة المضمنة (الكامنة) إلى مساحة البيانات (مثل شبكات الكثافة وGTM) بينما في تحليل مكونات البيانات الرئيسي للنواة يكون في الاتجاه المعاكس. تم اقتراحه في الأصل لتصور البيانات عالية الأبعاد ولكن تم توسيعه لبناء نموذج متعدد الشعب مشترك بين مساحتي ملاحظة. تم اقتراح GPLVM والعديد من المتغيرات الخاصة به خصيصًا لنمذجة حركة الإنسان، على سبيل المثال، GPLVM المقيدة بالظهر، ونموذج GP الديناميكي (GPDM)، وGPDM المتوازن (B-GPDM) وGPDM المقيد طوبولوجيًا. لالتقاط تأثير اقتران متعددات الوضع والمشي في تحليل المشي، تم اقتراح متعددات المشي والوضع المفصلية متعددة الطبقات. ^[25]

تُستخدم طريقة تضمين الجار العشوائي الموزع على أساس t (t-SNE) ^[26] على نطاق واسع. وهي إحدى طرق تضمين الجار العشوائي الموزع على أساس t. تحسب الخوارزمية احتمالية أن تكون أزواج نقاط البيانات في الفضاء عالي الأبعاد مرتبطة، ثم تختار تضمينات منخفضة الأبعاد تنتج توزيعًا مشابهًا.

خريطة المنظور العلائقي هي خوارزمية قياس متعددة الأبعاد . تجد الخوارزمية تكوينًا لنقاط البيانات على متعدد الشعب من خلال محاكاة نظام ديناميكي متعدد الجسيمات على متعدد الشعب مغلق، حيث يتم تعيين نقاط البيانات على الجسيمات والمسافات (أو الاختلاف) بين نقاط البيانات تمثل قوة تنافر. مع نمو متعدد الشعب تدريجيًا في الحجم، يبرد نظام الجسيمات المتعددة تدريجيًا ويتقارب إلى تكوين يعكس معلومات المسافة لنقاط البيانات.

تم استلهام خريطة المنظور العلائقي من نموذج فيزيائي تتحرك فيه الجسيمات المشحونة إيجابيا بحرية على سطح الكرة. وبتوجيه من قوة كولومب بين الجسيمات، فإن التكوين الأدنى للطاقة للجسيمات سوف يعكس قوة القوى التنافرية بين الجسيمات.

تم تقديم خريطة المنظور العلائقي في. ^[27] استخدمت الخوارزمية في البداية الحلقة المسطحة كمشعب للصورة، ثم تم توسيعها (في برنامج VisuMap لاستخدام أنواع أخرى من المشعبات المغلقة، مثل الكرة ، والفضاء الإسقاطي ، وزجاجة كلاين ، كمشعبات للصورة.

تستخدم خرائط العدوى عدوى متعددة على شبكة لرسم خريطة للعقد كسحابة نقاط. ^[28] في حالة نموذج التسلسلات العالمية، يمكن تعديل سرعة الانتشار باستخدام معلمة العتبة . بالنسبة لخريطة العدوى، فهي تعادل خوارزمية Isomap . ${\displaystyle t\in [0,1]}$${\displaystyle t=0}$

يبحث تحليل المكونات المنحنية (CCA) عن تكوين النقاط في مساحة الإخراج التي تحافظ على المسافات الأصلية قدر الإمكان مع التركيز على المسافات الصغيرة في مساحة الإخراج (على العكس من رسم سامون الذي يركز على المسافات الصغيرة في المساحة الأصلية). ^[29]

يجب ملاحظة أن CCA، باعتبارها خوارزمية تعلم تكرارية، تبدأ في الواقع بالتركيز على مسافات كبيرة (مثل خوارزمية Sammon)، ثم تغير التركيز تدريجيًا إلى مسافات صغيرة. ستحل معلومات المسافة الصغيرة محل معلومات المسافة الكبيرة، إذا كان لا بد من التوصل إلى حلول وسط بين الاثنين.

ترتبط دالة الإجهاد في CCA بمجموع تباعدات بريجمان اليمنى. ^[30]

يقوم CDA ^[29] بتدريب شبكة عصبية ذاتية التنظيم لتناسب متعدد الأشكال ويسعى إلى الحفاظ على المسافات الجيوديسية في تضمينها. وهو يعتمد على تحليل المكونات المنحنية (الذي وسع رسم خرائط سامون)، ولكنه يستخدم المسافات الجيوديسية بدلاً من ذلك.

يتعلم التخفيض البعدي التفاضلي أو Diffeomap ^[31] تعيينًا تفاضليًا سلسًا ينقل البيانات إلى فضاء فرعي خطي أقل أبعادًا. تحل الطرق حقل متجه سلس مفهرس زمنيًا بحيث تنتهي التدفقات على طول الحقل والتي تبدأ عند نقاط البيانات في فضاء فرعي خطي أقل أبعادًا، وبالتالي تحاول الحفاظ على الاختلافات الزوجية تحت كل من التعيين الأمامي والعكسي.

تستفيد محاذاة متعددات الشعب من الافتراض القائل بأن مجموعات البيانات المتباينة التي تم إنتاجها بواسطة عمليات توليد مماثلة ستشارك في تمثيل متعدد الشعب الأساسي المتشابه. من خلال تعلم الإسقاطات من كل مساحة أصلية إلى متعدد الشعب المشترك، يتم استرداد المراسلات ويمكن نقل المعرفة من مجال إلى آخر. تأخذ معظم تقنيات محاذاة متعددات الشعب في الاعتبار مجموعتين فقط من البيانات، لكن المفهوم يمتد إلى العديد من مجموعات البيانات الأولية بشكل تعسفي. ^[32]

تستفيد خرائط الانتشار من العلاقة بين انتشار الحرارة والمشي العشوائي ( سلسلة ماركوف )؛ يتم رسم تشابه بين عامل الانتشار على متعدد الشعب ومصفوفة انتقال ماركوف التي تعمل على الدوال المحددة على الرسم البياني الذي تم أخذ عينات من عقده من متعدد الشعب. ^[33] على وجه الخصوص، دع مجموعة البيانات يتم تمثيلها بواسطة . الافتراض الأساسي لخريطة الانتشار هو أن البيانات عالية الأبعاد تقع على متعدد شعب منخفض الأبعاد من البعد . دع X يمثل مجموعة البيانات ويمثل توزيع نقاط البيانات على X . علاوة على ذلك، حدد نواة تمثل بعض مفاهيم تقارب النقاط في X . تحتوي النواة على الخصائص التالية ^[34]${\displaystyle \mathbf {X} =[x_{1},x_{2},\ldots ,x_{n}]\in \Omega \subset \mathbf {R^{D}} }$${\displaystyle \mathbf {d} }$${\displaystyle \mu }$${\displaystyle {\mathit {k}}}$

${\displaystyle k(x,y)=k(y,x),}$

ك متماثل

${\displaystyle k(x,y)\geq 0\qquad \forall x,y,k}$

ك هو الحفاظ على الإيجابية

وبالتالي، يمكن للمرء أن يفكر في نقاط البيانات الفردية باعتبارها عقدًا لرسم بياني والنواة k باعتبارها تحدد نوعًا من التقارب على هذا الرسم البياني. يكون الرسم البياني متماثلًا من حيث البناء لأن النواة متماثلة. من السهل أن نرى هنا أنه من المجموعة ( X ، k ) يمكن للمرء أن ينشئ سلسلة ماركوف قابلة للعكس . هذه التقنية شائعة في مجموعة متنوعة من المجالات وتعرف باسم الرسم البياني لابلاس.

على سبيل المثال، يمكن إنشاء الرسم البياني K = ( X ، E ) باستخدام نواة غاوسية.

${\displaystyle K_{ij}={\begin{cases}e^{-\|x_{i}-x_{j}\|_{2}^{2}/\sigma ^{2}}&{\text{if }}x_{i}\sim x_{j}\\0&{\text{otherwise}}\end{cases}}}$

في المعادلة أعلاه، يشير إلى أن هو أقرب جار لـ . بشكل صحيح، يجب استخدام المسافة الجيوديسية لقياس المسافات على متعدد الشعب . نظرًا لعدم توفر البنية الدقيقة لمتعدد الشعب، فإن المسافة الجيوديسية لأقرب الجيران يتم تقريبها بالمسافة الإقليدية. يعدل الاختيار مفهومنا للقرب بمعنى أنه إذا كان وإذا كان . يعني الأول أنه قد حدث انتشار ضئيل للغاية بينما يعني الأخير أن عملية الانتشار قد اكتملت تقريبًا. يمكن العثور على استراتيجيات مختلفة للاختيار من بينها في. ^[35]${\displaystyle x_{i}\sim x_{j}}$${\displaystyle x_{i}}$${\displaystyle x_{j}}$${\displaystyle \sigma }$${\displaystyle \|x_{i}-x_{j}\|_{2}\gg \sigma }$${\displaystyle K_{ij}=0}$${\displaystyle \|x_{i}-x_{j}\|_{2}\ll \sigma }$${\displaystyle K_{ij}=1}$${\displaystyle \sigma }$

من أجل تمثيل مصفوفة ماركوف بشكل دقيق، يجب تطبيعها بواسطة مصفوفة الدرجة المقابلة : ${\displaystyle K}$ ${\displaystyle D}$

${\displaystyle P=D^{-1}K.}$

${\displaystyle P}$يمثل الآن سلسلة ماركوف. هو احتمال الانتقال من إلى في خطوة زمنية واحدة. وبالمثل، فإن احتمال الانتقال من إلى في خطوات زمنية t يعطى بواسطة . وهنا المصفوفة مضروبة في نفسها t مرة. ${\displaystyle P(x_{i},x_{j})}$${\displaystyle x_{i}}$${\displaystyle x_{j}}$${\displaystyle x_{i}}$${\displaystyle x_{j}}$${\displaystyle P^{t}(x_{i},x_{j})}$${\displaystyle P^{t}}$${\displaystyle P}$

تشكل مصفوفة ماركوف فكرة ما عن الهندسة المحلية لمجموعة البيانات X. والفرق الرئيسي بين خرائط الانتشار وتحليل المكونات الأساسية هو أن السمات المحلية فقط للبيانات هي التي يتم أخذها في الاعتبار في خرائط الانتشار بدلاً من أخذ ارتباطات مجموعة البيانات بأكملها. ${\displaystyle P}$

${\displaystyle K}$يحدد مسارًا عشوائيًا على مجموعة البيانات مما يعني أن النواة تلتقط بعض الهندسة المحلية لمجموعة البيانات. تحدد سلسلة ماركوف اتجاهات الانتشار السريعة والبطيئة من خلال قيم النواة. مع انتشار المسار للأمام في الوقت، تتجمع معلومات الهندسة المحلية بنفس الطريقة التي تتجمع بها التحولات المحلية (المحددة بواسطة المعادلات التفاضلية) للنظام الديناميكي. ^[34] تنشأ استعارة الانتشار من تعريف مسافة الانتشار العائلية${\displaystyle \{D_{t}\}_{t\in N}}$

${\displaystyle D_{t}^{2}(x,y)=\|p_{t}(x,\cdot )-p_{t}(y,\cdot )\|^{2}}$

بالنسبة لـ t الثابتة، تحدد المسافة بين أي نقطتين من مجموعة البيانات بناءً على اتصال المسار: ستكون قيمة أصغر كلما زاد عدد المسارات التي تربط x بـ y والعكس صحيح. نظرًا لأن الكمية تتضمن مجموع جميع المسارات بطول t، فهي أكثر مقاومة للضوضاء في البيانات من المسافة الجيوديسية. تأخذ في الاعتبار جميع العلاقات بين النقطتين x و y أثناء حساب المسافة وتعمل كمفهوم أفضل للقرب من مجرد المسافة الإقليدية أو حتى المسافة الجيوديسية. ${\displaystyle D_{t}}$${\displaystyle D_{t}(x,y)}$${\displaystyle D_{t}(x,y)}$${\displaystyle D_{t}}$${\displaystyle D_{t}}$

يؤدي القياس متعدد الأبعاد المحلي القياس متعدد الأبعاد في المناطق المحلية، ثم يستخدم التحسين المحدب لتناسب جميع الأجزاء معًا. ^[36]

يستخدم تحليل المكونات الأساسية غير الخطي (NLPCA) الانتشار الخلفي لتدريب مُدرك متعدد الطبقات (MLP) ليتناسب مع متعدد الشعب. ^[37] على عكس تدريب MLP النموذجي، الذي يقوم بتحديث الأوزان فقط، يقوم NLPCA بتحديث كل من الأوزان والمدخلات. أي أن كل من الأوزان والمدخلات يتم التعامل معها كقيم كامنة. بعد التدريب، تكون المدخلات الكامنة تمثيلًا منخفض الأبعاد للمتجهات الملاحظة، وتقوم MLP بالتخطيط من هذا التمثيل منخفض الأبعاد إلى مساحة الملاحظة عالية الأبعاد.

يرتبط القياس عالي الأبعاد القائم على البيانات (DD-HDS) ^{[38] ارتباطًا وثيقًا} برسم خرائط سامون وتحليل المكونات المنحنية باستثناء (1) أنه يعاقب في نفس الوقت الأحياء والتمزقات الزائفة من خلال التركيز على مسافات صغيرة في كل من المساحة الأصلية والمخرجة، و(2) أنه يأخذ في الاعتبار تركيز ظاهرة القياس من خلال تكييف دالة الترجيح مع توزيع المسافة.

يستخدم Manifold Sculpting ^[39] التحسين التدريجي للعثور على التضمين. ومثله كمثل الخوارزميات الأخرى، فإنه يحسب k أقرب الجيران ويحاول البحث عن تضمين يحافظ على العلاقات في الأحياء المحلية. ويقوم ببطء بقياس التباين من الأبعاد الأعلى، بينما يقوم في نفس الوقت بتعديل النقاط في الأبعاد الأدنى للحفاظ على تلك العلاقات. وإذا كان معدل القياس صغيرًا، فيمكنه العثور على تضمينات دقيقة للغاية. وهو يتمتع بدقة تجريبية أعلى من الخوارزميات الأخرى التي تعاني من العديد من المشكلات. ويمكن استخدامه أيضًا لتحسين النتائج من خوارزميات تعلم متعددات أخرى. ومع ذلك، فإنه يكافح من أجل نشر بعض متعددات، ما لم يتم استخدام معدل قياس بطيء للغاية. وليس لديه نموذج.

تم تصميم RankVisu ^[40] للحفاظ على مرتبة الجوار بدلاً من المسافة. RankVisu مفيد بشكل خاص في المهام الصعبة (عندما لا يمكن تحقيق الحفاظ على المسافة بشكل مرضٍ). في الواقع، فإن مرتبة الجوار أقل إفادة من المسافة (يمكن استنتاج الرتب من المسافات ولكن لا يمكن استنتاج المسافات من الرتب) وبالتالي يكون الحفاظ عليها أسهل.

التضمين المتساوي القياس المقيد طوبولوجيًا (TCIE) ^[41] عبارة عن خوارزمية تعتمد على تقريب المسافات الجيوديسية بعد تصفية الجيوديسيات غير المتوافقة مع المقياس الإقليدي. بهدف تصحيح التشوهات الناتجة عن استخدام Isomap لرسم خرائط بيانات غير محدبة جوهريًا، يستخدم TCIE أقل مربعات وزنية MDS من أجل الحصول على رسم خرائط أكثر دقة. تكتشف خوارزمية TCIE أولاً نقاط الحدود المحتملة في البيانات، وأثناء حساب طول الجيوديسية تحدد الجيوديسيات غير المتوافقة، ليتم إعطاؤها وزنًا صغيرًا في التعظيم الإجهادي المرجح الذي يليه.

التقريب والإسقاط المتعدد الموحد (UMAP) هو تقنية تقليل الأبعاد غير الخطية. ^[42] وهو مشابه لـ t-SNE. ^[43]

الطريقة القائمة على مصفوفات القرب هي الطريقة التي يتم فيها تقديم البيانات إلى الخوارزمية في شكل مصفوفة تشابه أو مصفوفة مسافة . تندرج كل هذه الطرق ضمن الفئة الأوسع من القياس المتري متعدد الأبعاد . تميل الاختلافات إلى أن تكون اختلافات في كيفية حساب بيانات القرب؛ على سبيل المثال، تعد isomap ، والتضمينات الخطية المحلية ، و maximative variance unexplaining ، و Sammon mapping (وهي في الواقع ليست تعيينًا) أمثلة على طرق القياس المتري متعدد الأبعاد.

• Waffles هي مكتبة C++ مفتوحة المصدر تحتوي على تنفيذات لـ LLE وManifold Sculpting وبعض خوارزميات التعلم المتعددة الأخرى.
• يقوم UMAP.jl بتنفيذ الطريقة الخاصة بلغة البرمجة Julia .
• تم تنفيذ الطريقة أيضًا في Python (الكود متاح على GitHub )

• فرضية متعددة
• متعدد الشعب الطيفي
• نظرية تيكين
• نظرية تضمين ويتني
• التحليل التمييزي
• خريطة مرنة
• ميزة التعلم
• خريطة التنظيم الذاتي المتنامية (GSOM)
• خريطة التنظيم الذاتي (SOM)

• مورفي، كيفن ب. (2022). "التعلم المتعدد". التعلم الآلي الاحتمالي . مطبعة معهد ماساتشوستس للتكنولوجيا. ص 682-699. رقم ISBN 978-0-262-04682-4.

• خريطة متساوية
• رسم الخرائط الطبوغرافية التوليدية
• أطروحة مايك تيبينج
• نموذج المتغير الكامن للعملية الغاوسية
• التضمين الخطي محليًا
• خريطة المنظور العلائقي
• الصفحة الرئيسية لـ DD-HDS
• الصفحة الرئيسية لـ RankVisu
• مراجعة مختصرة لخرائط الانتشار
• PCA غير الخطية بواسطة الشبكات العصبية ذات التشفير التلقائي