إكمال المصفوفة

إكمال المصفوفة هو مهمة ملء القيم المفقودة في مصفوفة مُرصَدة جزئيًا، وهو ما يُعادل إجراء عملية إسناد البيانات في الإحصاء. تُنظَّم مجموعة واسعة من مجموعات البيانات بشكل طبيعي في شكل مصفوفة. أحد الأمثلة على ذلك مصفوفة تقييمات الأفلام، كما هو الحال في مسألة نتفليكس : بفرض وجود مصفوفة تقييمات تحتوي على كل قيمة مفقودة.يمثل تصنيف الفيلمبواسطة العميل، إذا كان العميلشاهد الفيلموإذا كانت البيانات الأخرى مفقودة، نرغب في التنبؤ بالبيانات المتبقية لتقديم توصيات جيدة للعملاء بشأن ما يشاهدونه لاحقًا. مثال آخر هو مصفوفة المصطلحات في المستندات : يمكن تمثيل ترددات الكلمات المستخدمة في مجموعة من المستندات كمصفوفة، حيث يتوافق كل عنصر مع عدد مرات ظهور المصطلح المرتبط به في المستند المحدد.
بدون أي قيود على عدد درجات الحرية في المصفوفة المكتملة، تُعتبر هذه المسألة غير محددة بشكل كامل، إذ يمكن إسناد قيم عشوائية إلى العناصر المخفية. لذا، نحتاج إلى بعض الافتراضات حول المصفوفة لإنشاء مسألة محددة جيدًا ، مثل افتراض أن لها محددًا أقصى، أو أنها موجبة التحديد، أو أنها منخفضة الرتبة. [ 1 ] [ 2 ]
على سبيل المثال، يمكن افتراض أن المصفوفة ذات بنية منخفضة الرتبة، ثم البحث عن مصفوفة ذات أدنى رتبة ، أو إذا كانت رتبة المصفوفة المكتملة معروفة، مصفوفة ذات رتبةيتطابق ذلك مع المدخلات المعروفة. يوضح الرسم التوضيحي أنه يمكن إكمال مصفوفة من الرتبة 1 مكشوفة جزئيًا (على اليسار) بدون أي خطأ (على اليمين)، حيث يجب أن تكون جميع الصفوف التي تحتوي على مدخلات مفقودة مماثلة للصف الثالث. في حالة مشكلة Netflix، من المتوقع أن تكون مصفوفة التقييمات منخفضة الرتبة، نظرًا لأن تفضيلات المستخدمين غالبًا ما يمكن وصفها ببضعة عوامل، مثل نوع الفيلم ووقت إصداره. تشمل التطبيقات الأخرى رؤية الحاسوب ، حيث يلزم إعادة بناء وحدات البكسل المفقودة في الصور، والكشف عن الموقع العالمي لأجهزة الاستشعار في الشبكة من معلومات المسافة الجزئية، والتعلم متعدد الفئات . تُعد مشكلة إكمال المصفوفة بشكل عام من المسائل الصعبة حسابيًا (NP-hard )، ولكن في ظل افتراضات إضافية، توجد خوارزميات فعالة تحقق إعادة بناء دقيقة باحتمالية عالية .
من منظور التعلم الإحصائي، تُعدّ مسألة إكمال المصفوفة تطبيقًا لتنظيم المصفوفة ، وهو تعميم لتنظيم المتجهات . على سبيل المثال، في مسألة إكمال المصفوفة منخفضة الرتبة، يمكن تطبيق عقوبة التنظيم التي تأخذ شكل معيار نووي.
إكمال المصفوفة منخفضة الرتبة
أحد أشكال مسألة إكمال المصفوفة هو إيجاد المصفوفة ذات الرتبة الأدنىوالتي تتطابق مع المصفوفةوالتي نرغب في استعادتها، لجميع المدخلات في المجموعةمن المدخلات المرصودة. الصياغة الرياضية لهذه المسألة هي كما يلي:
أثبت كانديس وريخت [ 3 ] أنه مع افتراضات حول أخذ عينات من المدخلات المرصودة وعدد كافٍ من المدخلات التي تم أخذ عينات منها، فإن هذه المشكلة لها حل فريد باحتمالية عالية.
صيغة مكافئة، بالنظر إلى المصفوفةمن المعروف أن المبلغ المراد استرداده ذو رتبة، هو حل لـأين
الافتراضات
يتم وضع عدد من الافتراضات حول أخذ عينات من المدخلات المرصودة وعدد المدخلات التي تم أخذ عينات منها بشكل متكرر لتبسيط التحليل ولضمان عدم عدم تحديد المشكلة بشكل غير كافٍ .
أخذ عينات منتظمة من المدخلات المرصودة
ولجعل التحليل قابلاً للتطبيق، يُفترض غالباً أن المجموعةيتم أخذ عينة عشوائية منتظمة من جميع المجموعات الفرعية من المدخلات ذات العدد الثابت من المدخلات المرصودة.ولتبسيط التحليل أكثر، يُفترض بدلاً من ذلك أنيتم إنشاؤها عن طريق أخذ عينات برنولي ، أي أن كل إدخال يتم ملاحظته باحتمالية. لوتم ضبطه علىأينهي العدد المتوقع المرغوب فيه لـ، وأبعاد المصفوفة (لنفترض(دون فقدان للعمومية )يقع ضمنلباحتمالية عالية، لذا فإن أخذ عينات برنولي يُعد تقريبًا جيدًا لأخذ العينات المنتظمة. [ 3 ] ومن التبسيطات الأخرى افتراض أن المدخلات تُؤخذ عينات منها بشكل مستقل ومع الإحلال. [ 4 ]
الحد الأدنى لعدد الإدخالات المرصودة
لنفترض أنبواسطةمصفوفة(مع) نحاول استعادة رتبتهيوجد حد أدنى نظري للمعلومات لعدد المدخلات التي يجب ملاحظتها قبليمكن إعادة بنائها بشكل فريد. مجموعة بواسطةالمصفوفات ذات الرتبة الأقل من أو تساوي هو نوع جبري فيبأبعاد باستخدام هذه النتيجة، يمكن للمرء أن يثبت أن على الأقل يجب مراعاة المدخلات لإكمال المصفوفة في أن يكون لديك حل فريد عندما [ 5 ]
ثانيًا، يجب أن يكون هناك إدخال واحد على الأقل مُلاحظ لكل صف وعمود منتحليل القيم المفردة لـيُعطى بواسطةإذا كان العمودإذا لم تتم ملاحظته، فمن السهل رؤيةمتجه مفرد أيمن لـ،يمكن تغييرها إلى قيمة عشوائية وستظل تُنتج مطابقة مصفوفةعلى مجموعة المدخلات المرصودة. وبالمثل، إذا كان الصفغير مرصود،متجه مفرد أيسر لـ،يمكن أن تكون عشوائية. إذا افترضنا أخذ عينات برنولي من مجموعة الإدخالات المرصودة، فإن تأثير جامع القسائم يعني أن الإدخالات من رتبةيجب مراقبة كل صف وعمود لضمان وجود ملاحظة من كل صف وعمود باحتمالية عالية. [ 6 ]
بدمج الشروط اللازمة وبافتراض أن(وهو افتراض صحيح للعديد من التطبيقات العملية)، فإن الحد الأدنى لعدد المدخلات المرصودة المطلوبة لمنع مشكلة إكمال المصفوفة من أن تكون غير محددة هو من رتبة.
عدم الترابط
ظهر مفهوم عدم التماسك في الاستشعار المضغوط . وقد تم تقديمه في سياق إكمال المصفوفة لضمان المتجهات المفردة لـليست "متباعدة" للغاية بمعنى أن جميع إحداثيات كل متجه منفرد لها مقادير متقاربة بدلاً من أن تكون بعض الإحداثيات ذات مقادير أكبر بكثير. [ 7 ] [ 8 ] وبالتالي، فإن متجهات الأساس القياسية غير مرغوب فيها كمتجهات منفردة، والمتجهفييُعدّ ذلك مرغوبًا. كمثال على ما قد يحدث من أخطاء إذا كانت المتجهات المفردة "متباعدة" بشكل كافٍ، انظر إلىبواسطةمصفوفةباستخدام تحليل القيم المفردةجميع إدخالات تقريبًايجب أخذ عينة منها قبل إعادة بنائها.
يُعرّف كانديس وريخت [ 3 ] تماسك المصفوفةمع مسافة العمودالفضاء الفرعي ذو الأبعادمثل، أينهو الإسقاط المتعامد علىثم يؤكد عدم التماسك أنه بالنظر إلى تحليل القيم المفردةالتابعبواسطةمصفوفة،
- مدخلاتلها مقادير محدودة من الأعلى بـ
بالنسبة للبعض.
إكمال المصفوفة منخفضة الرتبة مع الضوضاء
في التطبيقات العملية، غالبًا ما نلاحظ عددًا قليلًا فقط من المدخلات المتأثرة ولو بنسبة ضئيلة من التشويش. على سبيل المثال، في مشكلة نتفليكس، تكون التقييمات غير مؤكدة. وقد أظهر كانديس وبلان [ 9 ] أنه من الممكن ملء العديد من المدخلات المفقودة في المصفوفات الكبيرة منخفضة الرتبة من خلال عدد قليل من العينات المشوشة عن طريق تقليل المعيار النووي. يفترض النموذج المشوش أننا نلاحظ
أينيمثل هذا الحدّ حدّاً للضوضاء. لاحظ أن الضوضاء قد تكون عشوائية أو حتمية. بدلاً من ذلك، يمكن التعبير عن النموذج على النحو التالي:
أينهومصفوفة ذات مدخلاتلبافتراض أنبالنسبة للبعضلاستعادة المصفوفة غير المكتملة، نحاول حل مسألة التحسين التالية :
من بين جميع المصفوفات المتوافقة مع البيانات، ابحث عن المصفوفة ذات المعيار النووي الأدنى. وقد أثبت كانديس وبلان [ 9 ] دقة هذه العملية. كما أثبتا أنه عند حدوث استعادة مثالية خالية من الضوضاء، يكون إكمال المصفوفة مستقرًا في مواجهة الاضطرابات. ويتناسب الخطأ طرديًا مع مستوى الضوضاء.لذلك، عندما يكون مستوى الضوضاء منخفضًا، يكون الخطأ منخفضًا أيضًا. هنا، لا تخضع مسألة إكمال المصفوفة لخاصية التساوي المقيد (RIP). بالنسبة للمصفوفات، تفترض خاصية التساوي المقيد أن عامل أخذ العينات يخضع لـ
لجميع المصفوفاتبرتبة صغيرة بما فيه الكفاية وصغيرة بما يكفي. كما أن هذه الطرق قابلة للتطبيق على مشاكل استعادة الإشارة المتفرقة التي لا ينطبق عليها مبدأ RIP.
إكمال المصفوفة عالية الرتبة
تُعتبر مسألة إكمال المصفوفات عالية الرتبة عموماً مسألة صعبة من نوع NP . ومع ذلك، في ظل افتراضات معينة، يمكن إكمال بعض المصفوفات عالية الرتبة غير المكتملة أو حتى المصفوفات كاملة الرتبة.
درس إريكسون وبالزانو ونواك [ 10 ] مشكلة إكمال مصفوفة بافتراض أن أعمدة المصفوفة تنتمي إلى اتحاد فضاءات فرعية متعددة منخفضة الرتبة. وبما أن الأعمدة تنتمي إلى اتحاد فضاءات فرعية، يمكن اعتبار المشكلة نسخةً من مشكلة تجميع الفضاءات الفرعية مع وجود بيانات مفقودة.كنمصفوفة تقع أعمدتها (الكاملة) في اتحاد لا يزيد عنالفضاءات الفرعية، كل منهاوافترضأظهر إريكسون وبالزانو ونواك [ 10 ] أنه في ظل افتراضات معتدلة، فإن كل عمود منيمكن استعادتها بشكل كامل باحتمالية عالية من نسخة غير مكتملة طالما أن على الأقلمدخلات منتُلاحظ بشكل عشوائي منتظم، معثابت يعتمد على شروط عدم التماسك المعتادة، والترتيب الهندسي للفضاءات الفرعية، وتوزيع الأعمدة على الفضاءات الفرعية.
تتضمن الخوارزمية عدة خطوات: (1) الجوار المحلي؛ (2) الفضاءات الفرعية المحلية؛ (3) تحسين الفضاءات الفرعية؛ (4) إكمال المصفوفة بالكامل. يمكن تطبيق هذه الطريقة على إكمال مصفوفة المسافة في الإنترنت وتحديد الطوبولوجيا.
خوارزميات لإكمال المصفوفات منخفضة الرتبة
تم اقتراح العديد من خوارزميات إكمال المصفوفات. [ 8 ] وتشمل هذه الخوارزمية القائمة على الاسترخاء المحدب، [ 3 ] والخوارزمية القائمة على التدرج، [ 11 ] والخوارزمية القائمة على التصغير المتناوب، [ 12 ] وخوارزمية جاوس-نيوتن، [ 13 ] والخوارزمية القائمة على مراعاة التقطيع. [ 14 ]
استرخاء محدب
تُعدّ مسألة تقليل الرتبة مسألة صعبة من نوع NP . يتمثل أحد الأساليب المقترحة من قبل كانديس وريخت في صياغة استرخاء محدب للمسألة وتقليل المعيار النووي.(مما يعطي مجموع القيم المفردة لـ) بدلاً من(الذي يحسب عدد القيم المفردة غير الصفرية لـ[ 3 ] هذا يُشابه تقليل معيار L1 بدلاً من معيار L0 للمتجهات. يمكن حل الاسترخاء المحدب باستخدام البرمجة شبه المحددة (SDP) بملاحظة أن مسألة التحسين تُكافئ ما يلي :
تكمن صعوبة استخدام البرمجة شبه المحددة لحل الاسترخاء المحدب فيلا تستطيع أحدث برامج الحل، مثل SDPT3، التعامل إلا مع المصفوفات التي يصل حجمها إلى 100 × 100. [ 15 ] وهناك طريقة بديلة من الدرجة الأولى لحل الاسترخاء المحدب تقريبًا، وهي خوارزمية عتبة القيمة المفردة التي قدمها كل من كاي وكانديس وشين. [ 15 ]
يُبين كانديس وريخت، باستخدام دراسة المتغيرات العشوائية على فضاءات باناخ ، أنه إذا كان عدد المدخلات المرصودة من رتبة(بافتراض عدم فقدان العمومية))، تمتلك مسألة تقليل الرتبة حلاً وحيداً، وهو أيضاً حل لتقريبها المحدب باحتماليةلبعض الثوابتإذا كانت رتبةصغير ()، يتقلص حجم مجموعة الملاحظات إلى رتبةتُعد هذه النتائج قريبة من الأمثل، حيث أن الحد الأدنى لعدد المدخلات التي يجب ملاحظتها حتى لا تكون مسألة إكمال المصفوفة غير محددة بشكل كافٍ هو من رتبة.
وقد حسّن كانديس وتاو هذه النتيجة. [ 6 ] إذ توصلا إلى حدود لا تختلف عن الحدود المثلى إلا بعوامل لوغاريتمية متعددة، وذلك بتعزيز الافتراضات. فبدلاً من خاصية عدم التماسك، افترضا خاصية عدم التماسك القوي بمعاملتنص هذه الخاصية على ما يلي:
- لول
- مدخلاتتكون محدودة في مقدارها بـ
بشكل بديهي، عدم تماسك قوي للمصفوفةيؤكد أن الإسقاطات المتعامدة لمتجهات الأساس القياسية إلىلها مقادير ذات احتمالية عالية إذا تم توزيع المتجهات المفردة عشوائياً. [ 7 ]
يجد كانديس وتاو أنه عندمايكونويبلغ عدد الإدخالات المرصودة حوالي، تمتلك مسألة تقليل الرتبة حلاً وحيداً، وهو أيضاً حل لتقريبها المحدب باحتماليةلبعض الثوابت. لأيعدد الإدخالات المرصودة الكافية لتأكيد هذا الادعاء هو من رتبة
يتمثل أحد أساليب الاسترخاء المحدب الأخرى [ 16 ] في تقليل معيار فروبينيوس التربيعي في ظل قيد الرتبة. وهذا يعادل حل
من خلال إدخال مصفوفة إسقاط متعامدة(معنى) لنمذجة رتبةعبروبأخذ الاسترخاء المحدب لهذه المسألة، نحصل على البرنامج شبه المحدد التالي
إذا كانت Y مصفوفة إسقاط (أي ذات قيم ذاتية ثنائية) في هذا التقريب، فإن التقريب يكون دقيقًا. وإلا، فإنه يُعطي حدًا أدنى صالحًا للدالة الهدفية الكلية. علاوة على ذلك، يمكن تحويله إلى حل ممكن بدالة هدفية أكبر (قليلاً) عن طريق تقريب القيم الذاتية لـ Y بطريقة جشعة. [ 16 ] والجدير بالذكر أن هذا التقريب المحدب يمكن حله عن طريق التناوب بين تقليل قيم X و Y دون حل أي مسائل برمجة شبه محددة، وبالتالي يتجاوز الحدود العددية النموذجية لحلول البرمجة شبه المحددة الحديثة مثل SDPT3 أو Mosek.
يُعد هذا النهج حالة خاصة من تقنية إعادة صياغة أكثر عمومية، والتي يمكن تطبيقها للحصول على حد أدنى صالح لأي مسألة منخفضة الرتبة ذات هدف محدب لمصفوفة الأثر. [ 17 ]
الانحدار التدريجي
قام كل من كيشافان ومونتاناري وأوه [ 11 ] بدراسة نوع مختلف من إكمال المصفوفة حيث يتم تحديد رتبةبواسطةمصفوفةمن المعروف أن المادة التي سيتم استعادتها هييفترضون أخذ عينات برنولي من المدخلات، ونسبة عرض إلى ارتفاع ثابتة، حجم محدود لعناصر(ليكن الحد الأعلى هو)، ورقم الحالة الثابت(أينوأكبر وأصغر القيم المفردة لـعلى التوالي). علاوة على ذلك، يفترضون أن شرطي عدم الاتساق مُحققان معوأينوهي ثوابت. ليكنأن تكون مصفوفة مطابقةفي موقع التصويرمن المدخلات المرصودة، وتكون قيمتها صفرًا في غير ذلك. ثم يقترحون الخوارزمية التالية:
- تقليمعن طريق إزالة جميع المشاهدات من الأعمدة ذات الدرجة الأكبر منعن طريق ضبط القيم في الأعمدة على 0. وبالمثل، قم بإزالة جميع الملاحظات من الصفوف التي تكون درجتها أكبر من.
- مشروعإلى أولالمكونات الرئيسية . سمِّ المصفوفة الناتجة.
- يحلأينهي دالة تنظيمية ما باستخدام خوارزمية التدرج الهبوطي مع البحث الخطي . قم بتهيئةفيأين. تعيينكوظيفة ما تفرضأن يظل غير متماسك طوال عملية الهبوط التدرجي إذاوغير مترابطة.
- أعد المصفوفة.
تُنتج الخطوتان 1 و2 من الخوارزمية مصفوفةقريب جدًا من المصفوفة الحقيقية(كما تم قياسه بواسطة جذر متوسط مربع الخطأ (RMSE) ) باحتمالية عالية. على وجه الخصوص، باحتمالية،لبعض الثوابت. يرمز إلى معيار فروبينيوس . تجدر الإشارة إلى أن مجموعة الافتراضات الكاملة ليست ضرورية لصحة هذه النتيجة. فشرط عدم الاتساق، على سبيل المثال، لا يُفعّل إلا في إعادة البناء الدقيق. وأخيرًا، على الرغم من أن عملية التقليم قد تبدو غير بديهية لأنها تنطوي على حذف معلومات، إلا أنها تضمن الإسقاط.إلى أولتوفر المكونات الرئيسية مزيدًا من المعلومات حول المصفوفة الأساسيةأكثر من مجرد معلومات حول المدخلات المرصودة.
في الخطوة الثالثة، فضاء المصفوفات المرشحةيمكن تقليل ذلك من خلال ملاحظة أن مشكلة التصغير الداخلي لها نفس الحل لـأما بالنسبة لـأينومتعامدبواسطةالمصفوفات. ثم يمكن إجراء انحدار التدرج على الضرب الاتجاهي لمتشعبين من نوع غراسمان . إذاوتكون مجموعة المدخلات المرصودة بالترتيب التالي:، المصفوفة التي تم إرجاعها بواسطة الخطوة 3 هي بالضبطإذن، تكون الخوارزمية مثالية من حيث الترتيب، لأننا نعلم أنه لكي لا تكون مسألة إكمال المصفوفة غير محددة بشكل كافٍ ، يجب أن يكون عدد المدخلات من رتبة.
تقليل المربعات الصغرى المتناوبة
يمثل أسلوب التقليل المتناوب نهجًا واسع الانتشار وناجحًا تجريبيًا لإيجاد المصفوفات منخفضة الرتبة التي تُناسب البيانات المُعطاة على أفضل وجه. على سبيل المثال، في مسألة إكمال المصفوفات منخفضة الرتبة، يُعتقد أن هذه الطريقة من أكثر الطرق دقة وكفاءة، وقد شكلت عنصرًا رئيسيًا في الحل الفائز في مسألة نتفليكس. في أسلوب التقليل المتناوب، تُكتب مصفوفة الهدف منخفضة الرتبة في صيغة ثنائية الخطية .
؛
ثم تتناوب الخوارزمية بين إيجاد الأفضلوالأفضلعلى الرغم من أن المشكلة الكلية غير محدبة، إلا أن كل مشكلة فرعية منها عادةً ما تكون محدبة ويمكن حلها بكفاءة. وقد قدم جاين ونيتراپالي وسانغافي [ 12 ] أحد الضمانات الأولى لأداء التصغير المتناوب لكل من إكمال المصفوفة واستشعارها.
يمكن اعتبار خوارزمية التصغير المتناوب طريقة تقريبية لحل المشكلة غير المحدبة التالية:
تم إدراج خوارزمية AltMinComplete المقترحة من قبل جاين، نيترابالي وسانغافي هنا: [ 12 ]
- المدخلات : مجموعة الملاحظات، قيم
- تقسيمداخلالمجموعات الفرعيةمع كل عنصر من عناصرينتمي إلى أحدباحتمالية متساوية (أخذ العينات مع الإحلال)
- أي، أعلى-المتجهات المفردة اليسرى لـ
- القص : اضبط جميع عناصرالتي لها مقدار أكبر منلتصفير أعمدة وتطبيعها
- ليفعل
- نهاية لـ
- يعود
لقد أظهروا ذلك من خلال الملاحظةعناصر عشوائية لمصفوفة غير متماسكةيمكن استرداد خوارزمية AltMinCompleteفيخطوات. من حيث تعقيد العينة (نظريًا، قد يتطلب تقليل التناوب حجمًا أكبرأكثر من الاسترخاء المحدب. ومع ذلك، يبدو من الناحية التجريبية أن هذا ليس هو الحال، مما يعني أنه يمكن تشديد حدود تعقيد العينة بشكل أكبر. من حيث التعقيد الزمني، أظهروا أن AltMinComplete يحتاج إلى وقت
.
تجدر الإشارة إلى أنه على الرغم من أن الطرق القائمة على الاسترخاء المحدب لها تحليل دقيق، إلا أن الخوارزميات القائمة على التقليل المتناوب أكثر نجاحًا في الممارسة العملية.
جاوس-نيوتن
يُعدّ استعادة مصفوفة جاوس-نيوتن (GNMR) إضافةً بسيطةً إلى الخوارزميات القائمة على التحليل. [ 13 ] على غرار التصغير المتناوب، تعالج GNMR هدف إكمال المصفوفة ذات الرتبة المنخفضة بعد تحليلها.
استلهامًا من منهج جاوس-نيوتن الكلاسيكي ، يقوم GNMR بتخطيط دالة الهدف. وينتج عن ذلك المسألة الفرعية التالية للمربعات الصغرى الخطية :
بدءاً من التهيئةتقوم خوارزمية GNMR بحل مشكلة المربعات الصغرى الخطية الفرعية بشكل تكراري وتحديثهاحتى التقارب. ولأن المسألة الفرعية للمربعات الصغرى تعاني من نقص في الرتبة، فإن خوارزمية GNMR تختار الحل ذي المعيار الأدنى، وبالتالي تحافظ على التوازن بينودون استخدام تنظيم صريح. وقد ثبت أن هذه الخوارزمية تتمتع بضمانات نظرية قوية. بالإضافة إلى ذلك، وعلى الرغم من بساطتها، تشير النتائج التجريبية إلى أن خوارزمية GNMR تتفوق على العديد من الخوارزميات الشائعة، لا سيما عندما تكون الملاحظات متفرقة أو تكون المصفوفة سيئة التكييف.
إكمال المصفوفة مع مراعاة البيانات المنفصلة
في تطبيقات مثل أنظمة التوصية، حيث تكون عناصر المصفوفة منفصلة (مثل التقييمات الصحيحة من 1 إلى 5)، فإن دمج هذه الخاصية المنفصلة في مشكلة إكمال المصفوفة يمكن أن يحسن الأداء. تُدخل أساليب إكمال المصفوفة التي تراعي الخاصية المنفصلة مُنظِّمًا يُشجع عناصر المصفوفة المُكتملة على التوافق مع أبجدية منفصلة محدودة.
استخدمت إحدى الطرق المبكرة في هذا المجال...المعيار -norm كتقريب محدب لـيُستخدم معيار -norm لفرض التقطيع، مما يُمكّن من التحسين الفعال باستخدام طرق التدرج التقريبي. وبناءً على ذلك، استبدل فورلينغ وآخرون (2023) [ 14 ]المعيار - مع تقريب مستمر وقابل للتفاضل لـ-norm، مما يجعل المشكلة أكثر قابلية للحل ويحسن الأداء.
يمكن صياغة مشكلة إكمال المصفوفة مع مراعاة العناصر المنفصلة على النحو التالي:
أين:
- يضمن ذلك دقة البيانات المُسجلة، معباعتبارها الإسقاط على المجموعة المرصودةوباعتبارها المصفوفة المرصودة.
- إن القاعدة النووية هي فرض بنية ذات رتبة منخفضة.
- هو منظم الفضاء المنفصل، معكونها الأبجدية المنفصلة (على سبيل المثال، {1، 2، 3، 4، 5}) ومجموعة المدخلات غير المرصودة.
لحل هذه المشكلة غير المحدبة،يتم تقريب المعيار -norm بواسطة دالة متصلة . يتم تحويل هذا التقريب إلى دالة محدبة باستخدام البرمجة الكسرية ، مما يحول المسألة إلى سلسلة من المسائل الفرعية المحدبة.
تقوم الخوارزمية بتحديث تقدير المصفوفة بشكل متكرر من خلال تطبيق عمليات تقريبية على منظم الفضاء المنفصل وعتبة القيمة المفردة لفرض قيد الرتبة المنخفضة. تبدأ العملية بالحل منيمكن للطريقة القائمة على معيار L1 تسريع التقارب. تُظهر نتائج المحاكاة، التي تم اختبارها على مجموعات بيانات مثل MovieLens-100k، أن هذه الطريقة تتفوق على كلتا الطريقتين الأخريين.[ 14 ]
التطبيقات
يلخص كانديس وبلان [ 9 ] العديد من تطبيقات إكمال المصفوفة على النحو التالي:
الترشيح التعاوني
الترشيح التعاوني هو عملية التنبؤ التلقائي باهتمامات المستخدم من خلال جمع معلومات عن تفضيلاته من العديد من المستخدمين. وتسعى شركات مثل آبل، وأمازون، وبارنز أند نوبل، ونتفليكس إلى التنبؤ بتفضيلات مستخدميها انطلاقًا من معلومات جزئية. في هذا النوع من مسائل إكمال المصفوفات، غالبًا ما تُعتبر المصفوفة الكاملة المجهولة ذات رتبة منخفضة، لأن عددًا قليلًا فقط من العوامل يُسهم عادةً في تحديد أذواق الفرد أو تفضيلاته.
تحديد النظام
في حالة التحكم، يرغب المرء في ملاءمة نموذج فضاء الحالة الخطي المتقطع الزمني غير المتغير مع الزمن
إلى سلسلة من المدخلاتوالمخرجاتالمتجههي حالة النظام في وقتويمثل هذا ترتيب نموذج النظام. ومن زوج المدخلات/المخرجات، يرغب المرء في استعادة المصفوفات.والحالة الأوليةيمكن أيضًا اعتبار هذه المشكلة مشكلة إكمال مصفوفة منخفضة الرتبة.
تحديد موقع إنترنت الأشياء (IoT)
تبرز مشكلة تحديد الموقع (أو تحديد الموقع العالمي) بشكل طبيعي في شبكات استشعار إنترنت الأشياء. وتتمثل هذه المشكلة في استعادة خريطة المستشعر في الفضاء الإقليدي من مجموعة محلية أو جزئية من المسافات الزوجية. وبالتالي، فهي مشكلة إكمال مصفوفة من الرتبة الثانية إذا كانت المستشعرات موجودة في مستوى ثنائي الأبعاد، ومن الرتبة الثالثة إذا كانت موجودة في فضاء ثلاثي الأبعاد. [ 18 ]
تعافي الشبكات الاجتماعية
تتميز معظم الشبكات الاجتماعية الواقعية بمصفوفات مسافة منخفضة الرتبة. عندما يتعذر علينا قياس الشبكة بالكامل، لأسباب مثل العقد الخاصة، أو محدودية موارد التخزين أو الحوسبة، لا نملك سوى جزء ضئيل من قيم المسافة المعروفة. تُعد الشبكات الإجرامية مثالًا جيدًا على هذه الشبكات. يمكن استخدام تقنية إكمال المصفوفة منخفضة الرتبة لاستعادة هذه المسافات غير المرصودة. [ 19 ]
انظر أيضاً
مراجع
- ↑ جونسون، تشارلز ر. (1990). "مسائل إكمال المصفوفات: دراسة استقصائية". نظرية المصفوفات وتطبيقاتها . وقائع ندوات في الرياضيات التطبيقية. المجلد 40. الصفحات 171-198 . doi : 10.1090/psapm/040/1059486 . ISBN 9780821801543.
- ↑ لوران، مونيك (2008). "مسائل إكمال المصفوفة". موسوعة التحسين . المجلد 3. الصفحات 221-229 . doi : 10.1007/978-0-387-74759-0_355 . ISBN 978-0-387-74758-3.
- 1 2 3 4 5 كانديس، إي جيه؛ ريخت، ب. (2009). "إكمال المصفوفة الدقيق عبر التحسين المحدب" . أسس الرياضيات الحسابية . 9 (6): 717-772 . arXiv : 0805.4471 . doi : 10.1007/s10208-009-9045-5 .
- ↑ ريخت، ب. (2009). "نهج أبسط لإكمال المصفوفات" (ملف PDF) . مجلة أبحاث تعلم الآلة . 12 : 3413-3430 . arXiv : 0910.0651 . Bibcode : 2009arXiv0910.0651R .
- ↑ شو، تشي تشيانغ (2018). "الحد الأدنى لعدد القياسات لاستعادة المصفوفات منخفضة الرتبة". التحليل التوافقي التطبيقي والحسابي . 44 (2): 497-508 . arXiv : 1505.07204 . doi : 10.1016/j.acha.2017.01.005 . S2CID 11990443 .
- 1 2 كانديس، إي جيه؛ تاو، تي. (2010). "قوة الاسترخاء المحدب: إكمال المصفوفة شبه الأمثل". معاملات IEEE في نظرية المعلومات . 56 (5): 2053-2080 . arXiv : 0903.1476 . Bibcode : 2010ITIT...56.2053C . doi : 10.1109/TIT.2010.2044061 . S2CID 1255437 .
- 1 2 تاو، ت. (10 مارس 2009). "قوة الاسترخاء المحدب: إكمال المصفوفة شبه الأمثل" . ما الجديد .
- 1 2 نغوين، إل تي؛ كيم، جيه؛ شيم، بي . (10 يوليو 2019). "إكمال المصفوفات منخفضة الرتبة: دراسة معاصرة" . IEEE Access . 7 (1): 94215–94237 . arXiv : 1907.11705 . Bibcode : 2019arXiv190711705N . doi : 10.1109/ACCESS.2019.2928130 . S2CID 198930899 .
- 1 2 3 كانديس، إي جيه؛ بلان، واي. (2010). "إكمال المصفوفة مع الضوضاء". وقائع معهد مهندسي الكهرباء والإلكترونيات . 98 (6): 925-936 . arXiv : 0903.3131 . doi : 10.1109/JPROC.2009.2035722 . S2CID 109721 .
- 1 2 إريكسون، ب.؛ بالزانو، ل.؛ نواك، ر. (2011). "إكمال المصفوفة عالية الرتبة وتجميع الفضاء الجزئي مع البيانات المفقودة". arXiv : 1112.5629 [ cs.IT ].
- 1 2 كيشافان، ر.هـ؛ مونتاناري، أ.؛ أوه، س. (2010). "إكمال المصفوفة من عدد قليل من المدخلات". معاملات IEEE في نظرية المعلومات . 56 (6): 2980-2998 . arXiv : 0901.3150 . Bibcode : 2010ITIT...56.2980K . doi : 10.1109/TIT.2010.2046205 . S2CID 53504 .
- 1 2 3 جاين، ب.؛ نيترابالي، ب.؛ سانغافي، س. (2013). "إكمال المصفوفات منخفضة الرتبة باستخدام التصغير المتناوب". وقائع الندوة السنوية الخامسة والأربعين لجمعية ACM حول نظرية الحوسبة . ACM. ص 665-674 . arXiv : 1212.0467 . doi : 10.1145/2488608.2488693 . ISBN 978-1-4503-2029-0. S2CID 447011 .
- زيلبر ، بيني ؛ نادلر، بواز (2022). "GNMR: خوارزمية قابلة للإثبات من سطر واحد لاستعادة المصفوفات منخفضة الرتبة" . مجلة SIAM لرياضيات علوم البيانات . 4 (2): 909-934 . doi : 10.1137/21M1433812 . PMC 11784930. PMID 39896132 .
- 1 2 3 فورلينغ، نيكلاس؛ أندو، كينغو؛ أبريو، جوزيبي ثاديو فريتاس دي؛ غونزاليس جي، ديفيد؛ غونسا، أوزفالدو (2023). "إكمال المصفوفة المتقطعة الواعية عبر تقريب معيار ℓ₀ المحدب". معاملات IEEE في معالجة الإشارات . XX (X): XXX– XXX. doi : 10.1109/TSP.2023.XXXXXXX (غير نشط في 1 يوليو 2025).
{{cite journal}}: صيانة CS1: رقم التعريف الرقمي غير نشط اعتبارًا من يوليو 2025 ( رابط ) - 1 2 كاي، جيه.-إف.؛ كانديس، إي. جيه.؛ شين، زد. (2010). "خوارزمية عتبة القيمة المفردة لإكمال المصفوفة". مجلة SIAM للتحسين . 20 (4): 1956-1982 . arXiv : 0810.3286 . doi : 10.1137/080738970 . S2CID 1254778 .
- 1 2 بيرتسيماس، ديميتريس؛ كوري-رايت، رايان؛ بوفيليه، جان (2021). "تحسين المخروط المختلط الإسقاط: نموذج جديد لنمذجة قيود الرتبة". بحوث العمليات . 70 (6): 3321-3344 . arXiv : 2009.10395 . doi : 10.1287/opre.2021.2182 . S2CID 221836263 .
- ↑ بيرتسيماس، ديميتريس؛ كوري-رايت، رايان؛ بوفيليه، جان (2023). "منظور جديد حول تحسين الرتبة المنخفضة". التحسين عبر الإنترنت . 202 ( 1-2 ): 47-92 . arXiv : 2105.05947 . doi : 10.1007/s10107-023-01933-9 .
- ↑ نغوين، إل تي؛ كيم، جيه؛ كيم، إس؛ شيم، بي (2019). "تحديد موقع شبكات إنترنت الأشياء عبر إكمال المصفوفة منخفضة الرتبة". معاملات IEEE في الاتصالات . 67 (8): 5833-5847 . Bibcode : 2019ITCom..67.5833N . doi : 10.1109/TCOMM.2019.2915226 . S2CID 164605437 .
- ↑ ماهيندري، ج.؛ جاياسومانا، أ.ب.؛ غاجاماناج، ك.؛ بافينروث، ر. (2019). "حول أخذ العينات واستعادة طوبولوجيا الشبكات الاجتماعية الموجهة - نهج قائم على إكمال المصفوفة منخفضة الرتبة". المؤتمر الرابع والأربعون لشبكات الحاسوب المحلية (LCN) لعام 2019. معهد مهندسي الكهرباء والإلكترونيات. الصفحات 324-331 . doi : 10.1109/LCN44214.2019.8990707 . ISBN 978-1-7281-1028-8. S2CID 211206354 .
- نظرية المصفوفات
