التعلم متعدد المهام

يُعدّ التحسين البايزي متعدد المهام منهجًا حديثًا قائمًا على النماذج، يستفيد من مفهوم نقل المعرفة لتسريع عملية التحسين التلقائي للمعلمات الفائقة لخوارزميات التعلّم الآلي. ^{[ 27 ]} يبني هذا المنهج نموذج عملية غاوسية متعدد المهام على البيانات المُستقاة من عمليات بحث مختلفة تجري بالتوازي. ^{[ 28 ]} تُستخدم بعد ذلك التبعيات المُستخلصة بين المهام لتحسين عملية اختيار الحلول المرشحة في فضاءات البحث المعنية.

تم استكشاف تعدد المهام التطوري كوسيلة لاستغلال التوازي الضمني لخوارزميات البحث القائمة على السكان، وذلك لإنجاز مهام تحسين متعددة ومتميزة في آن واحد. من خلال ربط جميع المهام بمساحة بحث موحدة، يمكن لمجموعة الحلول المرشحة المتطورة الاستفادة من العلاقات الخفية بينها عبر النقل الجيني المستمر. ويحدث هذا عندما تتقاطع الحلول المرتبطة بمهام مختلفة. ^{[ 19 ] [ 29 ]} وقد تم مؤخرًا استكشاف أنماط لنقل المعرفة تختلف عن التقاطع المباشر للحلول. ^{[ 30 ] [ 31 ]}

تقترح مناهج نظرية الألعاب لتحسين المهام المتعددة النظر إلى مشكلة التحسين كلعبة، حيث تمثل كل مهمة لاعبًا. يتنافس جميع اللاعبين من خلال مصفوفة المكافآت في اللعبة، ويسعون للوصول إلى حل يُرضي جميع اللاعبين (جميع المهام). يوفر هذا المنظور رؤية ثاقبة حول كيفية بناء خوارزميات فعالة تعتمد على تحسين التدرج الهبوطي (GD)، وهو أمر بالغ الأهمية لتدريب الشبكات العصبية العميقة . ^{[ 32 ]} في تحسين التدرج الهبوطي للمهام المتعددة، تكمن المشكلة في أن كل مهمة تُقدم خسارتها الخاصة، وليس من الواضح كيفية دمج جميع الخسائر وإنشاء تدرج موحد واحد، مما يؤدي إلى استراتيجيات تجميع مختلفة. ^{[ 33 ] [ 34 ] [ 35 ]} يمكن حل مشكلة التجميع هذه من خلال تعريف مصفوفة لعبة حيث تكون مكافأة كل لاعب هي توافق تدرجه الخاص مع التدرج المشترك، ثم تحديد التدرج المشترك ليكون مساومة ناش التعاونية ^{[ 36 ]} لهذا النظام.

لنفترض أن مجموعة بيانات التدريب هي${\displaystyle {\mathcal {S}}_{t}=\{(x_{i}^{t},y_{i}^{t})\}_{i=1}^{n_{t}}}$، مع${\displaystyle x_{i}^{t}\in {\mathcal {X}}}$،${\displaystyle y_{i}^{t}\in {\mathcal {Y}}}$حيث يشير t إلى المهمة، و${\displaystyle t\in 1,...,T}$. يترك${\displaystyle n=\sum _{t=1}^{T}n_{t}}$في هذا السياق، توجد مساحة إدخال وإخراج متسقة ونفس دالة الخسارة${\displaystyle {\mathcal {L}}:\mathbb {R} \times \mathbb {R} \rightarrow \mathbb {R} _{+}}$لكل مهمة: . ينتج عن ذلك مشكلة التعلم الآلي المنتظم:

$$\displaystyle \min _{f\in {\mathcal {H}}}\sum _{t=1}^{T}{\frac {1}{n_{t}}}\sum _{i=1}^{n_{t}}{\mathcal {L}}(y_{i}^{t},f_{t}(x_{i}^{t}))+\lambda ||f||_{\mathcal {H}}^{2}}$$

1

أين${\displaystyle {\mathcal {H}}}$هي فضاء هيلبرت ذو نواة إعادة إنتاج متجهة القيم مع دوال${\displaystyle f:{\mathcal {X}}\rightarrow {\mathcal {Y}}^{T}}$يحتوي على مكونات${\displaystyle f_{t}:{\mathcal {X}}\rightarrow {\mathcal {Y}}}$.

النواة المُستنسخة للفضاء${\displaystyle {\mathcal {H}}}$من الوظائف ${\displaystyle f:{\mathcal {X}}\rightarrow \mathbb {R} ^{T}}$هي دالة متناظرة ذات قيم مصفوفية${\displaystyle \Gamma$ :{\mathcal {X}}\times {\mathcal {X}}\rightarrow \mathbb {R} ^{T\times T}} ، بحيث${\displaystyle \Gamma (\cdot ,x)c\in {\mathcal {H}}}$وتتحقق خاصية التكاثر التالية:

$${\displaystyle \langle f(x),c\rangle _{\mathbb {R} ^{T}}=\langle f,\Gamma (x,\cdot )c\rangle _{\mathcal {H}}}$$

2

تُنتج النواة المُستنسخة نظرية تمثيلية تُظهر أن أي حل للمعادلة 1 له الشكل التالي:

$${\displaystyle f(x)=\sum _{t=1}^{T}\sum _{i=1}^{n_{t}}\Gamma (x,x_{i}^{t})c_{i}^{t}}$$

3

يُحدد شكل النواة Γ تمثيل فضاء الميزات ويُهيكل المخرجات عبر المهام. ويتمثل التبسيط الطبيعي في اختيار نواة قابلة للفصل، والتي تتحلل إلى نواة منفصلة على فضاء الإدخال X وعلى المهام.${\displaystyle \{1,...,T\}}$في هذه الحالة، النواة التي تربط المكونات العددية${\displaystyle f_{t}}$و${\displaystyle f_{s}}$يُعطى بواسطة${\textstyle \gamma ((x_{i},t),(x_{j},s))=k(x_{i},x_{j})k_{T}(s,t)=k(x_{i},x_{j})A_{s,t}}$بالنسبة للدوال ذات القيم المتجهة ${\displaystyle f\in {\mathcal {H}}}$ يمكننا الكتابة${\displaystyle \Gamma (x_{i},x_{j})=k(x_{i},x_{j})A}$حيث k هي نواة إعادة إنتاج قياسية، و A هي مصفوفة متناظرة موجبة شبه محددة.${\displaystyle T\times T}$المصفوفة. ومن الآن فصاعدًا، سنرمز لها بـ${\displaystyle S_{+}^{T}=\{{\text{مصفوفات PSD}}\}\subset \mathbb {R} ^{T\times T}}$.

تُشير خاصية التحليل هذه، وهي قابلية الفصل، إلى أن تمثيل فضاء ميزات الإدخال لا يختلف باختلاف المهمة. أي أنه لا يوجد تفاعل بين نواة الإدخال ونواة المهمة. يتم تمثيل بنية المهام فقط بواسطة A. وتُعدّ طرق التعامل مع النوى غير القابلة للفصل Γ مجالًا بحثيًا راهنًا.

في حالة الفصل، تُختزل نظرية التمثيل إلى${\textstyle f(x)=\sum _{i=1}^{N}k(x,x_{i})Ac_{i}}$ثم يكون ناتج النموذج على بيانات التدريب هو KCA ، حيث K هو${\displaystyle n\times n}$مصفوفة النواة التجريبية ذات المدخلات${\textstyle K_{i,j}=k(x_{i},x_{j})}$و C هو${\displaystyle n\times T}$مصفوفة من الصفوف${\displaystyle c_{i}}$.

باستخدام النواة القابلة للفصل، يمكن إعادة كتابة المعادلة 1 على النحو التالي

$${\displaystyle \min _{C\in \mathbb {R} ^{n\times T}}V(Y,KCA)+\lambda tr(KCAC^{\top })}$$

P

حيث V هو متوسط ​​(مرجح) لـ L مطبق على Y و KCA لكل عنصر على حدة . (يكون الوزن صفرًا إذا${\displaystyle Y_{i}^{t}}$(ملاحظة مفقودة).

لاحظ أن الحد الثاني في P يمكن اشتقاقه على النحو التالي:

${\displaystyle {\begin{aligned}\|f\|_{\mathcal {H}}^{2}&=\left\langle \sum _{i=1}^{n}k(\cdot ,x_{i})Ac_{i},\sum _{j=1}^{n}k(\cdot ,x_{j})Ac_{j}\right\rangle _{\mathcal {H}}\\&=\sum _{i,j=1}^{n}\langle k(\cdot ,x_{i})Ac_{i},k(\cdot ,x_{j})Ac_{j}\rangle _{\mathcal {H}}&{\text{(bilinearity)}}\\&=\sum _{i,j=1}^{n}\langle k(x_{i},x_{j})Ac_{i},c_{j}\rangle _{\mathbb {R} ^{T}}&{\text{(reproducing property)}}\\&=\sum _{i,j=1}^{n}k(x_{i},x_{j})c_{i}^{\top }Ac_{j}=tr(KCAC^{\top })\end{aligned}}}$

يمكن تعميم مشكلة التعلم P لتشمل مصفوفة مهمة التعلم A على النحو التالي:

$${\displaystyle \min _{C\in \mathbb {R} ^{n\times T},A\in S_{+}^{T}}V(Y,KCA)+\lambda tr(KCAC^{\top })+F(A)}$$

سؤال

اختيار${\displaystyle F:S_{+}^{T}\rightarrow \mathbb {R} _{+}}$يجب تصميمها لتعلم المصفوفات A من نوع معين. انظر "الحالات الخاصة" أدناه.

تحسين Q

وبالاقتصار على حالة الخسائر المحدبة والعقوبات القسرية ، أظهر سيليبرتو وآخرون أنه على الرغم من أن Q ليست محدبة بشكل مشترك في C و A، فإن المشكلة ذات الصلة محدبة بشكل مشترك.

وبالتحديد على المجموعة المحدبة${\displaystyle {\mathcal {C}}=\{(C,A)\in \mathbb {R} ^{n\times T}\times S_{+}^{T}|Range(C^{\top }KC)\subseteq Range(A)\}}$المشكلة المكافئة

$${\displaystyle \min _{C,A\in {\mathcal {C}}}V(Y,KC)+\lambda tr(A^{\dagger }C^{\top }KC)+F(A)}$$

R

محدب وله نفس القيمة الدنيا. وإذا${\displaystyle (C_{R},A_{R})}$إذا كان R هو القيمة الصغرى،${\displaystyle (C_{R}A_{R}^{\dagger },A_{R})}$هو قيمة صغرى لـ Q.

يمكن حل R باستخدام طريقة الحاجز على مجموعة مغلقة عن طريق إدخال الاضطراب التالي:

$${\displaystyle \min _{C\in \mathbb {R} ^{n\times T},A\in S_{+}^{T}}V(Y,KC)+\lambda tr(A^{\dagger }(C^{\top }KC+\delta ^{2}I_{T}))+F(A)}$$

S

الاضطراب عبر الحاجز${\displaystyle \delta ^{2}tr(A^{\dagger })}$يجبر ذلك دوال الهدف على أن تكون متساوية مع${\displaystyle +\infty }$على حدود${\displaystyle R^{n\times T}\times S_{+}^{T}}$.

يمكن حل المسألة S باستخدام طريقة الانحدار الإحداثي الكتلي، بالتناوب في C و A. وينتج عن ذلك سلسلة من الحلول الصغرى${\displaystyle (C_{m},A_{m})}$في S التي تتقارب مع الحل في R كما${\displaystyle \delta _{m}\rightarrow 0}$وبالتالي يعطي الحل للمسألة Q.