الموتر (التعلم الآلي)

في مجال تعلم الآلة ، يشير مصطلح "الموتر" بشكل غير رسمي إلى مفهومين مختلفين: (أ) طريقة لتنظيم البيانات، و(ب) تحويل متعدد الخطوط ( الموتر ). يمكن تنظيم البيانات في مصفوفة متعددة الأبعاد ( مصفوفة M -way)، والتي يُشار إليها بشكل غير رسمي باسم "موتر البيانات"؛ ومع ذلك، بالمعنى الرياضي الدقيق، فإن الموتر هو دالة متعددة الخطوط تنتقل من مجموعة من فضاءات المتجهات الخاصة بالمجال إلى فضاء متجهات المدى. يمكن تحليل الملاحظات، مثل الصور والأفلام والمجلدات والأصوات والعلاقات بين الكلمات والمفاهيم، المخزنة في مصفوفة M -way ("موتر البيانات")، إما بواسطة الشبكات العصبية الاصطناعية أو طرق الموتر . ^{[ 1 ] [ 2 ] [ 3 ] [ 4 ] [ 5 ]}

يُحلل تحليل الموترات بيانات الموترات إلى موترات أصغر. ^{[ 1 ] [ 6 ]} يمكن التعبير عن العمليات على موترات البيانات باستخدام ضرب المصفوفات وضرب كرونكر . ^{[ 7 ]} يمكن حساب التدرجات، وهو جانب أساسي من الانتشار العكسي ، باستخدام مكتبات برمجية مثل PyTorch و TensorFlow . ^{[ 8 ] [ 9 ]}

تُجرى العمليات الحسابية غالبًا على وحدات معالجة الرسومات (GPUs) باستخدام CUDA ، وعلى أجهزة مخصصة مثل وحدة معالجة Tensor من جوجل أو نواة Tensor من إنفيديا . وقد ساهمت هذه التطورات بشكل كبير في تسريع بنى الشبكات العصبية، وزيادة حجم وتعقيد النماذج التي يمكن تدريبها.

الموتر ، بحسب تعريفه، دالة متعددة الخطية . في الرياضيات، قد يُعبّر عن علاقة متعددة الخطية بين مجموعات من الكائنات الجبرية. في الفيزياء، تُعدّ حقول الموتر ، التي تُعتبر موترات عند كل نقطة في الفضاء، مفيدة في التعبير عن الميكانيكا كالإجهاد والمرونة . في التعلّم الآلي، يعتمد الاستخدام الدقيق للموترات على المنهج الإحصائي المُستخدم.

في عام ٢٠٠١، بدأ مجال معالجة الإشارات والإحصاء باستخدام أساليب الموترات . يستعرض بيير كومون التبني المبكر لأساليب الموترات في مجالات الاتصالات السلكية واللاسلكية، والمراقبة اللاسلكية، والكيمياء القياسية، ومعالجة البيانات الحسية. حللت أساليب رتبة الموترات الخطية (مثل Parafac/CANDECOMP) مصفوفات متعددة الأبعاد ("موترات البيانات") تتكون من إحصاءات ذات رتبة أعلى، والتي استُخدمت في مسائل فصل المصادر العمياء لحساب نموذج خطي للبيانات. وقد أشار إلى العديد من القيود المبكرة في تحديد رتبة الموترات وفعالية تحليلها. ^{[ ١٠ ]}

في أوائل العقد الأول من الألفية الثانية، دخلت أساليب الموترات متعددة الخطية ^{[ 1 ] [ 11 ]} مجالات رؤية الحاسوب ، ورسومات الحاسوب، والتعلم الآلي، وذلك بفضل أبحاث فاسيليسكو أو بالتعاون مع تيرزوبولوس، مثل بصمات الحركة البشرية ^{[ 12 ] [ 13 ]} ، ووجوه الموترات ^{[ 14 ] [ 15 ]} ، ونسيج الموترات ^{[ 16 ]} ، والإسقاط متعدد الخطية ^{[ 17 ] [ 18 ]} . يُعد الجبر متعدد الخطية ، وهو جبر الموترات ذات الرتب العليا، إطارًا مناسبًا وشفافًا لتحليل البنية متعددة العوامل لمجموعة من الملاحظات، ولمعالجة مشكلة فصل العوامل السببية المعقدة بناءً على إحصاءات الرتبة الثانية ^{[ 14 ]} أو إحصاءات الرتب العليا المرتبطة بكل عامل سببي ^{[ 15 ] .}

يُفكك تحليل العوامل الموترية (متعددة الخطوط) ويُقلل من تأثير العوامل السببية المختلفة باستخدام تعلم الفضاء الفرعي متعدد الخطوط. ^{[ 19 ]} عند التعامل مع صورة أو فيديو كمصفوفة ثنائية أو ثلاثية الأبعاد، أي "مصفوفة/موتر بيانات"، تُقلل طرق الموترات من التكرار المكاني أو الزمني كما أوضح وانغ وأهوجا. ^{[ 20 ]}

يناقش يوشوا بنجيو ^{[ 21 ] [ 22 ]} وجيف هينتون ^{[ 23 ] [ 24 ]} وزملاؤهما بإيجاز العلاقة بين الشبكات العصبية العميقة وتحليل عوامل الموتر ^{[ 14 ] [ 15 ]} ، متجاوزين استخدام مصفوفات البيانات متعددة الأبعاد ("موترات البيانات") كمدخلات. ظهر أحد الاستخدامات المبكرة للموترات في الشبكات العصبية في معالجة اللغة الطبيعية . يمكن التعبير عن كلمة واحدة كمتجه باستخدام Word2vec ^{[ 5 ]} . وبالتالي، يمكن ترميز العلاقة بين كلمتين في مصفوفة. مع ذلك، بالنسبة للعلاقات الأكثر تعقيدًا، مثل علاقة الفاعل والمفعول به والفعل، من الضروري بناء شبكات ذات أبعاد أعلى. في عام 2009، قدم سوتسكيفر في عمله تحليل عوامل الموتر العنقودي البايزي لنمذجة المفاهيم العلائقية مع تقليل مساحة المعلمات. ^{[ 25 ]} بين عامي 2014 و2015، أصبحت طرق الموترات أكثر شيوعًا في الشبكات العصبية الالتفافية (CNNs). تعمل هذه الطرق على تنظيم أوزان الشبكة العصبية في "موتر بيانات"، وتحليلها، وتقليل عددها. ^{[ 26 ] [ 27 ]} قام ليبيديف وآخرون بتسريع شبكات CNN لتصنيف الأحرف (التعرف على الأحرف والأرقام في الصور) باستخدام موترات النواة رباعية الأبعاد. ^{[ 28 ]}

يترك${\displaystyle \mathbb {F} }$أن يكون حقلاً (مثل الأعداد الحقيقية)${\displaystyle \mathbb {R} }$أو الأعداد المركبة${\displaystyle \mathbb {C} }$). موتر${\displaystyle {\mathcal {T}}\in {\mathbb {F} }^{I_{1}\times I_{2}\times \ldots \times I_{C}}}$هو تحويل متعدد الخطوط من مجموعة من فضاءات المتجهات الخاصة بالمجال إلى فضاء المتجهات الخاص بالمدى:

${\displaystyle {\mathcal {T}}:\{{\mathbb {F} }^{I_{1}}\times {\mathbb {F} }^{I_{2}}\times \ldots {\mathbb {F} }^{I_{C}}\}\mapsto {\mathbb {F} }^{I_{0}}}$

هنا،${\displaystyle C}$و${\displaystyle I_{0},I_{1},\ldots ,I_{C}}$هي أعداد صحيحة موجبة، و${\displaystyle (C+1)}$يمثل عدد أنماط الموتر (ويُعرف أيضًا بعدد طرق المصفوفة متعددة الاتجاهات). بُعد النمط${\displaystyle c}$يكون${\displaystyle I_{c}}$، ل${\displaystyle 0\leq c\leq C}$[ ^{14 ] [ 15 ] [ 29 ] [ 5 ]​}

في الإحصاء والتعلم الآلي، تُحوّل الصورة إلى متجه عند عرضها كملاحظة واحدة، وتُنظّم مجموعة من الصور المتجهة على شكل "موتر بيانات". على سبيل المثال، مجموعة من صور الوجه${\displaystyle \{{\mathbb {d} }_{i_{p},i_{e},i_{l},i_{v}}\in {\mathbb {R} }^{I_{X}}\}}$مع${\displaystyle I_{X}}$وحدات البكسل التي تنتج عن عوامل سببية متعددة، مثل هندسة الوجه${\displaystyle i_{p}(1\leq i_{p}\leq I_{P})}$تعبير${\displaystyle i_{e}(1\leq i_{e}\leq I_{E})}$حالة إضاءة${\displaystyle i_{l}(1\leq i_{l}\leq I_{L})}$وشروط المشاهدة${\displaystyle i_{v}(1\leq i_{v}\leq I_{V})}$قد يتم تنظيمها في موتر بيانات (أي مصفوفة متعددة الاتجاهات)${\displaystyle {\mathcal {D}}\in {\mathbb {R} }^{I_{X}\times I_{P}\times I_{E}\times I_{L}\times V}}$أين${\displaystyle I_{P}}$ يمثل العدد الإجمالي لأشكال الوجه الهندسية، ${\displaystyle I_{E}}$ يمثل العدد الإجمالي للتعبيرات، ${\displaystyle I_{L}}$ يمثل العدد الإجمالي لظروف الإضاءة، و ${\displaystyle I_{V}}$ يمثل العدد الإجمالي لشروط المشاهدة. تقوم طرق تحليل الموتر، مثل TensorFaces وتحليل المكونات المستقلة متعددة الخطوط (الموترية)، بتحليل موتر البيانات إلى مجموعة من فضاءات المتجهات التي تغطي تمثيلات العوامل السببية، حيث تكون الصورة نتيجة لتحويل الموتر.${\displaystyle {\mathcal {T}}}$التي ترسم مجموعة من تمثيلات العوامل السببية على مساحة البكسل.

ثمة نهج آخر لاستخدام الموترات في التعلم الآلي يتمثل في تضمين أنواع البيانات المختلفة مباشرةً. على سبيل المثال، صورة رمادية ، والتي تُمثل عادةً كمصفوفة ثنائية الأبعاد منفصلة. ${\displaystyle {\mathbf {D} }\in {\mathbb {R} }^{I_{RX}\times I_{CX}}}$مع الأبعاد ${\displaystyle I_{RX}\times I_{CX}}$أين ${\displaystyle I_{RX}}$عدد الصفوف و${\displaystyle I_{CX}}$يمثل عدد الأعمدة. عندما تُعامل الصورة كمصفوفة ثنائية الاتجاه أو موتر من الدرجة الثانية (أي كمجموعة من ملاحظات الأعمدة/الصفوف)، فإن طرق تحليل الموتر تحسب فضاء أعمدة الصورة، وفضاء صفوف الصورة، ومعاملات PCA المعيارية أو معاملات ICA.

وبالمثل، صورة ملونة ذات قنوات RGB،${\displaystyle {\mathcal {D}}\in \mathbb {R} ^{N\times M\times 3}.}$يمكن اعتبارها موتر بيانات من الدرجة الثالثة أو مصفوفة ثلاثية الأبعاد.

في معالجة اللغة الطبيعية، يمكن التعبير عن الكلمة كمتجه${\displaystyle v}$عبر خوارزمية Word2vec . وبالتالي${\displaystyle v}$يتحول إلى موتر من النمط 1

${\displaystyle v\mapsto {\mathcal {A}}\in \mathbb {R} ^{N}.}$

يتطلب تضمين دلالات الفاعل والمفعول به والفعل تضمين علاقات بين ثلاث كلمات. ولأن الكلمة نفسها عبارة عن متجه، يمكن التعبير عن دلالات الفاعل والمفعول به والفعل باستخدام موترات الوضع 3

${\displaystyle v_{a}\times v_{b}\times v_{c}\mapsto {\mathcal {A}}\in \mathbb {R} ^{N\times N\times N}.}$

عمليًا، يهتم مصمم الشبكة العصبية بشكل أساسي بتحديد التضمينات، وربط طبقات الموتر، والعمليات التي تُجرى عليها في الشبكة. وتتولى أطر التعلم الآلي الحديثة إدارة التحسين، وتحليل الموتر، والانتشار العكسي تلقائيًا.

كوحدات قياس

يمكن استخدام الموترات كقيم وحدة للشبكات العصبية التي توسع مفهوم القيم العددية والمتجهة والمصفوفية إلى أبعاد متعددة.

قيمة خرج وحدة الطبقة الواحدة${\displaystyle y_{m}}$هو حاصل ضرب مجموع وحدات الإدخال وأوزان الاتصال التي تم ترشيحها من خلال دالة التنشيط${\displaystyle f}$:

${\displaystyle y_{m}=f\left(\sum _{n}x_{n}u_{m,n}\right),}$

أين

${\displaystyle y_{m}\in \mathbb {R} .}$

إذا كان كل عنصر إخراج من${\displaystyle y_{m}}$إذا كان المتغير عددًا قياسيًا، فإننا نحصل على التعريف الكلاسيكي للشبكة العصبية الاصطناعية . من خلال استبدال كل مكون أحادي بموتر، تصبح الشبكة قادرة على التعبير عن بيانات ذات أبعاد أعلى مثل الصور أو مقاطع الفيديو.

${\displaystyle y_{m}\in \mathbb {R} ^{I_{0}\times I_{1}\times ..\times I_{C}}.}$

يُعدّ استخدام الموترات لاستبدال القيم الأساسية شائعًا في الشبكات العصبية الالتفافية ، حيث قد تمثل كل وحدة صورةً مُعالَجةً عبر طبقات متعددة. ومن خلال تضمين البيانات في الموترات، تُمكّن هذه البنى الشبكية من تعلّم أنواع البيانات المعقدة.

جميع الطبقات المتصلة

يمكن أيضًا استخدام الموترات لحساب طبقات الشبكة العصبية المتصلة بالكامل، حيث يتم تطبيق الموتر على الطبقة بأكملها بدلاً من قيم الوحدة الفردية.

قيمة خرج وحدة الطبقة الواحدة${\displaystyle y_{m}}$هو حاصل ضرب مجموع وحدات الإدخال وأوزان الاتصال التي تم ترشيحها من خلال دالة التنشيط${\displaystyle f}$:

${\displaystyle y_{m}=f\left(\sum _{n}x_{n}u_{m,n}\right).}$

المتجهات${\displaystyle x}$و${\displaystyle y}$يمكن التعبير عن قيم المخرجات كموترات من النمط الأول، بينما يمكن التعبير عن الأوزان المخفية كموتر من النمط الثاني. في هذا المثال، تكون قيم الوحدة أعدادًا قياسية، بينما يأخذ الموتر أبعاد طبقات الشبكة.

${\displaystyle x_{n}\mapsto {\mathcal {X}}\in \mathbb {R} ^{1\times N},}$

${\displaystyle y_{n}\mapsto {\mathcal {Y}}\in \mathbb {R} ^{M\times 1},}$

${\displaystyle u_{n}\mapsto {\mathcal {U}}\in \mathbb {R} ^{N\times M}.}$

في هذه الصيغة، يمكن حساب قيم المخرجات كحاصل ضرب موتر لموترات الإدخال والوزن:

${\displaystyle {\mathcal {Y}}=f({\mathcal {X}}{\mathcal {U}}).}$

والتي تحسب مجموع الضرب كضرب موتر (على غرار ضرب المصفوفات).

تتيح هذه الصيغة للموترات حساب الطبقة بأكملها من الشبكة المتصلة بالكامل بكفاءة عن طريق ربط الوحدات والأوزان بالموترات.

تحليل الموتر

تتمثل إحدى أهم مساهمات الموترات في التعلم الآلي في قدرتها على تحليل البيانات إلى عواملها المكونة أو تقليل عدد المعلمات المتعلمة. وتنبثق تقنيات نمذجة بيانات الموترات من تحليل الموترات الخطي (تحليل CANDECOMP/Parafac) وتحليل الموترات متعدد الخطوط (تاكر).

تحلل تاكر

على سبيل المثال، يأخذ تحليل تاكر مصفوفة ثلاثية الأبعاد${\displaystyle {\mathcal {X}}\in \mathbb {R} ^{I\times J\times K}}$ ويقوم بتحليل الموتر إلى ثلاث مصفوفات${\displaystyle {\mathcal {A,B,C}}}$وموتر أصغر${\displaystyle {\mathcal {G}}}$شكل المصفوفات والموتر الجديد مصمم بحيث يقلل العدد الإجمالي للعناصر. للموترات الجديدة أشكال محددة.

${\displaystyle {\mathcal {A}}\in \mathbb {R} ^{I\times P},}$

${\displaystyle {\mathcal {B}}\in \mathbb {R} ^{J\times Q},}$

${\displaystyle {\mathcal {C}}\in \mathbb {R} ^{K\times R},}$

${\displaystyle {\mathcal {G}}\in \mathbb {R} ^{P\times Q\times R}.}$

عندئذٍ يمكن التعبير عن الموتر الأصلي على أنه حاصل ضرب الموترات الأربعة التالية:

${\displaystyle {\mathcal {X}}={\mathcal {G}}\times {\mathcal {A}}\times {\mathcal {B}}\times {\mathcal {C}}.}$

في المثال الموضح في الشكل، أبعاد الموترات هي

${\displaystyle {\mathcal {X}}}$I=8، J=6، K=3،${\displaystyle {\mathcal {A}}}$: I=8، P=5،${\displaystyle {\mathcal {B}}}$J=6، Q=4،${\displaystyle {\mathcal {C}}}$K=3، R=2،${\displaystyle {\mathcal {G}}}$: P=5, Q=4, R=2.

العدد الإجمالي للعناصر في تحليل تاكر هو

${\displaystyle |{\mathcal {A}}|+|{\mathcal {B}}|+|{\mathcal {C}}|+|{\mathcal {G}}|=}$

${\displaystyle (I\times P)+(J\times Q)+(K\times R)+(P\times Q\times R)=8\times 5+6\times 4+3\times 2+5\times 4\times 2=110.}$

عدد العناصر في الأصل${\displaystyle {\mathcal {X}}}$يبلغ حجم البيانات 144، مما يؤدي إلى تقليلها من 144 إلى 110 عناصر، أي بنسبة 23% في حجم البيانات أو المعاملات. أما بالنسبة للموترات الأولية الأكبر حجمًا، واعتمادًا على رتبة (تكرار) الموتر، فقد تكون المكاسب أكبر.

يقدم عمل رابانسر وآخرون مقدمة عن الموترات مع مزيد من التفاصيل حول توسيع تحليل تاكر إلى أبعاد N تتجاوز مثال النمط 3 المذكور هنا. ^{[ 5 ]}

قطارات التوتر

تُعيد تقنية أخرى لتحليل الموترات كتابة الموتر الأصلي على شكل سلسلة (قطار) من موترات أصغر حجمًا. سلسلة الموترات (TT) هي سلسلة من الموترات ذات رتبة مُخفّضة، تُسمى العوامل الأساسية . ويمكن التعبير عن الموتر الأصلي كحاصل ضرب مجموع هذه السلسلة.

${\displaystyle {\mathcal {X}}={\mathcal {G_{1}}}{\mathcal {G_{2}}}{\mathcal {G_{3}}}..{\mathcal {G_{d}}}}$

لاحظ المؤلف، الذي طور هذه الطريقة في عام 2011 على يد إيفان أوسيليدتس، أن تحليل تاكر "مناسب للأبعاد الصغيرة، وخاصة في الحالة ثلاثية الأبعاد. أما بالنسبة للأبعاد الكبيرة، فهو غير مناسب". ^{[ 31 ]} وبالتالي، يمكن استخدام قطارات الموترات لتحليل الموترات الأكبر حجمًا في الأبعاد الأعلى.

توفر الموترات طريقة موحدة لتدريب الشبكات العصبية على مجموعات بيانات أكثر تعقيدًا. ومع ذلك، فإن التدريب مكلف حسابيًا على أجهزة المعالجة المركزية التقليدية.

في عام 2014، طورت شركة Nvidia مكتبة cuDNN ، وهي عبارة عن شبكة عصبية عميقة CUDA، تضم مجموعة من العناصر الأولية المُحسّنة المكتوبة بلغة CUDA المتوازية. ^{[ 37 ]} تعمل CUDA، وبالتالي cuDNN، على وحدات معالجة رسومية مخصصة تُطبّق التوازي الهائل الموحد في الأجهزة. لم تكن هذه الوحدات مخصصةً بعدُ لمعالجة الموترات، بل كانت أجهزة موجودة مُكيّفة للحوسبة المتوازية في مجال التعلّم الآلي.

في الفترة ما بين عامي 2015 و2017، ابتكرت جوجل وحدة معالجة الموترات (TPU). ^{[ 38 ]} تُعدّ وحدات معالجة الموترات وحدات أجهزة مخصصة ذات وظائف ثابتة، تتخصص في عمليات ضرب المصفوفات اللازمة لحساب جداء الموترات. وتحديدًا، تُنفّذ هذه الوحدات مصفوفة من 65,536 وحدة ضرب، قادرة على إجراء عملية جمع وضرب مصفوفة بحجم 256×256 في دورة تعليمات عامة واحدة فقط. ^{[ 39 ]}

في وقت لاحق من عام 2017، أطلقت Nvidia معالج Tensor Core الخاص بها مع بنية Volta لوحدات معالجة الرسومات. كل معالج Tensor Core عبارة عن وحدة دقيقة قادرة على إجراء عملية جمع وضرب مصفوفة 4x4. يوجد ثمانية معالجات Tensor Core لكل كتلة ذاكرة مشتركة (SM). ^{[ 40 ]} احتوت أول بطاقة رسومات GV100 على 108 وحدات ذاكرة مشتركة، مما أدى إلى 672 معالج Tensor Core. وقد ساهم هذا الجهاز في تسريع التعلم الآلي بمقدار 12 ضعفًا مقارنةً بوحدات Tesla السابقة. ^{[ 41 ]} يتناسب عدد معالجات Tensor Core طرديًا مع ازدياد عدد المعالجات ووحدات الذاكرة المشتركة في كل جيل جديد من البطاقات.

أتاح تطوير أجهزة معالجة الرسومات (GPU)، بالإضافة إلى البنية الموحدة لنوى الموترات، تدريب شبكات عصبية أكبر بكثير. في عام 2022، كانت أكبر شبكة عصبية هي PaLM من جوجل ، حيث بلغ عدد معلمات الشبكة المُتعلمة 540 مليارًا ^{[ 42 ]} (يحتوي نموذج اللغة GPT-3 الأقدم على أكثر من 175 مليار معلمة مُتعلمة، ويُنتج نصوصًا تُحاكي لغة الإنسان؛ الحجم ليس كل شيء، إذ يدّعي نموذج Alpaca من جامعة ستانفورد، الأصغر حجمًا بكثير والذي صدر عام 2023، أنه أفضل ^{[ 43 ]،} بعد أن تعلم من نموذج LLaMA من Meta/Facebook لعام 2023 ، وهو نسخة أصغر حجمًا تحتوي على 7 مليارات معلمة). ويعتمد برنامج الدردشة الآلي الشهير ChatGPT على GPT-3.5 (وبعد التحديث إلى GPT-4 ) باستخدام التعلم الخاضع للإشراف والتعلم المعزز.