الشبكة العصبية المتبقية

الموسوعة الحرة
كتلة متبقية في شبكة متبقية عميقة. هنا، يتخطى الاتصال المتبقي طبقتين.

الشبكة العصبية المتبقية (وتُعرف أيضًا بالشبكة المتبقية أو ResNet ) [ 1 ] هي بنية تعلم عميق تتعلم فيها الطبقات وظائف متبقية بالرجوع إلى مدخلات الطبقة. طُوّرت هذه الشبكة عام 2015 للتعرف على الصور ، وفازت بتحدي ImageNet للتعرف البصري واسع النطاق ( ILSVRC ) في ذلك العام. [ 2 ] [ 3 ]

من الناحية المصطلحية، يشير مصطلح "الوصلة المتبقية" إلى النمط المعماري المحدد لـx↦و(x)+x{\displaystyle x\mapsto f(x)+x}، أينو{\displaystyle f}هو وحدة نمطية عشوائية للشبكات العصبية. وقد استُخدم هذا النمط سابقًا (انظر قسم التاريخ لمزيد من التفاصيل). ومع ذلك، فإن نشر ResNet جعله شائعًا على نطاق واسع في الشبكات التغذية الأمامية ، حيث ظهر في شبكات عصبية تبدو غير مرتبطة بـ ResNet.

يعمل الاتصال المتبقي على استقرار تدريب وتقارب الشبكات العصبية العميقة ذات المئات من الطبقات، وهو عنصر شائع في الشبكات العصبية العميقة، مثل نماذج المحولات (مثل BERT ، ونماذج GPT مثل ChatGPT )، ونظام AlphaGo Zero ، ونظام AlphaStar ، ونظام AlphaFold .

الرياضيات

اتصال متبقٍ

في نموذج الشبكة العصبية متعددة الطبقات، لنفترض وجود شبكة فرعية (غير متبقية) ذات عدد معين من الطبقات المتراصة (على سبيل المثال، 2 أو 3).ح(x؛α){\displaystyle H(x;\alpha )}لنرمز إلى الشبكة الفرعية. لنفترضح*{\displaystyle H^{*}}يمثل الناتج الأمثل المطلوب لهذه الشبكة الفرعية. ويضيف التعلم المتبقي ببساطةx{\displaystyle x}مباشرةً إلى المخرجات، بحيث تصبح المخرجات المُتعلمة المثلى الآنح*-x{\displaystyle H^{*}-x}، وهو ما يُفسر على أنه "متبقي" فيما يتعلق بـx{\displaystyle x}.

عملية "الإضافة"x{\displaystyle x}يتم تنفيذ ذلك عبر "وصلة تخطي" تُجري عملية ربط هوية لربط مدخلات الشبكة الفرعية بمخرجاتها. ويُشار إلى هذه الوصلة باسم "الوصلة المتبقية" في أعمال لاحقة.

يتركF(x؛α)=ح(x؛أ)+x{\displaystyle F(x;\alpha )=H(x;a)+x}الوظيفةF{\displaystyle F}غالبًا ما يتم تمثيلها بضرب المصفوفات المتداخل مع دوال التنشيط وعمليات التطبيع (مثل تطبيع الدُفعات أو تطبيع الطبقات ). يُشار إلى إحدى هذه الشبكات الفرعية مجتمعةً باسم "الكتلة المتبقية". [ 1 ] يتم بناء شبكة متبقية عميقة ببساطة عن طريق تكديس هذه الكتل.

تحتوي الذاكرة طويلة المدى (LSTM) على آلية ذاكرة تعمل كوصلة متبقية. [ 4 ] في ذاكرة LSTM بدون بوابة نسيان ، يكون المدخلxت{\displaystyle x_{t}}تتم معالجتها بواسطة دالةF{\displaystyle F}وأضيف إلى خلية ذاكرةجت{\displaystyle c_{t}}، مما أدى إلىجت+1=جت+F(xت){\displaystyle c_{t+1}=c_{t}+F(x_{t})}. تعمل شبكة LSTM المزودة ببوابة نسيان بشكل أساسي كشبكة طرق سريعة .

لتحقيق استقرار في تباين مدخلات الطبقات، يوصى باستبدال الوصلات المتبقيةx+و(x){\displaystyle x+f(x)}معx/ل+و(x){\displaystyle x/L+f(x)}، أينل{\displaystyle L}يمثل العدد الإجمالي للطبقات المتبقية. [ 5 ]

اتصال العرض

إذا كانت الدالةF{\displaystyle F}من النوعF:Rن→Rم{\displaystyle F:\mathbb {R} ^{n}\to \mathbb {R} ^{m}}أينن≠م{\displaystyle n\neq m}، ثمF(x)+x{\displaystyle F(x)+x}غير مُعرَّف. لمعالجة هذه الحالة الخاصة، يتم استخدام اتصال إسقاطي:

y=F(x)+P(x){\displaystyle y=F(x)+P(x)}

أينP{\displaystyle P}عادةً ما يكون إسقاطًا خطيًا، يتم تحديده بواسطةP(x)=مx{\displaystyle P(x)=Mx}أينم{\displaystyle M}هوم×ن{\displaystyle m\times n}المصفوفة. يتم تدريب المصفوفة عبر الانتشار العكسي ، كما هو الحال مع أي معلمة أخرى للنموذج.

انتشار الإشارة

يُسهّل إدخال عمليات الربط المتطابقة انتشار الإشارة في كل من المسارات الأمامية والخلفية. [ 6 ]

الانتشار الأمامي

إذا كان ناتجℓ{\displaystyle \ell }الكتلة المتبقية رقم -th هي المدخل إلى(ℓ+1){\displaystyle (\ell +1)}الكتلة المتبقية رقم - (بافتراض عدم وجود دالة تنشيط بين الكتل)، ثم(ℓ+1){\displaystyle (\ell +1)}المدخل رقم -th هو:

xℓ+1=F(xℓ)+xℓ{\displaystyle x_{\ell +1}=F(x_{\ell })+x_{\ell }}

بتطبيق هذه الصيغة بشكل متكرر، على سبيل المثال:

xℓ+2=F(xℓ+1)+xℓ+1=F(xℓ+1)+F(xℓ)+xℓ{\displaystyle {\begin{aligned}x_{\ell +2}&=F(x_{\ell +1})+x_{\ell +1}\\&=F(x_{\ell +1})+F(x_{\ell })+x_{\ell }\end{aligned}}}

ينتج عنه العلاقة العامة التالية:

xل=xℓ+∑أنا=ℓل-1F(xأنا){\displaystyle x_{L}=x_{\ell }+\sum _{i=\ell }^{L-1}F(x_{i})}

أينل{\textstyle L}هو فهرس كتلة متبقية وℓ{\textstyle \ell }يمثل هذا فهرس كتلة سابقة. تشير هذه الصيغة إلى وجود إشارة تُرسل دائمًا مباشرةً من كتلة أقل عمقًا.ℓ{\textstyle \ell }إلى كتلة أعمقل{\textstyle L}.

الانتشار العكسي

تُوفر صياغة التعلم المتبقي ميزة إضافية تتمثل في التخفيف من مشكلة تلاشي التدرج إلى حد ما. مع ذلك، من الضروري إدراك أن مشكلة تلاشي التدرج ليست السبب الجذري لمشكلة التدهور، والتي تُعالج باستخدام التطبيع. لملاحظة تأثير الكتل المتبقية على الانتشار العكسي، لننظر إلى المشتق الجزئي لدالة الخسارة .هـ{\displaystyle {\mathcal {E}}}فيما يتعلق ببعض مدخلات الكتلة المتبقيةxℓ{\displaystyle x_{\ell }}باستخدام المعادلة أعلاه من الانتشار الأمامي لكتلة متبقية لاحقةل>ℓ{\displaystyle L>\ell }[ 6 ]​

∂هـ∂xℓ=∂هـ∂xل∂xل∂xℓ=∂هـ∂xل(1+∂∂xℓ∑أنا=ℓل-1F(xأنا))=∂هـ∂xل+∂هـ∂xل∂∂xℓ∑أنا=ℓل-1F(xأنا){\displaystyle {\begin{aligned}{\frac {\partial {\mathcal {E}}}{\partial x_{\ell }}}&={\frac {\partial {\mathcal {E}}}{\partial x_{L}}}{\frac {\partial x_{L}}{\partial x_{\ell }}}\\&={\frac {\partial {\mathcal {E}}}{\partial x_{L}}}\left(1+{\frac {\partial }{\partial x_{\ell }}}\sum _{i=\ell }^{L-1}F(x_{i})\right)\\&={\frac {\partial {\mathcal {E}}}{\partial x_{L}}}+{\frac {\partial {\mathcal {E}}}{\partial x_{L}}}{\frac {\partial }{\partial x_{\ell }}}\sum _{i=\ell }^{L-1}F(x_{i})\end{aligned}}}

تشير هذه الصيغة إلى أن حساب التدرج لطبقة أقل عمقًا،∂هـ∂xℓ{\textstyle {\frac {\partial {\mathcal {E}}}{\partial x_{\ell }}}}، دائماً ما يكون له مصطلح لاحق∂هـ∂xل{\textstyle {\frac {\partial {\mathcal {E}}}{\partial x_{L}}}}تُضاف هذه القيمة مباشرةً. حتى لو كانت تدرجاتF(xأنا){\displaystyle F(x_{i})}الحدود صغيرة، والتدرج الكلي∂هـ∂xℓ{\textstyle {\frac {\partial {\mathcal {E}}}{\partial x_{\ell }}}}يقاوم التلاشي بسبب المصطلح المضاف∂هـ∂xل{\textstyle {\frac {\partial {\mathcal {E}}}{\partial x_{L}}}}.

أنواع مختلفة من الكتل المتبقية

نوعان من وحدات التكرار التلافيفية. [ 1 ] اليسار : وحدة أساسية تحتوي على طبقتين تلافيفيتين 3×3. اليمين : وحدة عنق الزجاجة تحتوي على طبقة تلافيفية 1×1 لتقليل الأبعاد، وطبقة تلافيفية 3×3، وطبقة تلافيفية 1×1 أخرى لاستعادة الأبعاد.

الكتلة الأساسية

الوحدة الأساسية هي أبسط وحدة بناء دُرست في شبكة ResNet الأصلية. [ 1 ] تتكون هذه الوحدة من طبقتين متتاليتين من طبقات الالتفاف 3×3 ووصلة متبقية. أبعاد الإدخال والإخراج لكلتا الطبقتين متساوية.

مخطط هيكلي لشبكة ResNet (2015). يوضح المخطط كتلة ResNet مع وبدون عملية الالتفاف 1x1. يمكن استخدام عملية الالتفاف 1x1 (مع خطوة) لتغيير شكل المصفوفة، وهو أمر ضروري للاتصال المتبقي عبر طبقة رفع/خفض حجم العينة.

كتلة عنق الزجاجة

تتكون وحدة عنق الزجاجة [ 1 ] من ثلاث طبقات التفافية متسلسلة ووصلة متبقية. الطبقة الأولى في هذه الوحدة عبارة عن التفاف 1×1 لتقليل الأبعاد (مثلاً، إلى نصف أبعاد المدخلات)؛ والطبقة الثانية عبارة عن التفاف 3×3؛ والطبقة الأخيرة عبارة عن التفاف 1×1 آخر لاستعادة الأبعاد. تعتمد نماذج ResNet-50 وResNet-101 وResNet-152 جميعها على وحدات عنق الزجاجة. [ 1 ]

كتلة التنشيط المسبق

تقوم وحدة التنشيط المسبق المتبقية [ 6 ] بتطبيق دوال التنشيط قبل تطبيق دالة الباقي.F{\displaystyle F}. بشكل رسمي، يمكن كتابة حساب كتلة البقايا قبل التنشيط على النحو التالي:

xℓ+1=F(ϕ(xℓ))+xℓ{\displaystyle x_{\ell +1}=F(\phi (x_{\ell }))+x_{\ell }}

أينϕ{\displaystyle \phi }يمكن أن تكون أي عملية تنشيط (مثل ReLU ) أو عملية تطبيع (مثل LayerNorm ). يقلل هذا التصميم عدد عمليات الربط غير المطابقة بين الكتل المتبقية، ويسمح بربط مطابق مباشرةً من المدخلات إلى المخرجات. استُخدم هذا التصميم لتدريب نماذج تتراوح طبقاتها بين 200 وأكثر من 1000 طبقة، ووُجد أنه يتفوق باستمرار على المتغيرات التي لا يكون فيها المسار المتبقي دالة مطابقة. استغرق تدريب نموذج ResNet ذي التنشيط المسبق والمكون من 200 طبقة 3 أسابيع لمجموعة بيانات ImageNet على 8 وحدات معالجة رسومية في عام 2016. [ 6 ]

منذ ظهور GPT-2 ، تم تنفيذ وحدات المحولات في الغالب كوحدات تنشيط مسبق. ويشار إلى هذا غالبًا باسم "التطبيع المسبق" في أدبيات نماذج المحولات. [ 7 ]

بنية ResNet-18 الأصلية. تم تدريب ما يصل إلى 152 طبقة في المنشور الأصلي (تحت اسم "ResNet-152"). [ 8 ]

التطبيقات

صُممت شبكة ResNet في الأصل لتطبيقات رؤية الحاسوب . [ 1 ] [ 8 ] [ 9 ]

تتضمن بنية المحول وصلات متبقية.

تتضمن جميع بنى المحولات وصلات متبقية. في الواقع، لا يمكن تدريب المحولات العميقة جدًا بدونها. [ 10 ]

لم تدّعِ الورقة البحثية الأصلية حول ResNet أنها مستوحاة من الأنظمة البيولوجية. ومع ذلك، ربطت أبحاث لاحقة ResNet بخوارزميات ذات جدوى بيولوجية. [ 11 ] [ 12 ]

كشفت دراسة نُشرت في مجلة ساينس عام 2023 [ 13 ] عن المخطط الكامل لشبكة الاتصال العصبي في دماغ حشرة (وتحديدًا يرقة ذبابة الفاكهة). ​​وقد اكتشفت هذه الدراسة "وصلات مختصرة متعددة الطبقات" تُشبه الوصلات السريعة في الشبكات العصبية الاصطناعية، بما في ذلك شبكات ResNet.

تاريخ

الأعمال السابقة

لوحظت الوصلات المتبقية في علم التشريح العصبي ، كما في دراسة لورينتي دي نو (1938). [ 14 ] : الشكل 3. اقترح ماكولوتش وبيتس (1943) الشبكات العصبية الاصطناعية، ودرسوا تلك التي تحتوي على وصلات متبقية. [ 15 ] : الشكل 1.ح

في عام 1961، وصف فرانك روزنبلات نموذجًا لشبكة عصبية متعددة الطبقات (MLP) بثلاث طبقات مع وصلات تخطي. [ 16 ] : 313، الفصل 15. وقد أشير إلى هذا النموذج باسم "نظام مترابط"، وكانت وصلات التخطي أشكالًا من الوصلات المترابطة.

خلال أواخر ثمانينيات القرن العشرين، استُخدمت وصلات "الطبقة المتخطية" أحيانًا في الشبكات العصبية. ومن الأمثلة على ذلك: [ 17 ] [ 18 ] قام لانغ وويتبروك (1988) [ 19 ] بتدريب شبكة تغذية أمامية متصلة بالكامل، حيث تتصل كل طبقة بجميع الطبقات اللاحقة، على غرار شبكة DenseNet (2016) اللاحقة. في هذا العمل، كان الاتصال المتبقي على شكلx↦F(x)+P(x){\displaystyle x\mapsto F(x)+P(x)}، أينP{\displaystyle P}هو اتصال إسقاطي مُهيأ عشوائيًا. أطلقوا عليه اسم "اتصال الاختصار". استخدم نموذج لغوي عصبي مبكر اتصالات متبقية وأطلقوا عليها اسم "الاتصالات المباشرة". [ 20 ]

تستطيع خلية الذاكرة طويلة المدى (LSTM) معالجة البيانات بشكل متسلسل والاحتفاظ بحالتها المخفية بمرور الوقت. حالة الخليةجت{\displaystyle c_{t}}يمكن أن تعمل كوصلة متبقية معممة.

مشكلة التدهور

اكتشف سيب هوكريتر مشكلة تلاشي التدرج عام 1991 [ 21 ] ، وجادل بأنها تفسر سبب عدم فعالية الأشكال الشائعة آنذاك للشبكات العصبية المتكررة مع التسلسلات الطويلة. وقد صمم هو وشميدهوبر لاحقًا بنية LSTM لحل هذه المشكلة [ 4 ] [ 22 ] ، والتي تتميز بـ "حالة الخلية".جت{\displaystyle c_{t}}يمكن أن تعمل هذه الشبكة كوصلة متبقية معممة. طبقت شبكة الطرق السريعة (2015) [ 23 ] [ 24 ] فكرة شبكة الذاكرة طويلة المدى (LSTM) المُطوَّرة زمنيًا على الشبكات العصبية ذات التغذية الأمامية ، مما أدى إلى ظهور شبكة الطرق السريعة. تُعادل شبكة ResNet شبكة طرق سريعة مفتوحة البوابة.

الشبكة العصبية المتكررة الأساسية القياسية (يسار) والمفككة (يمين)

في بدايات التعلم العميق، بُذلت محاولات لتدريب نماذج ذات عمق متزايد. ومن الأمثلة البارزة على ذلك شبكة AlexNet (2012) ذات الثماني طبقات، وشبكة VGG-19 (2014) ذات التسع عشرة طبقة. [ 25 ] إلا أن تكديس عدد كبير جدًا من الطبقات أدى إلى انخفاض حاد في دقة التدريب ، [ 26 ] وهو ما يُعرف بمشكلة "التدهور". [ 1 ] نظريًا، لا يُفترض أن تؤدي إضافة طبقات إضافية لتعميق الشبكة إلى زيادة خسارة التدريب ، ولكن هذا ما حدث مع شبكة VGGNet . [ 1 ] مع ذلك، إذا أمكن ضبط الطبقات الإضافية كدوال مطابقة ، فإن الشبكة الأعمق ستمثل الوظيفة نفسها التي تمثلها نظيرتها الأقل عمقًا. تشير بعض الأدلة إلى أن المُحسِّن غير قادر على الوصول إلى دوال مطابقة للطبقات المُعَلمة، وكانت فائدة الاتصالات المتبقية هي السماح بدوال المطابقة افتراضيًا. [ 6 ]

في عام 2014، كان أحدث ما توصلت إليه التكنولوجيا هو تدريب الشبكات العصبية العميقة التي تتكون من 20 إلى 30 طبقة. [ 25 ] حاول فريق البحث الخاص بشبكة ResNet تدريب شبكات أعمق من خلال اختبار طرق مختلفة لتدريب الشبكات العميقة تجريبياً، إلى أن توصلوا إلى بنية ResNet. [ 27 ]

الأعمال اللاحقة

أظهرت دراسة شبكة Wide Residual Network (2016) أن استخدام عدد أكبر من القنوات وعدد أقل من الطبقات مقارنةً بشبكة ResNet الأصلية يُحسّن الأداء وكفاءة الحوسبة على وحدة معالجة الرسومات، وأن استخدام كتلة تحتوي على طبقتين من الالتفاف 3×3 يتفوق على التكوينات الأخرى لكتل ​​الالتفاف. [ 28 ]

DenseNet (2016) [ 29 ] يربط مخرجات كل طبقة بمدخلات كل طبقة لاحقة:

xℓ+1=F(x1،x2،...،xℓ-1،xℓ){\displaystyle x_{\ell +1}=F(x_{1},x_{2},\dots ,x_{\ell -1},x_{\ell })}

العمق العشوائي [ 30 ] هو أسلوب تنظيم يقوم بإسقاط مجموعة فرعية من الطبقات عشوائيًا ويسمح للإشارة بالانتشار عبر وصلات التخطي المطابقة. يُعرف أيضًا باسم DropPath ، وهو يُنظّم تدريب النماذج العميقة، مثل محولات الرؤية . [ 31 ]

مخطط كتلة ResNeXt

يجمع ResNeXt (2017) بين وحدة Inception و ResNet. [ 32 ] [ 8 ]

أضافت شبكات الضغط والإثارة (2018) وحدات الضغط والإثارة (SE) إلى ResNet. [ 33 ] تُطبق وحدة الضغط والإثارة بعد عملية الالتفاف، وتأخذ موترًا ذا شكلRح×دبليو×ج{\displaystyle \mathbb {R} ^{H\times W\times C}}(الارتفاع، العرض، القنوات) كمدخلات. يتم حساب متوسط ​​كل قناة، مما ينتج عنه متجه ذو شكلRج{\displaystyle \mathbb {R} ^{C}}ثم يُمرر هذا الناتج عبر شبكة عصبية متعددة الطبقات (ببنية مثل دالة ReLU الخطية-الدالة السينية الخطية ) قبل ضربه بالموتر الأصلي. وقد فاز هذا النموذج في مسابقة ILSVRC عام 2017. [ 34 ]

مراجع

  1. 1 2 3 4 5 6 7 8 9 هي، كايمينغ ؛ تشانغ، شيانغيو؛ رين، شاوكينغ؛ صن، جيان (2016). التعلم العميق المتبقي للتعرف على الصور (ملف PDF) . مؤتمر رؤية الحاسوب والتعرف على الأنماط . arXiv : 1512.03385 . doi : 10.1109/CVPR.2016.90 .
  2. ↑ "نتائج ILSVRC2015" . image-net.org .
  3. ^ دينغ ، جيا. دونغ، وي. سوشر، ريتشارد. لي، لي جيا؛ لي، كاي؛ لي فاي فاي (2009). ImageNet: قاعدة بيانات صور هرمية واسعة النطاق . مؤتمر حول الرؤية الحاسوبية والتعرف على الأنماط . دوى : 10.1109/CVPR.2009.5206848 .
  4. 1 2 سيب هوخريتر ; يورغن شميدهوبر (1997). "الذاكرة الطويلة وقصيرة المدى" . الحساب العصبي . 9 (8): 1735–1780 . دوى : 10.1162/neco.1997.9.8.1735 . بميد 9377276 . S2CID 1915014 .  
  5. ↑ هانين، بوريس؛ رولنيك، ديفيد (2018). كيفية بدء التدريب: تأثير التهيئة والبنية (ملف PDF) . مؤتمر أنظمة معالجة المعلومات العصبية . المجلد 31. كوران أسوشيتس، إنك. arXiv : 1803.01719 . 
  6. 1 2 3 4 5 هو, كايمينغ ; تشانغ، شيانغيو. رن، شاوتشينج؛ صن ، جيان (2016). تعيينات الهوية في الشبكات العميقة المتبقية (PDF) . المؤتمر الأوروبي حول رؤية الكمبيوتر . أرخايف : 1603.05027 . دوى : 10.1007/978-3-319-46493-0_38 .
  7. ↑ رادفورد، أليك؛ وو، جيفري؛ تشايلد، ريون؛ لوان، ديفيد؛ أمودي، داريو؛ سوتسكيفر، إيليا (14 فبراير 2019). "نماذج اللغة هي متعلمون متعددون المهام غير خاضعين للإشراف" (ملف PDF) . مؤرشف (PDF) من الأصل في 6 فبراير 2021. تم الاطلاع عليه في 19 ديسمبر 2020 .
  8. 1 2 3 تشانغ، أستون؛ ليبتون، زاكاري؛ لي، مو؛ سمولا، ألكسندر ج. (2024). "8.6. الشبكات المتبقية (ResNet) وResNeXt" . تعمق في التعلم العميق . كامبريدج، نيويورك، بورت ملبورن، نيودلهي، سنغافورة: مطبعة جامعة كامبريدج. ISBN 978-1-009-38943-3.
  9. ↑ سيجيدي، كريستيان؛ إيوف، سيرجي؛ فان هوك، فينسنت؛ أليمي، أليكس (2017). Inception-v4، Inception-ResNet وتأثير الاتصالات المتبقية على التعلم (ملف PDF) . مؤتمر AAAI حول الذكاء الاصطناعي . arXiv : 1602.07261 . doi : 10.1609/aaai.v31i1.11231 .
  10. ↑ دونغ، ييهي؛ كوردونييه، جان بابتيست؛ لوكاس، أندرياس (2021). الانتباه ليس كل ما تحتاجه: الانتباه الخالص يفقد رتبته بشكل مضاعف أُسّيًا مع العمق (ملف PDF) . المؤتمر الدولي للتعلم الآلي . PMLR. الصفحات 2793-2803 . arXiv : 2103.03404 . 
  11. ↑ لياو، تشيانلي؛ بوجيو، توماسو (2016). "سد الفجوات بين التعلم المتبقي، والشبكات العصبية المتكررة، والقشرة البصرية". arXiv : 1604.03640 [ cs.LG ].
  12. ↑ شياو، ويل؛ تشين، هونغلين؛ لياو، تشيانلي؛ بوجيو، توماسو (2019). خوارزميات التعلم ذات المعقولية البيولوجية قابلة للتوسع لتشمل مجموعات البيانات الكبيرة . المؤتمر الدولي حول تمثيلات التعلم . arXiv : 1811.03567 .
  13. ↑ ويندينغ، مايكل؛ بيديجو، بنجامين؛ بارنز، كريستوفر؛ باتسوليك، هيذر؛ بارك، يونغسر؛ كازيميرز، توم؛ فوشيكي، أكيرا؛ أندرادي، إنغريد؛ خانديلوال، أفيناش؛ فالديس-أليمان، خافيير؛ لي، فينغ؛ راندل، نادين؛ بارسوتي، إليزابيث؛ كوريا، آنا؛ فيتر، فيتر؛ هارتنشتاين، فولكر؛ بريبي، كاري؛ فوغلشتاين، جوشوا؛ كاردونا، ألبرت ؛ زلاتيتش، مارتا (10 مارس 2023). "الشبكة العصبية لدماغ حشرة" . مجلة ساينس . 379 (6636) eadd9330. bioRxiv 10.1101/2022.11.28.516756v1 . doi : 10.1126/science.add9330 . PMC 7614541 . PMID 36893230 . S2CID 254070919 .    
  14. ↑ دي ن، رافائيل لورينتي (1938-05-01). "تحليل نشاط سلاسل الخلايا العصبية البينية" . مجلة علم وظائف الأعصاب . 1 (3): 207-244 . doi : 10.1152/jn.1938.1.3.207 . ISSN 0022-3077 . 
  15. ↑ ماكولوتش، وارن س.؛ بيتس، والتر (1943-12-01). "حساب منطقي للأفكار الكامنة في النشاط العصبي" . نشرة الفيزياء الحيوية الرياضية . 5 (4): 115-133 . doi : 10.1007/BF02478259 . ISSN 1522-9602 . 
  16. ↑ روزنبلات، فرانك (1961). مبادئ الديناميكا العصبية. البيرسيبترونات ونظرية آليات الدماغ (PDF) .
  17. ↑ روميلهارت، ديفيد إي، وجيفري إي. هينتون، ورونالد جيه. ويليامز. "تعلم التمثيلات الداخلية عن طريق نشر الخطأ"، المعالجة الموزعة المتوازية . المجلد 1. 1986.
  18. ↑ فينابلز، دبليو إن؛ ريبلي، براين دي. (1994). الإحصاء التطبيقي الحديث باستخدام إس-بلس . سبرينغر. ص 261-262 . ISBN  978-3-540-94350-1.
  19. ↑ لانغ، كيفن؛ ويتبروك، مايكل (1988). "تعلم التمييز بين حلزونين" (ملف PDF) . وقائع المدرسة الصيفية لنماذج الاتصال لعام 1988 : 52-59 .
  20. ↑ بينجيو، يوشوا ؛ دوشارم، ريجان؛ فنسنت، باسكال؛ جوفان، كريستيان (2003). "نموذج لغوي احتمالي عصبي" . مجلة أبحاث تعلم الآلة . 3 (فبراير): 1137-1155 . ISSN 1533-7928 . 
  21. ^ هوخريتر، سيب (1991). Unter suchungen zu dynamischen neuronalen Netzen (PDF) (أطروحة الدبلوم). جامعة ميونيخ التقنية ، معهد علوم الكمبيوتر، المستشار: ج. شميدهوبر.
  22. ↑ فيليكس أ. جيرز؛ يورغن شميدهوبر؛ فريد كامينز (2000). " التعلم من النسيان: التنبؤ المستمر باستخدام LSTM". الحوسبة العصبية . 12 (10): 2451-2471 . CiteSeerX 10.1.1.55.5709 . doi : 10.1162/089976600300015015 . PMID 11032042. S2CID 11598600 .   
  23. ^ سريفاستافا، روبيش كومار؛ جريف، كلاوس. شميدهوبر، يورغن (3 مايو 2015). “شبكات الطرق السريعة”. أرخايف : 1505.00387 [ cs.LG ].
  24. ↑ سريفاستافا، روبيش كومار؛ جريف، كلاوس؛ شميدهوبر، يورغن (2015). تدريب الشبكات العميقة جدًا (ملف PDF) . مؤتمر أنظمة معالجة المعلومات العصبية . arXiv : 1507.06228 .
  25. 1 2 سيمونيان، كارين؛ زيسرمان، أندرو (2015-04-10). "شبكات الالتفاف العميقة جدًا للتعرف على الصور واسعة النطاق". arXiv : 1409.1556 [ cs.CV ].
  26. ↑ هي، كايمينغ ؛ تشانغ، شيانغيو؛ رين، شاوكينغ؛ صن، جيان (2015). التعمق في المُقوِّمات: تجاوز مستوى الأداء البشري في تصنيف ImageNet (ملف PDF) . المؤتمر الدولي لرؤية الحاسوب . arXiv : 1502.01852 . doi : 10.1109/ICCV.2015.123 .
  27. ↑ لين، أليسون (10 ديسمبر 2015). "باحثو مايكروسوفت يفوزون بتحدي ImageNet للرؤية الحاسوبية" . مدونة الذكاء الاصطناعي . مؤرشف من الأصل بتاريخ 29 يناير 2018. تم الاطلاع عليه بتاريخ 29 يونيو 2024 .
  28. ↑ زاغورويكو، سيرجي؛ كوموداكيس، نيكوس (2016-05-23). ​​"الشبكات المتبقية الواسعة". arXiv : 1605.07146 [ cs.CV ].
  29. ↑ هوانغ، غاو؛ ليو، تشوانغ؛ فان دير ماتن، لورينز؛ واينبرغر، كيليان (2017). الشبكات الالتفافية المتصلة بكثافة (ملف PDF) . مؤتمر رؤية الحاسوب والتعرف على الأنماط . arXiv : 1608.06993 . doi : 10.1109/CVPR.2017.243 .
  30. ↑ هوانغ، غاو؛ صن، يو؛ ليو، تشوانغ؛ واينبرغر، كيليان (2016). الشبكات العميقة ذات العمق العشوائي (ملف PDF) . المؤتمر الأوروبي لرؤية الحاسوب . arXiv : 1603.09382 . doi : 10.1007/978-3-319-46493-0_39 .
  31. ↑ لي، يونغوان؛ كيم، جونغهي؛ ويلت، جيفري؛ هوانغ، سونغ جو (2022). MPViT: مُحوِّل الرؤية متعدد المسارات للتنبؤ الكثيف (ملف PDF) . مؤتمر رؤية الحاسوب والتعرف على الأنماط . الصفحات 7287-7296 . arXiv : 2112.11010 . doi : 10.1109/CVPR52688.2022.00714 . 
  32. ↑ شي، ساينينغ؛ غيرشيك، روس؛ دولار، بيوتر؛ تو، تشووين؛ هي، كايمينغ (2017). تحويلات البقايا المجمعة للشبكات العصبية العميقة (ملف PDF) . مؤتمر رؤية الحاسوب والتعرف على الأنماط . الصفحات 1492-1500 . arXiv : 1611.05431 . doi : 10.1109/CVPR.2017.634 . 
  33. ↑ هو، جي؛ شين، لي؛ صن، غانغ (2018). شبكات الضغط والإثارة (ملف PDF) . مؤتمر رؤية الحاسوب والتعرف على الأنماط . الصفحات 7132-7141 . arXiv : 1709.01507 . doi : 10.1109/CVPR.2018.00745 . 
  34. ↑ جي، هو (2017). شبكات الضغط والإثارة (ملف PDF) . ما وراء تحدي التعرف البصري واسع النطاق ImageNet، ورشة عمل في مؤتمر CVPR 2017 (عرض تقديمي).