أنواع الشبكات العصبية الاصطناعية

تشمل أنواع الشبكات العصبية مجموعة من التقنيات. أبسطها يتكون من عناصر ثابتة، كعدد الوحدات والطبقات وأوزان الوحدات وبنية الشبكة . أما الشبكات العصبية الديناميكية فتتطور عبر التعلم. بعض الأنواع تسمح/تتطلب أن يكون التعلم "مُشرفًا" من قِبل المُشغّل، بينما يعمل البعض الآخر بشكل مستقل. بعض الأنواع تعمل كليًا على مستوى الأجهزة، بينما البعض الآخر برمجيات بحتة وتعمل على أجهزة حاسوب عامة.

الأنواع الرئيسية هي:

المحولات : تستخدم هذه التقنية آلية الانتباه لتحليل كل رمز في تدفق المدخلات ومقارنته بكل رمز آخر في التدفق. وقد مكّنت هذه التقنية الشبكات العصبية من الوصول إلى عامة الناس عبر برامج الدردشة الآلية، ومولدات الأكواد، والعديد من الأشكال الأخرى.
الشبكات العصبية الالتفافية (CNN): هي نوع من الشبكات العصبية الأمامية (FNN) تستخدم النوى والتنظيم لتجنب المشاكل التي واجهتها الأجيال السابقة من الشبكات العصبية. وتُستخدم عادةً لتحليل البيانات المرئية وغيرها من البيانات ثنائية الأبعاد. ^{[ 1 ]}^{[ 2 ]}
تقوم الشبكات التوليدية التنافسية بوضع شبكات (ذات بنية مختلفة) في مواجهة بعضها البعض، حيث تحاول كل شبكة دفع الأخرى (الشبكات الأخرى) لإنتاج نتائج أفضل مثل الفوز في لعبة ^{[ 3 ]} أو خداع الخصم بشأن صحة المدخلات. ^{[ 4 ]}

التغذية الأمامية

في الشبكات العصبية ذات التغذية الأمامية، تنتقل المعلومات من المدخلات إلى المخرجات مباشرةً في كل طبقة. قد تحتوي هذه الشبكات على طبقات مخفية، مع أو بدون حلقات/دوائر لتسلسل المدخلات. يمكن بناء الشبكات ذات التغذية الأمامية باستخدام أنواع مختلفة من الوحدات، مثل خلايا ماكولوتش-بيتس الثنائية ، وأبسطها هو البيرسيبترون . تُستخدم الخلايا العصبية المستمرة، والتي غالبًا ما تستخدم دالة التنشيط السينية ، في سياق الانتشار العكسي .

أسلوب معالجة البيانات الجماعية

تتميز طريقة معالجة البيانات الجماعية (GMDH) ^{[ 5 ]} بتحسين نموذج هيكلي وبارامتري تلقائي بالكامل. دوال تنشيط العقد هي متعددات حدود كولموغوروف-غابور التي تسمح بعمليات الجمع والضرب. تستخدم هذه الطريقة شبكة عصبية متعددة الطبقات عميقة مكونة من ثماني طبقات. ^{[ 6 ]} وهي شبكة تعلم خاضعة للإشراف تنمو طبقة تلو الأخرى، حيث يتم تدريب كل طبقة باستخدام تحليل الانحدار . يتم الكشف عن العناصر غير المفيدة باستخدام مجموعة التحقق ، ثم يتم استبعادها من خلال التنظيم . يعتمد حجم وعمق الشبكة الناتجة على المهمة. ^{[ 7 ]}

التشفير التلقائي

تُشبه شبكة التشفير التلقائي، أو الربط التلقائي، أو شبكة ديابولو ^{[ 8 ]}^{: 19} ، الشبكة العصبية متعددة الطبقات (MLP)، حيث تتكون من طبقة إدخال، وطبقة إخراج، وطبقة مخفية واحدة أو أكثر تربط بينهما. مع ذلك، تحتوي طبقة الإخراج على نفس عدد الوحدات الموجودة في طبقة الإدخال. وتتمثل وظيفتها في إعادة بناء مدخلاتها الخاصة (بدلاً من إصدار قيمة مستهدفة). لذا، تُعدّ شبكات التشفير التلقائي نماذج تعلّم غير مُشرف عليها . تُستخدم شبكة التشفير التلقائي في التعلّم غير المُشرف عليه لترميزات فعّالة ، ^{[ 9 ]}^{[ 10 ]} وعادةً ما يكون ذلك لغرض تقليل الأبعاد وتعلّم نماذج توليدية للبيانات. ^{[ 11 ]}^{[ 12 ]}

احتمالي

الشبكة العصبية الاحتمالية (PNN) هي شبكة عصبية أمامية التغذية تتكون من أربع طبقات. هذه الطبقات هي: طبقة الإدخال، وطبقة النمط المخفي، وطبقة الجمع المخفي، وطبقة الإخراج. في خوارزمية PNN، يتم تقريب دالة توزيع الاحتمالية الأصلية (PDF) لكل فئة باستخدام نافذة بارزن ودالة غير بارامترية. بعد ذلك، وباستخدام دالة توزيع الاحتمالية الأصلية لكل فئة، يتم تقدير احتمالية فئة الإدخال الجديد، ويتم تطبيق قاعدة بايز لتخصيصه للفئة ذات أعلى احتمالية لاحقة. ^{[ 13 ]} وقد اشتُقت هذه الشبكة من الشبكة البايزية ^{[ 14 ]} وخوارزمية إحصائية تُسمى تحليل التمييز الخطي لفيشر باستخدام النواة . ^{[ 15 ]} وتُستخدم هذه الشبكة في التصنيف والتعرف على الأنماط.

تأخير زمني

الشبكة العصبية ذات التأخير الزمني (TDNN) هي بنية تغذية أمامية للبيانات المتسلسلة، تتعرف على السمات بغض النظر عن موقعها في التسلسل. ولتحقيق ثباتها مع تغير الزمن، تُضاف تأخيرات إلى المدخلات بحيث تُحلل نقاط البيانات المتعددة (النقاط الزمنية) معًا.

يشكل عادةً جزءًا من نظام أكبر للتعرف على الأنماط. وقد تم تنفيذه باستخدام شبكة بيرسيبترون تم تدريب أوزان اتصالها باستخدام الانتشار العكسي (التعلم الخاضع للإشراف). ^{[ 16 ]}

الالتفاف

الشبكة العصبية الالتفافية (CNN، أو ConvNet، أو الشبكة الثابتة الإزاحة أو الثابتة المكانية) هي نوع من الشبكات العميقة، تتكون من طبقة التفافية واحدة أو أكثر ، تعلوها طبقات متصلة بالكامل (مماثلة لتلك الموجودة في الشبكات العصبية الاصطناعية التقليدية). ^{[ 17 ]}^{[ 18 ]} تستخدم هذه الشبكة أوزانًا مترابطة وطبقات تجميع ، وخاصةً التجميع الأقصى. ^{[ 19 ]} غالبًا ما تُبنى هذه الشبكة باستخدام بنية فوكوشيما الالتفافية. ^{[ 20 ]} وهي عبارة عن أشكال مختلفة من الشبكات العصبية متعددة الطبقات التي تستخدم الحد الأدنى من المعالجة المسبقة . ^{[ 21 ]} تسمح هذه البنية للشبكات العصبية الالتفافية بالاستفادة من البنية ثنائية الأبعاد لبيانات الإدخال.

يستوحي نمط اتصال وحداتها من تنظيم القشرة البصرية . تستجيب الوحدات للمؤثرات في منطقة محدودة من الفضاء تُعرف باسم الحقل الاستقبالي . تتداخل الحقول الاستقبالية جزئيًا، لتغطي كامل المجال البصري . يمكن تقريب استجابة الوحدة رياضيًا بعملية التفاف . ^{[ 22 ]}

تُعدّ الشبكات العصبية التلافيفية (CNNs) مناسبة لمعالجة البيانات المرئية وغيرها من البيانات ثنائية الأبعاد. ^{[ 1 ]}^{[ 23 ]} وقد أظهرت نتائج فائقة في تطبيقات الصور والكلام على حد سواء. ويمكن تدريبها باستخدام خوارزمية الانتشار العكسي القياسية. وتتميز الشبكات العصبية التلافيفية بسهولة تدريبها مقارنةً بالشبكات العصبية التقليدية العميقة ذات التغذية الأمامية، كما أنها تتطلب عددًا أقل بكثير من المعاملات لتقديرها. ^{[ 24 ]}

تضيف الشبكات العصبية الكبسولية (CapsNet) هياكل تسمى الكبسولات إلى شبكة عصبية تلافيفية (CNN) وتعيد استخدام مخرجات من عدة كبسولات لتشكيل تمثيلات أكثر استقرارًا (فيما يتعلق بالاضطرابات المختلفة). ^{[ 25 ]}

تشمل أمثلة تطبيقاتها في مجال رؤية الحاسوب تقنية DeepDream ^{[ 26 ]} وتوجيه الروبوتات ^{[ 27 ]} . ولها تطبيقات واسعة في التعرف على الصور والفيديوهات ، وأنظمة التوصية ^{[ 28 ]} ، ومعالجة اللغة الطبيعية ^[²⁹^] .

شبكة التراص العميق

تعتمد شبكة التكديس العميق (DSN) ^{[ 30 ] (الشبكة المحدبة العميقة) على تسلسل هرمي من وحدات الشبكة العصبية المبسطة. وقد طُرحت هذه الشبكة عام 2011 من قِبل دينغ ويو.}^{[ 31 ]} تُصاغ عملية التعلم كمسألة تحسين محدبة ذات حل مغلق ، مع التركيز على تشابه آلية عملها مع التعميم المكدس . ^{[ 32 ]} كل وحدة من وحدات DSN هي وحدة بسيطة يسهل تدريبها ذاتيًا بطريقة مُشرفة دون الحاجة إلى خوارزمية الانتشار العكسي للوحدات بأكملها. ^{[ 8 ]}

تتكون كل كتلة من شبكة عصبية متعددة الطبقات مبسطة (MLP) ذات طبقة مخفية واحدة. تحتوي الطبقة المخفية h على وحدات لوجستية سيجمويدية ، بينما تحتوي طبقة الإخراج على وحدات خطية. تُمثل الروابط بين هذه الطبقات بمصفوفة الأوزان U؛ أما روابط الإدخال بالطبقة المخفية فلها مصفوفة أوزان W. تُشكل متجهات الهدف t أعمدة المصفوفة T ، بينما تُشكل متجهات بيانات الإدخال x أعمدة المصفوفة X. مصفوفة الوحدات المخفية هي ${\boldsymbol {H}}=\sigma ({\boldsymbol {W}}^{T}{\boldsymbol {X}})$ يتم تدريب الوحدات بالتسلسل، لذا فإن أوزان الطبقات الدنيا W معروفة في كل مرحلة. تُنفذ الدالة عملية سيجمويد اللوجستية لكل عنصر . تُقدّر كل كتلة نفس فئة التصنيف النهائية y ، ويتم دمج تقديرها مع المدخل الأصلي X لتكوين المدخل الموسع للكتلة التالية. بالتالي، يحتوي مدخل الكتلة الأولى على البيانات الأصلية فقط، بينما يضيف مدخل الكتل اللاحقة مخرجات الكتل السابقة. بعد ذلك، يمكن صياغة تعلم مصفوفة أوزان الطبقة العليا U، بمعلومية الأوزان الأخرى في الشبكة، كمسألة تحسين محدبة.

\min _{U^{T}}f=\|{\boldsymbol {U}}^{T}{\boldsymbol {H}}-{\boldsymbol {T}}\|_{F}^{2},

والتي لها حل مغلق. ^{[ 30 ]}

على عكس البنى العميقة الأخرى، مثل الشبكات العميقة الديناميكية (DBNs) ، لا يكمن الهدف في اكتشاف تمثيل الميزات المُحوَّلة . يُسهِّل هيكل التسلسل الهرمي لهذا النوع من البنى عملية التعلّم المتوازي، باعتبارها مسألة تحسين في وضع الدُفعات. في المهام التمييزية البحتة ، تتفوق الشبكات العميقة الديناميكية (DSNs) على الشبكات العميقة الديناميكية التقليدية (DBNs).

شبكات التراص العميق للتينور

هذا التصميم المعماري هو امتداد لشبكة DSN. يقدم تحسينين هامين: فهو يستخدم معلومات من الرتبة العليا من إحصاءات التغاير ، ويحول المسألة غير المحدبة للطبقة السفلية إلى مسألة فرعية محدبة للطبقة العلوية. ^{[ 33 ]} تستخدم شبكات TDSN إحصاءات التغاير في رسم ثنائي خطي من كل مجموعة من مجموعتين متميزتين من الوحدات المخفية في الطبقة نفسها إلى التنبؤات، عبر موتر من الرتبة الثالثة .

على الرغم من أن التوازي وقابلية التوسع لا يُؤخذان في الاعتبار بشكل جدي في الشبكات العصبية العميقة التقليدية ، ^{[ 34 ]}^{[ 35 ]}^{[ 36 ]} فإن جميع عمليات التعلم في شبكات DSN و TDSN تتم في وضع الدفعات، مما يسمح بالتوازي. ^[³¹^]^[³⁰^] يتيح التوازي توسيع نطاق التصميم ليشمل بنى ومجموعات بيانات أكبر (أعمق).

تُعد البنية الأساسية مناسبة لمهام متنوعة مثل التصنيف والانحدار .

مستوحى من الفيزياء

صُممت هذه الشبكة العصبية لإيجاد الحلول العددية للمعادلات الرياضية ، مثل المعادلات التفاضلية والتكاملية ومعادلات التأخير والمعادلات الكسرية وغيرها. تستقبل شبكة PINN ^{[ 37 ]} متغيرات (مكانية وزمنية وغيرها) كمدخلات، وتمررها عبر وحدة الشبكة. عند المخرج، تُنتج الشبكة حلاً تقريبياً وتُدخله في النموذج الرياضي، مع مراعاة الشروط الابتدائية والحدودية. إذا لم يُحقق الحل الدقة المطلوبة، يُستخدم خوارزمية الانتشار العكسي لتصحيحه.

إلى جانب PINN، طُوِّرت بنى أخرى لإنتاج نماذج بديلة لمهام الحوسبة العلمية. ومن الأمثلة على ذلك DeepONet، ^{[ 38 ]} والمؤثرات العصبية التكاملية (مثل FNO)، ^{[ 39 ]} والحقول العصبية (مثل CORAL). ^{[ 40 ]}

التعليقات التنظيمية

تُفسر شبكات التغذية الراجعة التنظيمية التغذية الراجعة الموجودة في جميع مناطق معالجة التعرف في الدماغ. فبدلاً من أن تكون عملية التعرف والاستدلال عملية تغذية أمامية (من المدخلات إلى المخرجات) كما هو الحال في الشبكات العصبية، تفترض التغذية الراجعة التنظيمية أن الاستدلال يقارن المدخلات بالمخرجات بشكل تكراري، وأن الخلايا العصبية تثبط مدخلاتها، وتقيّم بشكل جماعي مدى أهمية كل مدخل وتفرده للتكرار التالي. وهذا في النهاية يُؤدي إلى تنشيط الخلايا العصبية بما يقلل من تداخل المدخلات المتبادلة، ويُقدّر التوزيعات أثناء التعرف، ويُغني عن الحاجة إلى تدريب الشبكات العصبية المعقدة وإعادة التدريب. ^{[ 41 ]}

تشير معالجة التغذية الراجعة التنظيمية إلى دورٍ هامٍ للتغذية الراجعة المنتشرة بين الخلايا العصبية قبل وبعد المشبكية في الدماغ، في معالجة التعرف في الوقت الحقيقي، والتي تُحافظ عليها بدقةٍ من خلال اللدونة التوازنية : إذ وُجد أنها تُحافظ على توازنها عبر آلياتٍ متعددة، غالباً ما تكون زائدة عن الحاجة. كما تُظهر التغذية الراجعة التنظيمية بطبيعتها ظواهرَ عصبيةً مثل توازن الإثارة والتثبيط، وانفجاراتٍ على مستوى الشبكة تليها فترات هدوء، وظواهر البحث المعرفي البشري المتمثلة في صعوبة إيجاد التشابه وظهور الإشارات عند وجود مدخلاتٍ متعددة، دون الحاجة إلى معايير إضافية.

تستخدم شبكة التغذية الراجعة التنظيمية التغذية الراجعة السلبية للاستدلال . ^{[ 42 ]} تُستخدم هذه التغذية الراجعة لإيجاد التنشيط الأمثل للوحدات. وهي تُشبه إلى حد كبير الطريقة غير البارامترية ، لكنها تختلف عن خوارزمية أقرب جار K في أنها تُحاكي رياضيًا شبكات التغذية الأمامية.

دالة الأساس الشعاعي

دوال الأساس الشعاعي هي دوال تعتمد على معيار المسافة بالنسبة إلى المركز. وقد استُخدمت دوال الأساس الشعاعي كبديل لخاصية نقل الطبقة المخفية السينية في الشبكات العصبية متعددة الطبقات. تتكون شبكات دوال الأساس الشعاعي من طبقتين: في الأولى، يُسقط المدخل على كل دالة أساس شعاعي في الطبقة المخفية. وعادةً ما تكون دالة الأساس الشعاعي المختارة دالة غاوسية. في مسائل الانحدار، تكون طبقة الإخراج عبارة عن توليفة خطية من قيم الطبقة المخفية، تمثل متوسط المخرجات المتوقعة. ويُفسر هذا الناتج بنفس طريقة تفسير نموذج الانحدار في الإحصاء. أما في مسائل التصنيف، فتكون طبقة الإخراج عادةً دالة سينية لتوليفة خطية من قيم الطبقة المخفية، تمثل الاحتمال اللاحق. غالبًا ما يتحسن الأداء في كلتا الحالتين باستخدام تقنيات الانكماش ، المعروفة باسم انحدار ريدج في الإحصاء الكلاسيكي. وهذا يتوافق مع الاعتقاد المسبق بقيم المعلمات الصغيرة (وبالتالي دوال الإخراج السلسة) في إطار بايزي .

تتميز شبكات RBF بميزة تجنب القيم الدنيا المحلية، تمامًا كما هو الحال في الشبكات العصبية متعددة الطبقات. ويعود ذلك إلى أن المعاملات الوحيدة التي يتم تعديلها في عملية التعلم هي التحويل الخطي من الطبقة المخفية إلى طبقة الإخراج. تضمن الخطية أن يكون سطح الخطأ تربيعيًا، وبالتالي له قيمة دنيا واحدة يسهل إيجادها. في مسائل الانحدار، يمكن إيجاد هذه القيمة بعملية حسابية واحدة على المصفوفات. أما في مسائل التصنيف، فيتم التعامل مع اللاخطية الثابتة الناتجة عن دالة الإخراج السينية بكفاءة عالية باستخدام طريقة المربعات الصغرى الموزونة بشكل متكرر .

تعاني شبكات RBF من عيب يتمثل في حاجتها إلى تغطية جيدة لمساحة الإدخال بواسطة دوال الأساس الشعاعي. تُحدد مراكز RBF بالرجوع إلى توزيع بيانات الإدخال، ولكن دون الرجوع إلى مهمة التنبؤ. ونتيجة لذلك، قد تُهدر موارد التمثيل على مناطق من مساحة الإدخال غير ذات صلة بالمهمة. يتمثل أحد الحلول الشائعة في ربط كل نقطة بيانات بمركز خاص بها، على الرغم من أن هذا قد يُطيل النظام الخطي المطلوب حله في الطبقة الأخيرة، ويتطلب تقنيات تقليص لتجنب التجاوز .

يؤدي ربط كل بيانات الإدخال بدالة RBF بشكل طبيعي إلى طرق النواة مثل آلات المتجهات الداعمة (SVM) والعمليات الغاوسية (حيث تمثل RBF دالة النواة ). تستخدم الطرق الثلاث جميعها دالة نواة غير خطية لإسقاط بيانات الإدخال في فضاء يمكن فيه حل مشكلة التعلم باستخدام نموذج خطي. على غرار العمليات الغاوسية، وعلى عكس آلات المتجهات الداعمة، تُدرَّب شبكات RBF عادةً ضمن إطار أقصى احتمال من خلال تعظيم الاحتمالية (تقليل الخطأ). تتجنب آلات المتجهات الداعمة التجاوز في التدريب من خلال تعظيم هامش الخطأ . تتفوق آلات المتجهات الداعمة على شبكات RBF في معظم تطبيقات التصنيف. في تطبيقات الانحدار، يمكن أن تكون منافسة عندما يكون بُعد فضاء الإدخال صغيرًا نسبيًا.

كيف تعمل شبكات RBF

تتشابه الشبكات العصبية ذات وظائف الأساس الشعاعي (RBF) من حيث المفهوم مع نماذج الجوار الأقرب (k-NN). وتتلخص الفكرة الأساسية في أن المدخلات المتشابهة تُنتج مخرجات متشابهة.

لنفترض أن كل حالة في مجموعة التدريب تحتوي على متغيرين تنبؤيين، x و y، وأن المتغير المستهدف له فئتان، موجب وسالب. إذا كانت لدينا حالة جديدة بقيم تنبؤية x=6 و y=5.1، فكيف يتم حساب المتغير المستهدف؟

يعتمد تصنيف أقرب جار في هذا المثال على عدد النقاط المجاورة التي يتم أخذها في الاعتبار. فإذا تم استخدام تصنيف أقرب جار (1-NN) وكانت أقرب نقطة سالبة، فسيتم تصنيف النقطة الجديدة على أنها سالبة. أما إذا تم استخدام تصنيف أقرب تسعة جار (9-NN) وتم أخذ أقرب تسع نقاط في الاعتبار، فقد يفوق تأثير النقاط الإيجابية الثماني المحيطة تأثير النقطة التاسعة (السالبة).

تقوم شبكة RBF بتحديد مواقع الخلايا العصبية في الفضاء الموصوف بمتغيرات التنبؤ (x، y في هذا المثال). يحتوي هذا الفضاء على عدد من الأبعاد يساوي عدد متغيرات التنبؤ. تُحسب المسافة الإقليدية من النقطة الجديدة إلى مركز كل خلية عصبية، ثم تُطبق دالة الأساس الشعاعي (RBF، وتُسمى أيضًا دالة النواة) على هذه المسافة لحساب وزن (تأثير) كل خلية عصبية. سُميت دالة الأساس الشعاعي بهذا الاسم لأن مسافة نصف القطر هي وسيط هذه الدالة.

الوزن = RBF( المسافة )

دالة الأساس الشعاعي

يتم إيجاد قيمة النقطة الجديدة عن طريق جمع قيم الإخراج لوظائف RBF مضروبة في الأوزان المحسوبة لكل عصبون.

تتكون دالة الأساس الشعاعي للعصبون من مركز ونصف قطر (يُسمى أيضًا الانتشار). قد يختلف نصف القطر من عصبون لآخر، وفي شبكات RBF المُولَّدة بواسطة DTREG، قد يختلف نصف القطر في كل بُعد.

مع اتساع نطاق الانتشار، يكون للخلايا العصبية البعيدة عن نقطة ما تأثير أكبر.

بنيان

تتكون شبكات RBF من ثلاث طبقات:

طبقة الإدخال: يظهر عصبون واحد في طبقة الإدخال لكل متغير تنبؤي. في حالة المتغيرات الفئوية ، يُستخدم N-1 عصبون، حيث N هو عدد الفئات. تعمل عصبونات الإدخال على توحيد نطاقات القيم عن طريق طرح الوسيط والقسمة على المدى الربيعي . ثم تُمرر عصبونات الإدخال القيم إلى كل عصبون في الطبقة المخفية.
الطبقة المخفية: تحتوي هذه الطبقة على عدد متغير من الخلايا العصبية (يُحدد ذلك من خلال عملية التدريب). تتكون كل خلية عصبية من دالة أساسية شعاعية (RBF) متمركزة حول نقطة، بعدد أبعاد يساوي عدد المتغيرات التنبؤية. قد يختلف مدى (نصف قطر) دالة RBF باختلاف البُعد. يتم تحديد المراكز ومدى الانتشار من خلال التدريب. عند إدخال متجه x لقيم الإدخال من طبقة الإدخال، تحسب الخلية العصبية المخفية المسافة الإقليدية لحالة الاختبار من مركز الخلية، ثم تُطبق دالة نواة RBF على هذه المسافة باستخدام قيم الانتشار. تُمرر القيمة الناتجة إلى طبقة الجمع.
طبقة الجمع: تُضرب القيمة الخارجة من عصبون في الطبقة المخفية بوزن مرتبط به، ثم تُضاف إلى القيم الموزونة للعصبونات الأخرى. هذا المجموع هو الناتج. في مسائل التصنيف، يُنتج ناتج واحد (بمجموعة أوزان ووحدة جمع منفصلة) لكل فئة مستهدفة. قيمة الناتج لكل فئة هي احتمال انتماء الحالة قيد التقييم إلى تلك الفئة.

تمرين

يتم تحديد المعايير التالية من خلال عملية التدريب:

عدد الخلايا العصبية في الطبقة المخفية
إحداثيات مركز كل دالة RBF في الطبقة المخفية
نصف قطر (انتشار) كل دالة RBF في كل بُعد
الأوزان المطبقة على مخرجات دالة RBF أثناء مرورها إلى طبقة الجمع

استُخدمت طرقٌ متنوعة لتدريب شبكات RBF. إحدى هذه الطرق تعتمد أولًا على خوارزمية التجميع K-means لإيجاد مراكز المجموعات، والتي تُستخدم بدورها كمراكز لدوال RBF. مع ذلك، تتطلب خوارزمية التجميع K-means موارد حاسوبية كبيرة، وغالبًا لا تُنتج العدد الأمثل من المراكز. أما الطريقة الأخرى، فتعتمد على استخدام مجموعة فرعية عشوائية من نقاط التدريب كمراكز.

تستخدم خوارزمية DTREG خوارزمية تدريب تعتمد على نهج تطوري لتحديد نقاط المركز والانتشار الأمثل لكل عصبون. وتحدد متى تتوقف عن إضافة عصبونات إلى الشبكة من خلال مراقبة خطأ حذف عصبون واحد (LOO) المُقدَّر، وتنهي العملية عندما يبدأ هذا الخطأ في الازدياد بسبب فرط التخصيص.

يتم حساب الأوزان المثلى بين الخلايا العصبية في الطبقة المخفية وطبقة الجمع باستخدام انحدار ريدج. وتُستخدم عملية تكرارية لحساب معامل لامدا الأمثل للتنظيم الذي يقلل من خطأ التحقق المتقاطع المعمم (GCV).

شبكة عصبية للانحدار العام

إن GRNN عبارة عن شبكة عصبية ذات ذاكرة ترابطية تشبه الشبكة العصبية الاحتمالية ولكنها تستخدم للانحدار والتقريب بدلاً من التصنيف.

شبكة معتقدات عميقة

شبكة الاعتقاد العميق (DBN) هي نموذج احتمالي توليدي يتكون من طبقات مخفية متعددة. ويمكن اعتبارها مجموعة من وحدات التعلم البسيطة. ^{[ 43 ]}

يمكن استخدام شبكة DBN للتدريب المسبق التوليدي لشبكة عصبية عميقة (DNN) باستخدام أوزان DBN المُدرَّبة كأوزان ابتدائية لشبكة DNN. بعد ذلك، يمكن لخوارزميات تمييزية متنوعة ضبط هذه الأوزان. يُعد هذا مفيدًا بشكل خاص عندما تكون بيانات التدريب محدودة، لأن الأوزان المُهيأة بشكل سيئ قد تُعيق عملية التعلم بشكل كبير. ينتهي المطاف بهذه الأوزان المُدرَّبة مسبقًا في منطقة من فضاء الأوزان أقرب إلى الأوزان المثلى من الخيارات العشوائية. وهذا يسمح بتحسين النمذجة وتسريع التقارب النهائي. ^{[ 44 ]}

الشبكة العصبية المتكررة

تقوم الشبكات العصبية المتكررة (RNN) بنقل البيانات للأمام، وكذلك للخلف، من مراحل المعالجة اللاحقة إلى المراحل السابقة. ويمكن استخدام الشبكات العصبية المتكررة كمعالجات تسلسل عامة.

متكرر بالكامل

طُوِّرت هذه البنية في ثمانينيات القرن الماضي. تُنشئ شبكتها اتصالاً مُوجَّهاً بين كل زوج من الوحدات. لكل وحدة مُنشِّط (مخرج) متغير مع الزمن ذو قيمة حقيقية (أكبر من الصفر أو الواحد). لكل اتصال وزن قابل للتعديل ذو قيمة حقيقية. تُسمى بعض العُقد عُقداً مُصنَّفة، وبعضها عُقداً مُخرَجة، والباقي عُقداً مخفية.

في التعلم الخاضع للإشراف ضمن بيئات زمنية منفصلة، تتحول متواليات التدريب لمتجهات الإدخال ذات القيم الحقيقية إلى متواليات من تنشيطات عقد الإدخال، متجه إدخال واحد في كل مرة. في كل خطوة زمنية، تحسب كل وحدة غير مُدخلة تنشيطها الحالي كدالة غير خطية للمجموع المرجح لتنشيطات جميع الوحدات التي تتلقى منها اتصالات. يمكن للنظام تنشيط بعض وحدات الإخراج بشكل صريح (بشكل مستقل عن الإشارات الواردة) في خطوات زمنية محددة. على سبيل المثال، إذا كانت متوالية الإدخال عبارة عن إشارة كلامية تُقابل رقمًا منطوقًا، فقد يكون الناتج النهائي في نهاية المتوالية عبارة عن تصنيف يُحدد هذا الرقم. بالنسبة لكل متوالية، يكون خطأها هو مجموع انحرافات جميع التنشيطات التي حسبتها الشبكة عن الإشارات المستهدفة المقابلة. بالنسبة لمجموعة تدريب تتكون من العديد من المتواليات، يكون الخطأ الكلي هو مجموع أخطاء جميع المتواليات الفردية.

لتقليل الخطأ الكلي، يمكن استخدام خوارزمية التدرج الهبوطي لتغيير كل وزن بما يتناسب مع مشتقته بالنسبة للخطأ، شريطة أن تكون دوال التنشيط غير الخطية قابلة للتفاضل . تُسمى الطريقة القياسية " الانتشار العكسي عبر الزمن " أو BPTT، وهي تعميم للانتشار العكسي للشبكات التغذية الأمامية. ^{[ 45 ]}^{[ 46 ]} وهناك نسخة أخرى أكثر تكلفة حسابيًا تُسمى " التعلم المتكرر في الوقت الحقيقي " أو RTRL. ^{[ 47 ]}^{[ 48 ]} وعلى عكس BPTT، فإن هذه الخوارزمية محلية زمنيًا ولكنها غير محلية مكانيًا . ^{[ 49 ]}^{[ 50 ]} وهناك نسخة هجينة بين BPTT وRTRL ذات تعقيد متوسط، ^{[ 51 ]}^{[ 52 ]} مع وجود نسخ للزمن المستمر. ^{[ 53 ]} وتتمثل إحدى المشكلات الرئيسية في خوارزمية التدرج الهبوطي لبنى الشبكات العصبية المتكررة القياسية في أن تدرجات الخطأ تتلاشى بسرعة أسية مع حجم الفارق الزمني بين الأحداث المهمة. ^{[ 54 ]}^{[ 55 ]} تتغلب بنية الذاكرة قصيرة المدى الطويلة على هذه المشاكل. ^{[ 56 ]}

في بيئات التعلم المعزز ، لا يُقدّم أي مُعلّم إشارات مُستهدفة. بدلاً من ذلك، تُستخدم أحيانًا دالة لياقة أو دالة مكافأة أو دالة منفعة لتقييم الأداء، مما يؤثر على تدفق المدخلات عبر وحدات الإخراج المتصلة بالمُشغّلات التي تؤثر بدورها على البيئة. غالبًا ما تُستخدم مُتغيرات الحوسبة التطورية لتحسين مصفوفة الأوزان.

هوبفيلد

تُعدّ شبكة هوبفيلد (مثل الشبكات المشابهة القائمة على الجاذبات) ذات أهمية تاريخية، على الرغم من أنها ليست شبكة عصبية متكررة عامة، إذ أنها غير مصممة لمعالجة تسلسلات الأنماط، بل تتطلب مدخلات ثابتة. وهي شبكة عصبية متكررة تتميز بتناظر جميع الاتصالات، مما يضمن تقاربها. وإذا تم تدريب الاتصالات باستخدام التعلم الهيبي، فإن شبكة هوبفيلد قادرة على العمل كذاكرة محتوى قابلة للعنونة قوية ، مقاومة لتغيير الاتصالات.

آلة بولتزمان

يمكن اعتبار آلة بولتزمان بمثابة شبكة هوبفيلد ضوضائية. وهي من أوائل الشبكات العصبية التي أظهرت قدرة على تعلم المتغيرات الكامنة (الوحدات المخفية). في البداية، كان محاكاة تعلم آلة بولتزمان بطيئًا، لكن خوارزمية التباعد التبايني تُسرّع عملية تدريب آلات بولتزمان ومنتجات الخبراء .

خريطة ذاتية التنظيم

تستخدم خريطة التنظيم الذاتي (SOM) التعلم غير الخاضع للإشراف . تتعلم مجموعة من الخلايا العصبية ربط النقاط في فضاء الإدخال بالإحداثيات في فضاء الإخراج. قد يختلف فضاء الإدخال في أبعاده وبنيته عن فضاء الإخراج، وتسعى خريطة التنظيم الذاتي إلى الحفاظ على هذه الاختلافات.

تعلم تكميم المتجهات

يمكن تفسير تقنية التكميم المتجهي للتعلم (LVQ) على أنها بنية شبكة عصبية. يتم تحديد معلمات الممثلين النموذجيين للفئات، إلى جانب مقياس مسافة مناسب، في مخطط تصنيف قائم على المسافة.

التكرار البسيط

تتكون الشبكات العصبية المتكررة البسيطة من ثلاث طبقات، بالإضافة إلى مجموعة من "وحدات السياق" في طبقة الإدخال. تتصل هذه الوحدات من الطبقة المخفية أو طبقة الإخراج بوزن ثابت يساوي واحدًا. ^{[ 57 ]} في كل خطوة زمنية، يتم تمرير الإدخال بطريقة التغذية الأمامية القياسية، ثم تُطبق قاعدة تعلم شبيهة بالانتشار العكسي (دون استخدام خوارزمية التدرج الهبوطي ). تترك الاتصالات العكسية الثابتة نسخة من القيم السابقة للوحدات المخفية في وحدات السياق (لأنها تنتقل عبر الاتصالات قبل تطبيق قاعدة التعلم).

الحوسبة الخزنية

الحوسبة الخزنية هي إطار عمل حاسوبي يُمكن اعتباره امتدادًا للشبكات العصبية . ^{[ 58 ]} عادةً ما تُغذّى إشارة دخل إلى نظام ديناميكي ثابت (عشوائي) يُسمى الخزان، حيث تُحوّل ديناميكياته إشارة الدخل إلى بُعد أعلى. ويتم تدريب آلية قراءة لتحويل الخزان إلى المخرج المطلوب. ويُجرى التدريب فقط في مرحلة القراءة. تُعدّ آلات الحالة السائلة ^{[ 59 ]} نوعًا من أنواع الحوسبة الخزنية. ^{[ 60 ]}

حالة الصدى

تستخدم شبكة حالة الصدى (ESN) طبقة مخفية عشوائية ذات اتصال متفرق. وتُعدّ أوزان خلايا الإخراج الجزء الوحيد من الشبكة الذي يتم تدريبه. تتميز شبكات حالة الصدى بقدرتها على إعادة إنتاج سلاسل زمنية معينة . ^{[ 61 ]}

الذاكرة طويلة المدى قصيرة المدى

تتجنب شبكة الذاكرة طويلة المدى (LSTM) ^{[ 56 ]} مشكلة تلاشي التدرج . فهي تعمل حتى مع وجود فترات تأخير طويلة بين المدخلات، ويمكنها التعامل مع الإشارات التي تمزج بين مكونات التردد المنخفض والعالي. وقد تفوقت شبكة LSTM RNN على شبكات RNN الأخرى وطرق تعلم التسلسل الأخرى مثل HMM في تطبيقات مثل تعلم اللغة ^{[ 62 ]} والتعرف على الكتابة اليدوية المتصلة ^{[ 63 ] .}

ثنائي الاتجاه

تستخدم الشبكات العصبية المتكررة ثنائية الاتجاه (BRNN) سلسلةً محدودةً للتنبؤ بكل عنصر من عناصرها أو تصنيفه بناءً على سياقه الماضي والمستقبلي. ^{[ 64 ]} ويتم ذلك بجمع مخرجات شبكتين عصبيتين متكررتين: إحداهما تعالج السلسلة من اليسار إلى اليمين، والأخرى من اليمين إلى اليسار. تمثل المخرجات المجمعة تنبؤات الإشارات المستهدفة المُعطاة من قِبل المُعلِّم. وقد أثبتت هذه التقنية فائدتها الكبيرة عند دمجها مع شبكة الذاكرة طويلة المدى (LSTM). ^{[ 65 ]}

هرمي

تربط الشبكات العصبية المتكررة الهرمية العناصر بطرق متنوعة لتفكيك السلوك الهرمي إلى برامج فرعية مفيدة. ^{[ 66 ]}^{[ 67 ]}

ستوكاستيك

منطقة تختلف عن الشبكات العصبية التقليدية، الشبكة العصبية الاصطناعية العشوائية المستخدمة كتقريب للوظائف العشوائية.

المقياس الجيني

شبكة عصبية متكررة (غالباً ما تكون شبكة ذاكرة طويلة المدى) حيث تُقسّم السلسلة إلى عدد من المقاييس، ويُحدد كل مقياس المسافة الأساسية بين نقطتين متتاليتين. يتكون المقياس من الدرجة الأولى من شبكة عصبية متكررة عادية، ويتكون المقياس من الدرجة الثانية من جميع النقاط مفصولة بمؤشرين، وهكذا. تربط الشبكة العصبية المتكررة من الدرجة N العقدة الأولى والأخيرة. تُعامل مخرجات جميع المقاييس المختلفة كلجنة من الآلات ، وتُستخدم النتائج المرتبطة بها بشكل متسلسل في التكرار التالي.

معياري

أظهرت الدراسات البيولوجية أن الدماغ البشري يعمل كمجموعة من الشبكات الصغيرة. وقد أدى هذا الإدراك إلى ظهور مفهوم الشبكات العصبية المعيارية ، حيث تتعاون أو تتنافس عدة شبكات صغيرة لحل المشكلات.

لجنة الآلات

لجنة الآلات (CoM) هي مجموعة من الشبكات العصبية المختلفة التي "تصوّت" معًا على مثال مُعطى. وهذا يُعطي عمومًا نتائج أفضل بكثير من الشبكات الفردية. ولأن الشبكات العصبية تُعاني من مشكلة القيم الدنيا المحلية، فإن البدء بنفس البنية والتدريب ولكن باستخدام أوزان أولية مختلفة عشوائيًا غالبًا ما يُعطي نتائج مُتباينة بشكل كبير. وتميل لجنة الآلات إلى تثبيت النتيجة.

تتشابه طريقة CoM مع طريقة التجميع العامة للتعلم الآلي ، باستثناء أن التنوع الضروري للآلات في اللجنة يتم الحصول عليه من خلال التدريب من أوزان بداية مختلفة بدلاً من التدريب على مجموعات فرعية مختلفة مختارة عشوائيًا من بيانات التدريب.

جمعية

الشبكة العصبية الترابطية (ASNN) هي امتداد لتقنية لجنة الآلات، تجمع بين عدة شبكات عصبية أمامية التغذية وتقنية أقرب جار k. تستخدم هذه الشبكة الارتباط بين استجابات المجموعة كمقياس للمسافة بين الحالات المُحللة في خوارزمية أقرب جار k، مما يُصحح انحياز مجموعة الشبكة العصبية. تتميز الشبكة العصبية الترابطية بذاكرة تتطابق مع مجموعة التدريب، فإذا توفرت بيانات جديدة، تُحسّن الشبكة قدرتها التنبؤية فورًا وتُقدم تقريبًا للبيانات (تتعلم ذاتيًا) دون الحاجة إلى إعادة التدريب. ومن الميزات المهمة الأخرى للشبكة العصبية الترابطية إمكانية تفسير نتائج الشبكة العصبية من خلال تحليل الارتباطات بين حالات البيانات في فضاء النماذج. ^{[ 68 ]}

بدني

تتضمن الشبكة العصبية الفيزيائية مادة مقاومة قابلة للتعديل كهربائياً لمحاكاة المشابك العصبية الاصطناعية. ومن الأمثلة على ذلك شبكة ADALINE العصبية القائمة على الميمريستور . ^{[ 69 ]} أما الشبكة العصبية الضوئية فهي تطبيق فيزيائي لشبكة عصبية اصطناعية باستخدام مكونات ضوئية .

متحرك

على عكس الشبكات العصبية الثابتة، تُكيّف الشبكات العصبية الديناميكية بنيتها و/أو معاييرها وفقًا للمدخلات أثناء الاستدلال ^{[ 70 ]} ، مما يُظهر سلوكًا يعتمد على الزمن، مثل الظواهر العابرة وتأثيرات التأخير. ترتبط الشبكات العصبية الديناميكية التي قد تتغير معاييرها بمرور الوقت ببنية الأوزان السريعة (1987) ^{[ 71 ]} ، حيث تُخرج إحدى الشبكات العصبية أوزان شبكة عصبية أخرى.

متتالي

الارتباط المتتالي هو بنية وخوارزمية تعلم خاضعة للإشراف . فبدلاً من مجرد تعديل الأوزان في شبكة ذات بنية ثابتة، ^[⁷²^] يبدأ الارتباط المتتالي بشبكة بسيطة، ثم يُدرَّب تلقائيًا ويُضاف إليه وحدات مخفية جديدة واحدة تلو الأخرى، مما يُنشئ بنية متعددة الطبقات. بمجرد إضافة وحدة مخفية جديدة إلى الشبكة، تُجمَّد أوزانها المدخلة. تصبح هذه الوحدة بعد ذلك كاشف ميزات دائمًا في الشبكة، ومتاحة لإنتاج المخرجات أو لإنشاء كاشفات ميزات أخرى أكثر تعقيدًا. تتميز بنية الارتباط المتتالي بعدة مزايا: فهي تتعلم بسرعة، وتُحدد حجمها وبنيتها بنفسها، وتحتفظ بالبنى التي بنتها حتى لو تغيرت مجموعة التدريب، ولا تتطلب خوارزمية الانتشار العكسي .

عصبي ضبابي

الشبكة العصبية الضبابية هي نظام استدلال ضبابي مُدمج في بنية الشبكة العصبية الاصطناعية. وبحسب نوع نظام الاستدلال الضبابي، تحاكي عدة طبقات العمليات المُتضمنة في الاستدلال الضبابي، مثل التضبيب والاستدلال والتجميع وإزالة التضبيب . ويُتيح دمج نظام الاستدلال الضبابي في بنية عامة للشبكة العصبية الاصطناعية الاستفادة من أساليب تدريب الشبكات العصبية الاصطناعية المتاحة لإيجاد معلمات النظام الضبابي.

إنتاج الأنماط التركيبية

تُعدّ الشبكات التركيبية المُنتجة للأنماط (CPPNs) نوعًا مُختلفًا من الشبكات العصبية الاصطناعية، وتختلف عنها في مجموعة دوال التنشيط وكيفية تطبيقها. فبينما تحتوي الشبكات العصبية الاصطناعية التقليدية غالبًا على دوال سيجمويد فقط (وأحيانًا دوال غاوسية )، يُمكن أن تتضمن الشبكات التركيبية المُنتجة للأنماط كلا النوعين من الدوال، بالإضافة إلى العديد من الدوال الأخرى. علاوة على ذلك، وعلى عكس الشبكات العصبية الاصطناعية التقليدية، تُطبّق الشبكات التركيبية المُنتجة للأنماط على كامل نطاق المدخلات المُمكنة، بحيث يُمكنها تمثيل صورة كاملة. ولأنها عبارة عن تركيبات من الدوال، فإن الشبكات التركيبية المُنتجة للأنماط تُشفّر الصور بدقة لا نهائية، ويُمكن أخذ عينات منها لعرض مُحدد بأي دقة مُثلى.

شبكات الذاكرة

تتضمن شبكات الذاكرة ^{[ 73 ]}^{[ 74 ]} الذاكرة طويلة الأمد . يمكن قراءة الذاكرة طويلة الأمد والكتابة إليها، بهدف استخدامها للتنبؤ. وقد طُبقت هذه النماذج في سياق الإجابة على الأسئلة ، حيث تعمل الذاكرة طويلة الأمد كقاعدة معرفية (ديناميكية)، ويكون الناتج عبارة عن استجابة نصية. ^{[ 75 ]}

في الذاكرة الموزعة المتفرقة أو الذاكرة الزمنية الهرمية ، تُستخدم الأنماط المشفرة بواسطة الشبكات العصبية كعناوين للذاكرة القابلة للعنونة بالمحتوى ، حيث تعمل "الخلايا العصبية" بشكل أساسي كمشفرات ومفككات عناوين . ومع ذلك، لم تكن وحدات التحكم المبكرة في هذه الذواكر قابلة للتفاضل. ^{[ 76 ]}

ذاكرة ترابطية أحادية اللقطة

يُمكن لهذا النوع من الشبكات إضافة أنماط جديدة دون الحاجة إلى إعادة التدريب. ويتم ذلك من خلال إنشاء بنية ذاكرة مُخصصة، تُخصص كل نمط جديد لمستوى متعامد باستخدام مصفوفات هرمية متصلة بشكل متجاور. ^{[ 77 ]} توفر هذه الشبكة التعرف على الأنماط في الوقت الفعلي وقابلية توسع عالية؛ وهذا يتطلب معالجة متوازية، وبالتالي فهي الأنسب لمنصات مثل شبكات الاستشعار اللاسلكية ، والحوسبة الشبكية ، ووحدات معالجة الرسومات للأغراض العامة (GPGPUs) .

الذاكرة الزمنية الهرمية

تُحاكي الذاكرة الزمنية الهرمية (HTM) بعض الخصائص البنيوية والخوارزمية للقشرة المخية الحديثة . وهي نموذج محاكاة حيوية قائم على نظرية التنبؤ بالذاكرة . تُعدّ HTM طريقة لاكتشاف واستنتاج الأسباب الرئيسية لأنماط وتسلسلات المدخلات المرصودة، وبالتالي بناء نموذج متزايد التعقيد للعالم.

يجمع نموذج HTM بين الأفكار الحالية لمحاكاة القشرة المخية الحديثة بتصميم بسيط يوفر العديد من الإمكانيات. يجمع نموذج HTM بين الأساليب المستخدمة في الشبكات البايزية وخوارزميات التجميع المكاني والزماني ويوسع نطاقها، مع استخدام تسلسل هرمي للعقد على شكل شجرة شائع في الشبكات العصبية .

الذاكرة الترابطية الهولوغرافية

الذاكرة الترابطية الهولوغرافية (HAM) هي نظام تناظري، قائم على الارتباط، ترابطي، يعتمد على التحفيز والاستجابة. تُسقط المعلومات على اتجاه طور الأعداد المركبة. تُعد هذه الذاكرة فعالة في مهام الذاكرة الترابطية ، والتعميم، والتعرف على الأنماط مع الانتباه المتغير. يُعد تحديد موقع البحث الديناميكي أساسيًا للذاكرة البيولوجية. في الإدراك البصري، يركز البشر على أشياء محددة في نمط معين. يستطيع البشر تغيير تركيزهم من شيء إلى آخر دون تعلم. يمكن لـ HAM محاكاة هذه القدرة من خلال إنشاء تمثيلات صريحة للتركيز. تستخدم تمثيلًا ثنائي النمط للنمط ومساحة حالة وزن كروية مركبة شبيهة بالهولوغرام. تُعد HAM مفيدة للتنفيذ البصري لأن العمليات الحسابية فائقة الكروية الأساسية يمكن تنفيذها باستخدام الحوسبة البصرية. ^[⁷⁸^]

هياكل الذاكرة التفاضلية المرتبطة بـ LSTM

إلى جانب الذاكرة طويلة المدى (LSTM)، أضافت مناهج أخرى أيضًا ذاكرة قابلة للتفاضل إلى الدوال المتكررة. على سبيل المثال:

إجراءات الدفع والسحب القابلة للتفاضل لشبكات الذاكرة البديلة التي تسمى آلات المكدس العصبي ^{[ 79 ]}^{[ 80 ]}
شبكات الذاكرة حيث يكون التخزين الخارجي القابل للتفاضل لشبكة التحكم في الأوزان السريعة لشبكة أخرى ^{[ 81 ]}
بوابات النسيان في LSTM ^{[ 82 ]}
الشبكات العصبية المتكررة ذاتية المرجعية مع وحدات إخراج خاصة لمعالجة ومعالجة أوزان الشبكة العصبية المتكررة بسرعة بطريقة قابلة للتفاضل (التخزين الداخلي) ^{[ 83 ]}^{[ 84 ]}
التعلم على التحويل باستخدام ذاكرة غير محدودة ^{[ 85 ]}

آلات تورينج العصبية

تربط آلات تورينغ العصبية (NTM) ^{[ 86 ]} شبكات LSTM بموارد ذاكرة خارجية، تتفاعل معها عبر عمليات الانتباه. يُشابه النظام المُدمج آلة تورينغ، ولكنه قابل للتفاضل من البداية إلى النهاية، مما يسمح بتدريبه بكفاءة باستخدام خوارزمية التدرج الهبوطي . تُظهر النتائج الأولية أن آلات تورينغ العصبية قادرة على استنتاج خوارزميات بسيطة، مثل النسخ والفرز والاستدعاء الترابطي، من أمثلة الإدخال والإخراج.

تُعدّ الحواسيب العصبية التفاضلية (DNC) امتدادًا لآلات تورينغ العصبية (NTM). وقد تفوّقت على آلات تورينغ العصبية، وأنظمة الذاكرة طويلة المدى ، وشبكات الذاكرة في مهام معالجة التسلسلات. ^{[ 87 ]}^{[ 88 ]}^{[ 89 ]}^{[ 90 ]}^{[ 91 ]}

التجزئة الدلالية

تُعرف الأساليب التي تُمثل التجارب السابقة مباشرةً وتستخدم تجربةً مشابهةً لتكوين نموذج محلي باسم أساليب أقرب جار أو أقرب k جار . ^{[ 92 ]} يُعدّ التعلّم العميق مفيدًا في التجزئة الدلالية ^{[ 93 ]} حيث يُنشئ نموذج رسومي عميق متجهات عدد الكلمات ^{[ 94 ]} المُستخرجة من مجموعة كبيرة من المستندات. تُربط المستندات بعناوين الذاكرة بحيث تقع المستندات المتشابهة دلاليًا في عناوين قريبة. يُمكن بعد ذلك العثور على مستندات مشابهة لمستند الاستعلام من خلال الوصول إلى جميع العناوين التي تختلف ببضع بتات فقط عن عنوان مستند الاستعلام. على عكس الذاكرة الموزعة المتفرقة التي تعمل على عناوين 1000 بت، تعمل التجزئة الدلالية على عناوين 32 أو 64 بت الموجودة في بنية الحاسوب التقليدية.

شبكات المؤشر

يمكن تحسين الشبكات العصبية العميقة من خلال زيادة عمقها وتقليل عدد معلماتها، مع الحفاظ على قابليتها للتدريب. في حين أن تدريب الشبكات العصبية العميقة للغاية (مثل مليون طبقة) قد لا يكون عمليًا، فإن البنى الشبيهة بوحدات المعالجة المركزية ، مثل شبكات المؤشرات ^{[ 95 ]} وآلات الوصول العشوائي العصبية ^{[ 96 ]} ، تتغلب على هذا القيد باستخدام ذاكرة وصول عشوائي خارجية ومكونات أخرى تنتمي عادةً إلى بنية الحاسوب ، مثل المسجلات ووحدة الحساب والمنطق والمؤشرات . تعمل هذه الأنظمة على متجهات توزيع احتمالية مخزنة في خلايا الذاكرة والمسجلات. وبالتالي، يكون النموذج قابلاً للتفاضل بالكامل ويتم تدريبه من البداية إلى النهاية. السمة الرئيسية لهذه النماذج هي إمكانية تغيير عمقها وحجم ذاكرتها قصيرة المدى وعدد معلماتها بشكل مستقل.

هجين

شبكات التشفير-فك التشفير

تعتمد أطر عمل التشفير-فك التشفير على الشبكات العصبية التي تربط المدخلات عالية التنظيم بالمخرجات عالية التنظيم. وقد ظهر هذا النهج في سياق الترجمة الآلية ، ^{[ 97 ]}^{[ 98 ]}^{[ 99 ]} حيث تكون المدخلات والمخرجات عبارة عن جمل مكتوبة بلغتين طبيعيتين. في ذلك العمل، استُخدمت شبكة عصبية متكررة طويلة المدى (LSTM RNN) أو شبكة عصبية تلافيفية (CNN) كمشفر لتلخيص الجملة المصدرية، ثم فُكّ تشفير الملخص باستخدام نموذج لغة RNN شرطي لإنتاج الترجمة. ^{[ 100 ]} تشترك هذه الأنظمة في مكونات أساسية: شبكات RNN وCNN ذات البوابات وآليات الانتباه المدربة.

أنواع أخرى

تم تدريبه على الفور

استُلهمت الشبكات العصبية المدربة فورياً (ITNN) من ظاهرة التعلم قصير المدى التي تبدو وكأنها تحدث بشكل فوري. في هذه الشبكات، تُحدد أوزان الطبقات المخفية وطبقات الإخراج مباشرةً من بيانات متجه التدريب. عادةً ما تعمل هذه الشبكات على البيانات الثنائية، ولكن توجد نسخ منها للبيانات المستمرة تتطلب معالجة إضافية بسيطة.

سبايكينج

تُراعي الشبكات العصبية النبضية (SNN) توقيت المدخلات بشكلٍ صريح. وعادةً ما يتم تمثيل مدخلات ومخرجات الشبكة كسلسلة من النبضات ( دالة دلتا أو أشكال أكثر تعقيدًا). تستطيع الشبكات العصبية النبضية معالجة المعلومات في المجال الزمني (الإشارات المتغيرة مع مرور الوقت). وغالبًا ما تُنفذ كشبكات متكررة. كما تُعد الشبكات العصبية النبضية نوعًا من أنواع الحواسيب النبضية . ^{[ 101 ]}

تُظهر الشبكات العصبية ذات النبضات مع تأخيرات التوصيل المحوري تعدد التوقيت، وبالتالي يمكن أن تتمتع بسعة ذاكرة كبيرة جدًا. ^{[ 102 ]}

تم استخدام الشبكات العصبية القصيرة والارتباطات الزمنية للتجمعات العصبية في مثل هذه الشبكات لنمذجة فصل الشكل عن الخلفية وربط المناطق في الجهاز البصري.

مكاني

تُشكّل الشبكات العصبية المكانية (SNNs) فئةً فرعيةً من الشبكات العصبية المُخصصة (NNs) لتمثيل الظواهر الجغرافية والتنبؤ بها. وهي تُحسّن عمومًا الدقة الإحصائية والموثوقية للشبكات العصبية غير المكانية/الكلاسيكية عند التعامل مع مجموعات البيانات الجغرافية المكانية ، وكذلك النماذج المكانية (الإحصائية) الأخرى (مثل نماذج الانحدار المكاني) عندما تُظهر متغيرات مجموعات البيانات الجغرافية المكانية علاقات غير خطية . ^[¹⁰³^]^[¹⁰⁴^]^[¹⁰⁵^] ومن أمثلة الشبكات العصبية المكانية: شبكات OSFA العصبية المكانية، وشبكات SVANNs، وشبكات GWNNs.

نيوكوجنيترون

النيوكوجنيترون عبارة عن شبكة هرمية متعددة الطبقات، تم تصميمها على غرار القشرة البصرية . تستخدم هذه الشبكة أنواعًا متعددة من الوحدات (في الأصل نوعين، يُطلق عليهما الخلايا البسيطة والخلايا المعقدة )، كنموذج متتالي يُستخدم في مهام التعرف على الأنماط. ^[¹⁰⁶^]^[¹⁰⁷^]^[¹⁰⁸^] تستخلص الخلايا البسيطة (S-cells) السمات المحلية، بينما تتحمل الخلايا المعقدة (C-cells) تشوهها. تُدمج السمات المحلية في المدخلات تدريجيًا وتُصنف في الطبقات العليا. ^[¹⁰⁹^] من بين الأنواع المختلفة للنيوكوجنيترون ^[¹¹⁰^] توجد أنظمة قادرة على اكتشاف أنماط متعددة في نفس المدخلات باستخدام الانتشار العكسي لتحقيق الانتباه الانتقائي . ^[¹¹¹^] وقد استُخدمت هذه الشبكة في مهام التعرف على الأنماط ، وألهمت الشبكات العصبية الالتفافية . ^[¹¹²^]

النماذج الهرمية العميقة المركبة

تتألف النماذج الهرمية العميقة المركبة من شبكات عميقة ونماذج بايزية غير بارامترية . يمكن تعلم الميزات باستخدام بنى عميقة مثل شبكات بايز العميقة ( DBNs ) ^{[ 113 ]} ، وآلات بولتزمان العميقة (DBM) ^{[ 114 ]} ، والمشفرات التلقائية العميقة ^{[ 115 ]} ، والمتغيرات الالتفافية ^{[ 116 ]}^{[ 117 ]} ، وآلات بولتزمان المقيدة أحادية الاتجاه (ssRBMs ) ^{[ 118 ]} ، وشبكات الترميز العميقة ^{[ 119 ]} ، وشبكات بايز العميقة مع تعلم الميزات المتفرقة ^{[ 120 ]} ، والشبكات العصبية المتكررة (RNNs ) ^{[ 121 ]} ، وشبكات بايز العميقة الشرطية ^{[ 122 ]} ، والمشفرات التلقائية لإزالة التشويش ^{[ 123 ]} . يوفر هذا تمثيلًا أفضل، مما يسمح بتعلم أسرع وتصنيف أكثر دقة مع البيانات عالية الأبعاد. ومع ذلك، فإن هذه البنى ضعيفة في تعلم فئات جديدة مع أمثلة قليلة، لأن جميع وحدات الشبكة تشارك في تمثيل المدخلات (aالتمثيل الموزع ) ويجب ضبطها معًا (درجة حرية). يؤدي تقييد درجة الحرية إلى تقليل عدد المعلمات المطلوب تعلمها، مما يسهل تعلم فئات جديدة من أمثلة قليلة.نماذج بايز الهرمية (HB) بالتعلم من أمثلة قليلة، على سبيل المثال^{[ 124 ]}^{[ 125 ]}^{[ 126 ]}^{[ 127 ]}^{[ 128 ]} في مجالاترؤية الحاسوبوالإحصاءوالعلومالمعرفية.

تهدف بنى HD المركبة إلى دمج خصائص كل من الشبكات الهرمية والشبكات العميقة. وتُعد بنية HDP-DBM المركبة عملية ديريشليه هرمية (HDP) كنموذج هرمي، تتضمن بنية DBM. وهي نموذج توليدي كامل، مُعمم من مفاهيم مجردة تتدفق عبر طبقات النموذج، قادر على توليد أمثلة جديدة في فئات مبتكرة تبدو طبيعية إلى حد معقول. يتم تعلم جميع المستويات بشكل مشترك من خلال تعظيم درجة احتمالية لوغاريتمية مشتركة . ^[¹²⁹^]

في نموذج DBM بثلاث طبقات مخفية، يكون احتمال ظهور مدخل مرئي '' $ν$ '' هو:

p({\boldsymbol {\nu }},\psi )={\frac {1}{Z}}\sum _{h}\exp \left(\sum _{ij}W_{ij}^{(1)}\nu _{i}h_{j}^{1}+\sum _{j\ell }W_{j\ell }^{(2)}h_{j}^{1}h_{\ell }^{2}+\sum _{\ell m}W_{\ell m}^{(3)}h_{\ell }^{2}h_{m}^{3}\right),

أين ${\boldsymbol {h}}=\{{\boldsymbol {h}}^{(1)},{\boldsymbol {h}}^{(2)},{\boldsymbol {h}}^{(3)}\}$ هي مجموعة الوحدات المخفية، و $\psi =\{{\boldsymbol {W}}^{(1)},{\boldsymbol {W}}^{(2)},{\boldsymbol {W}}^{(3)}\}$ تمثل معلمات النموذج، التي تمثل حدود التفاعل المتناظر بين المرئي والمخفي وبين المخفي والمخفي.

نموذج DBM المُتعلم هو نموذج غير موجه يُحدد التوزيع المشترك $P(\nu ,h^{1},h^{2},h^{3})$ إحدى طرق التعبير عما تم تعلمه هي النموذج الشرطي $P(\nu ,h^{1},h^{2}\mid h^{3})$ وفترة سابقة $P(h^{3})$ .

هنا $P(\nu ,h^{1},h^{2}\mid h^{3})$ يمثل نموذج DBM مشروطًا، والذي يمكن اعتباره نموذج DBM ثنائي الطبقات ولكن مع حدود انحياز معطاة بواسطة حالات $h^{3}$ :

P(\nu ,h^{1},h^{2}\mid h^{3})={\frac {1}{Z(\psi ,h^{3})}}\exp \left(\sum _{ij}W_{ij}^{(1)}\nu _{i}h_{j}^{1}+\sum _{j\ell }W_{j\ell }^{(2)}h_{j}^{1}h_{\ell }^{2}+\sum _{\ell m}W_{\ell m}^{(3)}h_{\ell }^{2}h_{m}^{3}\right).

شبكات الترميز التنبؤي العميق

شبكة الترميز التنبؤي العميق (DPCN) هي نظام ترميز تنبؤي يستخدم معلومات من أعلى إلى أسفل لتعديل المعلومات المسبقة اللازمة لإجراء استدلال من أسفل إلى أعلى تجريبيًا ، وذلك باستخدام نموذج توليدي عميق ومتصل محليًا . يعمل هذا النظام عن طريق استخراج السمات المتفرقة من الملاحظات المتغيرة مع الزمن باستخدام نموذج ديناميكي خطي. بعد ذلك، تُستخدم استراتيجية تجميع لتعلم تمثيلات السمات الثابتة. تتحد هذه الوحدات لتشكيل بنية عميقة، ويتم تدريبها من خلال التعلم غير الخاضع للإشراف الطبقي الجشع . تشكل الطبقات نوعًا من سلسلة ماركوف، بحيث تعتمد الحالات في أي طبقة فقط على الطبقات السابقة واللاحقة.

تتنبأ شبكات DPCN بتمثيل الطبقة، باستخدام نهج من أعلى إلى أسفل يعتمد على المعلومات الموجودة في الطبقة العليا والتبعيات الزمنية من الحالات السابقة. ^{[ 130 ]}

يمكن توسيع شبكات DPCNs لتشكيل شبكة التفافية . ^{[ 130 ]}

آلة النواة متعددة الطبقات

تُعدّ آلات النواة متعددة الطبقات (MKM) طريقةً لتعلم الدوال غير الخطية للغاية من خلال التطبيق التكراري للنوى غير الخطية بشكل طفيف. وتستخدم هذه الآلات تحليل المكونات الرئيسية للنواة (KPCA) ^{[ 131 ]} كطريقة لخطوة التدريب المسبق غير الخاضع للإشراف والجشع على مستوى الطبقات في التعلم العميق. ^{[ 132 ]}

طبقة $\ell +1$ يتعلم تمثيل الطبقة السابقة $\ell$ ، واستخراج $n_{l}$ المكون الرئيسي (PC) لطبقة الإسقاط $l$ يتم الحصول على المخرجات في مجال الميزات المُستحثة بواسطة النواة. ولتقليل أبعاد التمثيل المُحدَّث في كل طبقة، تختار استراتيجية مُشرفة أفضل الميزات المعلوماتية من بين الميزات المُستخرجة بواسطة تحليل المكونات الرئيسية باستخدام النواة (KPCA). وتتلخص العملية فيما يلي:

رتب $n_{\ell }$ الميزات وفقًا لمعلوماتها المتبادلة مع تصنيفات الفئات؛
لقيم مختلفة لـ K و $m_{\ell }\in \{1,\ldots ,n_{\ell }\}$ ، احسب معدل خطأ التصنيف لمصنف أقرب جار K (K-NN) باستخدام فقط $m_{l}$ أكثر الميزات إفادةً في مجموعة التحقق ؛
قيمة $m_{\ell }$ يحدد معدل الخطأ الذي حققه المصنف عدد الميزات التي يجب الاحتفاظ بها.

تصاحب طريقة KPCA لـ MKMs بعض العيوب.

طُوِّرت طريقةٌ أبسط لاستخدام آلات النواة في التعلّم العميق لفهم اللغة المنطوقة. ^{[ 133 ]} وتتلخص الفكرة الرئيسية في استخدام آلة النواة لتقريب شبكة عصبية سطحية ذات عدد لا نهائي من الوحدات المخفية، ثم استخدام شبكة تكديس عميقة لدمج مخرجات آلة النواة مع المدخلات الأولية لبناء المستوى التالي الأعلى من آلة النواة. ويُعدّ عدد المستويات في الشبكة المحدبة العميقة مُعاملًا فائقًا للنظام ككل، ويُحدَّد عن طريق التحقق المتبادل .

انظر أيضاً

مراجع

1 2 LeCun Y, Boser B, Denker JS, Henderson D, Howard RE, Hubbard W, Jackel LD (1989). "تطبيق خوارزمية الانتشار العكسي على التعرف على الرموز البريدية المكتوبة بخط اليد" . الحوسبة العصبية . 1 (4): 541-551 . doi : 10.1162/neco.1989.1.4.541 . S2CID 41312633 .
↑ يان ليكان (2016). شرائح عرض تقديمي حول التعلم العميق ، مؤرشفة على الإنترنت بتاريخ 23 أبريل 2016 في أرشيف الإنترنت (Wayback Machine).
↑ سيلفر، ديفيد ؛ هوبرت، توماس؛ شريتويزر، جوليان؛ أنطونوغلو، يوانيس؛ لاي، ماثيو؛ غيز، آرثر؛ لانكتوت، مارك؛ سيفري، لوران؛ كوماران، دارشان ؛ غريبيل، ثور؛ ليليكرب، تيموثي؛ سيمونيان، كارين؛ هاسابيس، ديميس (5 ديسمبر 2017). "إتقان الشطرنج والشوجي باللعب الذاتي باستخدام خوارزمية عامة للتعلم المعزز". arXiv : 1712.01815 [ cs.AI ].
↑ غودفيلو، إيان؛ بوجيه-أبادي، جان؛ ميرزا، مهدي؛ شو، بينغ؛ وارد-فارلي، ديفيد؛ أوزير، شيرجيل؛ كورفيل، آرون؛ بينجيو، يوشوا (2014). الشبكات التوليدية التنافسية (ملف PDF) . وقائع المؤتمر الدولي لأنظمة معالجة المعلومات العصبية (NIPS 2014). الصفحات 2672-2680 . مؤرشف (ملف PDF) من الأصل في 22 نوفمبر 2019. تم الاطلاع عليه في 20 أغسطس 2019 .
↑ إيفاخنينكو، أليكسي غريغوريفيتش (1968). "طريقة المجموعة لمعالجة البيانات - منافسة لطريقة التقريب العشوائي" . التحكم الآلي السوفيتي . 13 (3): 43-55 .
↑ إيفاخنينكو، أ. ج. (1971). "نظرية كثيرات الحدود للأنظمة المعقدة" . معاملات IEEE في الأنظمة والإنسان وعلم التحكم الآلي . 1 (4): 364-378 . doi : 10.1109/TSMC.1971.4308320 . S2CID 17606980 .
↑ كوندو، ت.؛ أوينو، ج. (2008). "شبكة عصبية متعددة الطبقات من نوع GMDH، ذات بنية شبكة عصبية مثلى ذاتية الاختيار وتطبيقها على التعرف على الصور الطبية ثلاثية الأبعاد للأوعية الدموية" . المجلة الدولية للحوسبة المبتكرة والمعلومات والتحكم . 4 (1): 175-187 .
1 2 بينجيو، ي. (15-11-2009). "تعلم البنى العميقة للذكاء الاصطناعي" (ملف PDF) . أسس واتجاهات في تعلم الآلة . 2 (1): 1-127 . CiteSeerX 10.1.1.701.9550 . doi : 10.1561/2200000006 . ISSN 1935-8237 . S2CID 207178999 .
↑ ليو، تشنغ يوان (2008). "نمذجة إدراك الكلمات باستخدام شبكة إلمان" (ملف PDF) . الحوسبة العصبية . 71 ( 16-18 ): 3150-3157 . doi : 10.1016/j.neucom.2008.04.030 .
↑ ليو، تشنغ يوان (2014). "المشفّر التلقائي للكلمات". الحوسبة العصبية . 139 : 84-96 . doi : 10.1016/j.neucom.2013.09.055 .
^ ديدريك بي كينجما. ويلينج ماكس (2013). “الترميز التلقائي المتغير بايز”. أرخايف : 1312.6114 [ stat.ML ].
↑ بوسن، أ.؛ لارسن، ل.؛ سوندربي، إس كيه (2015). "توليد الوجوه باستخدام تورش" .
↑ "الشبكة العصبية الاحتمالية التنافسية (ملف PDF متاح للتنزيل)" . ResearchGate . تم الاطلاع عليه بتاريخ 16-03-2017 .
↑ "الشبكات العصبية الاحتمالية" . مؤرشف من الأصل بتاريخ 18-12-2010 . تم الاطلاع عليه بتاريخ 22-03-2012 .
↑ تشيونغ، فينسنت؛ كانونز، كيفن (10 يونيو 2002). "مقدمة في الشبكات العصبية الاحتمالية" (ملف PDF) . مجموعة الاستدلال الاحتمالي والإحصائي . مؤرشف من الأصل (ملف PDF) بتاريخ 31 يناير 2012. تاريخ الاسترجاع: 22 مارس 2012 .
↑ "أساسيات TDNN" . مؤرشف من الأصل بتاريخ 22-03-2017 . تم الاطلاع عليه بتاريخ 18-06-2017 .، فصل من الدليل الإلكتروني لشبكة SNNS
↑ تشانغ، وي (1990). "نموذج معالجة موزعة متوازية مع وصلات محلية ثابتة مكانيًا وبنيته البصرية" . البصريات التطبيقية . 29 (32): 4790-4797 . Bibcode : 1990ApOpt..29.4790Z . doi : 10.1364/ao.29.004790 . PMID 20577468 .
↑ تشانغ، وي (1988). "شبكة عصبية للتعرف على الأنماط غير المتغيرة مع الإزاحة وبنيتها البصرية" . وقائع المؤتمر السنوي للجمعية اليابانية للفيزياء التطبيقية .
↑ وينغ، ج.؛ أهوجا، ن.؛ هوانغ، ت.س. (مايو 1993). تعلم التعرف على الأجسام ثلاثية الأبعاد وتجزئتها من الصور ثنائية الأبعاد (ملف PDF) . المؤتمر الدولي الرابع لرؤية الحاسوب. برلين، ألمانيا. الصفحات 121-128 .
↑ فوكوشيما، ك. (1980). "نيوكوجنيترون: نموذج شبكة عصبية ذاتية التنظيم لآلية التعرف على الأنماط غير المتأثرة بتغير الموضع" . علم التحكم الحيوي . 36 (4): 193-202 . doi : 10.1007/bf00344251 . PMID 7370364. S2CID 206775608 .
↑ لوكون، يان. "LeNet-5، الشبكات العصبية الالتفافية" . تم الاسترجاع في 16 نوفمبر 2013 .
↑ "الشبكات العصبية الالتفافية (LeNet) - وثائق DeepLearning 0.1" . DeepLearning 0.1 . مختبر LISA. مؤرشف من الأصل بتاريخ 28 ديسمبر 2017. تم الاطلاع عليه بتاريخ 31 أغسطس 2013 .
↑ LeCun, Yann (2016). "شرائح حول التعلم العميق عبر الإنترنت" .
↑ "دليل التعلم غير الخاضع للإشراف للميزات والتعلم العميق" . ufldl.stanford.edu .
↑ هينتون، جيفري إي.؛ كريزيفسكي، أليكس؛ وانغ، سيدا د. (2011)، "تحويل المشفرات التلقائية"، الشبكات العصبية الاصطناعية والتعلم الآلي - ICANN 2011 ، سلسلة محاضرات في علوم الحاسوب، المجلد 6791، سبرينغر، الصفحات 44-51 ، CiteSeerX 10.1.1.220.5099 ، doi : 10.1007/978-3-642-21735-7_6 ، ISBN 9783642217340، S2CID 6138085
↑ سيجيدي، كريستيان؛ ليو، وي؛ جيا، يانغتشينغ؛ سيرمانيت، بيير؛ ريد، سكوت إي.؛ أنجيلوف، دراغومير؛ إرهان، دوميترو؛ فان هوك، فنسنت؛ رابينوفيتش، أندرو (2015). "التعمق أكثر في الالتفافات". مؤتمر IEEE حول رؤية الحاسوب والتعرف على الأنماط، CVPR 2015، بوسطن، ماساتشوستس، الولايات المتحدة الأمريكية، 7-12 يونيو 2015. جمعية IEEE للحاسوب. الصفحات 1-9 . arXiv : 1409.4842 . doi : 10.1109/CVPR.2015.7298594 . ISBN 978-1-4673-6964-0.
↑ ران، لينغيان؛ تشانغ، يانينغ؛ تشانغ، كيلين؛ يانغ، تاو (12 يونيو 2017). "ملاحة الروبوت باستخدام صور كروية غير معايرة بالاعتماد على الشبكات العصبية الالتفافية" (ملف PDF) . مجلة Sensors . 17 (6): 1341. Bibcode : 2017Senso..17.1341R . doi : 10.3390/s17061341 . ISSN: 1424-8220 . PMC: 5492478. PMID : 28604624 .
^ فان دن أورد ، هارون. ديليمان، ساندر؛ شراوين ، بنيامين (2013/01/01). بورجس، CJC. بوتو، L.؛ ويلينج، م. قهرماني، ز.؛ واينبرغر، KQ (محرران). توصية موسيقية عميقة قائمة على المحتوى (PDF) . شركاء كوران. ص 2643 – 2651.
↑ كولوبيرت، رونان؛ ويستون، جيسون (1 يناير 2008). "بنية موحدة لمعالجة اللغة الطبيعية". وقائع المؤتمر الدولي الخامس والعشرين للتعلم الآلي - ICML '08 . نيويورك، نيويورك، الولايات المتحدة الأمريكية: ACM. الصفحات 160-167 . doi : 10.1145/1390156.1390177 . ISBN 978-1-60558-205-4. S2CID 2617020 .
1 2 3 دينغ، لي؛ يو، دونغ؛ بلات، جون (2012). "التكديس والتعلم القابلان للتوسع لبناء بنى عميقة" (ملف PDF) . المؤتمر الدولي لهندسة الصوت والكلام ومعالجة الإشارات (ICASSP) لعام 2012. الصفحات 2133-2136 . doi : 10.1109/ICASSP.2012.6288333 . ISBN 978-1-4673-0046-9. S2CID 16171497 .
1 2 دينغ، لي؛ يو، دونغ (2011). "الشبكة المحدبة العميقة: بنية قابلة للتوسع لتصنيف أنماط الكلام" (ملف PDF) . وقائع مؤتمر Interspeech : 2285-2288 . doi : 10.21437/Interspeech.2011-607 . S2CID 36439 .
↑ ديفيد وولبرت (1992). "التعميم المتراكم". الشبكات العصبية . 5 (2): 241-259 . CiteSeerX 10.1.1.133.8090 . doi : 10.1016/S0893-6080(05)80023-1 .
↑ هاتشينسون، برايان؛ دينغ، لي؛ يو ، دونغ (2012). "شبكات التراص العميق للموترات". معاملات IEEE في تحليل الأنماط والذكاء الآلي . 1-15 (8): 1944-1957 . doi : 10.1109/tpami.2012.268 . PMID 23267198. S2CID 344385 .
↑ هينتون، جيفري؛ سالاخوتدينوف، روسلان (2006). " تقليل أبعاد البيانات باستخدام الشبكات العصبية" . مجلة ساينس . 313 (5786): 504-507 . Bibcode : 2006Sci...313..504H . doi : 10.1126/science.1127647 . PMID 16873662. S2CID 1658773 .
↑ دال، ج.؛ يو، د.؛ دينغ، ل.؛ أسيرو، أ. (2012). "شبكات عصبية عميقة مُدرَّبة مسبقًا تعتمد على السياق للتعرف على الكلام ذي المفردات الكبيرة". معاملات IEEE في معالجة الصوت والكلام واللغة . 20 (1): 30-42 . Bibcode : 2012ITASL..20...30D . CiteSeerX 10.1.1.227.8990 . doi : 10.1109/tasl.2011.2134090 . S2CID 14862572 .
↑ محمد، عبد الرحمن؛ دال، جورج؛ هينتون، جيفري (2012). "النمذجة الصوتية باستخدام شبكات الاعتقاد العميق". معاملات IEEE في معالجة الصوت والكلام واللغة . 20 (1): 14-22 . Bibcode : 2012ITASL..20...14M . CiteSeerX 10.1.1.338.2670 . doi : 10.1109/tasl.2011.2109382 . S2CID 9530137 .
↑ بانغ، غوفاي؛ لو، لو؛ كارنياداكيس، جورج إم (2019). "fPINNs: شبكات عصبية مُستندة إلى الفيزياء الكسرية" . مجلة SIAM للحوسبة العلمية . 41 (4): A2603– A2626. arXiv : 1811.08967 . Bibcode : 2019SJSC...41A2603P . doi : 10.1137/18M1229845 . ISSN 1064-8275 .
↑ لو، لو؛ جين، بنغزان؛ بانغ، غوفاي؛ تشانغ، تشونغتشيانغ؛ كارنياداكيس، جورج إم (18 مارس 2021). "تعلم المؤثرات غير الخطية عبر DeepONet استنادًا إلى نظرية التقريب الشاملة للمؤثرات" . مجلة Nature Machine Intelligence . 3 (3): 218-229 . arXiv : 1910.03193 . doi : 10.1038/s42256-021-00302-5 . ISSN 2522-5839 .
↑ يو، هوايكيان؛ تشانغ، كوين؛ روس، كولتون جيه؛ لي، تشونغ هاو؛ يو، يو (2022-08-01). "تعلم مُعاملات فورييه العصبية الضمنية العميقة (IFNOs) مع تطبيقات لنمذجة المواد غير المتجانسة" . أساليب الحاسوب في الميكانيكا التطبيقية والهندسة . 398 115296. arXiv : 2203.08205 . doi : 10.1016/j.cma.2022.115296 . ISSN 0045-7825 .
^ سيرانو، لويس. ليز لو بوديك؛ أرماند كاساي كوباي؛ توماس العاشر وانغ؛ يين، يوان؛ فيتوت، جان نويل؛ جاليناري، باتريك (2023). “تعلم المشغل باستخدام المجالات العصبية: معالجة أجهزة PDE في الأشكال الهندسية العامة”. أرخايف : 2306.07266 [ cs.LG ].
↑ أخلر، ت. (2023). "ما يمكن أن يتعلمه الذكاء الاصطناعي وعلم الأعصاب والعلوم المعرفية من بعضهم البعض: منظور مضمن". الحوسبة المعرفية .
↑ أخلر، ت.؛ عمر، ج.؛ أمير، إ. (2008). التخلص من الأوزان: المزيد بأقل جهد . المؤتمر الدولي المشترك حول الشبكات العصبية.
↑ هينتون، جي إي (2009). "شبكات الاعتقاد العميق" . سكولاربيديا . 4 (5): 5947. رمز Bibcode : 2009SchpJ...4.5947H . doi : 10.4249/scholarpedia.5947 .
↑ لاروشيل، هوغو؛ إرهان، دوميترو؛ كورفيل، آرون؛ بيرغسترا، جيمس؛ بينجيو، يوشوا (2007). "تقييم تجريبي للبنى العميقة على مسائل ذات عوامل تباين متعددة". وقائع المؤتمر الدولي الرابع والعشرين للتعلم الآلي . ICML '07. نيويورك، نيويورك، الولايات المتحدة الأمريكية: ACM. الصفحات 473-480 . CiteSeerX 10.1.1.77.3242 . doi : 10.1145/1273496.1273556 . ISBN 9781595937933. S2CID 14805281 .
↑ ويربوس، بي جيه (1988). "تعميم الانتشار العكسي مع تطبيق على نموذج سوق الغاز المتكرر" . الشبكات العصبية . 1 (4): 339-356 . doi : 10.1016/0893-6080(88)90007-x .
↑ روميلهارت، ديفيد إي.؛ هينتون، جيفري إي.؛ ويليامز، رونالد جيه. تعلم التمثيلات الداخلية عن طريق انتشار الخطأ (تقرير). S2CID 62245742 .
↑ روبنسون، أ. ج.؛ فولسايد، ف. (1987). شبكة انتشار الخطأ الديناميكي المدفوعة بالمرافق. تقرير فني CUED/F-INFENG/TR.1 (PDF) (تقرير). قسم الهندسة بجامعة كامبريدج.
↑ ويليامز، آر جيه؛ زيبسر، دي. (1994). "خوارزميات التعلم القائمة على التدرج للشبكات المتكررة وتعقيدها الحسابي" (ملف PDF) . الانتشار العكسي: النظرية، والبنى، والتطبيقات . هيلزديل، نيوجيرسي: إيرلبوم. S2CID 14792754 .
↑ شميدهوبر، ج. (1989). "خوارزمية تعلم محلية للشبكات الديناميكية ذات التغذية الأمامية والمتكررة". علم الاتصال . 1 (4): 403-412 . doi : 10.1080/09540098908915650 . S2CID 18721007 .
↑ Principe, JC; Euliano, NR; Lefebvre, WC الأنظمة العصبية والتكيفية: الأساسيات من خلال المحاكاة .
↑ شميدهوبر، ج. (1992). "خوارزمية تعلم ذات تعقيد زمني O(n³) لتخزين ثابت الحجم للشبكات العصبية المتكررة بالكامل والمستمرة التشغيل". الحوسبة العصبية . 4 (2): 243-248 . doi : 10.1162/neco.1992.4.2.243 . S2CID 11761172 .
↑ ويليامز، آر جيه (1989). تعقيد خوارزميات حساب التدرج الدقيق للشبكات العصبية المتكررة. تقرير فني NU-CCS-89-27 (تقرير). بوسطن: جامعة نورث إيسترن، كلية علوم الحاسوب.
↑ بيرلموتر، بكالوريوس (1989). "تعلم مسارات فضاء الحالة في الشبكات العصبية المتكررة" (ملف PDF) . الحوسبة العصبية . 1 (2): 263-269 . doi : 10.1162/neco.1989.1.2.263 . S2CID 16813485 .
^ هوخريتر، س. (1991). Unter suchungen zu dynamischen neuronalen Netzen (أطروحة الدبلوم) (باللغة الألمانية). ميونيخ: معهد ف. المعلوماتية، الجامعة التقنية.
↑ هوكريتر، س.؛ بينجيو، ي.؛ فراسكوني، ب.؛ شميدهوبر، ج. (2001). "تدفق التدرج في الشبكات المتكررة: صعوبة تعلم التبعيات طويلة المدى" (ملف PDF) . في: كريمر، س. س.؛ كولين، ج. ف. (محرران). دليل ميداني للشبكات العصبية المتكررة الديناميكية . مطبعة IEEE.
1 2 هوكريتر، س.؛ شميدهوبر، ج . (1997). "الذاكرة طويلة المدى قصيرة المدى". الحوسبة العصبية . 9 (8): 1735-1780 . doi : 10.1162/neco.1997.9.8.1735 . PMID 9377276. S2CID 1915014 .
↑ كروز، هولك. الشبكات العصبية كنظم سيبرانية (PDF) (الطبعة الثانية والمنقحة ).
^ شراوين، بنيامين. فيرسترايتن، ديفيد؛ كامبنهاوت، جان فان (2007). نظرة عامة على حوسبة الخزان: النظرية والتطبيقات والتطبيقات . الندوة الأوروبية حول الشبكات العصبية الاصطناعية ESANN. ص 471 – 482.
↑ ماس، فولفغانغ؛ ناختشلايغر، ت.؛ ماركرام، هـ. (2002). "الحوسبة الآنية بدون حالات مستقرة: إطار عمل جديد للحوسبة العصبية قائم على الاضطرابات" . الحوسبة العصبية . 14 (11): 2531-2560 . doi : 10.1162/089976602760407955 . PMID 12433288. S2CID 1045112 .
↑ جاغر، هربرت (2007). "شبكة حالة الصدى" . موسوعة سكولاربيديا . 2 (9): 2330. رمز Bibcode : 2007SchpJ...2.2330J . doi : 10.4249/scholarpedia.2330 .
↑ جاغر، هـ.؛ تسخير (2004). "التنبؤ بالأنظمة الفوضوية وتوفير الطاقة في الاتصالات اللاسلكية" . مجلة ساينس . 304 (5667): 78-80 . Bibcode : 2004Sci...304...78J . CiteSeerX 10.1.1.719.2301 . doi : 10.1126 /science.1091277 . PMID 15064413. S2CID 2184251 .
↑ جيرز، ف. أ.؛ شميدهوبر، ج. (2001). "شبكات LSTM المتكررة تتعلم لغات بسيطة خالية من السياق ولغات حساسة للسياق" . معاملات IEEE في الشبكات العصبية . 12 (6): 1333-1340 . Bibcode : 2001ITNN...12.1333G . doi : 10.1109/72.963769 . PMID 18249962 .
↑ غريفز، أ.؛ شميدهوبر، ج. (2009). التعرف على الكتابة اليدوية دون اتصال بالإنترنت باستخدام الشبكات العصبية المتكررة متعددة الأبعاد (ملف PDF) . التقدم في أنظمة معالجة المعلومات العصبية 22، NIPS'22. فانكوفر: مطبعة معهد ماساتشوستس للتكنولوجيا. الصفحات 545-552 .
↑ شوستر، مايك؛ باليوال، كولديب ك. (1997). "الشبكات العصبية المتكررة ثنائية الاتجاه" . معاملات IEEE في معالجة الإشارات . 45 (11): 2673-2681 . Bibcode : 1997ITSP...45.2673S . CiteSeerX 10.1.1.331.9441 . doi : 10.1109/78.650093 . S2CID 18375389 .
↑ غريفز، أ.؛ شميدهوبر، ج. (2005). "تصنيف الصوتيات على مستوى الإطار باستخدام LSTM ثنائي الاتجاه وهياكل الشبكات العصبية الأخرى" . الشبكات العصبية . 18 ( 5-6 ): 602-610 . CiteSeerX 10.1.1.331.5800 . doi : 10.1016/j.neunet.2005.06.042 . PMID 16112549. S2CID 1856462 .
↑ شميدهوبر، ج. (1992). "تعلم التسلسلات المعقدة والممتدة باستخدام مبدأ ضغط التاريخ". الحوسبة العصبية . 4 (2): 234-242 . doi : 10.1162/neco.1992.4.2.234 . S2CID 18271205 .
↑ "التمثيل الديناميكي لعناصر الحركة الأساسية في شبكة عصبية متكررة متطورة" (ملف PDF) . مؤرشف من النسخة الأصلية (ملف PDF) بتاريخ 18 يوليو 2011. تم الاطلاع عليه بتاريخ 12 يوليو 2010 .
↑ "الشبكة العصبية الترابطية" . www.vcclab.org . تم الاطلاع عليه بتاريخ 17-06-2017 .
↑ أندرسون، جيمس أ.؛ روزنفيلد، إدوارد (2000). الشبكات الناطقة: تاريخ شفوي للشبكات العصبية . مطبعة معهد ماساتشوستس للتكنولوجيا. ISBN 9780262511117.
↑ Y. Han, G. Huang, S. Song, L. Yang, H. Wang and Y. Wang, "Dynamic Neural Networks: A Survey," in IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 44, no. 11, pp. 7436-7456, 1 Nov. 2022, doi: 10.1109/TPAMI.2021.3117837.
↑ هينتون، جيفري إي؛ بلاوت، ديفيد سي. (1987). "استخدام الأوزان السريعة لإزالة التشويش عن الذكريات القديمة" . وقائع الاجتماع السنوي لجمعية العلوم المعرفية . 9 .
↑ فاهلمان، سكوت إي.؛ ليبير، كريستيان (29 أغسطس 1991). "بنية التعلم بالترابط المتتالي" (ملف PDF) . جامعة كارنيجي ميلون . مؤرشف من الأصل (ملف PDF) في 3 مايو 2013. تم الاطلاع عليه في 4 أكتوبر 2014 .
↑ شميدهوبر، يورغن (2014). "شبكات الذاكرة". arXiv : 1410.3916 [ cs.AI ].
↑ شميدهوبر، يورغن (2015). "شبكات الذاكرة من طرف إلى طرف". arXiv : 1503.08895 [ cs.NE ].
↑ شميدهوبر، يورغن (2015). "الإجابة على الأسئلة البسيطة واسعة النطاق باستخدام شبكات الذاكرة". arXiv : 1506.02075 [ cs.LG ].
↑ هينتون، جيفري إي. (1984). "التمثيلات الموزعة" . مؤرشف من الأصل في 2016-05-02.
↑ ناسوتيون، ب.ب.؛ خان، أ.إ. (فبراير 2008). "مخطط هرمي للخلايا العصبية البيانية للتعرف على الأنماط في الوقت الحقيقي". معاملات IEEE في الشبكات العصبية . 19 (2): 212-229 . Bibcode : 2008ITNN...19..212N . doi : 10.1109/TNN.2007.905857 . PMID 18269954. S2CID 17573325 .
↑ ساذرلاند، جون ج. (1 يناير 1990). "نموذج ثلاثي الأبعاد للذاكرة والتعلم والتعبير". المجلة الدولية للأنظمة العصبية . 01 (3): 259-267 . doi : 10.1142/S0129065790000163 .
↑ داس، س.؛ جايلز، س. ل.؛ صن، ج. ز. (1992). تعلم قواعد اللغة الخالية من السياق: قيود الشبكة العصبية المتكررة ذات ذاكرة المكدس الخارجية . المؤتمر السنوي الرابع عشر لجمعية العلوم المعرفية، ص 79.
↑ موزر، إم سي؛ داس، إس. (1993). "معالج رموز اتصالي يكتشف بنية اللغات الخالية من السياق" . التقدم في أنظمة معالجة المعلومات العصبية . 5 : 863-870 . مؤرشف من الأصل في 2019-12-06 . تم الاسترجاع في 2019-08-25 .
↑ شميدهوبر، ج. (1992). "تعلم التحكم في الذاكرة ذات الوزن السريع: بديل للشبكات المتكررة". الحوسبة العصبية . 4 (1): 131-139 . doi : 10.1162/neco.1992.4.1.131 . S2CID 16683347 .
↑ جيرز، ف.؛ شراودولف، ن.؛ شميدهوبر، ج. (2002). "تعلم التوقيت الدقيق باستخدام الشبكات المتكررة LSTM" (ملف PDF) . مجلة التعلم الآلي . 3 : 115-143 .
↑ يورغن شميدهوبر (1993). "شبكة استبطانية يمكنها تعلم تشغيل خوارزمية تغيير الأوزان الخاصة بها". وقائع المؤتمر الدولي للشبكات العصبية الاصطناعية، برايتون . معهد مهندسي الكهرباء والإلكترونيات. الصفحات 191-195 .
↑ هوكريتر، سيب؛ يونغر، أ. ستيفن؛ كونول، بيتر ر. (2001). "التعلم من خلال التعلم باستخدام خوارزمية التدرج الانحداري". ICANN . 2130 : 87-94 . CiteSeerX 10.1.1.5.323 .
↑ شميدهوبر، يورغن (2015). "التعلم للتحويل باستخدام ذاكرة غير محدودة". arXiv : 1506.02516 [ cs.NE ].
↑ شميدهوبر، يورغن (2014). "آلات تورينغ العصبية". arXiv : 1410.5401 [ cs.NE ].
↑ بورغيس، مات. "تعلم الذكاء الاصطناعي لشركة ديب مايند ركوب مترو أنفاق لندن باستخدام المنطق والذاكرة الشبيهة بالبشر" . مجلة وايرد البريطانية . تاريخ الاسترجاع: 19 أكتوبر 2016 .
↑ "ذكاء اصطناعي من ديب مايند يتعلم التنقل في مترو أنفاق لندن" . مجلة بي سي ماج . تاريخ الاسترجاع: 19 أكتوبر 2016 .
↑ مانس، جون (13 أكتوبر 2016). "الحاسوب العصبي التفاضلي من ديب مايند يساعدك على التنقل في مترو الأنفاق بفضل ذاكرته" . تيك كرانش . تم الاطلاع عليه بتاريخ 19 أكتوبر 2016 .
↑ غريفز، أليكس؛ واين، غريغ؛ رينولدز، مالكولم؛ هارلي، تيم؛ دانيهيلكا، إيفو؛ غرابسكا-بارفينسكا، أغنيشكا؛ كولميناريجو، سيرجيو غوميز؛ غريفنستيت، إدوارد؛ رامالهو، تياغو (12 أكتوبر 2016). "الحوسبة الهجينة باستخدام شبكة عصبية مع ذاكرة خارجية ديناميكية" . مجلة نيتشر . 538 (7626): 471-476 . رمز Bibcode : 2016Natur.538..471G . doi : 10.1038/nature20101 . ISSN 1476-4687 . PMID 27732574. S2CID 205251479 .
↑ "الحواسيب العصبية التفاضلية | ديب مايند" . ديب مايند . ١٢ أكتوبر ٢٠١٦. تم الاطلاع عليه بتاريخ ١٩ أكتوبر ٢٠١٦ .
↑ أتكسون، كريستوفر ج.؛ شال، ستيفان (1995). "الشبكات العصبية القائمة على الذاكرة لتعلم الروبوت". الحوسبة العصبية . 9 (3): 243-269 . doi : 10.1016/0925-2312(95)00033-6 .
↑ سالاخوتدينوف، روسلان؛ هينتون، جيفري (2009). "التجزئة الدلالية" (ملف PDF) . المجلة الدولية للاستدلال التقريبي . 50 (7): 969-978 . doi : 10.1016/j.ijar.2008.11.006 .
↑ لي، كوك ف.؛ ميكولوف، توماس (2014). "التمثيلات الموزعة للجمل والوثائق". arXiv : 1405.4053 [ cs.CL ].
↑ شميدهوبر، يورغن (2015). "شبكات المؤشر". arXiv : 1506.03134 [ stat.ML ].
↑ شميدهوبر، يورغن (2015). "آلات الوصول العشوائي العصبية". arXiv : 1511.06392 [ cs.LG ].
↑ كالتشبرينر، ن.؛ بلونسوم، ب. (2013). نماذج الترجمة المستمرة المتكررة . EMNLP'2013. ص 1700-1709 .
↑ سوتسكيفر، آي.؛ فينيالز، أو.؛ لي، كيو. في. (2014). "التعلم من تسلسل إلى تسلسل باستخدام الشبكات العصبية" (ملف PDF) . المؤتمر الثامن والعشرون لأنظمة معالجة المعلومات العصبية . arXiv : 1409.3215 .
↑ شميدهوبر، يورغن (2014). "تعلم تمثيلات العبارات باستخدام مشفر-مفكك RNN للترجمة الآلية الإحصائية". arXiv : 1406.1078 [ cs.CL ].
↑ شميدهوبر، يورغن؛ كورفيل، آرون؛ بينجيو، يوشوا (2015). "وصف محتوى الوسائط المتعددة باستخدام شبكات التشفير-فك التشفير القائمة على الانتباه". معاملات IEEE في الوسائط المتعددة . 17 (11): 1875-1886 . arXiv : 1507.01053 . Bibcode : 2015arXiv150701053C . doi : 10.1109/TMM.2015.2477044 . S2CID 1179542 .
↑ جيرستنر؛ كيستلر. "نماذج الخلايا العصبية الشوكية: الخلايا العصبية المفردة، والمجموعات، واللدونة" . icwww.epfl.ch . مؤرشف من الأصل بتاريخ 4 يونيو 2017. تم الاطلاع عليه بتاريخ 18 يونيو 2017 .كتاب مدرسي متاح مجاناً عبر الإنترنت
↑ إيزيكيفيتش إي إم (فبراير 2006). "التزامن المتعدد: الحساب باستخدام النبضات". الحوسبة العصبية . 18 (2): 245-282 . doi : 10.1162/089976606775093882 . PMID 16378515. S2CID 14253998 .
↑ مورير، إي.، كارديلو، أ.، دياز-غيليرا، أ.، بريغنانو، ل.، لوزانو، س. (2020). "مقارنة الشبكات المكانية: نهج واحد يناسب الجميع قائم على الكفاءة". مجلة Physical Review ، 101 (4) 042301. arXiv : 1807.00565 . Bibcode : 2020PhRvE.101d2301M . doi : 10.1103/PhysRevE.101.042301 . hdl : 2445/161417 . PMID: 32422764. S2CID : 49564277 .
↑ غوبتا ج، مولنار س، شي ي، نايت ج، شيخار س (2021). "الشبكات العصبية العميقة الواعية بالتغير المكاني (SVANN): منهج عام". معاملات ACM في الأنظمة الذكية والتكنولوجيا . 12 (6): 1-21 . doi : 10.1145/3466688 . S2CID 244786699 .
↑ هاغناور ج، هيلبيش م (2022). "شبكة عصبية اصطناعية موزونة جغرافيًا" . المجلة الدولية لعلوم المعلومات الجغرافية . 36 (2): 215-235 . Bibcode : 2022IJGIS..36..215H . doi : 10.1080/13658816.2021.1871618 . S2CID 233883395 .
↑ ديفيد هـ. هوبل وتورستن ن. ويزل (2005). الدماغ والإدراك البصري: قصة تعاون دام 25 عامًا . مطبعة جامعة أكسفورد. ص 106. ISBN 978-0-19-517618-6.
↑ هوبل، د.هـ؛ ويزل، ت.ن (أكتوبر 1959). " الحقول الاستقبالية للخلايا العصبية المفردة في القشرة المخططة للقط" . مجلة علم وظائف الأعضاء 148 ( 3): 574-91 . doi : 10.1113/jphysiol.1959.sp006308 . PMC 1363130. PMID 14403679 .
^ فوكوشيما 1987 ، ص. 83.
^ فوكوشيما 1987 ، ص. 84.
↑ فوكوشيما 2007 .
↑ فوكوشيما 1987 ، ص 81، 85.
↑ لوكون، يان؛ بينجيو، يوشوا؛ هينتون، جيفري (2015). "التعلم العميق" (ملف PDF) . مجلة نيتشر . 521 (7553): 436-444 . Bibcode : 2015Natur.521..436L . doi : 10.1038/nature14539 . PMID: 26017442. S2CID : 3074096 .
↑ هينتون، جي إي ؛ أوسينديرو، إس؛ تيه، واي. (2006). "خوارزمية تعلم سريعة لشبكات الاعتقاد العميق" (ملف PDF) . الحوسبة العصبية . 18 (7): 1527-1554 . CiteSeerX 10.1.1.76.1541 . doi : 10.1162/neco.2006.18.7.1527 . PMID 16764513. S2CID 2309950 .
↑ هينتون، جيفري؛ سالاخوتدينوف، روسلان (2009). "التعلم الفعال لآلات بولتزمان العميقة" (ملف PDF) . 3 : 448-455 . مؤرشف من الأصل (ملف PDF) بتاريخ 2015-11-06 . تم الاطلاع عليه بتاريخ 2019-08-25 .{{cite journal}}يتطلب الاستشهاد بالمجلة ( مساعدة )|journal=
↑ لاروشيل، هوغو؛ بينجيو، يوشوا؛ لورادور، جيردمي؛ لامبلين، باسكال (2009). "استكشاف استراتيجيات تدريب الشبكات العصبية العميقة" . مجلة أبحاث تعلم الآلة . 10 : 1-40 .
↑ كوتس، آدم؛ كاربنتر، بليك؛ كيس، كارل؛ ساتيش، سانجيف؛ سوريش، بيبين؛ وانغ، تاو؛ وو، ديفيد جيه؛ نغ، أ. (18 سبتمبر 2011). "الكشف عن النصوص والتعرف على الأحرف في صور المشاهد باستخدام التعلم غير الخاضع للإشراف للميزات" (ملف PDF) . المؤتمر الدولي لهندسة الكهرباء والإلكترونيات حول تحليل المستندات والتعرف عليها : 440-445 .
↑ لي، هونغلاك؛ غروس، روجر (2009). "شبكات الاعتقاد العميق التلافيفية للتعلم غير الخاضع للإشراف القابل للتوسع للتمثيلات الهرمية". وقائع المؤتمر الدولي السنوي السادس والعشرين للتعلم الآلي . الصفحات 609-616 . CiteSeerX 10.1.1.149.6800 . doi : 10.1145/1553374.1553453 . ISBN 9781605585161. S2CID 12008458 .
↑ كورفيل، آرون؛ بيرغسترا، جيمس؛ بينجيو، يوشوا (2011). "نماذج غير خاضعة للإشراف للصور باستخدام نماذج بولتزمان المقيدة ذات البنية الشوكية واللوحية" (ملف PDF) . وقائع المؤتمر الدولي الثامن والعشرين للتعلم الآلي . المجلد 10. الصفحات 1-8 . مؤرشف من النسخة الأصلية (PDF) بتاريخ 4 مارس 2016. تم الاطلاع عليه بتاريخ 25 أغسطس 2019 .
^ لين ، يوانكينج. تشانغ، تونغ؛ تشو، شينغهو؛ يو كاي (2010). "شبكة الترميز العميق" . التقدم في أنظمة معالجة المعلومات العصبية 23 (NIPS 2010) . المجلد. 23. ص 1 – 9.
↑ رانزاتو، مارك أوريليو؛ بوريو، واي-لان (2007). "تعلم الميزات المتفرقة لشبكات الاعتقاد العميق" (ملف PDF) . التطورات في أنظمة معالجة المعلومات العصبية . 23 : 1-8 . مؤرشف من الأصل (ملف PDF) بتاريخ 4 مارس 2016. تم الاطلاع عليه بتاريخ 25 أغسطس 2019 .
↑ سوشر، ريتشارد؛ لين، كليف (2011). "تحليل المشاهد الطبيعية واللغة الطبيعية باستخدام الشبكات العصبية المتكررة" (ملف PDF) . وقائع المؤتمر الدولي السادس والعشرين للتعلم الآلي . مؤرشف من النسخة الأصلية (ملف PDF) بتاريخ 4 مارس 2016. تم الاطلاع عليه بتاريخ 25 أغسطس 2019 .
↑ تايلور، غراهام؛ هينتون، جيفري (2006). "نمذجة الحركة البشرية باستخدام المتغيرات الكامنة الثنائية" (ملف PDF) . التطورات في أنظمة معالجة المعلومات العصبية . مؤرشف من الأصل (ملف PDF) بتاريخ 4 مارس 2016. تم الاطلاع عليه بتاريخ 25 أغسطس 2019 .
↑ فينسنت، باسكال؛ لاروشيل، هوغو (2008). "استخلاص وتكوين ميزات قوية باستخدام مشفرات تلقائية لإزالة التشويش". وقائع المؤتمر الدولي الخامس والعشرين للتعلم الآلي - ICML '08 . الصفحات 1096-1103 . CiteSeerX 10.1.1.298.4083 . doi : 10.1145/1390156.1390294 . ISBN 9781605582054. S2CID 207168299 .
↑ كيمب، تشارلز؛ بيرفورس، إيمي؛ تيننباوم، جوشوا (2007). "تعلم الفرضيات الزائدة باستخدام نماذج بايزية هرمية". علم النمو . 10 (3): 307-321 . CiteSeerX 10.1.1.141.5560 . doi : 10.1111/j.1467-7687.2007.00585.x . PMID 17444972 .
↑ شو، فاي؛ تيننباوم، جوشوا (2007). "تعلم الكلمات كاستدلال بايزي". مجلة علم النفس ، 114 (2): 245-272 . CiteSeerX 10.1.1.57.9649 . doi : 10.1037/0033-295X.114.2.245 . PMID 17500627 .
↑ تشين، بو؛ بولاتكان، غونغور (2011). "عملية بيتا الهرمية لتحليل العوامل الالتفافية والتعلم العميق" (ملف PDF) . وقائع المؤتمر الدولي الثامن والعشرين للتعلم الآلي . أومنيبريس. الصفحات 361-368 . ISBN 978-1-4503-0619-5.
↑ فاي-فاي، لي؛ فيرغوس، روب (2006). "التعلم بلقطة واحدة لفئات الكائنات". معاملات IEEE في تحليل الأنماط والذكاء الآلي . 28 (4): 594-611 . Bibcode : 2006ITPAM..28..594F . CiteSeerX 10.1.1.110.9024 . doi : 10.1109/TPAMI.2006.79 . PMID 16566508. S2CID 6953475 .
↑ رودريغيز، أبيل؛ دونسون، ديفيد (2008). "عملية ديريشليه المتداخلة" . مجلة الجمعية الإحصائية الأمريكية . 103 (483): 1131-1154 . CiteSeerX 10.1.1.70.9873 . doi : 10.1198/016214508000000553 . S2CID 13462201 .
↑ روسلان، سالاخوتدينوف؛ جوشوا، تيننباوم (2012). "التعلم باستخدام النماذج الهرمية العميقة". معاملات IEEE في تحليل الأنماط والذكاء الآلي . 35 (8 ) : 1958-1971 . CiteSeerX 10.1.1.372.909 . doi : 10.1109/TPAMI.2012.269 . PMID 23787346. S2CID 4508400 .
1 2 تشالاساني، راكيش؛ برينسيبي، خوسيه (2013). "شبكات الترميز التنبؤي العميق". arXiv : 1301.3541 [ cs.LG ].
↑ شولكوف، ب؛ سمولا، ألكسندر (1998). "تحليل المكونات غير الخطية كمسألة قيم ذاتية للنواة". الحوسبة العصبية . 44 (5): 1299-1319 . CiteSeerX 10.1.1.53.8911 . doi : 10.1162/089976698300017467 . S2CID 6674407 .
↑ تشو، يونغمين (2012). أساليب النواة للتعلم العميق (ملف PDF) (أطروحة دكتوراه). الصفحات 1-9 .
↑ دينغ، لي؛ تور، جوكهان؛ هي، شياودونغ؛ هاكاني-تور، ديليك (1 ديسمبر 2012). "استخدام الشبكات المحدبة العميقة ذات النواة والتعلم الشامل لفهم اللغة المنطوقة" . مايكروسوفت للأبحاث .

للمزيد من القراءة

فوكوشيما، كونيهيكو (1987). "نموذج شبكة عصبية هرمية للانتباه الانتقائي". في: إيكميلر، ر.؛ فون دير مالسبورغ، س. (محرران). الحواسيب العصبية . سبرينغر-فيرلاغ. ص 81-90 .
فوكوشيما، كونيهيكو (2007). "نيوكوجنيترون" . سكولاربيديا . 2 (1): 1717. رمز Bibcode : 2007SchpJ...2.1717F . doi : 10.4249/scholarpedia.1717 .

[LECUN1989-1] 1 2 LeCun Y, Boser B, Denker JS, Henderson D, Howard RE, Hubbard W, Jackel LD (1989). "تطبيق خوارزمية الانتشار العكسي على التعرف على الرموز البريدية المكتوبة بخط اليد" . الحوسبة العصبية . 1 (4): 541-551 . doi : 10.1162/neco.1989.1.4.541 . S2CID 41312633 .

[lecun2016slides2-2] يان ليكان (2016). شرائح عرض تقديمي حول التعلم العميق ، مؤرشفة على الإنترنت بتاريخ 23 أبريل 2016 في أرشيف الإنترنت (Wayback Machine).

[preprint2-3] سيلفر، ديفيد ؛ هوبرت، توماس؛ شريتويزر، جوليان؛ أنطونوغلو، يوانيس؛ لاي، ماثيو؛ غيز، آرثر؛ لانكتوت، مارك؛ سيفري، لوران؛ كوماران، دارشان ؛ غريبيل، ثور؛ ليليكرب، تيموثي؛ سيمونيان، كارين؛ هاسابيس، ديميس (5 ديسمبر 2017). "إتقان الشطرنج والشوجي باللعب الذاتي باستخدام خوارزمية عامة للتعلم المعزز". arXiv : 1712.01815 [ cs.AI ].

[GANnips2-4] غودفيلو، إيان؛ بوجيه-أبادي، جان؛ ميرزا، مهدي؛ شو، بينغ؛ وارد-فارلي، ديفيد؛ أوزير، شيرجيل؛ كورفيل، آرون؛ بينجيو، يوشوا (2014). الشبكات التوليدية التنافسية (ملف PDF) . وقائع المؤتمر الدولي لأنظمة معالجة المعلومات العصبية (NIPS 2014). الصفحات 2672-2680 . مؤرشف (ملف PDF) من الأصل في 22 نوفمبر 2019. تم الاطلاع عليه في 20 أغسطس 2019 .

[ivak1968-5] إيفاخنينكو، أليكسي غريغوريفيتش (1968). "طريقة المجموعة لمعالجة البيانات - منافسة لطريقة التقريب العشوائي" . التحكم الآلي السوفيتي . 13 (3): 43-55 .

[ivak1971-6] إيفاخنينكو، أ. ج. (1971). "نظرية كثيرات الحدود للأنظمة المعقدة" . معاملات IEEE في الأنظمة والإنسان وعلم التحكم الآلي . 1 (4): 364-378 . doi : 10.1109/TSMC.1971.4308320 . S2CID 17606980 .

[kondo2008-7] كوندو، ت.؛ أوينو، ج. (2008). "شبكة عصبية متعددة الطبقات من نوع GMDH، ذات بنية شبكة عصبية مثلى ذاتية الاختيار وتطبيقها على التعرف على الصور الطبية ثلاثية الأبعاد للأوعية الدموية" . المجلة الدولية للحوسبة المبتكرة والمعلومات والتحكم . 4 (1): 175-187 .

[bengio-8] 1 2 بينجيو، ي. (15-11-2009). "تعلم البنى العميقة للذكاء الاصطناعي" (ملف PDF) . أسس واتجاهات في تعلم الآلة . 2 (1): 1-127 . CiteSeerX 10.1.1.701.9550 . doi : 10.1561/2200000006 . ISSN 1935-8237 . S2CID 207178999 .

[9] ليو، تشنغ يوان (2008). "نمذجة إدراك الكلمات باستخدام شبكة إلمان" (ملف PDF) . الحوسبة العصبية . 71 ( 16-18 ): 3150-3157 . doi : 10.1016/j.neucom.2008.04.030 .

[10] ليو، تشنغ يوان (2014). "المشفّر التلقائي للكلمات". الحوسبة العصبية . 139 : 84-96 . doi : 10.1016/j.neucom.2013.09.055 .

[VAE-11] ديدريك بي كينجما. ويلينج ماكس (2013). “الترميز التلقائي المتغير بايز”. أرخايف : 1312.6114 [ stat.ML ].

[gan_faces-12] بوسن، أ.؛ لارسن، ل.؛ سوندربي، إس كيه (2015). "توليد الوجوه باستخدام تورش" .

[13] "الشبكة العصبية الاحتمالية التنافسية (ملف PDF متاح للتنزيل)" . ResearchGate . تم الاطلاع عليه بتاريخ 16-03-2017 .

[14] "الشبكات العصبية الاحتمالية" . مؤرشف من الأصل بتاريخ 18-12-2010 . تم الاطلاع عليه بتاريخ 22-03-2012 .

[15] تشيونغ، فينسنت؛ كانونز، كيفن (10 يونيو 2002). "مقدمة في الشبكات العصبية الاحتمالية" (ملف PDF) . مجموعة الاستدلال الاحتمالي والإحصائي . مؤرشف من الأصل (ملف PDF) بتاريخ 31 يناير 2012. تاريخ الاسترجاع: 22 مارس 2012 .

[16] "أساسيات TDNN" . مؤرشف من الأصل بتاريخ 22-03-2017 . تم الاطلاع عليه بتاريخ 18-06-2017 .، فصل من الدليل الإلكتروني لشبكة SNNS

[:1-17] تشانغ، وي (1990). "نموذج معالجة موزعة متوازية مع وصلات محلية ثابتة مكانيًا وبنيته البصرية" . البصريات التطبيقية . 29 (32): 4790-4797 . Bibcode : 1990ApOpt..29.4790Z . doi : 10.1364/ao.29.004790 . PMID 20577468 .

[:0-18] تشانغ، وي (1988). "شبكة عصبية للتعرف على الأنماط غير المتغيرة مع الإزاحة وبنيتها البصرية" . وقائع المؤتمر السنوي للجمعية اليابانية للفيزياء التطبيقية .

[Weng19932-19] وينغ، ج.؛ أهوجا، ن.؛ هوانغ، ت.س. (مايو 1993). تعلم التعرف على الأجسام ثلاثية الأبعاد وتجزئتها من الصور ثنائية الأبعاد (ملف PDF) . المؤتمر الدولي الرابع لرؤية الحاسوب. برلين، ألمانيا. الصفحات 121-128 .

[FUKU1980-20] فوكوشيما، ك. (1980). "نيوكوجنيترون: نموذج شبكة عصبية ذاتية التنظيم لآلية التعرف على الأنماط غير المتأثرة بتغير الموضع" . علم التحكم الحيوي . 36 (4): 193-202 . doi : 10.1007/bf00344251 . PMID 7370364. S2CID 206775608 .

[LeCun-21] لوكون، يان. "LeNet-5، الشبكات العصبية الالتفافية" . تم الاسترجاع في 16 نوفمبر 2013 .

[deeplearning-22] "الشبكات العصبية الالتفافية (LeNet) - وثائق DeepLearning 0.1" . DeepLearning 0.1 . مختبر LISA. مؤرشف من الأصل بتاريخ 28 ديسمبر 2017. تم الاطلاع عليه بتاريخ 31 أغسطس 2013 .

[lecun2016slides-23] LeCun, Yann (2016). "شرائح حول التعلم العميق عبر الإنترنت" .

[STANCNN-24] "دليل التعلم غير الخاضع للإشراف للميزات والتعلم العميق" . ufldl.stanford.edu .

[25] هينتون، جيفري إي.؛ كريزيفسكي، أليكس؛ وانغ، سيدا د. (2011)، "تحويل المشفرات التلقائية"، الشبكات العصبية الاصطناعية والتعلم الآلي - ICANN 2011 ، سلسلة محاضرات في علوم الحاسوب، المجلد 6791، سبرينغر، الصفحات 44-51 ، CiteSeerX 10.1.1.220.5099 ، doi : 10.1007/978-3-642-21735-7_6 ، ISBN 9783642217340، S2CID 6138085

[deepdream-26] سيجيدي، كريستيان؛ ليو، وي؛ جيا، يانغتشينغ؛ سيرمانيت، بيير؛ ريد، سكوت إي.؛ أنجيلوف، دراغومير؛ إرهان، دوميترو؛ فان هوك، فنسنت؛ رابينوفيتش، أندرو (2015). "التعمق أكثر في الالتفافات". مؤتمر IEEE حول رؤية الحاسوب والتعرف على الأنماط، CVPR 2015، بوسطن، ماساتشوستس، الولايات المتحدة الأمريكية، 7-12 يونيو 2015. جمعية IEEE للحاسوب. الصفحات 1-9 . arXiv : 1409.4842 . doi : 10.1109/CVPR.2015.7298594 . ISBN 978-1-4673-6964-0.

[27] ران، لينغيان؛ تشانغ، يانينغ؛ تشانغ، كيلين؛ يانغ، تاو (12 يونيو 2017). "ملاحة الروبوت باستخدام صور كروية غير معايرة بالاعتماد على الشبكات العصبية الالتفافية" (ملف PDF) . مجلة Sensors . 17 (6): 1341. Bibcode : 2017Senso..17.1341R . doi : 10.3390/s17061341 . ISSN: 1424-8220 . PMC: 5492478. PMID : 28604624 .

[28] فان دن أورد ، هارون. ديليمان، ساندر؛ شراوين ، بنيامين (2013/01/01). بورجس، CJC. بوتو، L.؛ ويلينج، م. قهرماني، ز.؛ واينبرغر، KQ (محرران). توصية موسيقية عميقة قائمة على المحتوى (PDF) . شركاء كوران. ص 2643 – 2651.

[29] كولوبيرت، رونان؛ ويستون، جيسون (1 يناير 2008). "بنية موحدة لمعالجة اللغة الطبيعية". وقائع المؤتمر الدولي الخامس والعشرين للتعلم الآلي - ICML '08 . نيويورك، نيويورك، الولايات المتحدة الأمريكية: ACM. الصفحات 160-167 . doi : 10.1145/1390156.1390177 . ISBN 978-1-60558-205-4. S2CID 2617020 .

[ref172-30] 1 2 3 دينغ، لي؛ يو، دونغ؛ بلات، جون (2012). "التكديس والتعلم القابلان للتوسع لبناء بنى عميقة" (ملف PDF) . المؤتمر الدولي لهندسة الصوت والكلام ومعالجة الإشارات (ICASSP) لعام 2012. الصفحات 2133-2136 . doi : 10.1109/ICASSP.2012.6288333 . ISBN 978-1-4673-0046-9. S2CID 16171497 .

[ref162-31] 1 2 دينغ، لي؛ يو، دونغ (2011). "الشبكة المحدبة العميقة: بنية قابلة للتوسع لتصنيف أنماط الكلام" (ملف PDF) . وقائع مؤتمر Interspeech : 2285-2288 . doi : 10.21437/Interspeech.2011-607 . S2CID 36439 .

[ref18-32] ديفيد وولبرت (1992). "التعميم المتراكم". الشبكات العصبية . 5 (2): 241-259 . CiteSeerX 10.1.1.133.8090 . doi : 10.1016/S0893-6080(05)80023-1 .

[ref19-33] هاتشينسون، برايان؛ دينغ، لي؛ يو ، دونغ (2012). "شبكات التراص العميق للموترات". معاملات IEEE في تحليل الأنماط والذكاء الآلي . 1-15 (8): 1944-1957 . doi : 10.1109/tpami.2012.268 . PMID 23267198. S2CID 344385 .

[ref26-34] هينتون، جيفري؛ سالاخوتدينوف، روسلان (2006). " تقليل أبعاد البيانات باستخدام الشبكات العصبية" . مجلة ساينس . 313 (5786): 504-507 . Bibcode : 2006Sci...313..504H . doi : 10.1126/science.1127647 . PMID 16873662. S2CID 1658773 .

[ref27-35] دال، ج.؛ يو، د.؛ دينغ، ل.؛ أسيرو، أ. (2012). "شبكات عصبية عميقة مُدرَّبة مسبقًا تعتمد على السياق للتعرف على الكلام ذي المفردات الكبيرة". معاملات IEEE في معالجة الصوت والكلام واللغة . 20 (1): 30-42 . Bibcode : 2012ITASL..20...30D . CiteSeerX 10.1.1.227.8990 . doi : 10.1109/tasl.2011.2134090 . S2CID 14862572 .

[ref28-36] محمد، عبد الرحمن؛ دال، جورج؛ هينتون، جيفري (2012). "النمذجة الصوتية باستخدام شبكات الاعتقاد العميق". معاملات IEEE في معالجة الصوت والكلام واللغة . 20 (1): 14-22 . Bibcode : 2012ITASL..20...14M . CiteSeerX 10.1.1.338.2670 . doi : 10.1109/tasl.2011.2109382 . S2CID 9530137 .

[37] بانغ، غوفاي؛ لو، لو؛ كارنياداكيس، جورج إم (2019). "fPINNs: شبكات عصبية مُستندة إلى الفيزياء الكسرية" . مجلة SIAM للحوسبة العلمية . 41 (4): A2603– A2626. arXiv : 1811.08967 . Bibcode : 2019SJSC...41A2603P . doi : 10.1137/18M1229845 . ISSN 1064-8275 .

[38] لو، لو؛ جين، بنغزان؛ بانغ، غوفاي؛ تشانغ، تشونغتشيانغ؛ كارنياداكيس، جورج إم (18 مارس 2021). "تعلم المؤثرات غير الخطية عبر DeepONet استنادًا إلى نظرية التقريب الشاملة للمؤثرات" . مجلة Nature Machine Intelligence . 3 (3): 218-229 . arXiv : 1910.03193 . doi : 10.1038/s42256-021-00302-5 . ISSN 2522-5839 .

[39] يو، هوايكيان؛ تشانغ، كوين؛ روس، كولتون جيه؛ لي، تشونغ هاو؛ يو، يو (2022-08-01). "تعلم مُعاملات فورييه العصبية الضمنية العميقة (IFNOs) مع تطبيقات لنمذجة المواد غير المتجانسة" . أساليب الحاسوب في الميكانيكا التطبيقية والهندسة . 398 115296. arXiv : 2203.08205 . doi : 10.1016/j.cma.2022.115296 . ISSN 0045-7825 .

[40] سيرانو، لويس. ليز لو بوديك؛ أرماند كاساي كوباي؛ توماس العاشر وانغ؛ يين، يوان؛ فيتوت، جان نويل؛ جاليناري، باتريك (2023). “تعلم المشغل باستخدام المجالات العصبية: معالجة أجهزة PDE في الأشكال الهندسية العامة”. أرخايف : 2306.07266 [ cs.LG ].

[AINeuroCog-41] أخلر، ت. (2023). "ما يمكن أن يتعلمه الذكاء الاصطناعي وعلم الأعصاب والعلوم المعرفية من بعضهم البعض: منظور مضمن". الحوسبة المعرفية .

[shedding2-42] أخلر، ت.؛ عمر، ج.؛ أمير، إ. (2008). التخلص من الأوزان: المزيد بأقل جهد . المؤتمر الدولي المشترك حول الشبكات العصبية.

[SCHOLARDBNS-43] هينتون، جي إي (2009). "شبكات الاعتقاد العميق" . سكولاربيديا . 4 (5): 5947. رمز Bibcode : 2009SchpJ...4.5947H . doi : 10.4249/scholarpedia.5947 .

[44] لاروشيل، هوغو؛ إرهان، دوميترو؛ كورفيل، آرون؛ بيرغسترا، جيمس؛ بينجيو، يوشوا (2007). "تقييم تجريبي للبنى العميقة على مسائل ذات عوامل تباين متعددة". وقائع المؤتمر الدولي الرابع والعشرين للتعلم الآلي . ICML '07. نيويورك، نيويورك، الولايات المتحدة الأمريكية: ACM. الصفحات 473-480 . CiteSeerX 10.1.1.77.3242 . doi : 10.1145/1273496.1273556 . ISBN 9781595937933. S2CID 14805281 .

[45] ويربوس، بي جيه (1988). "تعميم الانتشار العكسي مع تطبيق على نموذج سوق الغاز المتكرر" . الشبكات العصبية . 1 (4): 339-356 . doi : 10.1016/0893-6080(88)90007-x .

[46] روميلهارت، ديفيد إي.؛ هينتون، جيفري إي.؛ ويليامز، رونالد جيه. تعلم التمثيلات الداخلية عن طريق انتشار الخطأ (تقرير). S2CID 62245742 .

[47] روبنسون، أ. ج.؛ فولسايد، ف. (1987). شبكة انتشار الخطأ الديناميكي المدفوعة بالمرافق. تقرير فني CUED/F-INFENG/TR.1 (PDF) (تقرير). قسم الهندسة بجامعة كامبريدج.

[48] ويليامز، آر جيه؛ زيبسر، دي. (1994). "خوارزميات التعلم القائمة على التدرج للشبكات المتكررة وتعقيدها الحسابي" (ملف PDF) . الانتشار العكسي: النظرية، والبنى، والتطبيقات . هيلزديل، نيوجيرسي: إيرلبوم. S2CID 14792754 .

[49] شميدهوبر، ج. (1989). "خوارزمية تعلم محلية للشبكات الديناميكية ذات التغذية الأمامية والمتكررة". علم الاتصال . 1 (4): 403-412 . doi : 10.1080/09540098908915650 . S2CID 18721007 .

[50] Principe, JC; Euliano, NR; Lefebvre, WC الأنظمة العصبية والتكيفية: الأساسيات من خلال المحاكاة .

[51] شميدهوبر، ج. (1992). "خوارزمية تعلم ذات تعقيد زمني O(n³) لتخزين ثابت الحجم للشبكات العصبية المتكررة بالكامل والمستمرة التشغيل". الحوسبة العصبية . 4 (2): 243-248 . doi : 10.1162/neco.1992.4.2.243 . S2CID 11761172 .

[52] ويليامز، آر جيه (1989). تعقيد خوارزميات حساب التدرج الدقيق للشبكات العصبية المتكررة. تقرير فني NU-CCS-89-27 (تقرير). بوسطن: جامعة نورث إيسترن، كلية علوم الحاسوب.

[53] بيرلموتر، بكالوريوس (1989). "تعلم مسارات فضاء الحالة في الشبكات العصبية المتكررة" (ملف PDF) . الحوسبة العصبية . 1 (2): 263-269 . doi : 10.1162/neco.1989.1.2.263 . S2CID 16813485 .

[54] هوخريتر، س. (1991). Unter suchungen zu dynamischen neuronalen Netzen (أطروحة الدبلوم) (باللغة الألمانية). ميونيخ: معهد ف. المعلوماتية، الجامعة التقنية.

[55] هوكريتر، س.؛ بينجيو، ي.؛ فراسكوني، ب.؛ شميدهوبر، ج. (2001). "تدفق التدرج في الشبكات المتكررة: صعوبة تعلم التبعيات طويلة المدى" (ملف PDF) . في: كريمر، س. س.؛ كولين، ج. ف. (محرران). دليل ميداني للشبكات العصبية المتكررة الديناميكية . مطبعة IEEE.

[lstm-56] 1 2 هوكريتر، س.؛ شميدهوبر، ج . (1997). "الذاكرة طويلة المدى قصيرة المدى". الحوسبة العصبية . 9 (8): 1735-1780 . doi : 10.1162/neco.1997.9.8.1735 . PMID 9377276. S2CID 1915014 .

[57] كروز، هولك. الشبكات العصبية كنظم سيبرانية (PDF) (الطبعة الثانية والمنقحة ).

[58] شراوين، بنيامين. فيرسترايتن، ديفيد؛ كامبنهاوت، جان فان (2007). نظرة عامة على حوسبة الخزان: النظرية والتطبيقات والتطبيقات . الندوة الأوروبية حول الشبكات العصبية الاصطناعية ESANN. ص 471 – 482.

[59] ماس، فولفغانغ؛ ناختشلايغر، ت.؛ ماركرام، هـ. (2002). "الحوسبة الآنية بدون حالات مستقرة: إطار عمل جديد للحوسبة العصبية قائم على الاضطرابات" . الحوسبة العصبية . 14 (11): 2531-2560 . doi : 10.1162/089976602760407955 . PMID 12433288. S2CID 1045112 .

[60] جاغر، هربرت (2007). "شبكة حالة الصدى" . موسوعة سكولاربيديا . 2 (9): 2330. رمز Bibcode : 2007SchpJ...2.2330J . doi : 10.4249/scholarpedia.2330 .

[61] جاغر، هـ.؛ تسخير (2004). "التنبؤ بالأنظمة الفوضوية وتوفير الطاقة في الاتصالات اللاسلكية" . مجلة ساينس . 304 (5667): 78-80 . Bibcode : 2004Sci...304...78J . CiteSeerX 10.1.1.719.2301 . doi : 10.1126 /science.1091277 . PMID 15064413. S2CID 2184251 .

[62] جيرز، ف. أ.؛ شميدهوبر، ج. (2001). "شبكات LSTM المتكررة تتعلم لغات بسيطة خالية من السياق ولغات حساسة للسياق" . معاملات IEEE في الشبكات العصبية . 12 (6): 1333-1340 . Bibcode : 2001ITNN...12.1333G . doi : 10.1109/72.963769 . PMID 18249962 .

[63] غريفز، أ.؛ شميدهوبر، ج. (2009). التعرف على الكتابة اليدوية دون اتصال بالإنترنت باستخدام الشبكات العصبية المتكررة متعددة الأبعاد (ملف PDF) . التقدم في أنظمة معالجة المعلومات العصبية 22، NIPS'22. فانكوفر: مطبعة معهد ماساتشوستس للتكنولوجيا. الصفحات 545-552 .

[64] شوستر، مايك؛ باليوال، كولديب ك. (1997). "الشبكات العصبية المتكررة ثنائية الاتجاه" . معاملات IEEE في معالجة الإشارات . 45 (11): 2673-2681 . Bibcode : 1997ITSP...45.2673S . CiteSeerX 10.1.1.331.9441 . doi : 10.1109/78.650093 . S2CID 18375389 .

[65] غريفز، أ.؛ شميدهوبر، ج. (2005). "تصنيف الصوتيات على مستوى الإطار باستخدام LSTM ثنائي الاتجاه وهياكل الشبكات العصبية الأخرى" . الشبكات العصبية . 18 ( 5-6 ): 602-610 . CiteSeerX 10.1.1.331.5800 . doi : 10.1016/j.neunet.2005.06.042 . PMID 16112549. S2CID 1856462 .

[66] شميدهوبر، ج. (1992). "تعلم التسلسلات المعقدة والممتدة باستخدام مبدأ ضغط التاريخ". الحوسبة العصبية . 4 (2): 234-242 . doi : 10.1162/neco.1992.4.2.234 . S2CID 18271205 .

[67] "التمثيل الديناميكي لعناصر الحركة الأساسية في شبكة عصبية متكررة متطورة" (ملف PDF) . مؤرشف من النسخة الأصلية (ملف PDF) بتاريخ 18 يوليو 2011. تم الاطلاع عليه بتاريخ 12 يوليو 2010 .

[68] "الشبكة العصبية الترابطية" . www.vcclab.org . تم الاطلاع عليه بتاريخ 17-06-2017 .

[69] أندرسون، جيمس أ.؛ روزنفيلد، إدوارد (2000). الشبكات الناطقة: تاريخ شفوي للشبكات العصبية . مطبعة معهد ماساتشوستس للتكنولوجيا. ISBN 9780262511117.

[70] Y. Han, G. Huang, S. Song, L. Yang, H. Wang and Y. Wang, "Dynamic Neural Networks: A Survey," in IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 44, no. 11, pp. 7436-7456, 1 Nov. 2022, doi: 10.1109/TPAMI.2021.3117837.

[71] هينتون، جيفري إي؛ بلاوت، ديفيد سي. (1987). "استخدام الأوزان السريعة لإزالة التشويش عن الذكريات القديمة" . وقائع الاجتماع السنوي لجمعية العلوم المعرفية . 9 .

[72] فاهلمان، سكوت إي.؛ ليبير، كريستيان (29 أغسطس 1991). "بنية التعلم بالترابط المتتالي" (ملف PDF) . جامعة كارنيجي ميلون . مؤرشف من الأصل (ملف PDF) في 3 مايو 2013. تم الاطلاع عليه في 4 أكتوبر 2014 .

[Weston,_Jason_14102-73] شميدهوبر، يورغن (2014). "شبكات الذاكرة". arXiv : 1410.3916 [ cs.AI ].

[74] شميدهوبر، يورغن (2015). "شبكات الذاكرة من طرف إلى طرف". arXiv : 1503.08895 [ cs.NE ].

[75] شميدهوبر، يورغن (2015). "الإجابة على الأسئلة البسيطة واسعة النطاق باستخدام شبكات الذاكرة". arXiv : 1506.02075 [ cs.LG ].

[Hinton,_Geoffrey_E_19842-76] هينتون، جيفري إي. (1984). "التمثيلات الموزعة" . مؤرشف من الأصل في 2016-05-02.

[77] ناسوتيون، ب.ب.؛ خان، أ.إ. (فبراير 2008). "مخطط هرمي للخلايا العصبية البيانية للتعرف على الأنماط في الوقت الحقيقي". معاملات IEEE في الشبكات العصبية . 19 (2): 212-229 . Bibcode : 2008ITNN...19..212N . doi : 10.1109/TNN.2007.905857 . PMID 18269954. S2CID 17573325 .

[78] ساذرلاند، جون ج. (1 يناير 1990). "نموذج ثلاثي الأبعاد للذاكرة والتعلم والتعبير". المجلة الدولية للأنظمة العصبية . 01 (3): 259-267 . doi : 10.1142/S0129065790000163 .

[S._Das,_C.L._Giles_p._79-79] داس، س.؛ جايلز، س. ل.؛ صن، ج. ز. (1992). تعلم قواعد اللغة الخالية من السياق: قيود الشبكة العصبية المتكررة ذات ذاكرة المكدس الخارجية . المؤتمر السنوي الرابع عشر لجمعية العلوم المعرفية، ص 79.

[Mozer,_M._C._1993_pp._863-870-80] موزر، إم سي؛ داس، إس. (1993). "معالج رموز اتصالي يكتشف بنية اللغات الخالية من السياق" . التقدم في أنظمة معالجة المعلومات العصبية . 5 : 863-870 . مؤرشف من الأصل في 2019-12-06 . تم الاسترجاع في 2019-08-25 .

[ReferenceC-81] شميدهوبر، ج. (1992). "تعلم التحكم في الذاكرة ذات الوزن السريع: بديل للشبكات المتكررة". الحوسبة العصبية . 4 (1): 131-139 . doi : 10.1162/neco.1992.4.1.131 . S2CID 16683347 .

[F._Gers,_N._Schraudolph_2002-82] جيرز، ف.؛ شراودولف، ن.؛ شميدهوبر، ج. (2002). "تعلم التوقيت الدقيق باستخدام الشبكات المتكررة LSTM" (ملف PDF) . مجلة التعلم الآلي . 3 : 115-143 .

[J._Schmidhuber_pages_191-195-83] يورغن شميدهوبر (1993). "شبكة استبطانية يمكنها تعلم تشغيل خوارزمية تغيير الأوزان الخاصة بها". وقائع المؤتمر الدولي للشبكات العصبية الاصطناعية، برايتون . معهد مهندسي الكهرباء والإلكترونيات. الصفحات 191-195 .

[Hochreiter,_Sepp_2001-84] هوكريتر، سيب؛ يونغر، أ. ستيفن؛ كونول، بيتر ر. (2001). "التعلم من خلال التعلم باستخدام خوارزمية التدرج الانحداري". ICANN . 2130 : 87-94 . CiteSeerX 10.1.1.5.323 .

[Grefenstette,_Edward_1506-85] شميدهوبر، يورغن (2015). "التعلم للتحويل باستخدام ذاكرة غير محدودة". arXiv : 1506.02516 [ cs.NE ].

[Graves,_Alex_14102-86] شميدهوبر، يورغن (2014). "آلات تورينغ العصبية". arXiv : 1410.5401 [ cs.NE ].

[:02-87] بورغيس، مات. "تعلم الذكاء الاصطناعي لشركة ديب مايند ركوب مترو أنفاق لندن باستخدام المنطق والذاكرة الشبيهة بالبشر" . مجلة وايرد البريطانية . تاريخ الاسترجاع: 19 أكتوبر 2016 .

[88] "ذكاء اصطناعي من ديب مايند يتعلم التنقل في مترو أنفاق لندن" . مجلة بي سي ماج . تاريخ الاسترجاع: 19 أكتوبر 2016 .

[89] مانس، جون (13 أكتوبر 2016). "الحاسوب العصبي التفاضلي من ديب مايند يساعدك على التنقل في مترو الأنفاق بفضل ذاكرته" . تيك كرانش . تم الاطلاع عليه بتاريخ 19 أكتوبر 2016 .

[90] غريفز، أليكس؛ واين، غريغ؛ رينولدز، مالكولم؛ هارلي، تيم؛ دانيهيلكا، إيفو؛ غرابسكا-بارفينسكا، أغنيشكا؛ كولميناريجو، سيرجيو غوميز؛ غريفنستيت، إدوارد؛ رامالهو، تياغو (12 أكتوبر 2016). "الحوسبة الهجينة باستخدام شبكة عصبية مع ذاكرة خارجية ديناميكية" . مجلة نيتشر . 538 (7626): 471-476 . رمز Bibcode : 2016Natur.538..471G . doi : 10.1038/nature20101 . ISSN 1476-4687 . PMID 27732574. S2CID 205251479 .

[91] "الحواسيب العصبية التفاضلية | ديب مايند" . ديب مايند . ١٢ أكتوبر ٢٠١٦. تم الاطلاع عليه بتاريخ ١٩ أكتوبر ٢٠١٦ .

[92] أتكسون، كريستوفر ج.؛ شال، ستيفان (1995). "الشبكات العصبية القائمة على الذاكرة لتعلم الروبوت". الحوسبة العصبية . 9 (3): 243-269 . doi : 10.1016/0925-2312(95)00033-6 .

[93] سالاخوتدينوف، روسلان؛ هينتون، جيفري (2009). "التجزئة الدلالية" (ملف PDF) . المجلة الدولية للاستدلال التقريبي . 50 (7): 969-978 . doi : 10.1016/j.ijar.2008.11.006 .

[Le_2014-94] لي، كوك ف.؛ ميكولوف، توماس (2014). "التمثيلات الموزعة للجمل والوثائق". arXiv : 1405.4053 [ cs.CL ].

[95] شميدهوبر، يورغن (2015). "شبكات المؤشر". arXiv : 1506.03134 [ stat.ML ].

[96] شميدهوبر، يورغن (2015). "آلات الوصول العشوائي العصبية". arXiv : 1511.06392 [ cs.LG ].

[97] كالتشبرينر، ن.؛ بلونسوم، ب. (2013). نماذج الترجمة المستمرة المتكررة . EMNLP'2013. ص 1700-1709 .

[98] سوتسكيفر، آي.؛ فينيالز، أو.؛ لي، كيو. في. (2014). "التعلم من تسلسل إلى تسلسل باستخدام الشبكات العصبية" (ملف PDF) . المؤتمر الثامن والعشرون لأنظمة معالجة المعلومات العصبية . arXiv : 1409.3215 .

[99] شميدهوبر، يورغن (2014). "تعلم تمثيلات العبارات باستخدام مشفر-مفكك RNN للترجمة الآلية الإحصائية". arXiv : 1406.1078 [ cs.CL ].

[100] شميدهوبر، يورغن؛ كورفيل، آرون؛ بينجيو، يوشوا (2015). "وصف محتوى الوسائط المتعددة باستخدام شبكات التشفير-فك التشفير القائمة على الانتباه". معاملات IEEE في الوسائط المتعددة . 17 (11): 1875-1886 . arXiv : 1507.01053 . Bibcode : 2015arXiv150701053C . doi : 10.1109/TMM.2015.2477044 . S2CID 1179542 .

[101] جيرستنر؛ كيستلر. "نماذج الخلايا العصبية الشوكية: الخلايا العصبية المفردة، والمجموعات، واللدونة" . icwww.epfl.ch . مؤرشف من الأصل بتاريخ 4 يونيو 2017. تم الاطلاع عليه بتاريخ 18 يونيو 2017 .كتاب مدرسي متاح مجاناً عبر الإنترنت

[pmid16378515-102] إيزيكيفيتش إي إم (فبراير 2006). "التزامن المتعدد: الحساب باستخدام النبضات". الحوسبة العصبية . 18 (2): 245-282 . doi : 10.1162/089976606775093882 . PMID 16378515. S2CID 14253998 .

[Morer_et_al._(2020)-103] مورير، إي.، كارديلو، أ.، دياز-غيليرا، أ.، بريغنانو، ل.، لوزانو، س. (2020). "مقارنة الشبكات المكانية: نهج واحد يناسب الجميع قائم على الكفاءة". مجلة Physical Review ، 101 (4) 042301. arXiv : 1807.00565 . Bibcode : 2020PhRvE.101d2301M . doi : 10.1103/PhysRevE.101.042301 . hdl : 2445/161417 . PMID: 32422764. S2CID : 49564277 .

[Gupta_et_al._(2021)-104] غوبتا ج، مولنار س، شي ي، نايت ج، شيخار س (2021). "الشبكات العصبية العميقة الواعية بالتغير المكاني (SVANN): منهج عام". معاملات ACM في الأنظمة الذكية والتكنولوجيا . 12 (6): 1-21 . doi : 10.1145/3466688 . S2CID 244786699 .

[Hagenauer_et_al._(2022)-105] هاغناور ج، هيلبيش م (2022). "شبكة عصبية اصطناعية موزونة جغرافيًا" . المجلة الدولية لعلوم المعلومات الجغرافية . 36 (2): 215-235 . Bibcode : 2022IJGIS..36..215H . doi : 10.1080/13658816.2021.1871618 . S2CID 233883395 .

[106] ديفيد هـ. هوبل وتورستن ن. ويزل (2005). الدماغ والإدراك البصري: قصة تعاون دام 25 عامًا . مطبعة جامعة أكسفورد. ص 106. ISBN 978-0-19-517618-6.

[107] هوبل، د.هـ؛ ويزل، ت.ن (أكتوبر 1959). " الحقول الاستقبالية للخلايا العصبية المفردة في القشرة المخططة للقط" . مجلة علم وظائف الأعضاء 148 ( 3): 574-91 . doi : 10.1113/jphysiol.1959.sp006308 . PMC 1363130. PMID 14403679 .

[FOOTNOTEFukushima198783-108] فوكوشيما 1987 ، ص. 83.

[FOOTNOTEFukushima198784-109] فوكوشيما 1987 ، ص. 84.

[FOOTNOTEFukushima2007-110] فوكوشيما 2007 .

[FOOTNOTEFukushima198781,_85-111] فوكوشيما 1987 ، ص 81، 85.

[112] لوكون، يان؛ بينجيو، يوشوا؛ هينتون، جيفري (2015). "التعلم العميق" (ملف PDF) . مجلة نيتشر . 521 (7553): 436-444 . Bibcode : 2015Natur.521..436L . doi : 10.1038/nature14539 . PMID: 26017442. S2CID : 3074096 .

[hinton2006-113] هينتون، جي إي ؛ أوسينديرو، إس؛ تيه، واي. (2006). "خوارزمية تعلم سريعة لشبكات الاعتقاد العميق" (ملف PDF) . الحوسبة العصبية . 18 (7): 1527-1554 . CiteSeerX 10.1.1.76.1541 . doi : 10.1162/neco.2006.18.7.1527 . PMID 16764513. S2CID 2309950 .

[ref3-114] هينتون، جيفري؛ سالاخوتدينوف، روسلان (2009). "التعلم الفعال لآلات بولتزمان العميقة" (ملف PDF) . 3 : 448-455 . مؤرشف من الأصل (ملف PDF) بتاريخ 2015-11-06 . تم الاطلاع عليه بتاريخ 2019-08-25 .{{cite journal}}يتطلب الاستشهاد بالمجلة ( مساعدة )|journal=

[ref15-115] لاروشيل، هوغو؛ بينجيو، يوشوا؛ لورادور، جيردمي؛ لامبلين، باسكال (2009). "استكشاف استراتيجيات تدريب الشبكات العصبية العميقة" . مجلة أبحاث تعلم الآلة . 10 : 1-40 .

[ref39-116] كوتس، آدم؛ كاربنتر، بليك؛ كيس، كارل؛ ساتيش، سانجيف؛ سوريش، بيبين؛ وانغ، تاو؛ وو، ديفيد جيه؛ نغ، أ. (18 سبتمبر 2011). "الكشف عن النصوص والتعرف على الأحرف في صور المشاهد باستخدام التعلم غير الخاضع للإشراف للميزات" (ملف PDF) . المؤتمر الدولي لهندسة الكهرباء والإلكترونيات حول تحليل المستندات والتعرف عليها : 440-445 .

[ref40-117] لي، هونغلاك؛ غروس، روجر (2009). "شبكات الاعتقاد العميق التلافيفية للتعلم غير الخاضع للإشراف القابل للتوسع للتمثيلات الهرمية". وقائع المؤتمر الدولي السنوي السادس والعشرين للتعلم الآلي . الصفحات 609-616 . CiteSeerX 10.1.1.149.6800 . doi : 10.1145/1553374.1553453 . ISBN 9781605585161. S2CID 12008458 .

[ref32-118] كورفيل، آرون؛ بيرغسترا، جيمس؛ بينجيو، يوشوا (2011). "نماذج غير خاضعة للإشراف للصور باستخدام نماذج بولتزمان المقيدة ذات البنية الشوكية واللوحية" (ملف PDF) . وقائع المؤتمر الدولي الثامن والعشرين للتعلم الآلي . المجلد 10. الصفحات 1-8 . مؤرشف من النسخة الأصلية (PDF) بتاريخ 4 مارس 2016. تم الاطلاع عليه بتاريخ 25 أغسطس 2019 .

[ref41-119] لين ، يوانكينج. تشانغ، تونغ؛ تشو، شينغهو؛ يو كاي (2010). "شبكة الترميز العميق" . التقدم في أنظمة معالجة المعلومات العصبية 23 (NIPS 2010) . المجلد. 23. ص 1 – 9.

[ref42-120] رانزاتو، مارك أوريليو؛ بوريو، واي-لان (2007). "تعلم الميزات المتفرقة لشبكات الاعتقاد العميق" (ملف PDF) . التطورات في أنظمة معالجة المعلومات العصبية . 23 : 1-8 . مؤرشف من الأصل (ملف PDF) بتاريخ 4 مارس 2016. تم الاطلاع عليه بتاريخ 25 أغسطس 2019 .

[ref43-121] سوشر، ريتشارد؛ لين، كليف (2011). "تحليل المشاهد الطبيعية واللغة الطبيعية باستخدام الشبكات العصبية المتكررة" (ملف PDF) . وقائع المؤتمر الدولي السادس والعشرين للتعلم الآلي . مؤرشف من النسخة الأصلية (ملف PDF) بتاريخ 4 مارس 2016. تم الاطلاع عليه بتاريخ 25 أغسطس 2019 .

[ref44-122] تايلور، غراهام؛ هينتون، جيفري (2006). "نمذجة الحركة البشرية باستخدام المتغيرات الكامنة الثنائية" (ملف PDF) . التطورات في أنظمة معالجة المعلومات العصبية . مؤرشف من الأصل (ملف PDF) بتاريخ 4 مارس 2016. تم الاطلاع عليه بتاريخ 25 أغسطس 2019 .

[ref45-123] فينسنت، باسكال؛ لاروشيل، هوغو (2008). "استخلاص وتكوين ميزات قوية باستخدام مشفرات تلقائية لإزالة التشويش". وقائع المؤتمر الدولي الخامس والعشرين للتعلم الآلي - ICML '08 . الصفحات 1096-1103 . CiteSeerX 10.1.1.298.4083 . doi : 10.1145/1390156.1390294 . ISBN 9781605582054. S2CID 207168299 .

[ref34-124] كيمب، تشارلز؛ بيرفورس، إيمي؛ تيننباوم، جوشوا (2007). "تعلم الفرضيات الزائدة باستخدام نماذج بايزية هرمية". علم النمو . 10 (3): 307-321 . CiteSeerX 10.1.1.141.5560 . doi : 10.1111/j.1467-7687.2007.00585.x . PMID 17444972 .

[ref37-125] شو، فاي؛ تيننباوم، جوشوا (2007). "تعلم الكلمات كاستدلال بايزي". مجلة علم النفس ، 114 (2): 245-272 . CiteSeerX 10.1.1.57.9649 . doi : 10.1037/0033-295X.114.2.245 . PMID 17500627 .

[ref46-126] تشين، بو؛ بولاتكان، غونغور (2011). "عملية بيتا الهرمية لتحليل العوامل الالتفافية والتعلم العميق" (ملف PDF) . وقائع المؤتمر الدولي الثامن والعشرين للتعلم الآلي . أومنيبريس. الصفحات 361-368 . ISBN 978-1-4503-0619-5.

[ref47-127] فاي-فاي، لي؛ فيرغوس، روب (2006). "التعلم بلقطة واحدة لفئات الكائنات". معاملات IEEE في تحليل الأنماط والذكاء الآلي . 28 (4): 594-611 . Bibcode : 2006ITPAM..28..594F . CiteSeerX 10.1.1.110.9024 . doi : 10.1109/TPAMI.2006.79 . PMID 16566508. S2CID 6953475 .

[ref48-128] رودريغيز، أبيل؛ دونسون، ديفيد (2008). "عملية ديريشليه المتداخلة" . مجلة الجمعية الإحصائية الأمريكية . 103 (483): 1131-1154 . CiteSeerX 10.1.1.70.9873 . doi : 10.1198/016214508000000553 . S2CID 13462201 .

[ref38-129] روسلان، سالاخوتدينوف؛ جوشوا، تيننباوم (2012). "التعلم باستخدام النماذج الهرمية العميقة". معاملات IEEE في تحليل الأنماط والذكاء الآلي . 35 (8 ) : 1958-1971 . CiteSeerX 10.1.1.372.909 . doi : 10.1109/TPAMI.2012.269 . PMID 23787346. S2CID 4508400 .

[ref56-130] 1 2 تشالاساني، راكيش؛ برينسيبي، خوسيه (2013). "شبكات الترميز التنبؤي العميق". arXiv : 1301.3541 [ cs.LG ].

[ref60-131] شولكوف، ب؛ سمولا، ألكسندر (1998). "تحليل المكونات غير الخطية كمسألة قيم ذاتية للنواة". الحوسبة العصبية . 44 (5): 1299-1319 . CiteSeerX 10.1.1.53.8911 . doi : 10.1162/089976698300017467 . S2CID 6674407 .

[ref59-132] تشو، يونغمين (2012). أساليب النواة للتعلم العميق (ملف PDF) (أطروحة دكتوراه). الصفحات 1-9 .

[133] دينغ، لي؛ تور، جوكهان؛ هي، شياودونغ؛ هاكاني-تور، ديليك (1 ديسمبر 2012). "استخدام الشبكات المحدبة العميقة ذات النواة والتعلم الشامل لفهم اللغة المنطوقة" . مايكروسوفت للأبحاث .

[ 1 ]

[ 2 ]

[ 3 ]

[ 4 ]

[ 5 ]

[ 6 ]

[ 7 ]

[ 8 ]

[ 9 ]

[ 10 ]

[ 11 ]

[ 12 ]

[ 13 ]

[ 14 ]

[ 15 ]

[ 16 ]

[ 19 ]

[ 20 ]

[ 21 ]

[ 22 ]

[ 23 ]

[ 24 ]

[ 25 ]

[ 26 ]

[ 27 ]

[ 28 ]

[

[ 30 ] (الشبكة المحدبة العميقة) على تسلسل هرمي من وحدات الشبكة العصبية المبسطة. وقد طُرحت هذه الشبكة عام 2011 من قِبل دينغ ويو.

[ 31 ]

[ 32 ]

[ 33 ]

[ 34 ]

[ 35 ]

[ 36 ]

[ 37 ]

[ 38 ]

[ 39 ]

[ 40 ]

[ 41 ]

[ 42 ]

[ 43 ]

[ 44 ]

[ 45 ]

[ 46 ]

[ 47 ]

[ 48 ]

[ 49 ]

[ 50 ]

[ 51 ]

[ 52 ]

[ 53 ]

[ 54 ]

[ 55 ]

[ 56 ]

[ 57 ]

[ 58 ]

[ 59 ]

[ 60 ]

[ 61 ]

[ 62 ]

[ 63 ] .

[ 64 ]

[ 65 ]

[ 66 ]

[ 67 ]

[ 68 ]

[ 69 ]

[ 70 ]

[ 71 ]

[

[ 73 ]

[ 74 ]

[ 75 ]

[ 76 ]

[ 77 ]

[

[ 79 ]

[ 80 ]

[ 81 ]

[ 82 ]

[ 83 ]

[ 84 ]

[ 85 ]

[ 86 ]

[ 88 ]

[ 89 ]

[ 90 ]

[ 91 ]

[ 92 ]

[ 93 ]

[ 94 ]

[ 95 ]

[ 96 ]

[ 97 ]

[ 98 ]

[ 99 ]

[ 100 ]

[ 101 ]

[ 102 ]

[

اللغة	العربية (RTL)
روابط موسوعية	30 رابطاً
المصدر الأصلي	ويكيبيديا ↗