الشبكة العصبية الالتفافية

الشبكة العصبية الالتفافية ( CNN ) هي نوع من الشبكات العصبية ذات التغذية الأمامية التي تتعلم الميزات عبر تحسين المرشح (أو النواة ). وقد طُبقت هذه الشبكة من شبكات التعلم العميق لمعالجة أنواع مختلفة من البيانات والتنبؤ بها ، بما في ذلك النصوص والصور والصوت. ^{[ 1 ]} تُعد الشبكات العصبية الالتفافية المعيار الفعلي في مناهج التعلم العميق في مجال رؤية الحاسوب ^{[ 2 ]} ومعالجة الصور ، ولم تُستبدل إلا مؤخرًا - في بعض الحالات - ببنى أحدث مثل بنية المحول .

يتم تجنب ظاهرتي تلاشي التدرجات وانفجارها، اللتين تُلاحظان أثناء عملية الانتشار العكسي في الشبكات العصبية السابقة، من خلال التنظيم الناتج عن استخدام أوزان مشتركة عبر عدد أقل من الاتصالات. ^{[ 3 ]}^{[ 4 ]} على سبيل المثال، يتطلب معالجة صورة بحجم 100 × 100 بكسل 1000 وزن لكل عصبون في الطبقة كاملة الاتصال. مع ذلك، عند تطبيق نواة الالتفاف المتتالي (أو الارتباط المتبادل)، ^{[ 5 ]}^{[ 6 ]} لا يتطلب الأمر سوى 25 وزنًا لكل طبقة التفافية لمعالجة مربعات بحجم 5 × 5 بكسل. ^{[ 7 ]}^{[ 8 ]} تُستخرج ميزات الطبقات العليا من نوافذ سياقية أوسع، مقارنةً بميزات الطبقات الدنيا.

تتضمن بعض تطبيقات الشبكات العصبية التلافيفية ما يلي:

تُعرف الشبكات العصبية الالتفافية أيضًا باسم الشبكات العصبية الاصطناعية الثابتة الإزاحة أو الثابتة المكانية ، وذلك استنادًا إلى بنية الأوزان المشتركة لنوى الالتفاف أو المرشحات التي تنزلق على طول ميزات الإدخال وتُقدّم استجابات متغيرة مع الإزاحة تُعرف باسم خرائط الميزات. ^{[ 14 ]}^{[ 15 ]} على عكس المتوقع، فإن معظم الشبكات العصبية الالتفافية ليست ثابتة مع الإزاحة ، وذلك بسبب عملية تقليل حجم العينة التي تُطبقها على الإدخال. ^{[ 16 ]}

عادةً ما تكون الشبكات العصبية ذات التغذية الأمامية شبكات متصلة بالكامل، أي أن كل عصبون في طبقة ما متصل بجميع العصبونات في الطبقة التالية . هذه "الاتصالية الكاملة" تجعل هذه الشبكات عرضةً لفرط التخصيص . تشمل الطرق الشائعة للتنظيم، أو منع فرط التخصيص، ما يلي: معاقبة المعلمات أثناء التدريب (مثل انخفاض الوزن) أو تقليل الاتصال (الوصلات المتخطاة، والتسرب، وما إلى ذلك). كما تزيد مجموعات البيانات القوية من احتمالية أن تتعلم الشبكات العصبية الالتفافية المبادئ العامة التي تميز مجموعة بيانات معينة بدلاً من تحيزات مجموعة بيانات ضعيفة. ^{[ 17 ]}

استُلهمت الشبكات الالتفافية من العمليات البيولوجية ^{[ 18 ]}^{[ 19 ]}^{[ 20 ]}^{[ 21 ]} ، حيث يُشابه نمط الاتصال بين الخلايا العصبية تنظيم القشرة البصرية لدى الحيوانات . تستجيب الخلايا العصبية القشرية الفردية للمنبهات في منطقة محدودة من المجال البصري تُعرف باسم المجال الاستقبالي . تتداخل المجالات الاستقبالية للخلايا العصبية المختلفة جزئيًا بحيث تُغطي المجال البصري بأكمله.

تستخدم الشبكات العصبية التلافيفية معالجة مسبقة قليلة نسبيًا مقارنةً بخوارزميات تصنيف الصور الأخرى . وهذا يعني أن الشبكة تتعلم تحسين المرشحات (أو النوى) من خلال التعلم الآلي، بينما في الخوارزميات التقليدية، تُصمم هذه المرشحات يدويًا . يُبسط هذا العملية ويؤتمتها، مما يُحسّن الكفاءة وقابلية التوسع، ويتغلب على معوقات التدخل البشري.

بنيان

تتكون الشبكة العصبية الالتفافية من طبقة إدخال، وطبقات مخفية ، وطبقة إخراج. في هذه الشبكة، تتضمن الطبقات المخفية طبقة واحدة أو أكثر تُجري عمليات الالتفاف. عادةً ما تتضمن هذه الطبقة طبقة تُجري عملية الضرب النقطي بين نواة الالتفاف ومصفوفة إدخال الطبقة. هذا الضرب عادةً ما يكون الضرب الداخلي لفروبينيوس ، ودالة التنشيط الخاصة به هي دالة ReLU . عندما تتحرك نواة الالتفاف على طول مصفوفة إدخال الطبقة، تُولّد عملية الالتفاف خريطة ميزات، تُساهم بدورها في إدخال الطبقة التالية. يلي ذلك طبقات أخرى مثل طبقات التجميع ، والطبقات المتصلة بالكامل، وطبقات التطبيع. تجدر الإشارة هنا إلى مدى قرب الشبكة العصبية الالتفافية من المرشح المطابق . ^{[ 22 ]}

الطبقات الالتفافية

في الشبكة العصبية التلافيفية، يكون المدخل عبارة عن موتر ذي شكل:

(عدد المدخلات) × (ارتفاع المدخلات) × (عرض المدخلات) × ( قنوات المدخلات )

بعد مرور الصورة عبر طبقة التفافية، يتم تجريدها إلى خريطة ميزات، تسمى أيضًا خريطة تنشيط، ذات شكل:

(عدد المدخلات) × (ارتفاع خريطة الميزات) × (عرض خريطة الميزات) × ( قنوات خريطة الميزات ).

تقوم الطبقات الالتفافية بمعالجة المدخلات وتمرير نتائجها إلى الطبقة التالية. وهذا يشبه استجابة العصبون في القشرة البصرية لمحفز معين. ^{[ 23 ]} يعالج كل عصبون التفافي البيانات الخاصة بحقله الاستقبالي فقط .

على الرغم من إمكانية استخدام الشبكات العصبية التغذية الأمامية المتصلة بالكامل لتعلم الميزات وتصنيف البيانات، إلا أن هذا التصميم غير عملي عمومًا مع المدخلات الكبيرة (مثل الصور عالية الدقة)، والتي تتطلب عددًا هائلاً من الخلايا العصبية لأن كل بكسل يمثل ميزة إدخال مهمة. تحتوي الطبقة المتصلة بالكامل لصورة بحجم 100 × 100 على 10000 وزن لكل خلية عصبية في الطبقة الثانية. يقلل الالتفاف من عدد المعاملات الحرة، مما يسمح للشبكة بأن تكون أعمق. ^{[ 7 ]} على سبيل المثال، يتطلب استخدام منطقة تبليط 5 × 5، لكل منها نفس الأوزان المشتركة، 25 خلية عصبية فقط. استخدام الأوزان المشتركة يعني وجود عدد أقل بكثير من المعاملات، مما يساعد على تجنب مشكلتي تلاشي التدرجات وانفجارها اللتين تُلاحظان أثناء الانتشار العكسي في الشبكات العصبية السابقة. ^{[ 3 ]}^{[ 4 ]}

لتسريع المعالجة، يمكن استبدال طبقات الالتفاف القياسية بطبقات التفاف قابلة للفصل العمق، ^{[ 24 ]} والتي تعتمد على التفاف عمقي متبوعًا بالتفاف نقطي. الالتفاف العمقي هو التفاف مكاني يُطبق بشكل مستقل على كل قناة من قنوات موتر الإدخال، بينما الالتفاف النقطي هو التفاف قياسي يقتصر استخدامه على $1\times 1$ الحبوب.

طبقات التجميع

قد تتضمن الشبكات الالتفافية طبقات تجميع محلية و/أو عالمية إلى جانب الطبقات الالتفافية التقليدية. تعمل طبقات التجميع على تقليل أبعاد البيانات من خلال دمج مخرجات مجموعات الخلايا العصبية في طبقة ما في خلية عصبية واحدة في الطبقة التالية. يجمع التجميع المحلي مجموعات صغيرة، وتُستخدم عادةً أحجام تجانب مثل 2 × 2. أما التجميع العالمي فيؤثر على جميع الخلايا العصبية في خريطة الميزات. ^{[ 25 ]}^{[ 26 ]} هناك نوعان شائعان من التجميع: التجميع الأقصى والتجميع المتوسط. يستخدم التجميع الأقصى القيمة القصوى لكل مجموعة محلية من الخلايا العصبية في خريطة الميزات، ^{[ 27 ]}^{[ 28 ]} بينما يأخذ التجميع المتوسط القيمة المتوسطة.

طبقات متصلة بالكامل

تربط الطبقات المتصلة بالكامل كل عصبون في طبقة ما بكل عصبون في طبقة أخرى. وهذا يشبه شبكة العصبونات متعددة الطبقات التقليدية . يستقبل كل عصبون في الطبقة المتصلة بالكامل مدخلات من جميع العصبونات في الطبقة السابقة. تُوزن هذه المدخلات وتُجمع مع الانحيازات المناسبة، ثم تُمرر عبر دالة تنشيط لإجراء تحويل غير خطي، مما يُنتج المخرجات. تمر المصفوفة المُسطحة عبر طبقة متصلة بالكامل لتصنيف الصور.

المجال الاستقبالي

في الشبكات العصبية، يستقبل كل عصبون مدخلات من عدد من المواقع في الطبقة السابقة. في الطبقة الالتفافية، يستقبل كل عصبون مدخلات من منطقة محدودة فقط في الطبقة السابقة تُسمى حقل الاستقبال . عادةً ما تكون هذه المنطقة مربعة (مثلاً 5×5 عصبونات). أما في الطبقة المتصلة بالكامل، فيشمل حقل الاستقبال الطبقة السابقة بأكملها . وبالتالي، في كل طبقة التفافية، يستقبل كل عصبون مدخلات من منطقة أكبر في المدخلات مقارنةً بالطبقات السابقة. ويعود ذلك إلى تطبيق الالتفاف بشكل متكرر، والذي يأخذ قيمة البكسل في الاعتبار، بالإضافة إلى البكسلات المحيطة به. عند استخدام الطبقات المتوسعة، يظل عدد البكسلات في حقل الاستقبال ثابتًا، لكن يصبح الحقل أقل كثافة مع ازدياد أبعاده نتيجةً لتأثير عدة طبقات.

للتحكم في حجم مجال الاستقبال بالشكل المطلوب، توجد بدائل للطبقة الالتفافية القياسية. على سبيل المثال، تعمل الالتفافات المتوسعة ^{[ 29 ]}^{[ 30 ]} على توسيع مجال الاستقبال دون زيادة عدد المعاملات من خلال دمج المناطق المرئية والمخفية. علاوة على ذلك، يمكن أن تتضمن طبقة التفافية متوسعة واحدة مرشحات بنسب توسع متعددة ^{[ 31 ]} ، مما يتيح حجمًا متغيرًا لمجال الاستقبال.

الأوزان

تقوم كل خلية عصبية في الشبكة العصبية بحساب قيمة خرج من خلال تطبيق دالة محددة على قيم الإدخال الواردة من حقل الاستقبال في الطبقة السابقة. وتُحدد الدالة المطبقة على قيم الإدخال بواسطة متجه من الأوزان ومعامل انحياز (عادةً ما تكون أعدادًا حقيقية). وتتألف عملية التعلم من تعديل هذه المعاملات والأوزان بشكل متكرر.

تُسمى متجهات الأوزان والانحيازات بالمرشحات ، وهي تمثل خصائص محددة للمدخلات (مثل شكل معين). ومن السمات المميزة للشبكات العصبية التلافيفية (CNNs) أن العديد من الخلايا العصبية يمكنها مشاركة المرشح نفسه. وهذا يقلل من استهلاك الذاكرة، لأنه يتم استخدام انحياز واحد ومتجه أوزان واحد في جميع الحقول الاستقبالية التي تشترك في هذا المرشح، بدلاً من أن يكون لكل حقل استقبالي انحيازه الخاص ومتجه أوزانه. ^{[ 32 ]}

فك الالتفاف

الشبكة العصبية التفكيكية هي في الأساس عكس الشبكة العصبية الالتفافية. وهي تتكون من طبقات تفكيكية وطبقات فك التجميع. ^{[ 33 ]}

الطبقة العكسية هي منقولة الطبقة الالتفافية. تحديدًا، يمكن كتابة الطبقة الالتفافية كعملية ضرب بمصفوفة، والطبقة العكسية هي عملية ضرب بمنقولة تلك المصفوفة. ^{[ 34 ]}

تعمل طبقة فك التجميع على توسيع الطبقة. تُعد طبقة فك التجميع القصوى أبسطها، حيث تقوم ببساطة بنسخ كل إدخال عدة مرات. على سبيل المثال، طبقة فك التجميع القصوى 2×2 هي $[x]\mapsto {\begin{bmatrix}x&x\\x&x\end{bmatrix}}$ .

تُستخدم طبقات فك الالتفاف في مولدات الصور. وبشكل افتراضي، تُنتج هذه الطبقات تشوهًا دوريًا يشبه رقعة الشطرنج، والذي يمكن إصلاحه عن طريق تكبير الصورة ثم تطبيق الالتفاف عليها. ^{[ 35 ]}

تاريخ

غالباً ما تتم مقارنة الشبكات العصبية التلافيفية بالطريقة التي يحقق بها الدماغ معالجة الرؤية في الكائنات الحية . ^{[ 36 ]}

الحقول الاستقبالية في القشرة البصرية

أظهرت دراسات هوبل وويزل في خمسينيات وستينيات القرن العشرين أن القشرة البصرية للقطط تحتوي على خلايا عصبية تستجيب بشكل فردي لمناطق صغيرة من المجال البصري . وطالما أن العينين ثابتتان، فإن المنطقة من الفضاء البصري التي تؤثر فيها المحفزات البصرية على إطلاق إشارات خلية عصبية واحدة تُعرف باسم مجالها الاستقبالي . ^[³⁷^] وتتشابه المجالات الاستقبالية للخلايا المتجاورة وتتداخل فيما بينها. ويختلف حجم وموقع المجال الاستقبالي بشكل منتظم عبر القشرة الدماغية لتشكيل خريطة كاملة للفضاء البصري. وتمثل القشرة الدماغية في كل نصف كرة المجال البصري المقابل .

حددت ورقتهم البحثية لعام 1968 نوعين أساسيين من الخلايا البصرية في الدماغ: ^{[ 19 ]}

الخلايا البسيطة ، التي يتم تعظيم ناتجها بواسطة حواف مستقيمة ذات اتجاهات محددة داخل مجال استقبالها
الخلايا المعقدة ، التي لها حقول استقبال أكبر ، والتي يكون ناتجها غير حساس للموقع الدقيق للحواف في الحقل.

اقترح هوبل وويزل أيضًا نموذجًا متتاليًا لهذين النوعين من الخلايا لاستخدامه في مهام التعرف على الأنماط. ^{[ 38 ]}^{[ 37 ]}

عناصر العتبة التناظرية في فوكوشيما في نموذج الرؤية

في عام 1969، قدّم كونيهيكو فوكوشيما شبكة متعددة الطبقات للكشف عن الميزات البصرية، مستوحاة من عمل هوبل وويزل المذكور آنفًا، حيث "تمتلك جميع العناصر في طبقة واحدة نفس مجموعة معاملات الربط؛ ويكون ترتيب العناصر وروابطها متجانسًا عبر طبقة معينة". هذا هو جوهر الشبكة الالتفافية، ولكن لم يتم تدريب الأوزان. في الورقة البحثية نفسها، قدّم فوكوشيما أيضًا دالة التنشيط ReLU (وحدة التنشيط الخطي المعدل) . ^[³⁹^]^[⁴⁰^]

نيوكوجنيترون، أصل بنية الشبكات العصبية التلافيفية القابلة للتدريب

تم تقديم " النيوكوجنيترون " ^{[ 18 ] بواسطة فوكوشيما في عام 1980.}^{[ 20 ]}^{[ 28 ]}^{[ 1 ]} قدم النيوكوجنيترون النوعين الأساسيين من الطبقات:

"الطبقة S": طبقة ذات حقول استقبال مشتركة الأوزان، تُعرف لاحقًا بالطبقة الالتفافية، وتحتوي على وحدات تغطي حقول استقبالها جزءًا من الطبقة السابقة. غالبًا ما تُسمى مجموعة حقول الاستقبال المشتركة الأوزان (أو "المستوى" في مصطلحات النيو-كوجنيترون) مرشحًا، وعادةً ما تحتوي الطبقة على عدة مرشحات من هذا النوع.
الطبقة "C": طبقة تقليل حجم البيانات تحتوي على وحدات تغطي حقول استقبالها أجزاءً من طبقات الالتفاف السابقة. تحسب هذه الوحدة عادةً متوسطًا مرجحًا لتنشيطات الوحدات في رقعتها، وتطبق تثبيطًا (تطبيعًا تقسيميًا) مُجمّعًا من رقعة أكبر نسبيًا وعبر مرشحات مختلفة في الطبقة، وتطبق دالة تنشيط مشبعة. أوزان الرقعة غير سالبة ولا يمكن تدريبها في نموذج نيوكوجنيترون الأصلي. يساعد تقليل حجم البيانات والتثبيط التنافسي على تصنيف الميزات والأشياء في المشاهد المرئية حتى عند إزاحة الأشياء.

تم اقتراح العديد من خوارزميات التعلم الخاضعة للإشراف وغير الخاضعة للإشراف على مر العقود لتدريب أوزان شبكة نيوكوجنيترون. ^[¹⁸^] ومع ذلك، يتم تدريب بنية الشبكة العصبية التلافيفية (CNN) عادةً من خلال الانتشار العكسي .

لم تُستخدم دالة التنشيط ReLU الخاصة بفوكوشيما في نموذجه المعرفي الجديد (neocognitron) لأن جميع الأوزان كانت غير سالبة؛ واستُخدم التثبيط الجانبي بدلاً منها. وقد أصبحت دالة التنشيط ReLU شائعة الاستخدام في الشبكات العصبية الالتفافية (CNNs) والشبكات العصبية العميقة عمومًا. ^{[ 41 ]}

الالتفاف الزمني

ظهر مصطلح "الالتفاف" لأول مرة في مجال الشبكات العصبية في ورقة بحثية لتوشيتيرو هوما، وليس أطلس، وروبرت ماركس الثاني، عُرضت في المؤتمر الأول لأنظمة معالجة المعلومات العصبية عام 1987. استبدلت ورقتهم البحثية عملية الضرب بالالتفاف الزمني، مما وفر بطبيعته ثباتًا عند تغيير الإزاحة، مستلهمةً ذلك من مفهوم المرشح في معالجة الإشارات ، ومرتبطةً به بشكل مباشر، وقد برهنوا على ذلك في مهمة التعرف على الكلام. ^{[ 8 ]} كما أشاروا إلى أن الالتفاف، كنظام قابل للتدريب بالبيانات، يُعادل الارتباط بشكل أساسي، لأن عكس الأوزان لا يؤثر على الدالة النهائية المُتعلمة ("للتسهيل، نرمز إلى الارتباط بـ * بدلاً من الالتفاف. لاحظ أن التفاف a(t) مع b(t) يُعادل ارتباط a(-t) مع b(t)."). ^{[ 8 ]} عادةً ما تستخدم تطبيقات الشبكات العصبية التلافيفية الحديثة الارتباط وتُطلق عليه اسم الالتفاف، تسهيلاً للأمر، كما فعلوا هنا.

الشبكات العصبية ذات التأخير الزمني

طُرحت الشبكة العصبية ذات التأخير الزمني ( TDNN) عام 1987 من قِبل أليكس ويبيل وآخرون للتعرف على الصوتيات، وكانت من أوائل الشبكات العصبية الالتفافية التي تتميز بثباتها عند تغيير موضعها. ^{[ 42 ]} تُعدّ TDNN شبكة عصبية التفافية أحادية البعد، حيث يتم إجراء الالتفاف على طول المحور الزمني للبيانات. وهي أول شبكة عصبية التفافية تستخدم مشاركة الأوزان مع التدريب باستخدام خوارزمية التدرج الهبوطي، وذلك باستخدام خوارزمية الانتشار العكسي . ^{[ 43 ]} وبالتالي، فبينما تستخدم أيضًا بنية هرمية كما في شبكة نيوكوجنيترون، فإنها تُجري تحسينًا شاملًا للأوزان بدلًا من التحسين الموضعي. ^{[ 42 ]}

الشبكات العصبية الزمنية (TDNNs) هي شبكات التفافية تتشارك الأوزان على طول البعد الزمني. ^{[ 44 ]} وهي تسمح بمعالجة إشارات الكلام بشكل ثابت مع مرور الوقت. في عام 1990، قدم هامبشاير وويبيل نسخة معدلة منها تُجري التفافًا ثنائي الأبعاد. ^{[ 45 ]} ولأن هذه الشبكات العصبية الزمنية تعمل على مخططات الطيف، فإن نظام التعرف على الصوتيات الناتج يكون ثابتًا تجاه كل من التحولات الزمنية والترددية، كما هو الحال مع الصور التي يعالجها نظام التعرف الجديد.

حسّنت الشبكات العصبية الزمنية (TDNNs) أداء التعرف على الكلام عن بعد. ^{[ 46 ]}

التعرف على الصور باستخدام الشبكات العصبية التلافيفية المدربة بتقنية التدرج الهبوطي

قام دينكر وآخرون (1989) بتصميم نظام شبكة عصبية تلافيفية ثنائية الأبعاد للتعرف على أرقام الرموز البريدية المكتوبة بخط اليد . ^{[ 47 ]} ومع ذلك، فإن عدم وجود طريقة تدريب فعالة لتحديد معاملات النواة للالتفافات المعنية يعني أنه كان لا بد من تصميم جميع المعاملات يدويًا بشكل شاق. ^{[ 48 ]}

استنادًا إلى التطورات التي حققها وايبيل وآخرون (1987) في تدريب الشبكات العصبية الالتفافية أحادية البعد، استخدم يان ليكان وآخرون (1989) ^{[ 48 ]} خوارزمية الانتشار العكسي لتعلم معاملات نواة الالتفاف مباشرةً من صور الأرقام المكتوبة بخط اليد. وبذلك، أصبح التعلم آليًا بالكامل، وتفوق أداؤه على تصميم المعاملات يدويًا، وكان مناسبًا لنطاق أوسع من مشاكل التعرف على الصور وأنواعها. كما استخدم وي تشانغ وآخرون (1988) ^{[ 14 ]}^{[ 15 ]} خوارزمية الانتشار العكسي لتدريب نواة الالتفاف لشبكة عصبية التفافية للتعرف على الحروف الأبجدية. سُمي هذا النموذج بشبكة عصبية للتعرف على الأنماط غير المتغيرة مع الإزاحة قبل أن يُصاغ مصطلح CNN لاحقًا في أوائل التسعينيات. وطبق وي تشانغ وآخرون أيضًا نفس الشبكة العصبية الالتفافية بدون الطبقة الأخيرة المتصلة بالكامل لتجزئة كائنات الصور الطبية (1991) ^{[ 49 ]} والكشف عن سرطان الثدي في صور الماموجرام (1994) ^{[ 50 ] .}

أصبح هذا النهج أساسًا لرؤية الكمبيوتر الحديثة .

أقصى قدر من التجميع

في عام 1990، قدم ياماغوتشي وزملاؤه مفهوم التجميع الأقصى، وهو عملية ترشيح ثابتة تحسب وتنشر القيمة القصوى لمنطقة معينة. وقد فعلوا ذلك من خلال دمج الشبكات العصبية الزمنية الديناميكية (TDNNs) مع التجميع الأقصى لإنشاء نظام مستقل عن المتحدث للتعرف على الكلمات المعزولة. ^{[ 27 ]} في نظامهم، استخدموا عدة شبكات TDNNs لكل كلمة، واحدة لكل مقطع لفظي . تم دمج نتائج كل شبكة TDNN على إشارة الإدخال باستخدام التجميع الأقصى، ثم تم تمرير مخرجات طبقات التجميع إلى الشبكات التي تقوم بتصنيف الكلمات فعليًا.

في أحد أنواع النيوكوجنيترون المسمى كريسبترون ، بدلاً من استخدام المتوسط المكاني لفوكوشيما مع التثبيط والتشبع، استخدم ج. وينغ وآخرون في عام 1993 التجميع الأقصى، حيث تقوم وحدة تقليل العينات بحساب الحد الأقصى لتنشيطات الوحدات في رقعتها، ^{[ 51 ]} مما أدخل هذه الطريقة في مجال الرؤية.

يُستخدم التجميع الأقصى بشكل متكرر في الشبكات العصبية التلافيفية الحديثة. ^{[ 52 ]}

LeNet-5

تُصنّف شبكة LeNet-5، وهي شبكة عصبية التفافية رائدة ذات سبعة مستويات طوّرها ليكون وآخرون عام 1995، ^{[ 53 ]} الأرقام المكتوبة بخط اليد على الشيكات المُرقمنة في صور بدقة 32×32 بكسل. تتطلب القدرة على معالجة صور ذات دقة أعلى شبكات عصبية التفافية أكبر وأكثر عددًا، لذا فإن هذه التقنية مقيدة بتوافر موارد الحوسبة.

كان هذا النظام متفوقًا على أنظمة قراءة المبالغ التجارية الأخرى (حتى عام 1995). تم دمج النظام في أنظمة قراءة الشيكات التابعة لشركة NCR ، وتم استخدامه في العديد من البنوك الأمريكية منذ يونيو 1996، حيث يقرأ ملايين الشيكات يوميًا. ^{[ 54 ]}

شبكة عصبية ثابتة الإزاحة

اقترح وي تشانغ وزملاؤه شبكة عصبية ثابتة الإزاحة للتعرف على الأحرف في الصور عام 1988. ^{[ 14 ]}^{[ 15 ]} وهي نسخة معدلة من نموذج نيوكوغنيترون، حيث احتفظت فقط بالوصلات الالتفافية بين طبقات ميزات الصورة والطبقة المتصلة بالكامل الأخيرة. تم تدريب النموذج باستخدام خوارزمية الانتشار العكسي. وفي عام 1991، تم تحسين خوارزمية التدريب ^لتعزيز^قدرتها^على التعميم. وتم تعديل بنية النموذج بإزالة الطبقة المتصلة بالكامل الأخيرة، وطُبقت في تجزئة الصور الطبية (1991) ^{[ 49 ]} والكشف التلقائي عن سرطان الثدي في صور الماموغرام (1994) . ^{[ 50 ]}

في عام 1988، تم اقتراح تصميم مختلف قائم على الالتفاف ^{[ 56 ]} لتطبيقه في تحليل إشارات تخطيط كهربية العضل أحادية البعد الملتفة عبر فك الالتفاف. وتم تعديل هذا التصميم في عام 1989 ليشمل تصاميم أخرى قائمة على فك الالتفاف. ^{[ 57 ]}^{[ 58 ]}

تطبيقات وحدة معالجة الرسومات

على الرغم من اختراع الشبكات العصبية التلافيفية في الثمانينيات، إلا أن اختراقها في العقد الأول من القرن الحادي والعشرين تطلب تطبيقات سريعة على وحدات معالجة الرسومات (GPUs).

في عام 2004، أظهر كلٌ من كيه إس أوه وكيه جونغ إمكانية تسريع الشبكات العصبية القياسية بشكل كبير على وحدات معالجة الرسومات (GPUs). وكان تطبيقهم أسرع بعشرين ضعفًا من تطبيق مماثل على وحدة المعالجة المركزية (CPU) . ^{[ 59 ]} وفي عام 2005، أكدت ورقة بحثية أخرى على أهمية استخدام وحدات معالجة الرسومات للأغراض العامة (GPGPU) في مجال التعلم الآلي . ^{[ 60 ]}

وُصفت أول عملية تنفيذ لشبكة عصبية تلافيفية باستخدام وحدة معالجة الرسومات (GPU) في عام 2006 من قِبل ك. تشيلابيلا وآخرون. وكان تنفيذهم أسرع بأربع مرات من التنفيذ المكافئ على وحدة المعالجة المركزية (CPU). ^{[ 61 ]} وفي الفترة نفسها، استُخدمت وحدات معالجة الرسومات أيضًا للتدريب غير الخاضع للإشراف لشبكات الاعتقاد العميق . ^{[ 62 ]}^{[ 63 ]}^{[ 64 ]}^{[ 65 ]}

في عام 2010، قام دان سيريسان وزملاؤه في معهد IDSIA بتدريب شبكات عصبية عميقة ذات تغذية أمامية على وحدات معالجة الرسومات (GPUs). ^{[ 66 ]} وفي عام 2011، وسّعوا نطاق التدريب ليشمل الشبكات العصبية الالتفافية (CNNs)، محققين تسارعًا بمقدار 60 ضعفًا مقارنةً بالتدريب على وحدة المعالجة المركزية (CPU). ^{[ 25 ]} وفي عام 2011 أيضًا، فازت الشبكة بمسابقة للتعرف على الصور، حيث حققت أداءً يفوق القدرات البشرية لأول مرة. ^{[ 67 ]} ثم فازت بمزيد من المسابقات وحققت أداءً متميزًا في العديد من المعايير. ^{[ 68 ]}^{[ 52 ]}^{[ 28 ]}

وفي وقت لاحق، فاز AlexNet ، وهو شبكة عصبية تلافيفية مماثلة تعتمد على وحدة معالجة الرسومات من قبل أليكس كريزيفسكي وآخرون، بتحدي ImageNet للتعرف البصري واسع النطاق لعام 2012. ^{[ 69 ]} لقد كان حدثًا تحفيزيًا مبكرًا لازدهار الذكاء الاصطناعي .

مقارنةً بتدريب الشبكات العصبية التلافيفية باستخدام وحدات معالجة الرسومات ، لم يُولَ اهتمامٌ كبيرٌ لوحدات المعالجة المركزية. (Viebke et al 2019) يُوازي تدريب الشبكات العصبية التلافيفية باستخدام التوازي على مستوى الخيوط و SIMD ، وهو ما يتوفر في معالج Intel Xeon Phi . ^{[ 70 ]}^{[ 71 ]}

السمات المميزة

في الماضي، استُخدمت نماذج الشبكة العصبية متعددة الطبقات التقليدية (MLP) للتعرف على الصور. إلا أن الاتصال الكامل بين العقد تسبب في مشكلة الأبعاد العالية ، وجعل المعالجة غير عملية حسابيًا مع الصور عالية الدقة. فصورة بحجم 1000×1000 بكسل ذات قنوات ألوان RGB تحتوي على 3 ملايين وزن لكل عصبون متصل بالكامل، وهو عدد كبير جدًا يصعب معه المعالجة بكفاءة على نطاق واسع.

على سبيل المثال، في مجموعة بيانات CIFAR-10 ، تكون الصور بحجم 32×32×3 فقط (32 بكسل عرضًا، 32 بكسل ارتفاعًا، 3 قنوات لونية)، لذا فإن خلية عصبية واحدة متصلة بالكامل في الطبقة المخفية الأولى لشبكة عصبية عادية سيكون لها 32×32×3 = 3072 وزنًا. أما الصورة بحجم 200×200 بكسل، فستؤدي إلى خلايا عصبية لها 200×200×3 = 120000 وزنًا.

كما أن بنية الشبكة هذه لا تأخذ في الحسبان البنية المكانية للبيانات، إذ تعامل وحدات البكسل المتباعدة بنفس طريقة تعاملها مع وحدات البكسل المتقاربة. وهذا يتجاهل خاصية المرجعية المكانية في البيانات ذات البنية الشبكية (مثل الصور)، سواءً من الناحية الحسابية أو الدلالية. وبالتالي، فإن الاتصال الكامل بين الخلايا العصبية يُعدّ تبديدًا للموارد في تطبيقات مثل التعرف على الصور، التي تهيمن عليها أنماط الإدخال المكانية المحلية .

الشبكات العصبية الالتفافية هي نوع من أنواع الشبكات العصبية متعددة الطبقات، مصممة لمحاكاة سلوك القشرة البصرية . تتغلب هذه النماذج على التحديات التي تفرضها بنية الشبكات العصبية متعددة الطبقات من خلال استغلال الارتباط المكاني القوي الموجود في الصور الطبيعية. وعلى عكس الشبكات العصبية متعددة الطبقات، تتميز الشبكات العصبية الالتفافية بالخصائص التالية:

تتكون بنية الشبكة العصبية التلافيفية (CNN) من مجسمات ثلاثية الأبعاد للخلايا العصبية. تحتوي طبقات الشبكة العصبية التلافيفية على خلايا عصبية مرتبة في ثلاثة أبعاد : العرض والارتفاع والعمق. ^{[ 72 ]} ترتبط كل خلية عصبية داخل طبقة تلافيفية بمنطقة صغيرة فقط من الطبقة التي تسبقها، تُسمى حقل الاستقبال. تُكدس أنواع مختلفة من الطبقات، المتصلة محليًا وكليًا، لتشكيل بنية الشبكة العصبية التلافيفية.
الاتصال المحلي: استنادًا إلى مفهوم الحقول الاستقبالية، تستغل الشبكات العصبية التلافيفية (CNNs) خاصية التقارب المكاني من خلال فرض نمط اتصال محلي بين الخلايا العصبية في الطبقات المتجاورة. وبذلك، يضمن هذا التصميم أن تُنتج "المرشحات" المُدرَّبة أقوى استجابة لنمط إدخال محلي مكانيًا. ويؤدي تكديس العديد من هذه الطبقات إلى مرشحات غير خطية تصبح أكثر شمولية (أي تستجيب لمنطقة أكبر من فضاء البكسل)، بحيث تُنشئ الشبكة أولًا تمثيلات لأجزاء صغيرة من الإدخال، ثم تُجمِّع منها تمثيلات لمناطق أكبر.
الأوزان المشتركة: في الشبكات العصبية الالتفافية، يُكرر كل مرشح عبر كامل المجال البصري. تشترك هذه الوحدات المكررة في نفس المعلمات (متجه الوزن والانحياز) وتشكل خريطة ميزات. هذا يعني أن جميع الخلايا العصبية في طبقة التفافية معينة تستجيب لنفس الميزة ضمن مجال استجابتها المحدد. يسمح تكرار الوحدات بهذه الطريقة بأن تكون خريطة التنشيط الناتجة متغيرة بشكل متكافئ عند تغيير مواقع ميزات الإدخال في المجال البصري، أي أنها تمنح تكافؤًا انتقاليًا - بشرط أن تكون خطوة الطبقة تساوي واحدًا. ^{[ 73 ]}
التجميع: في طبقات التجميع في الشبكات العصبية الالتفافية ، تُقسّم خرائط الميزات إلى مناطق فرعية مستطيلة، ويتم تقليل حجم الميزات في كل مستطيل بشكل مستقل إلى قيمة واحدة، عادةً عن طريق حساب متوسطها أو قيمتها القصوى. بالإضافة إلى تقليل أحجام خرائط الميزات، تمنح عملية التجميع درجة من الثبات الانتقالي المحلي للميزات الموجودة فيها، مما يسمح للشبكة العصبية الالتفافية بأن تكون أكثر مقاومة للتغيرات في مواقعها. ^{[ 16 ]}

تُمكّن هذه الخصائص مجتمعةً الشبكات العصبية التلافيفية من تحقيق تعميم أفضل في مشاكل الرؤية الحاسوبية . كما أن مشاركة الأوزان تُقلل بشكل كبير من عدد المعاملات الحرة التي يتم تعلمها، مما يُخفض متطلبات الذاكرة لتشغيل الشبكة ويسمح بتدريب شبكات أكبر وأكثر قوة.

لبنات البناء

تتكون بنية الشبكة العصبية التلافيفية (CNN) من مجموعة من الطبقات المتميزة التي تحول حجم الإدخال إلى حجم إخراج (يحتوي مثلاً على درجات التصنيف) من خلال دالة قابلة للتفاضل. تُستخدم أنواع قليلة من الطبقات بشكل شائع، وسنتناولها بمزيد من التفصيل لاحقاً.

الطبقة الالتفافية

تُعدّ الطبقة الالتفافية اللبنة الأساسية لشبكة CNN. تتألف معلمات هذه الطبقة من مجموعة من المرشحات القابلة للتعلم (أو النوى )، والتي تتميز بمجال استقبال صغير، لكنها تمتد عبر كامل عمق حجم الإدخال. خلال عملية التمرير الأمامي، يتم تطبيق عملية الالتفاف على كل مرشح عبر عرض وارتفاع حجم الإدخال، وحساب حاصل الضرب النقطي بين مدخلات المرشح والإدخال، مما ينتج عنه خريطة تنشيط ثنائية الأبعاد لهذا المرشح. ونتيجة لذلك، تتعلم الشبكة مرشحات تُفعّل عند اكتشاف نوع محدد من الميزات في موضع مكاني معين في الإدخال. ^{[ 74 ]}^{[ ملاحظة 1 ]}

يُشكّل تجميع خرائط التنشيط لجميع المرشحات على طول بُعد العمق حجم الإخراج الكامل لطبقة الالتفاف. وبالتالي، يُمكن تفسير كل عنصر في حجم الإخراج على أنه ناتج عصبون ينظر إلى منطقة صغيرة في المدخلات. ويستخدم كل عنصر في خريطة التنشيط نفس مجموعة المعلمات التي تُحدد المرشح.

تم تكييف التعلم الذاتي لاستخدامه في الطبقات الالتفافية باستخدام رقع متفرقة ذات نسبة قناع عالية وطبقة تطبيع استجابة عالمية.

الاتصال المحلي

عند التعامل مع مدخلات عالية الأبعاد كالصور، يصبح من غير العملي ربط الخلايا العصبية بجميع الخلايا في الحجم السابق، لأن بنية الشبكة هذه لا تأخذ البنية المكانية للبيانات في الحسبان. تستغل الشبكات الالتفافية الارتباط المكاني المحلي من خلال فرض نمط اتصال محلي متفرق بين خلايا الطبقات المتجاورة: حيث ترتبط كل خلية عصبية بمنطقة صغيرة فقط من حجم الإدخال.

يُعد مدى هذا الاتصال مُعاملًا فائقًا يُسمى المجال الاستقبالي للعصبون. وتكون هذه الاتصالات محلية مكانيًا (على طول العرض والارتفاع)، ولكنها تمتد دائمًا على طول العمق الكامل لحجم الإدخال. ويضمن هذا التصميم أن تُنتج المرشحات المُدرَّبة أقوى استجابة لنمط إدخال محلي مكانيًا. ^{[ 75 ]}

الترتيب المكاني

تتحكم ثلاثة معلمات فائقة في حجم حجم الإخراج للطبقة الالتفافية: العمق، والخطوة ، وحجم الحشو:

يتحكم عمق حجم الإخراج في عدد الخلايا العصبية في الطبقة التي تتصل بنفس منطقة حجم الإدخال. تتعلم هذه الخلايا العصبية التنشيط بناءً على خصائص مختلفة في الإدخال. على سبيل المثال، إذا استقبلت الطبقة الالتفافية الأولى الصورة الخام كمدخل، فقد تنشط خلايا عصبية مختلفة على طول بُعد العمق عند وجود حواف أو بقع لونية ذات اتجاهات مختلفة.
يتحكم معامل الخطوة في كيفية توزيع أعمدة العمق حول العرض والارتفاع. إذا كانت قيمة الخطوة تساوي 1، فإننا نحرك المرشحات بكسلًا واحدًا في كل مرة. يؤدي هذا إلى تداخل كبير في حقول الاستقبال بين الأعمدة، وإلى أحجام إخراج كبيرة. لأي عدد صحيح ${\textstyle S>0,}$ تعني الخطوة S أن المرشح يُنقل S وحدة في كل مرة لكل مخرج. عمليًا، ${\textstyle S\geq 3}$ نادر الحدوث. تعني الخطوة الأكبر تداخلًا أقل للحقول الاستقبالية وأبعادًا مكانية أصغر لحجم الإخراج. ^{[ 76 ]}
أحيانًا، يكون من المفيد إضافة أصفار (أو قيم أخرى، مثل متوسط المنطقة) إلى حدود حجم الإدخال. يُعدّ حجم هذه الإضافة مُعاملًا فائقًا ثالثًا. تُتيح الإضافة التحكم في الحجم المكاني لحجم الإخراج. على وجه الخصوص، يُفضّل أحيانًا الحفاظ على الحجم المكاني لحجم الإدخال بدقة، ويُشار إلى ذلك عادةً باسم إضافة "التطابق".

يعتمد الحجم المكاني لحجم الإخراج على حجم حجم الإدخال $W$ حجم حقل النواة $K$ من بين خلايا الطبقة الالتفافية، الخطوة $S$ وكمية الحشو الصفري $P$ على الحدود. عدد الخلايا العصبية التي "تتسع" في حجم معين هو:

{\frac {W-K+2P}{S}}+1.

إذا لم يكن هذا الرقم عددًا صحيحًا ، فإن الخطوات غير صحيحة، ولا يمكن تقسيم الخلايا العصبية لتناسب حجم الإدخال بشكل متناظر . بشكل عام، ضبط الحشو الصفري على ${\textstyle P=(K-1)/2}$ عندما تكون الخطوة $S=1$ يضمن ذلك أن يكون لحجم الإدخال وحجم الإخراج نفس الحجم المكاني. مع ذلك، ليس من الضروري دائمًا استخدام جميع الخلايا العصبية في الطبقة السابقة. على سبيل المثال، قد يقرر مصمم الشبكة العصبية استخدام جزء فقط من الحشو.

مشاركة المعلمات

تُستخدم آلية مشاركة المعاملات في الطبقات الالتفافية للتحكم في عدد المعاملات الحرة. وتعتمد هذه الآلية على افتراض أنه إذا كانت ميزة رقعة ما مفيدة للحساب في موضع مكاني معين، فمن المفترض أن تكون مفيدة أيضًا للحساب في مواضع أخرى. وباعتبار شريحة عمق ثنائية الأبعاد واحدة شريحة عمق ، فإن الخلايا العصبية في كل شريحة عمق مُقيدة باستخدام نفس الأوزان والانحيازات.

بما أن جميع الخلايا العصبية في شريحة عمق واحدة تشترك في نفس المعاملات، يمكن حساب التمرير الأمامي في كل شريحة عمق من الطبقة الالتفافية على أنه التفاف لأوزان الخلية العصبية مع حجم الإدخال. ^{[ ملاحظة 2 ]} لذلك، من الشائع الإشارة إلى مجموعات الأوزان على أنها مرشح (أو نواة )، والتي يتم التفافها مع الإدخال. نتيجة هذا الالتفاف هي خريطة تنشيط ، ويتم تكديس مجموعة خرائط التنشيط لكل مرشح مختلف على طول بُعد العمق لإنتاج حجم الإخراج. يساهم تقاسم المعاملات في ثبات بنية الشبكة العصبية الالتفافية عند الإزاحة. ^{[ 16 ]}

في بعض الأحيان، قد لا يكون افتراض مشاركة المعلمات منطقيًا. ويصدق هذا بشكل خاص عندما تحتوي الصور المدخلة إلى الشبكة العصبية التلافيفية (CNN) على بنية مركزية محددة، حيث نتوقع تعلم ميزات مختلفة تمامًا في مواقع مكانية مختلفة. ومن الأمثلة العملية على ذلك، عندما تكون المدخلات عبارة عن وجوه مركزية في الصورة، فقد نتوقع تعلم ميزات خاصة بالعين أو الشعر في أجزاء مختلفة من الصورة. في هذه الحالة، من الشائع التخلي عن آلية مشاركة المعلمات، وتسمية الطبقة ببساطة "طبقة متصلة محليًا". في هذه الطبقة، لا تتم مشاركة معلمات النوى التلافيفية، بل تتعلم الشبكة أوزانًا وانحيازات مستقلة لكل موقع مكاني. وهذا يسمح لكل موقع بامتلاك قدرته الخاصة على تعلم الميزات، مما يجعله أكثر ملاءمة للتعامل مع الصور ذات البنى المركزية المتميزة أو الميزات غير المنتظمة.

طبقة التجميع

يُعدّ التجميع مفهومًا هامًا آخر في الشبكات العصبية التلافيفية، ويُستخدم كشكل من أشكال تقليل حجم البيانات غير الخطي . يُحقق التجميع تقليل حجم البيانات لأنه يُقلل الأبعاد المكانية (الارتفاع والعرض) لخرائط ميزات الإدخال مع الحفاظ على أهم المعلومات. توجد عدة دوال غير خطية لتنفيذ التجميع، ويُعدّ التجميع الأقصى والتجميع المتوسط الأكثر شيوعًا. يُجمّع التجميع المعلومات من مناطق صغيرة من الإدخال، مُنشئًا أقسامًا لخريطة ميزات الإدخال، عادةً باستخدام نافذة ثابتة الحجم (مثل 2×2) وتطبيق خطوة (غالبًا 2) لتحريك النافذة عبر الإدخال. ^{[ 77 ]} تجدر الإشارة إلى أنه بدون استخدام خطوة أكبر من 1، لن يُحقق التجميع تقليل حجم البيانات، حيث سيُحرّك نافذة التجميع عبر الإدخال خطوة واحدة في كل مرة، دون تقليل حجم خريطة الميزات. بعبارة أخرى، تُحدد الخطوة مقدار حركة نافذة التجميع عبر الإدخال، مما يُؤدي فعليًا إلى تقليل حجم البيانات.

بشكل بديهي، يُعدّ الموقع الدقيق للميزة أقل أهمية من موقعها التقريبي بالنسبة للميزات الأخرى. هذه هي الفكرة الكامنة وراء استخدام التجميع في الشبكات العصبية الالتفافية. تعمل طبقة التجميع على تقليل الحجم المكاني للتمثيل تدريجيًا، مما يقلل عدد المعلمات، وحجم الذاكرة المستخدمة ، وكمية العمليات الحسابية في الشبكة، وبالتالي التحكم في فرط التخصيص . يُعرف هذا باسم تقليل حجم العينة. من الشائع إدراج طبقة تجميع بشكل دوري بين طبقات الالتفاف المتتالية (تتبع كل طبقة منها عادةً دالة تنشيط، مثل طبقة ReLU ) في بنية الشبكة العصبية الالتفافية. ^{[ 74 ]}^{: 460-461.} في حين أن طبقات التجميع تُسهم في ثبات الإزاحة المحلية، إلا أنها لا توفر ثبات الإزاحة الكلية في الشبكة العصبية الالتفافية، إلا إذا تم استخدام شكل من أشكال التجميع الكلي. ^{[ 16 ]}^{[ 73 ].} تعمل طبقة التجميع عادةً بشكل مستقل على كل عمق، أو شريحة، من المدخلات وتُعيد تحجيمها مكانيًا. يُعدّ أحد الأشكال الشائعة جدًا للتجميع الأقصى طبقة تحتوي على مرشحات بحجم 2×2، يتم تطبيقها بخطوة 2، والتي تقوم بأخذ عينات فرعية من كل شريحة عمق في المدخلات بمقدار 2 على طول كل من العرض والارتفاع، مع تجاهل 75% من التنشيطات: $f_{X,Y}(S)=\max _{a,b=0}^{1}S_{2X+a,2Y+b}.$ في هذه الحالة، كل عملية حسابية قصوى تتم على 4 أرقام. ويبقى بُعد العمق دون تغيير (وهذا ينطبق على أشكال التجميع الأخرى أيضًا).

إضافةً إلى التجميع الأقصى، يمكن لوحدات التجميع استخدام وظائف أخرى، مثل التجميع المتوسط أو التجميع _بمعيار ℓ² . كان التجميع المتوسط شائع الاستخدام تاريخيًا ، ولكنه تراجع استخدامه مؤخرًا مقارنةً بالتجميع الأقصى، الذي يُحقق أداءً أفضل عمومًا في التطبيق العملي. ^{[ 78 ]}

بسبب تأثيرات التخفيض المكاني السريع لحجم التمثيل، هناك اتجاه حديث نحو استخدام مرشحات أصغر ^[⁷⁹^] أو التخلي عن طبقات التجميع تمامًا. ^[⁸⁰^]

تجميع القنوات القصوى

تُجري طبقة تجميع القنوات القصوى (CMP) عملية التجميع القصوى (MP) على طول جانب القناة بين المواضع المتناظرة لخرائط الميزات المتتالية بهدف إزالة المعلومات الزائدة. تُؤدي عملية CMP إلى تجميع الميزات المهمة ضمن عدد أقل من القنوات، وهو أمر بالغ الأهمية لتصنيف الصور الدقيق الذي يتطلب المزيد من الميزات المميزة. في الوقت نفسه، تتمثل ميزة أخرى لعملية CMP في تقليل عدد قنوات خرائط الميزات قبل اتصالها بأول طبقة متصلة بالكامل (FC). على غرار عملية MP، نرمز إلى خرائط الميزات المدخلة وخرائط الميزات المخرجة لطبقة CMP بالرمزين F ∈ R(C×M×N) و C ∈ R(c×M×N) على التوالي، حيث C و c هما عدد قنوات خرائط الميزات المدخلة والمخرجة، و M و N هما عرض وارتفاع خرائط الميزات على التوالي. تجدر الإشارة إلى أن عملية CMP تُغير فقط عدد قنوات خرائط الميزات، دون تغيير عرضها أو ارتفاعها، وهو ما يختلف عن عملية MP. ^{[ 81 ]}

انظر ^{[ 82 ]}^{[ 83 ]} للاطلاع على مراجعات طرق التجميع.

طبقة ReLU

ReLU هو اختصار لـ " وحدة التنشيط الخطي المُقوَّم" . اقترحه ألستون هاوسهولدر عام 1941، ^{[ 84 ]} واستخدمه كونيهيكو فوكوشيما في الشبكات العصبية التلافيفية عام 1969. ^{[ 39 ]} تعتمد ReLU على دالة التنشيط غير المشبعة. ${\textstyle f(x)=\max(0,x)}$ ^[ 69 ^] تعمل هذه الطريقة على إزالة القيم السالبة من خريطة التنشيط عن طريق ضبطها على الصفر. ^[⁸⁵^] كما أنها تُدخل اللاخطية إلى دالة القرار وفي الشبكة ككل دون التأثير على حقول الاستقبال لطبقات الالتفاف. في عام 2011، وجد كل من كزافييه غلوروت، وأنطوان بورديس، ^ويوشوا بنجيو أن دالة ReLU تُتيح تدريبًا أفضل للشبكات العميقة، ^{[ 86 ]} مقارنةً بدوال التنشيط الشائعة الاستخدام قبل عام 2011.

يمكن أيضًا استخدام وظائف أخرى لزيادة اللاخطية، على سبيل المثال دالة الظل الزائدي المشبع $f(x)=\tanh(x)$ ، $f(x)=|\tanh(x)|$ والدالة السينية ${\textstyle \sigma (x)=(1+e^{-x})^{-1}}$ غالباً ما يُفضّل استخدام دالة ReLU على الدوال الأخرى لأنها تُدرّب الشبكة العصبية أسرع بعدة مرات دون تأثير سلبي كبير على دقة التعميم . ^{[ 87 ]}

طبقة متصلة بالكامل

بعد عدة طبقات التفافية وطبقات تجميع قصوى، يتم التصنيف النهائي عبر طبقات متصلة بالكامل. ترتبط الخلايا العصبية في الطبقة المتصلة بالكامل بجميع التنشيطات في الطبقة السابقة، كما هو الحال في الشبكات العصبية الاصطناعية العادية (غير الالتفافية) . وبالتالي، يمكن حساب تنشيطاتها كتحويل خطي ، مع ضرب المصفوفات متبوعًا بإزاحة الانحياز ( جمع متجه لمصطلح انحياز مُتعلم أو ثابت).

طبقة الفقد

تُجسّد "طبقة الخسارة"، أو " دالة الخسارة "، كيف يُعاقب التدريب الانحراف بين المخرجات المتوقعة للشبكة وتصنيفات البيانات الحقيقية (أثناء التعلم الخاضع للإشراف). ويمكن استخدام دوال خسارة متنوعة ، بحسب المهمة المحددة.

تُستخدم دالة خسارة Softmax للتنبؤ بفئة واحدة من بين K فئة حصرية متبادلة. ^{[ ملاحظة 3 ]} تُستخدم دالة خسارة الإنتروبيا التقاطعية Sigmoid للتنبؤ بقيم احتمالية مستقلة K في $[0,1]$ تُستخدم دالة الخسارة الإقليدية للانحدار إلى التصنيفات ذات القيم الحقيقية $(-\infty ,\infty )$ .

المعلمات الفائقة

المعلمات الفائقة هي إعدادات متنوعة تُستخدم للتحكم في عملية التعلم. تستخدم الشبكات العصبية التلافيفية (CNNs) معلمات فائقة أكثر من الشبكة العصبية متعددة الطبقات (MLP) القياسية.

حشوة

الحشو هو إضافة وحدات بكسل (عادةً ما تكون قيمتها صفرًا) على حواف الصورة. يُجرى ذلك لضمان عدم فقدان وحدات البكسل الموجودة على الحواف من الناتج، لأنها عادةً ما تشارك في نسخة واحدة فقط من حقل الاستقبال. عادةً ما يكون الحشو المُطبق أقل بواحد من بُعد النواة المقابل. على سبيل المثال، تتلقى طبقة التفافية تستخدم نواة 3×3 حشوًا بمقدار 2 بكسل، أي بكسل واحد على كل جانب من جوانب الصورة.

خطوة

الخطوة هي عدد البكسلات التي تتحركها نافذة التحليل في كل تكرار. خطوة مقدارها 2 تعني أن كل نواة مُزاحة بمقدار بكسلين عن سابقتها.

عدد المرشحات

بما أن حجم خريطة الميزات يتناقص مع العمق، فإن الطبقات القريبة من طبقة الإدخال تميل إلى احتواء عدد أقل من المرشحات، بينما قد تحتوي الطبقات الأعلى على عدد أكبر. ولتحقيق توازن في الحساب بين كل طبقة، يُحافظ على حاصل ضرب قيم الميزات (v _<sub>a </sub>) في موضع البكسل ثابتًا تقريبًا عبر الطبقات. ويتطلب الحفاظ على مزيد من المعلومات حول الإدخال الحفاظ على العدد الإجمالي للتنشيطات (عدد خرائط الميزات مضروبًا في عدد مواضع البكسل) ثابتًا من طبقة إلى أخرى.

يتحكم عدد خرائط الميزات بشكل مباشر في السعة ويعتمد على عدد الأمثلة المتاحة ومدى تعقيد المهمة.

حجم المرشح (أو النواة)

تختلف أحجام المرشحات الشائعة في الدراسات المنشورة اختلافًا كبيرًا، ويتم اختيارها عادةً بناءً على مجموعة البيانات. تتراوح أحجام المرشحات النموذجية من 1×1 إلى 7×7. ومن الأمثلة الشهيرة على ذلك، استخدام شبكة AlexNet أحجام 3×3 و5×5 و11×11، بينما استخدمت شبكة Inceptionv3 أحجام 1×1 و3×3 و5×5.

يكمن التحدي في إيجاد المستوى المناسب من التفصيل لإنشاء تجريدات على النطاق المناسب، بالنظر إلى مجموعة بيانات معينة، ودون الإفراط في التخصيص .

نوع وحجم التجمع

يُستخدم تجميع البيانات القصوى عادةً، وغالبًا ما يكون ذلك بأبعاد 2×2. وهذا يعني أن المدخلات تُقلل بشكل كبير من حجمها ، مما يقلل من تكلفة المعالجة.

يؤدي التجميع الأكبر إلى تقليل أبعاد الإشارة، وقد ينتج عنه فقدان غير مقبول للمعلومات . غالبًا ما تكون نوافذ التجميع غير المتداخلة هي الأفضل أداءً. ^{[ 78 ]}

تمدد

تتضمن عملية التمدد تجاهل بعض البكسلات داخل النواة. هذا يقلل من استهلاك الذاكرة المخصصة للمعالجة دون فقدان ملحوظ للإشارة. يؤدي تمدد بمقدار 2 على نواة 3×3 إلى توسيع النواة إلى 5×5، مع استمرار معالجة 9 بكسلات (متباعدة بانتظام). تحديدًا، البكسلات التي تتم معالجتها بعد التمدد هي الخلايا (1,1)، (1,3)، (1,5)، (3,1)، (3,3)، (3,5)، (5,1)، (5,3)، (5,5)، حيث تشير (i,j) إلى الخلية في الصف i والعمود j في النواة الموسعة 5×5. وبالمثل، يؤدي تمدد بمقدار 4 إلى توسيع النواة إلى 7×7.

التباين في الترجمة والتداخل

يُفترض عمومًا أن الشبكات العصبية التلافيفية (CNNs) ثابتة عند تغيير قيم المدخلات. طبقات الالتفاف أو التجميع داخل الشبكة العصبية التلافيفية التي لا تتجاوز خطوة واحدة فيها متغيرة مع تغيرات المدخلات. ^{[ 73 ]} مع ذلك، فإن الطبقات ذات الخطوة الأكبر من واحد تتجاهل نظرية نايكويست-شانون لأخذ العينات ، وقد تؤدي إلى تشويه الإشارة المدخلة. ^{[ 73 ]} على الرغم من أن الشبكات العصبية التلافيفية قادرة، من حيث المبدأ، على تطبيق مرشحات مضادة للتشويه، فقد لوحظ أن هذا لا يحدث عمليًا، ^{[ 88 ]} وبالتالي ينتج عنها نماذج غير متغيرة مع تغيرات المدخلات.

علاوة على ذلك، إذا استخدمت الشبكة العصبية التلافيفية طبقات متصلة بالكامل، فإن تباين الإزاحة لا يعني بالضرورة ثباتها، لأن الطبقات المتصلة بالكامل ليست ثابتة عند تغيير قيم المدخلات. ^{[ 89 ]}^{[ 16 ]} يتمثل أحد حلول الثبات الكامل للإزاحة في تجنب أي تقليل لحجم العينة في جميع أنحاء الشبكة وتطبيق التجميع المتوسط العالمي في الطبقة الأخيرة. ^{[ 73 ]} بالإضافة إلى ذلك، تم اقتراح العديد من الحلول الجزئية الأخرى، مثل منع التداخل قبل عمليات تقليل حجم العينة، ^{[ 90 ]} وشبكات المحولات المكانية، ^{[ 91 ]} وتوسيع البيانات ، وأخذ العينات الفرعية مع التجميع، ^{[ 16 ]} وشبكات الكبسولات العصبية . ^{[ 92 ]}

تقييم

تُقدَّر دقة النموذج النهائي عادةً على جزء فرعي من مجموعة البيانات يُخصَّص في البداية، ويُسمى غالبًا مجموعة الاختبار. وبدلاً من ذلك، تُطبَّق طرق مثل التحقق المتقاطع k -fold. وتشمل الاستراتيجيات الأخرى استخدام التنبؤ المطابق . ^{[ 93 ]}^{[ 94 ]}

أساليب التنظيم

التنظيم هو عملية إدخال معلومات إضافية لحل مشكلة غير محددة جيدًا أو لمنع التجاوز . تستخدم الشبكات العصبية التلافيفية أنواعًا مختلفة من التنظيم.

تجريبي

أوقع

نظرًا لكثرة المعاملات في الشبكات، فإنها عرضة للتجاوز في التخصيص. إحدى طرق الحد من هذا التجاوز هي تقنية التسرب (Dropout )، التي طُرحت عام ٢٠١٤. ^{[ ٩٥ ]} في كل مرحلة من مراحل التدريب، يتم "إسقاط" العقد الفردية من الشبكة (تجاهلها) باحتمالية معينة. $1-p$ أو الاحتفاظ بها باحتمالية $p$ وبذلك، يتبقى لدينا شبكة مُصغّرة؛ كما تُزال الحواف الواردة والصادرة إلى العقدة المُستبعدة. في هذه المرحلة، تُدرَّب الشبكة المُصغّرة فقط على البيانات. ثم تُعاد العقد المُزالة إلى الشبكة بأوزانها الأصلية.

في مراحل التدريب، $p$ عادة ما تكون 0.5؛ بالنسبة لعقد الإدخال، عادة ما تكون أعلى بكثير لأن المعلومات تضيع مباشرة عند تجاهل عقد الإدخال.

في وقت الاختبار بعد انتهاء التدريب، نود بشكل مثالي إيجاد متوسط عينة لجميع القيم الممكنة $2^{n}$ الشبكات المتسربة؛ لسوء الحظ، هذا غير عملي للقيم الكبيرة لـ $n$ ومع ذلك، يمكننا إيجاد تقريب باستخدام الشبكة الكاملة مع ترجيح مخرجات كل عقدة بمعامل من $p$ وبالتالي، فإن القيمة المتوقعة لمخرجات أي عقدة هي نفسها كما في مراحل التدريب. هذه هي المساهمة الأكبر لطريقة التسرب: على الرغم من أنها تولد بشكل فعال $2^{n}$ الشبكات العصبية، وعلى هذا النحو تسمح بدمج النماذج، عند وقت الاختبار، لا يلزم اختبار سوى شبكة واحدة.

من خلال تجنب تدريب جميع العقد على جميع بيانات التدريب، يقلل التسرب من فرط التخصيص. كما تُحسّن هذه الطريقة سرعة التدريب بشكل ملحوظ. وهذا يجعل دمج النماذج عمليًا، حتى بالنسبة للشبكات العصبية العميقة . ويبدو أن هذه التقنية تُقلل من تفاعلات العقد، مما يُتيح لها تعلم خصائص أكثر قوة تُعمم بشكل أفضل على البيانات الجديدة.

دروب كونكت

DropConnect هو تعميم لتقنية dropout حيث يمكن إسقاط كل اتصال، بدلاً من كل وحدة إخراج، باحتمالية معينة. $1-p$ وبالتالي، تتلقى كل وحدة مدخلات من مجموعة فرعية عشوائية من الوحدات في الطبقة السابقة. ^{[ 96 ]}

تُشبه تقنية DropConnect تقنية Dropout في إدخالها للتباعد الديناميكي داخل النموذج، لكنها تختلف عنها في أن التباعد يتركز على الأوزان، وليس على متجهات الإخراج للطبقة. بعبارة أخرى، تتحول الطبقة المتصلة بالكامل مع DropConnect إلى طبقة متصلة بشكل متفرق، حيث يتم اختيار الاتصالات عشوائيًا أثناء مرحلة التدريب.

التجميع العشوائي

من أبرز عيوب تقنية التسرب أنها لا تتمتع بنفس الفوائد بالنسبة للطبقات الالتفافية، حيث لا تكون الخلايا العصبية متصلة بشكل كامل.

حتى قبل تقنية التسرب، في عام 2013، استُبدلت عمليات التجميع الحتمية التقليدية ^{[ 97 ]} بتقنية تُسمى التجميع العشوائي، حيث يتم اختيار التنشيط داخل كل منطقة تجميع عشوائيًا وفقًا لتوزيع متعدد الحدود ، مُحدد بواسطة الأنشطة داخل منطقة التجميع. هذا النهج خالٍ من المعلمات الفائقة ويمكن دمجه مع أساليب تنظيم أخرى، مثل التسرب وتوسيع البيانات .

يُمكن النظر إلى التجميع العشوائي من منظورٍ بديل، وهو أنه يُعادل التجميع الأقصى القياسي، ولكن مع نسخٍ متعددة من الصورة الأصلية، لكلٍ منها تشوهاتٌ محلية صغيرة . وهذا يُشبه التشوهات المرنة الصريحة للصور الأصلية، ^{[ 98 ]} والتي تُحقق أداءً ممتازًا على مجموعة بيانات MNIST . ^{[ 98 ]} يُؤدي استخدام التجميع العشوائي في نموذج متعدد الطبقات إلى عددٍ أُسّي من التشوهات، نظرًا لأن عمليات الاختيار في الطبقات العليا مُستقلة عن تلك الموجودة في الطبقات الأدنى.

بيانات اصطناعية

نظرًا لأن درجة فرط التخصيص في النموذج تتحدد بقوته وكمية التدريب التي يتلقاها، فإن تزويد الشبكة الالتفافية بمزيد من أمثلة التدريب يُمكن أن يُقلل من فرط التخصيص. ولأن البيانات المتاحة للتدريب غالبًا ما تكون غير كافية، خاصةً مع ضرورة الاحتفاظ بجزء منها للاختبار لاحقًا، يُعتمد نهجان: إما توليد بيانات جديدة من الصفر (إن أمكن)، أو تعديل البيانات الموجودة لإنشاء بيانات جديدة. ويُستخدم النهج الأخير منذ منتصف التسعينيات. ^{[ 53 ]} على سبيل المثال، يُمكن قص الصور المدخلة أو تدويرها أو تغيير حجمها لإنشاء أمثلة جديدة بنفس تصنيفات مجموعة التدريب الأصلية. ^{[ 99 ]}

صريح

التوقف المبكر

إحدى أبسط الطرق لمنع فرط التخصيص في الشبكة هي إيقاف التدريب قبل حدوثه. لكن يعيب هذه الطريقة توقف عملية التعلم.

عدد المعلمات

هناك طريقة أخرى بسيطة لمنع فرط التخصيص، وهي الحد من عدد المعاملات، عادةً عن طريق تقليل عدد الوحدات المخفية في كل طبقة أو تقليل عمق الشبكة. بالنسبة للشبكات الالتفافية، يؤثر حجم المرشح أيضًا على عدد المعاملات. يحدّ تقليل عدد المعاملات من القدرة التنبؤية للشبكة بشكل مباشر، مما يقلل من تعقيد الوظيفة التي يمكنها تنفيذها على البيانات، وبالتالي يحدّ من فرط التخصيص. وهذا يُعادل " المعيار الصفري ".

انخفاض الوزن

يُعدّ تحلل الوزن أحد أبسط أشكال المُنظِّم الإضافي، حيث يُضيف خطأً إضافيًا، يتناسب مع مجموع الأوزان ( معيار L1 ) أو مربع مقدار متجه الوزن ( معيار L2 )، إلى الخطأ عند كل عقدة. ويمكن تقليل مستوى تعقيد النموذج المقبول بزيادة ثابت التناسب (المعامل الفائق 'ألفا')، مما يزيد من العقوبة المفروضة على متجهات الوزن الكبيرة.

يُعدّ تنظيم L2 الشكل الأكثر شيوعًا للتنظيم. ويمكن تطبيقه من خلال معاقبة مربع القيمة المطلقة لجميع المعاملات مباشرةً في دالة الهدف. ويُفسَّر تنظيم L2 بشكلٍ بديهي على أنه يُعاقب بشدة متجهات الأوزان ذات القيم القصوى، ويُفضِّل متجهات الأوزان ذات القيم المتوسطة. وبفضل التفاعلات المضاعفة بين الأوزان والمدخلات، يتميز هذا التنظيم بخاصية مفيدة تتمثل في تشجيع الشبكة على استخدام جميع مدخلاتها بشكل جزئي بدلًا من استخدام بعضها بشكل مفرط.

يُعدّ تنظيم L1 شائعًا أيضًا، إذ يُقلّل من كثافة متجهات الأوزان أثناء عملية التحسين. بعبارة أخرى، تستخدم الخلايا العصبية المُطبّق عليها تنظيم L1 مجموعة فرعية مُتفرقة فقط من أهم مُدخلاتها، وتُصبح شبه ثابتة تجاه المُدخلات المُشوشة. يُمكن دمج تنظيم L1 مع تنظيم L2، ويُسمى هذا تنظيم الشبكة المرنة .

قيود المعيار الأقصى

يتمثل شكل آخر من أشكال التنظيم في فرض حد أعلى مطلق على قيمة متجه الوزن لكل عصبون، واستخدام خوارزمية التدرج المسقط لفرض هذا القيد. عمليًا، يتوافق هذا مع إجراء تحديث المعلمات كالمعتاد، ثم فرض القيد عن طريق تثبيت متجه الوزن. ${\vec {w}}$ من كل عصبون لإرضاء $\|{\vec {w}}\|_{2}<c$ القيم النموذجية لـ $c$ وهي من رتبة 3-4. تشير بعض الأبحاث إلى تحسينات ^{[ 100 ]} عند استخدام هذا الشكل من التنظيم.

إطارات الإحداثيات الهرمية

يؤدي تجميع الصور إلى فقدان العلاقات المكانية الدقيقة بين الأجزاء الرئيسية (مثل الأنف والفم في صورة الوجه). هذه العلاقات ضرورية للتعرف على الهوية. يساعد تداخل مجموعات الصور، بحيث تظهر كل سمة في مجموعات متعددة، على الاحتفاظ بالمعلومات. لا يمكن للترجمة وحدها استقراء فهم العلاقات الهندسية إلى منظور جديد جذريًا، مثل اتجاه أو مقياس مختلف. من ناحية أخرى، يتمتع الناس بقدرة كبيرة على الاستقراء؛ فبعد رؤية شكل جديد مرة واحدة، يمكنهم التعرف عليه من منظور مختلف. ^{[ 101 ]}

كانت إحدى الطرق الشائعة سابقًا للتعامل مع هذه المشكلة هي تدريب الشبكة على بيانات مُحوَّلة في اتجاهات وأحجام وإضاءة مختلفة، وما إلى ذلك، حتى تتمكن الشبكة من التعامل مع هذه الاختلافات. إلا أن هذه الطريقة تتطلب موارد حاسوبية كبيرة، خاصةً مع مجموعات البيانات الضخمة. أما البديل فهو استخدام تسلسل هرمي لأطر الإحداثيات، وتوظيف مجموعة من الخلايا العصبية لتمثيل اقتران شكل الميزة ووضعها بالنسبة للشبكية . ويُعرَّف الوضع بالنسبة للشبكية بأنه العلاقة بين إطار إحداثيات الشبكية وإطار إحداثيات الميزات الجوهرية. ^{[ 102 ]}

لذا، تتمثل إحدى طرق تمثيل شيء ما في تضمين إطار الإحداثيات داخله. وهذا يسمح بالتعرف على السمات الكبيرة باستخدام اتساق وضعيات أجزائها (على سبيل المثال، وضعيات الأنف والفم تُعطي تنبؤًا متسقًا بوضعية الوجه بأكمله). يضمن هذا النهج وجود الكيان ذي المستوى الأعلى (مثل الوجه) عندما تتفق الكيانات ذات المستوى الأدنى (مثل الأنف والفم) على تنبؤها بالوضعية. تسمح متجهات النشاط العصبي التي تُمثل الوضعية ("متجهات الوضعية") بإجراء تحويلات مكانية مُنمذجة كعمليات خطية، مما يُسهل على الشبكة تعلم التسلسل الهرمي للكيانات المرئية والتعميم عبر وجهات النظر. وهذا يُشبه الطريقة التي يفرض بها الجهاز البصري البشري أطر الإحداثيات لتمثيل الأشكال. ^{[ 103 ]}

التطبيقات

التعرف على الصور

تُستخدم الشبكات العصبية التلافيفية (CNNs) بكثرة في أنظمة التعرف على الصور . في عام 2012، سُجِّل معدل خطأ قدره 0.23% على قاعدة بيانات MNIST . ^{[ 28 ]} وأشارت ورقة بحثية أخرى حول استخدام الشبكات العصبية التلافيفية لتصنيف الصور إلى أن عملية التعلم كانت "سريعة بشكلٍ مُدهش"؛ وفي الورقة نفسها، حُقِّقت أفضل النتائج المنشورة حتى عام 2011 على قاعدتي بيانات MNIST وNORB. ^{[ 25 ]} لاحقًا، فازت شبكة عصبية تلافيفية مماثلة تُسمى AlexNet ^{[ 104 ]} بتحدي ImageNet للتعرف البصري واسع النطاق لعام 2012.

عند تطبيقها على التعرف على الوجوه ، حققت الشبكات العصبية التلافيفية انخفاضًا كبيرًا في معدل الخطأ. ^{[ 105 ]} وذكرت دراسة أخرى معدل تعرف بلغ 97.6% على "5600 صورة ثابتة لأكثر من 10 أشخاص". ^{[ 21 ]} استُخدمت الشبكات العصبية التلافيفية لتقييم جودة الفيديو بموضوعية بعد التدريب اليدوي؛ وقد حقق النظام الناتج معدل خطأ متوسط تربيعي منخفضًا جدًا . ^{[ 106 ]}

تُعدّ مسابقة ImageNet للتعرف البصري واسع النطاق معيارًا في تصنيف الأجسام واكتشافها، إذ تضم ملايين الصور ومئات فئات الأجسام. في مسابقة ILSVRC 2014 ^{[ 107 ]} ، وهي مسابقة للتعرف البصري واسع النطاق، استخدمت جميع الفرق المصنفة تقريبًا الشبكات العصبية الالتفافية (CNN) كإطار عمل أساسي. وقد حقق الفريق الفائز ، GoogLeNet ^{[ 108 ]} (الذي يُعدّ أساس DeepDream )، زيادة في متوسط دقة اكتشاف الأجسام إلى 0.439329، وخفضًا في خطأ التصنيف إلى 0.06656، وهي أفضل نتيجة حتى الآن. وقد استخدمت شبكته أكثر من 30 طبقة. وكان أداء الشبكات العصبية الالتفافية في اختبارات ImageNet قريبًا من أداء البشر ^{[ 109 ]} . ومع ذلك، لا تزال أفضل الخوارزميات تواجه صعوبة في التعامل مع الأجسام الصغيرة أو الرقيقة، مثل نملة صغيرة على ساق زهرة أو شخص يحمل ريشة في يده. كما تواجه صعوبة في التعامل مع الصور المشوهة بالمرشحات، وهي ظاهرة شائعة بشكل متزايد في الكاميرات الرقمية الحديثة. في المقابل، نادرًا ما تُشكّل هذه الأنواع من الصور مشكلة للبشر. لكن البشر يميلون إلى مواجهة صعوبات في مسائل أخرى. على سبيل المثال، لا يجيدون تصنيف الأشياء إلى فئات دقيقة مثل سلالة معينة من الكلاب أو أنواع الطيور، بينما تتولى الشبكات العصبية الالتفافية هذه المهمة.

في عام 2015، أظهرت شبكة عصبية تلافيفية متعددة الطبقات قدرتها على تمييز الوجوه من زوايا متنوعة، بما في ذلك الوضع المقلوب، وحتى عند حجب جزء منها، بأداء تنافسي. تم تدريب الشبكة على قاعدة بيانات تضم 200,000 صورة تتضمن وجوهًا بزوايا واتجاهات مختلفة، بالإضافة إلى 20 مليون صورة أخرى بدون وجوه. استُخدمت دفعات من 128 صورة على مدار 50,000 دورة تدريبية. ^{[ 110 ]}

تحليل الفيديو

مقارنةً بمجالات بيانات الصور، لا تزال الدراسات قليلة نسبيًا حول تطبيق الشبكات العصبية الالتفافية (CNNs) على تصنيف الفيديو. يُعدّ الفيديو أكثر تعقيدًا من الصور لاحتوائه على بُعد زمني. مع ذلك، تم استكشاف بعض التوسعات لشبكات CNNs في مجال الفيديو. يتمثل أحد هذه الأساليب في اعتبار المكان والزمان بُعدين متكافئين للمدخلات، وإجراء عمليات الالتفاف في كليهما. ^{[ 111 ]}^{[ 112 ]} وثمة طريقة أخرى تتمثل في دمج خصائص شبكتين عصبيتين التفافيتين، إحداهما للتدفق المكاني والأخرى للتدفق الزمني. ^{[ 113 ]}^{[ 114 ]}^{[ 115 ]} عادةً ما تُدمج وحدات الذاكرة طويلة المدى (LSTM) المتكررة بعد شبكة CNN لمراعاة التبعيات بين الإطارات أو المقاطع. ^{[ 116 ]}^{[ 117 ]} وقد طُرحت مخططات التعلم غير الخاضع للإشراف لتدريب الخصائص المكانية-الزمانية، استنادًا إلى آلات بولتزمان المقيدة ذات البوابات الالتفافية ^{[ 118 ]} وتحليل الفضاء الفرعي المستقل. ^{[ 119 ]} يمكن رؤية تطبيقها في نماذج تحويل النص إلى فيديو .

معالجة اللغة الطبيعية

تم أيضًا استكشاف الشبكات العصبية التلافيفية (CNNs) في مجال معالجة اللغة الطبيعية . تُعدّ نماذج CNN فعّالة في حلّ العديد من مشاكل معالجة اللغة الطبيعية ، وقد حققت نتائج ممتازة في التحليل الدلالي ^{[ 120 ]} ، واسترجاع استعلامات البحث ^{[ 121 ]} ، ونمذجة الجمل ^{[ 122 ] ، والتصنيف}^{[ 123 ]} ، والتنبؤ ^{[ 124 ]} ، وغيرها من مهام معالجة اللغة الطبيعية التقليدية ^{[ 125 ]} . بالمقارنة مع أساليب معالجة اللغة التقليدية، مثل الشبكات العصبية المتكررة ( RNNs)، تستطيع CNNs تمثيل سياقات لغوية مختلفة دون الاعتماد على افتراض التسلسل الزمني، بينما تُعدّ RNNs أنسب عند الحاجة إلى نمذجة السلاسل الزمنية التقليدية ^{[ 126 ]}^{[ 127 ]}^{[ 128 ]}^{[ 129 ] .}

الكشف عن سلوك الحيوانات

استُخدمت الشبكات العصبية التلافيفية (CNNs) في البحوث البيئية والسلوكية للكشف التلقائي عن سلوك الحيوانات وقياسه كميًا من البيانات المرئية، ^{[ 130 ]}^{[ 131 ]} مما يُتيح تحديد الحيوانات، ^{[ 132 ]}^{[ 133 ]} وتتبع الأفراد، ^{[ 134 ]} وتقدير وضعية الجسم، ^{[ 135 ]}^{[ 136 ]}^{[ 137 ]} وتصنيف سلوكيات محددة كالتغذية، ^{[ 138 ]} والتفاعلات الاجتماعية. ^{[ 131 ]}^{[ 138 ]} وبالاقتران مع تتبع الأجسام المتعددة والنمذجة الزمنية، تستطيع هذه الأنظمة استخلاص التسلسلات السلوكية عبر تسجيلات طويلة، مما يُقلل الاعتماد على التوصيف اليدوي ويزيد الإنتاجية لدراسات التباين الفردي والشبكات الاجتماعية والديناميكيات الجماعية.

الكشف عن الحالات الشاذة

تم استخدام شبكة عصبية تلافيفية أحادية البعد على السلاسل الزمنية في مجال التردد (البقايا الطيفية) بواسطة نموذج غير خاضع للإشراف للكشف عن الشذوذات في المجال الزمني. ^{[ 139 ]}

اكتشاف الأدوية

استُخدمت الشبكات العصبية التلافيفية (CNNs) في اكتشاف الأدوية . إذ يُمكن للتنبؤ بالتفاعل بين الجزيئات والبروتينات البيولوجية تحديد العلاجات المحتملة. في عام 2015، قدمت شركة Atomwise نظام AtomNet، وهو أول شبكة عصبية للتعلم العميق لتصميم الأدوية بناءً على البنية الجزيئية . ^{[ 140 ]} يتدرب النظام مباشرةً على تمثيلات ثلاثية الأبعاد للتفاعلات الكيميائية. وعلى غرار كيفية تعلم شبكات التعرف على الصور لدمج ميزات أصغر متقاربة مكانيًا في هياكل أكبر وأكثر تعقيدًا، ^{[ 141 ]} يكتشف AtomNet السمات الكيميائية، مثل العطرية ، وذرات الكربون ^sp3 ، والروابط الهيدروجينية . لاحقًا، استُخدم AtomNet للتنبؤ بجزيئات حيوية مرشحة جديدة لأهداف علاجية متعددة، أبرزها علاجات فيروس إيبولا ^{[ 142 ]} والتصلب المتعدد . ^{[ 143 ]}

لعبة الداما

استُخدمت الشبكات العصبية الالتفافية في لعبة الداما . ففي الفترة من عام 1999 إلى عام 2001، نشر فوغل وتشيلابيلا أبحاثًا توضح كيف يمكن لشبكة عصبية التفافية أن تتعلم لعب الداما باستخدام التطور المشترك. لم تعتمد عملية التعلم على مباريات احترافية سابقة للاعبين، بل ركزت على مجموعة أساسية من المعلومات الموجودة على رقعة الداما: موقع ونوع القطع، والفرق في عدد القطع بين الجانبين. في النهاية، تم اختبار البرنامج ( بلوندي 24 ) في 165 مباراة ضد لاعبين، وحقق تصنيفًا ضمن أعلى 0.4%. ^{[ 144 ]}^{[ 145 ]} كما حقق فوزًا على برنامج شينوك في مستوى لعبه "الخبير". ^{[ 146 ]}

يذهب

استُخدمت الشبكات العصبية الالتفافية (CNNs) في لعبة غو الحاسوبية . في ديسمبر 2014، نشر كلارك وستوركي ورقة بحثية تُظهر أن شبكة عصبية التفافية مُدرَّبة بالتعلم الخاضع للإشراف من قاعدة بيانات لمباريات احترافية بشرية، تفوقت على برنامج GNU Go وفازت ببعض المباريات ضد برنامج البحث الشجري مونت كارلو Fuego 1.1 في جزء من الوقت الذي استغرقه Fuego للعب. ^{[ 147 ]} لاحقًا، أُعلن أن شبكة عصبية التفافية كبيرة مكونة من 12 طبقة تنبأت بشكل صحيح بالحركة الاحترافية في 55% من المواضع، مُعادلةً دقة لاعب بشري من المستوى السادس دان . عندما استُخدمت الشبكة العصبية الالتفافية المُدرَّبة مباشرةً للعب مباريات غو، دون أي بحث، تفوقت على برنامج البحث التقليدي GNU Go في 97% من المباريات، وحققت أداءً يُضاهي أداء برنامج البحث الشجري مونت كارلو Fuego الذي يُحاكي عشرة آلاف جولة لعب (حوالي مليون موضع) لكل حركة. ^{[ 148 ]}

استخدم برنامج AlphaGo ، وهو أول برنامج يهزم أفضل لاعب بشري في ذلك الوقت، شبكتين عصبيتين تلافيفيتين لاختيار الحركات المراد تجربتها ("شبكة السياسة") وتقييم المواقف ("شبكة القيمة") لتشغيل خوارزمية MCTS. ^{[ 149 ]}

التنبؤ بالسلاسل الزمنية

تُعتبر الشبكات العصبية المتكررة عمومًا أفضل بنى الشبكات العصبية للتنبؤ بالسلاسل الزمنية (ونمذج التسلسلات بشكل عام)، لكن الدراسات الحديثة تُظهر أن الشبكات الالتفافية تُضاهيها أداءً أو حتى تتفوق عليها. ^{[ 150 ]}^{[ 13 ]} قد تُمكّن الالتفافات المُوسّعة ^{[ 151 ]} الشبكات العصبية الالتفافية أحادية البُعد من تعلّم تبعيات السلاسل الزمنية بفعالية. ^{[ 152 ]} يُمكن تنفيذ الالتفافات بكفاءة أعلى من الحلول القائمة على الشبكات العصبية المتكررة، كما أنها لا تُعاني من تلاشي (أو انفجار) التدرجات. ^{[ 153 ]} تُوفّر الشبكات الالتفافية أداءً مُحسّنًا في التنبؤ عند وجود سلاسل زمنية مُتعددة مُتشابهة للتعلم منها. ^{[ 154 ]} يُمكن أيضًا تطبيق الشبكات العصبية الالتفافية على مهام أخرى في تحليل السلاسل الزمنية (مثل تصنيف السلاسل الزمنية ^{[ 155 ]} أو التنبؤ الكمي ^{[ 156 ]} ).

التراث الثقافي ومجموعات البيانات ثلاثية الأبعاد

مع تزايد استخدام الماسحات الضوئية ثلاثية الأبعاد في الحصول على الاكتشافات الأثرية، مثل الألواح الطينية المنقوشة بالكتابة المسمارية ، أصبحت مجموعات البيانات المرجعية متاحة، بما في ذلك HeiCuBeDa ^[¹⁵⁷^] التي توفر ما يقارب 2000 مجموعة بيانات ثنائية وثلاثية الأبعاد مُعَيَّرة، تم إعدادها باستخدام إطار عمل برنامج GigaMesh . ^[¹⁵⁸^] لذا، تُستخدم مقاييس الانحناء بالتزامن مع الشبكات العصبية الهندسية (GNNs)، على سبيل المثال لتصنيف فترات هذه الألواح الطينية التي تُعد من أقدم الوثائق في تاريخ البشرية. ^[¹⁵⁹^]^[¹⁶⁰^]

الكون المثالى

في العديد من التطبيقات، لا تتوفر بيانات التدريب بشكل كافٍ. تتطلب الشبكات العصبية الالتفافية عادةً كمية كبيرة من بيانات التدريب لتجنب فرط التخصيص . تتمثل إحدى التقنيات الشائعة في تدريب الشبكة على مجموعة بيانات أكبر من مجال ذي صلة. بمجرد تقارب معلمات الشبكة، تُجرى خطوة تدريب إضافية باستخدام بيانات المجال نفسه لضبط أوزان الشبكة بدقة، ويُعرف هذا باسم التعلم بالنقل . علاوة على ذلك، تُمكّن هذه التقنية من تطبيق بنى الشبكات الالتفافية بنجاح على المشكلات ذات مجموعات التدريب الصغيرة. ^{[ 161 ]}

تفسيرات قابلة للفهم البشري

يُعدّ التدريب والتنبؤ الشاملان من الممارسات الشائعة في مجال رؤية الحاسوب . ومع ذلك، فإنّ التفسيرات القابلة للفهم البشري ضرورية للأنظمة الحساسة مثل السيارات ذاتية القيادة . ^{[ 162 ]} مع التطورات الحديثة في مجال بروز العناصر البصرية ، والانتباه المكاني ، والانتباه الزمني ، أصبح من الممكن تصوير المناطق المكانية/اللحظات الزمنية الأكثر أهمية لتبرير تنبؤات الشبكات العصبية التلافيفية. ^{[ 163 ]}^{[ 164 ]}

البنى ذات الصلة

شبكات Q العميقة

الشبكة العميقة Q (DQN) هي نوع من نماذج التعلم العميق التي تجمع بين الشبكة العصبية العميقة والتعلم Q ، وهو شكل من أشكال التعلم المعزز . على عكس عوامل التعلم المعزز السابقة، تستطيع الشبكات العميقة Q التي تستخدم الشبكات العصبية التلافيفية (CNNs) التعلم مباشرةً من المدخلات الحسية عالية الأبعاد عبر التعلم المعزز. ^{[ 165 ]}

عُرضت النتائج الأولية في عام 2014، ونُشرت ورقة بحثية مصاحبة في فبراير 2015. ^{[ 166 ]} وصف البحث تطبيقًا على ألعاب أتاري 2600. وقد سبقته نماذج أخرى للتعلم العميق المعزز. ^{[ 167 ]}

شبكات الاعتقاد العميق

تتميز شبكات الاعتقاد العميق التلافيفية (CDBN) ببنية مشابهة جدًا للشبكات العصبية التلافيفية، ويتم تدريبها بطريقة مماثلة. ولذلك، فهي تستغل البنية ثنائية الأبعاد للصور، كما تفعل الشبكات العصبية التلافيفية، وتستفيد من التدريب المسبق كما تفعل شبكات الاعتقاد العميق . توفر هذه الشبكات بنية عامة يمكن استخدامها في العديد من مهام معالجة الصور والإشارات. وقد تم الحصول على نتائج معيارية على مجموعات بيانات صور قياسية مثل CIFAR ^{[ 168 ]} باستخدام شبكات الاعتقاد العميق التلافيفية. ^{[ 169 ]}

هرم التجريد العصبي

تم توسيع بنية التغذية الأمامية للشبكات العصبية الالتفافية في هرم التجريد العصبي ^{[ 170 ]} من خلال وصلات جانبية وارتجاعية. تسمح الشبكة الالتفافية المتكررة الناتجة بدمج المعلومات السياقية بمرونة لحل الغموض المحلي بشكل تكراري. وعلى عكس النماذج السابقة، تم توليد مخرجات شبيهة بالصور بأعلى دقة، على سبيل المثال، لمهام التجزئة الدلالية، وإعادة بناء الصور، وتحديد مواقع الكائنات.

مكتبات بارزة

كافيه : مكتبة للشبكات العصبية الالتفافية. تم تطويرها بواسطة مركز بيركلي للرؤية والتعلم (BVLC). تدعم كلاً من وحدة المعالجة المركزية ووحدة معالجة الرسومات. تم تطويرها بلغة C++ ، ولها أغلفة برمجية بلغة بايثون وماتلاب .
Deeplearning4j : مكتبة للتعلم العميق مكتوبة بلغة جافا وسكالا على منصة سبارك متعددة وحدات معالجة الرسومات . مكتبة عامة للتعلم العميق مصممة خصيصًا لبيئة الإنتاج JVM، وتعمل على محرك حوسبة علمية مكتوب بلغة C++. تتيح إنشاء طبقات مخصصة، وتتكامل مع هادوب وكافكا.
Dlib : مجموعة أدوات لإنشاء تطبيقات التعلم الآلي وتحليل البيانات في العالم الحقيقي باستخدام لغة C++.
مجموعة أدوات مايكروسوفت المعرفية : مجموعة أدوات للتعلم العميق طورتها مايكروسوفت، تتميز بعدة خصائص فريدة تعزز قابلية التوسع عبر عدة عُقد. تدعم هذه المجموعة واجهات متكاملة للتدريب بلغة C++ وبايثون، بالإضافة إلى دعم إضافي لاستنتاج النماذج بلغة C# وجافا.
TensorFlow : مكتبة شبيهة بـ Theano مرخصة بموجب Apache 2.0 مع دعم لوحدة المعالجة المركزية ووحدة معالجة الرسومات ووحدة معالجة الموترات الخاصة بشركة Google (TPU) ^{[ 171 ]} والأجهزة المحمولة.
ثيانو : مكتبة مرجعية للتعلم العميق في بايثون، تتميز بواجهة برمجة تطبيقات متوافقة إلى حد كبير مع مكتبة NumPy الشهيرة . تتيح للمستخدم كتابة تعابير رياضية رمزية، ثم تقوم تلقائيًا بإنشاء مشتقاتها، مما يوفر على المستخدم عناء كتابة التدرجات أو الانتشار العكسي. تُترجم هذه التعابير الرمزية تلقائيًا إلى كود CUDA لتنفيذ سريع على وحدة معالجة الرسومات .
Torch : إطار عمل للحوسبة العلمية مع دعم واسع لخوارزميات التعلم الآلي، مكتوب بلغة C و Lua .

انظر أيضاً

ملحوظات

↑ عند تطبيقها على أنواع أخرى من البيانات غير بيانات الصور، مثل بيانات الصوت، قد يتوافق "الموقع المكاني" بشكل مختلف مع نقاط مختلفة في المجال الزمني أو مجال التردد أو غيرها من الفضاءات الرياضية .
↑ ومن هنا جاء اسم "الطبقة الالتفافية"
↑ ما يسمى بالبيانات الفئوية .

مراجع

1 2 ليكان، يان؛ بينجيو، يوشوا؛ هينتون، جيفري (28-05-2015). "التعلم العميق" . مجلة نيتشر . 521 (7553): 436-444 . رمز Bibcode : 2015Natur.521..436L . doi : 10.1038/nature14539 . ISSN 1476-4687 . PMID 26017442 .
↑ لوكون، ي.؛ بوسر، ب.؛ دينكر، ج. س.؛ هندرسون، د.؛ هوارد، ر. إ.؛ هوبارد، و.؛ جاكيل، ل. د. (ديسمبر 1989). "تطبيق خوارزمية الانتشار العكسي على التعرف على الرموز البريدية المكتوبة بخط اليد" . الحوسبة العصبية . 1 (4): 541-551 . doi : 10.1162/neco.1989.1.4.541 . ISSN 0899-7667 .
1 2 فينكاتيسان، راغاف؛ لي، باوكسين (23-10-2017). الشبكات العصبية الالتفافية في الحوسبة المرئية: دليل موجز . مطبعة سي آر سي. رقم ISBN 978-1-351-65032-8أُرشف من المصدر الأصلي بتاريخ 16 أكتوبر 2023. تم الاطلاع عليه بتاريخ 13 ديسمبر 2020 .
1 2 بالاس، فالنتينا إي.؛ كومار، راغفيندرا؛ سريفاستافا، راجشري (19-11-2019). الاتجاهات والتطورات الحديثة في الذكاء الاصطناعي وإنترنت الأشياء . سبرينغر نيتشر. ISBN 978-3-030-32644-9أُرشف من المصدر الأصلي بتاريخ 16 أكتوبر 2023. تم الاطلاع عليه بتاريخ 13 ديسمبر 2020 .
↑ تشانغ، يينغجي؛ سون، هونغ جيوك؛ يي، دونغسن؛ فوه، جيري يينغ هسي؛ تشو، كونبنغ (سبتمبر 2020). "مراقبة عملية دمج طبقة المسحوق باستخدام رؤية الآلة مع الشبكات العصبية الالتفافية الهجينة". معاملات IEEE في المعلوماتية الصناعية . 16 (9): 5769-5779 . Bibcode : 2020ITII...16.5769Z . doi : 10.1109/TII.2019.2956078 . ISSN 1941-0050 . S2CID 213010088 .
↑ تشيرفياكوف، ن. إي.؛ لياخوف، ب. أ.؛ ديريابين، م. أ.؛ ناغورنوف، ن. ن.؛ فالويفا، م. ف.؛ فالويف، ج. ف. (سبتمبر 2020). " حل قائم على نظام الأعداد المتبقية لتقليل تكلفة الأجهزة لشبكة عصبية التفافية" . الحوسبة العصبية . 407 : 439-453 . doi : 10.1016/j.neucom.2020.04.018 . S2CID 219470398. مؤرشف من الأصل في 29 يونيو 2023. تم الاسترجاع في 12 أغسطس 2023. تمثل الشبكات العصبية الالتفافية بنى التعلم العميق التي تُستخدم حاليًا في مجموعة واسعة من التطبيقات، بما في ذلك رؤية الحاسوب، والتعرف على الكلام، والكشف عن البرامج الضارة، وتحليل السلاسل الزمنية في مجال التمويل، وغيرها الكثير.
1 2 أغدام، حامد حبيبي؛ هراوي، إلناز جاهاني (30-05-2017). دليل الشبكات العصبية الالتفافية: تطبيق عملي على كشف وتصنيف إشارات المرور . تشام، سويسرا: سبرينغر. ISBN 978-3-319-57549-0. OCLC 987790957 .
١ ٢ ٣ هوما، توشيتيرو؛ ليس أطلس؛ روبرت ماركس الثاني (١٩٨٧). "شبكة عصبية اصطناعية للأنماط ثنائية القطب المكانية الزمنية: تطبيق على تصنيف الصوتيات" (ملف PDF) . التطورات في أنظمة معالجة المعلومات العصبية . ١ : ٣١-٤٠ . مؤرشف (ملف PDF) من الأصل في ٣١-٠٣-٢٠٢٢ . تم الاسترجاع في ٣١-٠٣-٢٠٢٢ . إن مفهوم الالتفاف أو الارتباط المستخدم في النماذج المعروضة شائع في التخصصات الهندسية، وقد تم تطبيقه على نطاق واسع في تصميم المرشحات وأنظمة التحكم، وما إلى ذلك.
↑ فالويفا، إم. في.؛ ناغورنوف، إن. إن.؛ لياخوف، بي. إيه.؛ فالويف، جي. في.؛ تشيرفياكوف، إن. آي. (2020). "تطبيق نظام الأعداد المتبقية لتقليل تكاليف الأجهزة لتنفيذ الشبكة العصبية الالتفافية". الرياضيات والحاسبات في المحاكاة . 177. إلسيفير بي. في: 232-243 . doi : 10.1016/j.matcom.2020.04.031 . ISSN 0378-4754 . S2CID 218955622. تُعد الشبكات العصبية الالتفافية أداة واعدة لحل مشكلة التعرف على الأنماط.
^ فان دن أورد ، هارون. ديليمان، ساندر؛ شراوين ، بنيامين (2013/01/01). بورجس، CJC. بوتو، L.؛ ويلينج، م. قهرماني، ز.؛ واينبرغر، KQ (محرران). توصية موسيقية عميقة قائمة على المحتوى (PDF) . Curran Associates, Inc. الصفحات 2643–2651 . أرشفة (PDF) من النسخة الأصلية بتاريخ 2022-03-07 . تم الاسترجاع 2022-03-31 .
↑ كولوبيرت، رونان؛ ويستون، جيسون (1 يناير 2008). "بنية موحدة لمعالجة اللغة الطبيعية". وقائع المؤتمر الدولي الخامس والعشرين للتعلم الآلي - ICML '08 . نيويورك، نيويورك، الولايات المتحدة الأمريكية: ACM. الصفحات 160-167 . doi : 10.1145/1390156.1390177 . ISBN 978-1-60558-205-4. S2CID 2617020 .
↑ أفيلوف، أوليكسي؛ ريمبير، سيباستيان؛ بوبوف، أنطون؛ بوغران، لوران (يوليو 2020). "تقنيات التعلم العميق لتحسين الكشف عن الوعي أثناء الجراحة من إشارات تخطيط كهربية الدماغ" . المؤتمر الدولي السنوي الثاني والأربعون لجمعية الهندسة في الطب وعلم الأحياء التابعة لمعهد مهندسي الكهرباء والإلكترونيات (IEEE) لعام 2020 (ملف PDF) . المجلد 2020. مونتريال، كيبيك، كندا: معهد مهندسي الكهرباء والإلكترونيات. الصفحات 142-145 . doi : 10.1109/EMBC44109.2020.9176228 . ISBN 978-1-7281-1990-8PMID 33017950. S2CID 221386616. مؤرشف (PDF) من الأصل بتاريخ 19 مايو 2022. تم الاطلاع عليه بتاريخ 21 يوليو 2023 .
1 2 تسانتيكيديس، أفراام؛ باسليس، نيكولاوس؛ تيفاس، أناستاسيوس؛ كانياينن، يوهو؛ غابوج، منصف؛ يوسيفيديس، ألكسندروس (يوليو 2017). "التنبؤ بأسعار الأسهم من دفتر أوامر الحد باستخدام الشبكات العصبية الالتفافية". المؤتمر التاسع عشر لمعهد مهندسي الكهرباء والإلكترونيات (IEEE) حول معلوماتية الأعمال (CBI) لعام 2017. ثيسالونيكي، اليونان: معهد مهندسي الكهرباء والإلكترونيات. الصفحات 7-12 . doi : 10.1109/CBI.2017.23 . ISBN 978-1-5386-3035-8. S2CID 4950757 .
1 2 3 تشانغ، وي (1988). "شبكة عصبية للتعرف على الأنماط غير المتغيرة مع الإزاحة وبنيتها البصرية" . وقائع المؤتمر السنوي للجمعية اليابانية للفيزياء التطبيقية . مؤرشف من الأصل بتاريخ 23-06-2020 . تم الاطلاع عليه بتاريخ 22-06-2020 .
1 2 3 تشانغ، وي (1990). " نموذج معالجة موزعة متوازية مع وصلات محلية ثابتة مكانيًا وبنيته البصرية" . البصريات التطبيقية . 29 (32): 4790-4797 . Bibcode : 1990ApOpt..29.4790Z . doi : 10.1364/AO.29.004790 . PMID 20577468. مؤرشف من الأصل في 2017-02-06 . تم الاسترجاع في 2016-09-22 .
1 2 3 4 5 6 موتون، كونراد؛ مايبورغ، يوهانس سي؛ دافيل، ماريلي إتش (2020). "ثبات الخطوة والترجمة في الشبكات العصبية التلافيفية" . في: جيربر، أورونا (محرر). بحوث الذكاء الاصطناعي . سلسلة اتصالات في علوم الحاسوب والمعلومات. المجلد 1342. تشام: دار نشر سبرينغر الدولية. الصفحات 267-281 . arXiv : 2103.10097 . doi : 10.1007/978-3-030-66151-9_17 . ISBN 978-3-030-66151-9S2CID 232269854. مؤرشف من الأصل بتاريخ 27-06-2021 . تم الاطلاع عليه بتاريخ 26-03-2021 .
↑ كورتزمان، توماس (20 أغسطس 2019). "التحيز الخفي في مجموعة بيانات DUD-E يؤدي إلى أداء مضلل للتعلم العميق في الفحص الافتراضي القائم على البنية" . PLOS ONE . 14 (8) e0220113. Bibcode : 2019PLoSO..1420113C . doi : 10.1371/journal.pone.0220113 . PMC 6701836. PMID 31430292 .
1 2 3 فوكوشيما، ك. (2007). "نيوكوجنيترون" . سكولاربيديا . 2 (1): 1717. Bibcode : 2007SchpJ...2.1717F . doi : 10.4249/scholarpedia.1717 .
1 2 هوبل، د.هـ؛ ويزل، ت.ن. (1968-03-01). "الحقول الاستقبالية والبنية الوظيفية لقشرة الدماغ المخططة لدى القرود" . مجلة علم وظائف الأعضاء . 195 ( 1): 215-243 . doi : 10.1113/jphysiol.1968.sp008455 . ISSN 0022-3751 . PMC 1557912. PMID 4966457 .
1 2 فوكوشيما، كونيهيكو (1980). "نيوكوجنيترون: نموذج شبكة عصبية ذاتية التنظيم لآلية التعرف على الأنماط غير المتأثرة بتغير الموضع" ( ملف PDF) . علم التحكم الآلي البيولوجي . 36 (4): 193-202 . doi : 10.1007/BF00344251 . PMID 7370364. S2CID 206775608. مؤرشف (ملف PDF) من الأصل في 3 يونيو 2014. تم الاطلاع عليه في 16 نوفمبر 2013 .
1 2 ماتسوجو، ماساكازو؛ كاتسوهيكو موري؛ يوسوكي ميتاري؛ يوجي كانيدا (2003). "التعرف على تعابير الوجه المستقلة عن الشخص مع كشف قوي للوجه باستخدام شبكة عصبية التفافية" ( ملف PDF) . الشبكات العصبية . 16 (5): 555-559 . Bibcode : 2003NN.....16..555M . doi : 10.1016/S0893-6080(03)00115-1 . PMID 12850007. مؤرشف (ملف PDF) من الأصل في 13 ديسمبر 2013. تم الاسترجاع في 17 نوفمبر 2013 .
↑ تبسيط الشبكات العصبية الالتفافية: دليل تعليمي قائم على منظور الترشيح المطابق https://arxiv.org/abs/2108.11663v3
↑ "الشبكات العصبية الالتفافية (LeNet) - وثائق DeepLearning 0.1" . DeepLearning 0.1 . مختبر LISA. مؤرشف من الأصل بتاريخ 28 ديسمبر 2017. تم الاطلاع عليه بتاريخ 31 أغسطس 2013 .
↑ شوليه، فرانسوا (2017-04-04). "Xception: التعلم العميق باستخدام الالتفافات القابلة للفصل العميق". arXiv : 1610.02357 [ cs.CV ].
1 2 3 سيريسان، دان؛ أولي ماير؛ جوناثان ماسكي؛ لوكا م. غامبارديلا؛ يورغن شميدهوبر (2011). "شبكات عصبية التفافية مرنة وعالية الأداء لتصنيف الصور" (ملف PDF) . وقائع المؤتمر الدولي المشترك الثاني والعشرين حول الذكاء الاصطناعي - المجلد الثاني . 2 : 1237-1242 . مؤرشف (ملف PDF) من الأصل في 5 أبريل 2022. تم الاطلاع عليه في 17 نوفمبر 2013 .
↑ كريزيفسكي ، أليكس. "تصنيف ImageNet باستخدام الشبكات العصبية التلافيفية العميقة" (ملف PDF) . مؤرشف (ملف PDF) من الأصل في 25 أبريل 2021. تم الاطلاع عليه في 17 نوفمبر 2013 .
1 2 ياماغوتشي، كويتشي؛ ساكاموتو، كينجي؛ أكاباني، توشيو؛ فوجيموتو، يوشيجي (نوفمبر 1990). شبكة عصبية للتعرف على الكلمات المنفردة بغض النظر عن المتحدث . المؤتمر الدولي الأول لمعالجة اللغة المنطوقة (ICSLP 90). كوبي، اليابان. مؤرشف من الأصل في 7 مارس 2021. تم الاسترجاع في 4 سبتمبر 2019 .
1 2 3 4 سيريسان، دان؛ ماير، أولي؛ شميدهوبر، يورغن (يونيو 2012). "شبكات عصبية عميقة متعددة الأعمدة لتصنيف الصور". مؤتمر IEEE لعام 2012 حول رؤية الحاسوب والتعرف على الأنماط . نيويورك، نيويورك: معهد مهندسي الكهرباء والإلكترونيات (IEEE). الصفحات 3642-3649 . arXiv : 1202.2745 . CiteSeerX 10.1.1.300.3283 . doi : 10.1109/CVPR.2012.6248110 . ISBN 978-1-4673-1226-4. OCLC 812295155 . S2CID 2161592 .
↑ يو، فيشر؛ كولتون، فلادلين (30-04-2016). "تجميع السياق متعدد المقاييس بواسطة الالتفافات المتوسعة". arXiv : 1511.07122 [ cs.CV ].
↑ تشين، ليانغ-تشيه؛ باباندريو، جورج؛ شروف، فلوريان؛ آدم، هارتويغ (2017-12-05). "إعادة التفكير في الالتفاف المتباعد لتجزئة الصور الدلالية". arXiv : 1706.05587 [ cs.CV ].
^ دوتا، إيونوت كوزمين؛ جورجيسكو، ماريانا يوليانا؛ إيونيسكو، رادو تيودور (2021-08-16). “الشبكات العصبية التلافيفية السياقية”. أرخايف : 2108.07387 [ cs.CV ].
↑ ليكان، يان. "LeNet-5، الشبكات العصبية الالتفافية" . مؤرشف من الأصل في 24 فبراير 2021. تم الاسترجاع في 16 نوفمبر 2013 .
↑ زيلر، ماثيو د.؛ تايلور، غراهام و.؛ فيرغوس، روب (نوفمبر 2011). "شبكات الالتفاف العكسي التكيفية لتعلم الميزات المتوسطة والعالية المستوى" . المؤتمر الدولي لرؤية الحاسوب 2011. معهد مهندسي الكهرباء والإلكترونيات. الصفحات 2018-2025 . doi : 10.1109/iccv.2011.6126474 . ISBN 978-1-4577-1102-2.
↑ دومولين، فينسنت؛ فيسين، فرانشيسكو (2018-01-11)، دليل لحسابات الالتفاف للتعلم العميق ، arXiv : 1603.07285
^ أودينا، أغسطس. دومولين، فنسنت؛ أولا ، كريس (2016/10/17). "التحف التفكيكية والشطرنج" . التقطير . 1 (10) هـ3. دوى : 10.23915/distill.00003 . ردمك 2476-0757 .
↑ فان دايك، ليونارد إليا؛ كويت، رولاند؛ دينزلر، سيباستيان يوشين؛ غروبر، والتر رولاند (2021). "مقارنة التعرف على الأشياء لدى البشر والشبكات العصبية الالتفافية العميقة - دراسة لتتبع حركة العين" . مجلة فرونتيرز إن نيوروساينس . 15 750639. doi : 10.3389/fnins.2021.750639 . ISSN 1662-453X . PMC 8526843. PMID 34690686 .
1 2 هوبل، د.هـ؛ ويزل، ت.ن (أكتوبر 1959). " الحقول الاستقبالية للخلايا العصبية المفردة في القشرة المخططة للقط" . مجلة علم وظائف الأعضاء . 148 (3): 574-91 . doi : 10.1113/jphysiol.1959.sp006308 . PMC 1363130. PMID 14403679 .
↑ ديفيد هـ. هوبل وتورستن ن. ويزل (2005). الدماغ والإدراك البصري: قصة تعاون دام 25 عامًا . مطبعة جامعة أكسفورد، الولايات المتحدة. ص 106. ISBN 978-0-19-517618-6أُرشف من المصدر الأصلي بتاريخ 16 أكتوبر 2023. تم الاطلاع عليه بتاريخ 18 يناير 2019 .
1 2 فوكوشيما، ك. (1969). "استخلاص الميزات المرئية بواسطة شبكة متعددة الطبقات من عناصر العتبة التناظرية". معاملات IEEE في علوم الأنظمة وعلم التحكم الآلي . 5 (4): 322-333 . Bibcode : 1969ITSSC...5..322F . doi : 10.1109/TSSC.1969.300225 .
↑ شميدهوبر، يورغن (2022). "تاريخ مشروح للذكاء الاصطناعي الحديث والتعلم العميق". arXiv : 2212.11279 [ cs.NE ].
↑ راماشاندران، براجيت؛ باريت، زوف؛ كوك، في. لي (16 أكتوبر 2017). "البحث عن دوال التنشيط". arXiv : 1710.05941 [ cs.NE ].
1 2 وايبيل، أليكس (18 ديسمبر 1987). التعرف على الصوتيات باستخدام الشبكات العصبية ذات التأخير الزمني (ملف PDF) . اجتماع معهد مهندسي الكهرباء والمعلومات والاتصالات (IEICE). طوكيو، اليابان.
↑ ألكسندر وايبيل وآخرون، التعرف على الصوتيات باستخدام الشبكات العصبية ذات التأخير الزمني، مؤرشف في 2021-02-25 في Wayback Machine ، معاملات IEEE في الصوتيات والكلام ومعالجة الإشارات، المجلد 37، العدد 3، الصفحات 328-339، مارس 1989.
↑ ليكان، يان؛ بينجيو، يوشوا (1995). "الشبكات الالتفافية للصور والكلام والسلاسل الزمنية" . في أربيب، مايكل أ. (محرر). دليل نظرية الدماغ والشبكات العصبية ( الطبعة الثانية). مطبعة معهد ماساتشوستس للتكنولوجيا. الصفحات 276-278 . مؤرشف من الأصل بتاريخ 28 يوليو 2020. تم الاطلاع عليه بتاريخ 3 ديسمبر 2019 .
↑ جون ب. هامبشاير وألكسندر وايبيل، بنى الاتصال للتعرف على الصوتيات متعددة المتحدثين مؤرشفة في 2022-03-31 في Wayback Machine ، التقدم في أنظمة معالجة المعلومات العصبية، 1990، مورغان كوفمان.
↑ كو، توم؛ بيدينتي، فيجاياديتيا؛ بوفي، دانيال؛ سيلتزر، مايكل ل.؛ خودانبور، سانجيف (مارس 2018). دراسة حول زيادة بيانات الكلام المتردد لتحسين التعرف على الكلام (ملف PDF) . المؤتمر الدولي الثاني والأربعون لجمعية مهندسي الكهرباء والإلكترونيات (IEEE) حول الصوتيات والكلام ومعالجة الإشارات (ICASSP 2017). نيو أورليانز، لويزيانا، الولايات المتحدة الأمريكية. مؤرشف (ملف PDF) من الأصل بتاريخ 8 يوليو 2018. تم الاطلاع عليه بتاريخ 4 سبتمبر 2019 .
↑ دينكر، جيه إس، غاردنر، دبليو آر، غراف، إتش بي، هندرسون، دي، هوارد، آر إي، هوبارد، دبليو، جاكيل، إل دي، بيرد، إتش إس، وغايون (1989) مُعرِّف الشبكة العصبية لأرقام الرموز البريدية المكتوبة بخط اليد. مؤرشف بتاريخ 2018-08-04 في أرشيف الإنترنت ، مختبرات إيه تي آند تي بيل.
1 2 Y. LeCun, B. Boser, JS Denker, D. Henderson, RE Howard, W. Hubbard, LD Jackel، تطبيق خوارزمية الانتشار العكسي على التعرف على الرموز البريدية المكتوبة بخط اليد، مؤرشف بتاريخ 10 يناير 2020 في أرشيف الإنترنت (Wayback Machine )؛ مختبرات AT&T Bell
1 2 تشانغ، وي (1991). "معالجة صور بطانة القرنية البشرية باستخدام شبكة تعلم" . البصريات التطبيقية . 30 (29): 4211-4217 . Bibcode : 1991ApOpt..30.4211Z . doi : 10.1364/AO.30.004211 . PMID 20706526. مؤرشف من الأصل في 2017-02-06 . تم الاسترجاع في 2016-09-22 .
1 2 تشانغ، وي (1994). "الكشف المحوسب عن التكلسات الدقيقة المتجمعة في صور الثدي الرقمية باستخدام شبكة عصبية اصطناعية ثابتة الإزاحة" . الفيزياء الطبية . 21 (4): 517-24 . Bibcode : 1994MedPh..21..517Z . doi : 10.1118/1.597177 . PMID 8058017. مؤرشف من الأصل في 2017-02-06 . تم الاسترجاع في 2016-09-22 .
↑ وينغ، ج؛ أهوجا، ن؛ هوانغ، ت.س. (1993). "تعلم التعرف على الأجسام ثلاثية الأبعاد وتجزئتها من صور ثنائية الأبعاد". المؤتمر الدولي الرابع لرؤية الحاسوب، 1993. معهد مهندسي الكهرباء والإلكترونيات. ص 121-128 . doi : 10.1109/ICCV.1993.378228 . ISBN 0-8186-3870-2. S2CID 8619176 .
1 2 شميدهوبر ، يورغن (2015). " التعلم العميق" . سكولاربيديا . 10 (11): 1527-1554 . CiteSeerX 10.1.1.76.1541 . doi : 10.1162/neco.2006.18.7.1527 . PMID 16764513. S2CID 2309950. مؤرشف من الأصل في 19 أبريل 2016. تم الاسترجاع في 20 يناير 2019 .
1 2 ليكون، Y.؛ جاكيل، إل دي؛ بوتو، L.؛ كورتيس، C .؛ دنكر، شبيبة. دراكر، ه.؛ جويون، أنا. مولر، UA؛ ساكينجر، إي؛ سيمارد، P.؛ فابنيك، ف. (أغسطس 1995). خوارزميات التعلم للتصنيف: مقارنة التعرف على الأرقام المكتوبة بخط اليد (PDF) . العلمية العالمية. ص 261 – 276. دوى : 10.1142/2808 . رقم ISBN 978-981-02-2324-3تمت أرشفة الملف (PDF) من النسخة الأصلية في 2 مايو 2023.
↑ ليكان، ي.؛ بوتو، ل.؛ بينجيو، ي.؛ هافنر، ب. (نوفمبر 1998). "التعلم القائم على التدرج المطبق على التعرف على المستندات" (ملف PDF) . وقائع معهد مهندسي الكهرباء والإلكترونيات . 86 (11): 2278-2324 . رمز Bibcode : 1998IEEEP..86.2278L . doi : 10.1109/5.726791 .
↑ تشانغ، وي (1991). "انتشار الخطأ العكسي بأوزان الحد الأدنى من الإنتروبيا: تقنية لتحسين تعميم الشبكات العصبية ثنائية الأبعاد غير المتغيرة مع الإزاحة" . وقائع المؤتمر الدولي المشترك حول الشبكات العصبية . مؤرشف من الأصل بتاريخ 2017-02-06 . تم الاطلاع عليه بتاريخ 2016-09-22 .
↑ دانيال غراوب، روي وين ليو، جورج إس موشيتز. " تطبيقات الشبكات العصبية في معالجة الإشارات الطبية " مؤرشف في 28 يوليو 2020 على موقع Wayback Machine . في وقائع المؤتمر السابع والعشرين لـ IEEE للتحكم واتخاذ القرارات، الصفحات 343-347، 1988.
↑ دانيال غراوب، بوريس فيرن، جي. غرونر، آرون فيلد، وكيو هوانغ. " تحليل إشارات تخطيط كهربية العضل السطحي إلى كمونات عمل الألياف المفردة باستخدام الشبكة العصبية. مؤرشف في 4 سبتمبر 2019 على موقع Wayback Machine ". وقائع ندوة IEEE الدولية للدوائر والأنظمة، الصفحات 1008-1011، 1989.
↑ تشيو هوانغ، دانيال جروب، يي فانغ هوانغ، روي وين ليو." تحديد أنماط إطلاق الإشارات العصبية«في وقائع المؤتمر الثامن والعشرين لمعهد مهندسي الكهرباء والإلكترونيات (IEEE) حول التحكم واتخاذ القرارات، الصفحات 266-271، 1989. https://ieeexplore.ieee.org/document/70115 مؤرشف بتاريخ 31 مارس 2022 في أرشيف الإنترنت (Wayback Machine)
↑ أوه، ك.س.؛ جونغ، ك. (2004). "تنفيذ الشبكات العصبية باستخدام وحدة معالجة الرسومات". التعرف على الأنماط . 37 (6): 1311-1314 . رمز Bibcode : 2004PatRe..37.1311O . doi : 10.1016/j.patcog.2004.01.013 .
↑ ديف ستاينكراوس؛ باتريس سيمارد؛ إيان باك (2005). "استخدام وحدات معالجة الرسومات لخوارزميات التعلم الآلي" . المؤتمر الدولي الثاني عشر لتحليل المستندات والتعرف عليها (ICDAR 2005) . الصفحات 1115-1119 . doi : 10.1109/ICDAR.2005.251 . مؤرشف من الأصل بتاريخ 31 مارس 2022. تم الاطلاع عليه بتاريخ 31 مارس 2022 .
↑ كومار تشيلابيلا؛ سيد بوري؛ باتريس سيمارد (2006). "شبكات عصبية التفافية عالية الأداء لمعالجة المستندات" . في لوريت، جاي (محرر). ورشة العمل الدولية العاشرة حول آفاق التعرف على الكتابة اليدوية . سوفيسوفت. مؤرشف من الأصل في 18 مايو 2020. تم الاسترجاع في 14 مارس 2016 .
↑ هينتون، جي إي؛ أوسينديرو، إس؛ تيه، واي دبليو (يوليو 2006). "خوارزمية تعلم سريعة لشبكات الاعتقاد العميق". الحوسبة العصبية . 18 (7): 1527-1554 . CiteSeerX 10.1.1.76.1541 . doi : 10.1162/neco.2006.18.7.1527 . PMID 16764513. S2CID 2309950 .
↑ بينجيو، يوشوا؛ لامبلين، باسكال؛ بوبوفيتشي، دان؛ لاروشيل، هوغو (2007). "التدريب الجشع للطبقات في الشبكات العميقة" (ملف PDF) . التطورات في أنظمة معالجة المعلومات العصبية : 153-160 . مؤرشف (ملف PDF) من الأصل بتاريخ 2022-06-02 . تم الاطلاع عليه بتاريخ 2022-03-31 .
↑ رانزاتو، مارك أوريليو؛ بولتني، كريستوفر؛ تشوبرا، سوميت؛ ليكان، يان (2007). "التعلم الفعال للتمثيلات المتفرقة باستخدام نموذج قائم على الطاقة" (ملف PDF) . التطورات في أنظمة معالجة المعلومات العصبية . مؤرشف (ملف PDF) من الأصل بتاريخ 22-03-2016 . تم الاطلاع عليه بتاريخ 26-06-2014 .
↑ راينا، ر؛ مادهافان، أ؛ نغ، أندرو (14 يونيو 2009). "التعلم العميق غير الخاضع للإشراف على نطاق واسع باستخدام معالجات الرسومات" (ملف PDF) . وقائع المؤتمر الدولي السنوي السادس والعشرين للتعلم الآلي . ICML '09: وقائع المؤتمر الدولي السنوي السادس والعشرين للتعلم الآلي. الصفحات 873-880 . doi : 10.1145/1553374.1553486 . ISBN 978-1-60558-516-1S2CID 392458. مؤرشف ( PDF) من الأصل بتاريخ 8 ديسمبر 2020. تم الاطلاع عليه بتاريخ 22 ديسمبر 2023 .
↑ سيريسان، دان؛ ماير، أولي؛ غامبارديلا، لوكا؛ شميدهوبر، يورغن (2010). "شبكات عصبية عميقة وكبيرة وبسيطة للتعرف على الأرقام المكتوبة بخط اليد". الحوسبة العصبية . 22 (12): 3207-3220 . arXiv : 1003.0358 . Bibcode : 2010NeCom..22.3207C . doi : 10.1162/NECO_a_00052 . PMID: 20858131. S2CID : 1918673 .
↑ جدول نتائج مسابقة IJCNN 2011. مسابقة IJCNN 2011 الرسمية . 2010. مؤرشف من الأصل بتاريخ 17 يناير 2021. تم الاطلاع عليه بتاريخ 14 يناير 2019 .
↑ شميدهوبر، يورغن (17 مارس 2017). "تاريخ مسابقات رؤية الحاسوب التي فازت بها الشبكات العصبية التلافيفية العميقة على وحدة معالجة الرسومات" . مؤرشف من الأصل في 19 ديسمبر 2018. تم الاطلاع عليه في 14 يناير 2019 .
1 2 كريزيفسكي، أليكس؛ سوتسكيفر، إيليا؛ هينتون، جيفري إي. (24-05-2017). "تصنيف ImageNet باستخدام الشبكات العصبية الالتفافية العميقة" ( ملف PDF) . مجلة اتصالات ACM . 60 (6): 84-90 . doi : 10.1145/3065386 . ISSN 0001-0782 . S2CID 195908774. مؤرشف (PDF) من النسخة الأصلية بتاريخ 16-05-2017 . تم الاطلاع عليه بتاريخ 04-12-2018 .
↑ فيبكي، أندريه؛ ميميتي، سوجب؛ بلانا، صبري؛ أبراهام، أجيث (2019). "CHAOS: مخطط موازاة لتدريب الشبكات العصبية الالتفافية على معالجات Intel Xeon Phi". مجلة الحوسبة الفائقة . 75 (1): 197-227 . arXiv : 1702.07908 . doi : 10.1007/s11227-017-1994-x . S2CID 14135321 .
↑ فيبكي، أندريه؛ بلانا، صبري (2015). "إمكانات معالج إنتل زيون فاي للتعلم العميق الخاضع للإشراف" . المؤتمر الدولي السابع عشر لعام 2015 التابع لمعهد مهندسي الكهرباء والإلكترونيات حول الحوسبة عالية الأداء والاتصالات، والندوة الدولية السابعة لعام 2015 التابعة لمعهد مهندسي الكهرباء والإلكترونيات حول أمن وسلامة الفضاء الإلكتروني، والمؤتمر الدولي الثاني عشر لعام 2015 التابع لمعهد مهندسي الكهرباء والإلكترونيات حول البرمجيات والأنظمة المدمجة . IEEE Xplore . IEEE 2015. ص 758-765 . doi : 10.1109/HPCC-CSS-ICESS.2015.45 . ISBN 978-1-4799-8937-9S2CID 15411954. مؤرشف من الأصل بتاريخ 2023-03-06 . تم الاطلاع عليه بتاريخ 2022-03-31 .
↑ هينتون، جيفري (2012). "تصنيف ImageNet باستخدام الشبكات العصبية الالتفافية العميقة" . NIPS'12: وقائع المؤتمر الدولي الخامس والعشرين لأنظمة معالجة المعلومات العصبية - المجلد 1. 1 : 1097-1105 . مؤرشف من الأصل في 20 ديسمبر 2019. تم الاسترجاع في 26 مارس 2021 - عبر ACM.
1 2 3 4 5 أزولاي، أهارون؛ فايس، يائير (2019). "لماذا تُعمّم الشبكات العصبية التلافيفية العميقة بشكل ضعيف جدًا على تحويلات الصور الصغيرة؟" . مجلة أبحاث تعلم الآلة . 20 (184): 1-25 . ISSN 1533-7928 . مؤرشف من الأصل في 31 مارس 2022. تم الاسترجاع في 31 مارس 2022 .
1 2 جيرون، أوريليان (2019). التعلم الآلي العملي باستخدام Scikit-Learn وKeras وTensorFlow . سيباستوبول، كاليفورنيا: أورايلي ميديا. ISBN 978-1-492-03264-9.، ص 448
↑ لي، زيوين؛ ليو، فان؛ يانغ، وينجي؛ بنغ، شوهينغ؛ تشو، جون (ديسمبر 2022). "دراسة استقصائية للشبكات العصبية الالتفافية: التحليل والتطبيقات والآفاق". معاملات IEEE في الشبكات العصبية وأنظمة التعلم . 33 (12): 6999-7019 . arXiv : 2004.02806 . Bibcode : 2022ITNNL..33.6999L . doi : 10.1109/TNNLS.2021.3084827 . hdl : 10072/405164 . PMID 34111009 .
↑ "شبكات عصبية التفافية للتعرف البصري CS231n" . cs231n.github.io . مؤرشف من الأصل بتاريخ 23-10-2019 . تم الاطلاع عليه بتاريخ 25-04-2017 .
↑ نيرثيكا، راجندران؛ مانيفانان، سيامالان؛ رامانان، أميرثالينجام؛ وانغ، رويكسوان (2022-04-01). "التجميع في الشبكات العصبية الالتفافية لتحليل الصور الطبية: دراسة استقصائية ودراسة تجريبية" . الحوسبة العصبية وتطبيقاتها . 34 (7): 5321-5347 . doi : 10.1007/s00521-022-06953-8 . ISSN 1433-3058 . PMC 8804673. PMID 35125669 .
1 2 شيرر، دومينيك؛ مولر، أندرياس سي؛ بينكه، سفين (2010). "تقييم عمليات التجميع في البنى الالتفافية للتعرف على الأشياء" (ملف PDF) . الشبكات العصبية الاصطناعية (ICANN)، المؤتمر الدولي العشرون حول الشبكات العصبية الاصطناعية . ثيسالونيكي، اليونان: سبرينغر. الصفحات 92-101 . مؤرشف (ملف PDF) من الأصل بتاريخ 2018-04-03 . تم الاسترجاع بتاريخ 2016-12-28 .
↑ غراهام، بنجامين (2014-12-18). "التجميع الأقصى الجزئي". arXiv : 1412.6071 [ cs.CV ].
↑ سبرينجنبرج، جوست توبياس؛ دوسوفيتسكي، أليكسي؛ بروكس، توماس؛ ريدميلر، مارتن (21-12-2014). "السعي نحو البساطة: الشبكة الالتفافية الكاملة". arXiv : 1412.6806 [ cs.LG ].
↑ ما، زانيو؛ تشانغ، دونغليانغ؛ شي، جييانغ؛ دينغ، ييفنغ؛ وين، شاوغو؛ لي، شياوكسو؛ سي، تشونغوي؛ غو، جون (2019). "تصنيف المركبات عالي الدقة باستخدام شبكات عصبية تلافيفية معدلة بتقنية تجميع القنوات القصوى". مجلة IEEE للمعاملات في تكنولوجيا المركبات . 68 (4). معهد مهندسي الكهرباء والإلكترونيات (IEEE): 3224-3233 . رمز Bibcode : 2019ITVT...68.3224M . doi : 10.1109/tvt.2019.2899972 . ISSN 0018-9545 . S2CID 86674074 .
↑ ظفر، عافية؛ عامر، محمد؛ محمد ناوي، نظري؛ أرشد، علي؛ رياض، سامان؛ الربان، عبد الرحمن؛ دوتا، أشيت كومار؛ المطيري، سلطان (29-08-2022). "مقارنة بين طرق التجميع للشبكات العصبية الالتفافية" . العلوم التطبيقية . 12 (17): 8643. Bibcode : 2022ApSci..12.8643Z . doi : 10.3390/app12178643 . ISSN 2076-3417 .
↑ غلامالينجاد، حسين؛ خسروي، حسين (2020-09-16)، أساليب التجميع في الشبكات العصبية العميقة، مراجعة ، arXiv : 2009.07485
↑ هاوسهولدر، ألستون س. (يونيو 1941). "نظرية النشاط المستقر في شبكات الألياف العصبية: 1. التعريفات والفرضيات التمهيدية" . نشرة الفيزياء الحيوية الرياضية . 3 (2): 63-69 . doi : 10.1007/BF02478220 . ISSN 0007-4985 .
↑ رومانوك، فاديم (2017). "العدد المناسب لتوزيع دوال ReLU في الشبكات العصبية الالتفافية" . نشرة بحثية لمعهد كييف للفنون التطبيقية التابع لجامعة كييف التقنية الوطنية . 1 (1): 69-78 . doi : 10.20535/1810-0546.2017.1.88156 .
↑ كزافييه غلوروت؛ أنطوان بوردس؛ يوشوا بنجيو (2011). الشبكات العصبية المقومية المتفرقة العميقة (ملف PDF) . AISTATS. مؤرشف من الأصل (ملف PDF) بتاريخ 13 ديسمبر 2016. تم الاطلاع عليه بتاريخ 10 أبريل 2023. دوال التنشيط للمقوم والتنشيط الناعم بلس. الدالة الثانية هي نسخة سلسة من الأولى.
↑ كريزيفسكي، أ.؛ سوتسكيفر، إ.؛ هينتون، ج. إ. (2012). "تصنيف Imagenet باستخدام الشبكات العصبية الالتفافية العميقة" (ملف PDF) . التقدم في أنظمة معالجة المعلومات العصبية . 1 : 1097-1105 . مؤرشف (ملف PDF) من الأصل بتاريخ 31-03-2022 . تم الاسترجاع بتاريخ 31-03-2022 .
↑ ريبيرو، أنطونيو هـ.؛ شون، توماس ب. (2021). "كيف تتعامل الشبكات العصبية الالتفافية مع التداخل". المؤتمر الدولي لهندسة الصوت والكلام ومعالجة الإشارات (ICASSP) لعام 2021 - IEEE . الصفحات 2755-2759 . arXiv : 2102.07757 . doi : 10.1109 /ICASSP39728.2021.9414627 . ISBN 978-1-7281-7605-5. S2CID 231925012 .
↑ مايبورغ، يوهانس سي؛ موتون، كونراد؛ دافيل، ماريلي إتش. (2020). "تتبع ثبات الترجمة في الشبكات العصبية التلافيفية" . في: جيربر، أورونا (محرر). بحوث الذكاء الاصطناعي . سلسلة اتصالات في علوم الحاسوب والمعلومات. المجلد 1342. تشام: دار نشر سبرينغر الدولية. الصفحات 282-295 . arXiv : 2104.05997 . doi : 10.1007/978-3-030-66151-9_18 . ISBN 978-3-030-66151-9S2CID 233219976. مؤرشف من الأصل بتاريخ 22-01-2022 . تم الاطلاع عليه بتاريخ 26-03-2021 .
↑ ريتشارد، تشانغ (25-04-2019). جعل الشبكات الالتفافية غير متغيرة مع الإزاحة مرة أخرى . OCLC 1106340711 .
↑ جايدبيرج، ماكس؛ سيمونيان، كارين؛ زيسرمان، أندرو؛ كافوكوغلو، كوراي (2015). "شبكات المحولات المكانية" ( ملف PDF) . التطورات في أنظمة معالجة المعلومات العصبية . 28. مؤرشف (ملف PDF) من الأصل بتاريخ 25-07-2021 . تم الاسترجاع بتاريخ 26-03-2021 – عبر NIPS.
↑ صبور، سارة؛ فروست، نيكولاس؛ هينتون، جيفري إي. (2017-10-26). التوجيه الديناميكي بين الكبسولات . OCLC 1106278545 .
↑ ماتيز، سيرجيو؛ بارنر، كينيث إي. (2019-06-01). "متنبئ توافقي استقرائي للشبكات العصبية الالتفافية: تطبيقات في التعلم النشط لتصنيف الصور" . التعرف على الأنماط . 90 : 172-182 . Bibcode : 2019PatRe..90..172M . doi : 10.1016/j.patcog.2019.01.035 . ISSN 0031-3203 . S2CID 127253432. مؤرشف من الأصل في 2021-09-29 . تم الاسترجاع في 2021-09-29 .
↑ ويسلاندر، هاكان؛ هاريسون، فيليب جيه؛ سكوجبيرج، غابرييل؛ جاكسون، سونيا؛ فريدن، ماركوس؛ كارلسون، يوهان؛ سبيوث، أولا؛ والبي، كارولينا (فبراير 2021). "التعلم العميق مع التنبؤ المطابق للتحليل الهرمي لصور الأنسجة الكاملة واسعة النطاق" . مجلة IEEE للمعلوماتية الطبية الحيوية والصحية . 25 (2): 371-380 . Bibcode : 2021IJBHI..25..371W . doi : 10.1109/JBHI.2020.2996300 . ISSN 2168-2208 . PMID 32750907. S2CID 219885788 .
↑ سريفاستافا، نيتيش؛ سي. جيفري هينتون؛ أليكس كريزيفسكي؛ إيليا سوتسكيفر؛ روسلان سالاخوتدينوف (2014). "التسرب: طريقة بسيطة لمنع الشبكات العصبية من الإفراط في التخصيص" (ملف PDF) . مجلة أبحاث تعلم الآلة . 15 (1): 1929-1958 . مؤرشف (ملف PDF) من الأصل بتاريخ 19 يناير 2016. تم الاطلاع عليه بتاريخ 3 يناير 2015 .
↑ "تنظيم الشبكات العصبية باستخدام DropConnect | المؤتمر الدولي للتعلم الآلي 2013 | مجلة JMLR W&CP" . jmlr.org : 1058–1066 . 13 فبراير 2013. مؤرشف من الأصل في 12 أغسطس 2017. تم الاطلاع عليه في 17 ديسمبر 2015 .
↑ زيلر، ماثيو د.؛ فيرغوس، روب (2013-01-15). "التجميع العشوائي لتنظيم الشبكات العصبية التلافيفية العميقة". arXiv : 1301.3557 [ cs.LG ].
1 2 بلات، جون؛ شتاينكراوس، ديف؛ سيمارد، باتريس واي. (أغسطس 2003). "أفضل الممارسات للشبكات العصبية الالتفافية المطبقة على تحليل المستندات المرئية - أبحاث مايكروسوفت" . أبحاث مايكروسوفت . مؤرشف من الأصل في 7 نوفمبر 2017. تم الاسترجاع في 17 ديسمبر 2015 .
↑ هينتون، جيفري إي.؛ سريفاستافا، نيتيش؛ كريزيفسكي، أليكس؛ سوتسكيفر، إيليا؛ سالاخوتدينوف، روسلان ر. (2012). "تحسين الشبكات العصبية عن طريق منع التكيف المشترك لكاشفات الميزات". arXiv : 1207.0580 [ cs.NE ].
↑ "التسرب: طريقة بسيطة لمنع الشبكات العصبية من الإفراط في التخصيص" . jmlr.org . مؤرشف من الأصل بتاريخ 2016-03-05 . تم الاطلاع عليه بتاريخ 2015-12-17 .
↑ هينتون، جيفري (1979). "بعض الأمثلة على تأثيرات الأوصاف البنيوية في التصور الذهني" . العلوم المعرفية . 3 (3): 231-250 . doi : 10.1016/s0364-0213(79)80008-7 .
↑ روك، إيرفين. "إطار المرجعية". إرث سولومون آش: مقالات في الإدراك وعلم النفس الاجتماعي (1990): 243-268.
↑ ج. هينتون، محاضرات كورسيرا حول الشبكات العصبية، 2012، الرابط: https://www.coursera.org/learn/neural-networks ، مؤرشف بتاريخ 31 ديسمبر 2016 في أرشيف الإنترنت (Wayback Machine).
↑ ديف غيرشغورن (18 يونيو 2018). "القصة الداخلية لكيفية تطور الذكاء الاصطناعي إلى مستوى يسمح له بالسيطرة على وادي السيليكون" . كوارتز . مؤرشف من الأصل في 12 ديسمبر 2019. تم الاطلاع عليه في 5 أكتوبر 2018 .
↑ لورانس، ستيف؛ سي. لي جايلز؛ آه تشونغ تسوي؛ أندرو د. باك (1997). "التعرف على الوجوه: نهج الشبكة العصبية الالتفافية". معاملات IEEE في الشبكات العصبية . 8 (1): 98-113 . CiteSeerX 10.1.1.92.5813 . doi : 10.1109/72.554195 . PMID 18255614. S2CID 2883848 .
↑ لو كاليه، باتريك؛ كريستيان فيارد-غودان؛ دومينيك باربا (2006). "نهج الشبكة العصبية الالتفافية لتقييم جودة الفيديو الموضوعي" ( ملف PDF) . معاملات IEEE في الشبكات العصبية . 17 (5): 1316-1327 . Bibcode : 2006ITNN...17.1316L . doi : 10.1109/TNN.2006.879766 . PMID 17001990. S2CID 221185563. مؤرشف (PDF) من الأصل في 24 فبراير 2021. تم الاسترجاع في 17 نوفمبر 2013 .
↑ "مسابقة ImageNet للتعرف البصري واسع النطاق 2014 (ILSVRC2014)" . مؤرشف من الأصل في 5 فبراير 2016. تم الاطلاع عليه في 30 يناير 2016 .
↑ سيجيدي، كريستيان؛ ليو، وي؛ جيا، يانغتشينغ؛ سيرمانيت، بيير؛ ريد، سكوت إي.؛ أنجيلوف، دراغومير؛ إرهان، دوميترو؛ فان هوك، فنسنت؛ رابينوفيتش، أندرو (2015). "التعمق أكثر في الالتفافات". مؤتمر IEEE حول رؤية الحاسوب والتعرف على الأنماط، CVPR 2015، بوسطن، ماساتشوستس، الولايات المتحدة الأمريكية، 7-12 يونيو 2015. جمعية IEEE للحاسوب. الصفحات 1-9 . arXiv : 1409.4842 . doi : 10.1109/CVPR.2015.7298594 . ISBN 978-1-4673-6964-0.
^ روساكوفسكي، أولغا ؛ دنغ، جيا؛ سو، هاو؛ كراوس، جوناثان. ساتيش، سانجيف؛ أماه، شون؛ هوانغ، تشيهينج؛ الأماكن القريبة : خوسلا، أديتيا؛ بيرنشتاين، مايكل. بيرج، الكسندر C.؛ فاي فاي، لي (2014). “ تحدي التعرف البصري على نطاق واسع من Image Net ”. أرخايف : 1409.0575 [ cs.CV ].
↑ "خوارزمية كشف الوجوه ستُحدث ثورة في البحث عن الصور" . مجلة تكنولوجي ريفيو . ١٦ فبراير ٢٠١٥. مؤرشف من الأصل في ٢٠ سبتمبر ٢٠٢٠. تم الاطلاع عليه في ٢٧ أكتوبر ٢٠١٧ .
↑ باكوش، معز؛ ماماليه، فرانك؛ وولف، كريستيان؛ غارسيا، كريستوف؛ باسكرت، أتيلا (16-11-2011). "التعلم العميق المتسلسل للتعرف على حركات الإنسان". في صلاح، ألبرت علي؛ ليبري، برونو (محرران). فهم السلوك البشري . سلسلة محاضرات في علوم الحاسوب. المجلد 7065. سبرينغر برلين هايدلبرغ. الصفحات 29-39 . CiteSeerX 10.1.1.385.4740 . doi : 10.1007/978-3-642-25446-8_4 . ISBN 978-3-642-25445-1.
↑ جي، شويوانغ؛ شو، وي؛ يانغ، مينغ؛ يو، كاي (2013-01-01). "شبكات عصبية تلافيفية ثلاثية الأبعاد للتعرف على حركات الإنسان". معاملات IEEE في تحليل الأنماط والذكاء الآلي . 35 (1): 221-231 . Bibcode : 2013ITPAM..35..221J . CiteSeerX 10.1.1.169.4046 . doi : 10.1109/TPAMI.2012.59 . ISSN 0162-8828 . PMID 22392705. S2CID 1923924 .
^ هوانغ، جي. تشو، وينجانج؛ تشانغ، كيلين؛ لي، هوكيانغ؛ لي ويبينغ (2018). “التعرف على لغة الإشارة عبر الفيديو دون تجزئة زمنية”. أرخايف : 1801.10111 [ cs.CV ].
↑ كارباثي، أندريه، وآخرون. " تصنيف الفيديو على نطاق واسع باستخدام الشبكات العصبية الالتفافية". مؤرشف في 6 أغسطس 2019 على موقع Wayback Machine . مؤتمر IEEE حول رؤية الحاسوب والتعرف على الأنماط (CVPR). 2014.
↑ سيمونيان، كارين؛ زيسرمان، أندرو (2014). "شبكات الالتفاف ثنائية التدفق للتعرف على الحركة في مقاطع الفيديو". arXiv : 1406.2199 [ cs.CV ].(2014).
↑ وانغ، لي؛ دوان، شوهوان؛ تشانغ، كيلين؛ نيو، تشنشينغ؛ هوا، غانغ؛ تشنغ، ناننينغ (22 مايو 2018). "Segment-Tube: تحديد موقع الحركة المكاني الزمني في مقاطع الفيديو غير المقصوصة باستخدام تجزئة الإطار" (ملف PDF) . مجلة Sensors . 18 (5): 1657. Bibcode : 2018Senso..18.1657W . doi : 10.3390/s18051657 . ISSN 1424-8220 . PMC 5982167. PMID 29789447. مؤرشف (PDF) من النسخة الأصلية بتاريخ 1 مارس 2021. تاريخ الاسترجاع: 14 سبتمبر 2018 .
^ دوان، شوهوان؛ وانغ، لو؛ تشاي، تشانغبو؛ تشنغ، ناننينغ؛ تشانغ، كيلين؛ نيو، زينشينغ؛ هوا جانج (2018). “توطين العمل المكاني والزماني المشترك في مقاطع الفيديو غير المقطوعة مع تجزئة لكل إطار”. مؤتمر IEEE الدولي الخامس والعشرون لعام 2018 حول معالجة الصور (ICIP) . مؤتمر IEEE الدولي الخامس والعشرون لمعالجة الصور (ICIP). الصفحات من 918 إلى 922. دوى : 10.1109/icip.2018.8451692 . رقم ISBN 978-1-4799-7061-2.
↑ تايلور، غراهام دبليو؛ فيرغوس، روب؛ ليكان، يان؛ بريغلر، كريستوف (1 يناير 2010). التعلم التلافيفي للميزات المكانية والزمانية . وقائع المؤتمر الأوروبي الحادي عشر لرؤية الحاسوب: الجزء السادس. ECCV'10. برلين، هايدلبرغ: سبرينغر-فيرلاغ. الصفحات 140-153 . ISBN 978-3-642-15566-6أُرشف من المصدر الأصلي بتاريخ 31 مارس 2022. تم الاطلاع عليه بتاريخ 31 مارس 2022 .
↑ لي، كيو في؛ زو، دبليو واي؛ يونغ، إس واي؛ نغ، إيه واي (1 يناير 2011). "تعلم السمات المكانية-الزمانية الثابتة الهرمية للتعرف على الحركة باستخدام تحليل الفضاء الفرعي المستقل" (ملف PDF) . مؤتمر رؤية الحاسوب والتعرف على الأنماط 2011. واشنطن العاصمة، الولايات المتحدة الأمريكية: جمعية مهندسي الكهرباء والإلكترونيات. الصفحات 3361-3368 . CiteSeerX 10.1.1.294.5948 . doi : 10.1109/CVPR.2011.5995496 . ISBN 978-1-4577-0394-2. S2CID 6006618 .
↑ غريفنستيت، إدوارد؛ بلونسوم، فيل؛ دي فريتاس، ناندو؛ هيرمان، كارل موريتز (2014-04-29). "بنية عميقة للتحليل الدلالي". arXiv : 1404.7296 [ cs.CL ].
↑ ميسنيل، غريغوار؛ دينغ، لي؛ غاو، جيانفينغ؛ هي، شياودونغ؛ شين، ييلونغ (أبريل 2014). "تعلم التمثيلات الدلالية باستخدام الشبكات العصبية الالتفافية للبحث على الويب - أبحاث مايكروسوفت" . أبحاث مايكروسوفت . مؤرشف من الأصل في 15 سبتمبر 2017. تم الاسترجاع في 17 ديسمبر 2015 .
↑ كالتشبرينر، نال؛ غريفنستيت، إدوارد؛ بلونسوم، فيل (2014-04-08). "شبكة عصبية التفافية لنمذجة الجمل". arXiv : 1404.2188 [ cs.CL ].
↑ كيم، يون (2014-08-25). "الشبكات العصبية الالتفافية لتصنيف الجمل". arXiv : 1408.5882 [ cs.CL ].
↑ كولوبيرت، رونان، وجيسون ويستون. " بنية موحدة لمعالجة اللغة الطبيعية: الشبكات العصبية العميقة مع التعلم متعدد المهام". مؤرشف في 4 سبتمبر 2019 على موقع Wayback Machine . "وقائع المؤتمر الدولي الخامس والعشرين حول التعلم الآلي. ACM، 2008."
↑ كولوبيرت، رونان؛ ويستون، جيسون؛ بوتو، ليون؛ كارلين، مايكل؛ كافوكوغلو، كوراي؛ كوكسا، بافيل (2011-03-02). "معالجة اللغة الطبيعية (تقريبًا) من الصفر". arXiv : 1103.0398 [ cs.LG ].
↑ ين، و؛ كان، ك؛ يو، م؛ شوتزه، هـ (2017-03-02). "دراسة مقارنة بين الشبكات العصبية الالتفافية والشبكات العصبية المتكررة لمعالجة اللغة الطبيعية". arXiv : 1702.01923 [ cs.LG ].
↑ باي، س.؛ كولتر، ج.س.؛ كولتون، ف. (2018). "تقييم تجريبي للشبكات الالتفافية والمتكررة العامة لنمذجة التسلسل". arXiv : 1803.01271 [ cs.LG ].
↑ غروبر، ن. (2021). "الكشف عن ديناميكيات الحركة في النص باستخدام شبكة عصبية متكررة". الحوسبة العصبية وتطبيقاتها . 33 (12): 15709-15718 . doi : 10.1007/S00521-021-06190-5 . S2CID 236307579 .
↑ هاوتيان، ج.؛ تشونغ، لي؛ تشيانشياو، لي (2021). "نظرية التقريب للهياكل الالتفافية لنمذجة السلاسل الزمنية". المؤتمر الدولي للتعلم الآلي . arXiv : 2107.09355 .
↑ بونسلاف، جيمس ب؛ ويمالاسينا، نيفانثيكا ك؛ كلاوسينغ، كيلسي ج؛ داي، يو ي؛ يارمولينسكي، ديفيد أ؛ كروز، توماس؛ كاشلان، آدم د؛ تشيابي، م يوجينيا؛ أوريفيس، لورين ل؛ وولف، كليفورد ج؛ هارفي، كريستوفر د (2021-09-02). " DeepEthogram، مسار تعلم آلي لتصنيف السلوك الخاضع للإشراف من وحدات البكسل الخام" . eLife . 10 e63377. doi : 10.7554/eLife.63377 . ISSN 2050-084X . PMC 8455138. PMID 34473051 .
1 2 جيرنات، تيم؛ جاغلا، توبياس؛ جونز، بيريل م.؛ ميدندورف، مارتن؛ روبنسون، جين إي. (27 يناير 2023). "الرصد الآلي لنحل العسل باستخدام الرموز الشريطية والذكاء الاصطناعي يكشف عن شبكتين اجتماعيتين متميزتين من سلوك تقاربي واحد" . التقارير العلمية . 13 (1) 1541. Bibcode : 2023NatSR..13.1541G . doi : 10.1038/ s41598-022-26825-4 . ISSN 2045-2322 . PMC 9883485. PMID 36707534 .
↑ نوروزاده، محمد صادق؛ نغوين، آنه؛ كوسمالا، مارغريت؛ سوانسون، ألكسندرا؛ بالمر، ميريديث س.؛ باكر، كريغ؛ كلون، جيف (19 يونيو 2018). "التعرف التلقائي على الحيوانات البرية وعدّها ووصفها في صور كاميرات المراقبة باستخدام التعلم العميق" . وقائع الأكاديمية الوطنية للعلوم . 115 (25): E5716– E5725 . Bibcode : 2018PNAS..115E5716N . doi : 10.1073/pnas.1719367115 . ISSN 0027-8424 . PMC 6016780. PMID 29871948 .
^ سفينينج، أسغر. موجو، غيوم؛ أليسون، جيمي؛ شوفالييه، دافني؛ مولينا، نيسا لويز شافيز؛ أونج، سونج تشيوان؛ بيرجي، كيم؛ كاريو، جولي. هوي ، توك توماس (2025/04/14). “طريقة عامة لكشف وتجزئة المفصليات الأرضية في الصور”. BioRxiv 10.1101/2025.04.08.647223 .
↑ تورنتس، جوردي؛ كوستا، تياجو؛ دي بولافييخا، غونزالو ج. (2025-06-02). "موقع idtracker.ai الجديد: إعادة التفكير في تتبع الحيوانات المتعددة كمشكلة تعلم تمثيلي لزيادة الدقة وتقليل أوقات التتبع". bioRxiv 10.1101/2025.05.30.657023 .
↑ ماثيس، ألكسندر؛ ماميدانا، براناف؛ كوري، كيفن م.؛ آبي، تايغا؛ مورثي، فينكاتيش ن.؛ ماثيس، ماكنزي ويغاندت؛ بيثج، ماتياس (سبتمبر 2018). "DeepLabCut: تقدير وضعية أجزاء الجسم المحددة من قبل المستخدم بدون علامات باستخدام التعلم العميق" . Nature Neuroscience . 21 (9): 1281–1289 . doi : 10.1038/s41593-018-0209-y . ISSN 1097-6256 . PMID 30127430 .
↑ غريفينغ، جاكوب م؛ تشاي، دانيال؛ نايك، هيمال؛ لي، ليانغ؛ كوغر، بنجامين؛ كوستيلو، بلير ر؛ كوزين، إيان د (2019-10-01). "DeepPoseKit، مجموعة أدوات برمجية لتقدير وضعية الحيوانات بسرعة ودقة باستخدام التعلم العميق" . eLife . 8 e47994 . Bibcode : 2019eLife...847994G . doi : 10.7554/eLife.47994 . ISSN 2050-084X . PMC 6897514. PMID 31570119 .
^ بيريرا، تالمو د. تابريس، ناثانيال؛ ماتسليا، آري؛ تيرنر، ديفيد م. لي، جونيو؛ رافيندراناث، شروثي؛ بابادويانيس، إيليني إس؛ نورماند، إدنا. الألمانية، ديفيد س.؛ وانغ، ز. يان؛ ماكنزي سميث، جريس سي؛ ميتيلوت، كاتالين C .؛ كاسترو، ماريليسا دييز؛ دوفا، جون؛ كيسلين ، ميخائيل (مايو 2022). "تصحيح الناشر: SLEAP: نظام تعليمي عميق لتتبع وضعيات الحيوانات المتعددة" . طرق الطبيعة . 19 (5): 628. دوى : 10.1038 / s41592-022-01495-2 . ردمك 1548-7091 . بمك 9119847 . PMID 35468969 .
1 2 أراك، أحمد؛ تشاو، بينغ بينغ؛ دوبكين، بروس هـ.؛ كارمايكل، س. توماس؛ غولشاني، بيمان (2019-05-07). " DeepBehavior: مجموعة أدوات للتعلم العميق للتحليل الآلي لبيانات تصوير سلوك الحيوانات والبشر" . مجلة Frontiers in Systems Neuroscience . 13 20. doi : 10.3389/fnsys.2019.00020 . ISSN 1662-5137 . PMC 6513883. PMID 31133826 .
^ رن، هانشنغ؛ شو، بيكسيونج؛ وانغ، يوجينج؛ يي، تشاو؛ هوانغ، كونغروي؛ كو، شياويو؛ شينغ، توني. يانغ، ماو؛ تونغ، جي. تشانغ، تشي (2019). خدمة الكشف عن شذوذ السلاسل الزمنية في Microsoft | وقائع المؤتمر الدولي الخامس والعشرون لـ ACM SIGKDD حول اكتشاف المعرفة واستخراج البيانات . أرخايف : 1906.03821 . دوى : 10.1145/3292500.3330680 . S2CID 182952311 .
↑ والاش، إزهار؛ دزامبا، مايكل؛ هيفيتس، أبراهام (2015-10-09). "AtomNet: شبكة عصبية تلافيفية عميقة للتنبؤ بالنشاط الحيوي في اكتشاف الأدوية القائم على البنية". arXiv : 1510.02855 [ cs.LG ].
↑ يوسينسكي، جيسون؛ كلون، جيف؛ نغوين، آن؛ فوكس، توماس؛ ليبسون، هود (22-06-2015). "فهم الشبكات العصبية من خلال التصور العميق". arXiv : 1506.06579 [ cs.CV ].
↑ «شركة ناشئة في تورنتو لديها طريقة أسرع لاكتشاف أدوية فعّالة» . صحيفة ذا غلوب آند ميل . مؤرشف من الأصل بتاريخ 20 أكتوبر 2015. تم الاطلاع عليه بتاريخ 9 نوفمبر 2015 .
↑ "شركة ناشئة تستغل الحواسيب العملاقة للبحث عن علاجات" . KQED Future of You . 27 مايو 2015. مؤرشف من الأصل في 6 ديسمبر 2018. تم الاطلاع عليه في 9 نوفمبر 2015 .
↑ تشيلابيلا، ك؛ فوغل، د.ب. (1999). "تطوير الشبكات العصبية للعب الداما دون الاعتماد على خبرة الخبراء". مجلة IEEE للمعاملات في الشبكات العصبية . 10 (6): 1382-1391 . رمز Bibcode : 1999ITNN...10.1382C . doi : 10.1109/72.809083 . PMID 18252639 .
↑ تشيلابيلا، ك.؛ فوغل، د.ب. (2001). "تطوير برنامج خبير للعب الداما دون الاستعانة بالخبرة البشرية". معاملات IEEE في الحوسبة التطورية . 5 (4): 422-428 . Bibcode : 2001ITEC....5..422C . doi : 10.1109/4235.942536 .
↑ فوغل، ديفيد (2001). بلوندي 24: اللعب على حافة الذكاء الاصطناعي . سان فرانسيسكو، كاليفورنيا: مورغان كوفمان. ISBN 978-1-55860-783-5.
↑ كلارك، كريستوفر؛ ستوركي، آموس (2014). "تعليم الشبكات العصبية التلافيفية العميقة لعب لعبة غو". arXiv : 1412.3409 [ cs.AI ].
↑ ماديسون، كريس جيه؛ هوانغ، أجا؛ سوتسكيفر، إيليا؛ سيلفر، ديفيد (2014). "تقييم النقلات في لعبة غو باستخدام الشبكات العصبية التلافيفية العميقة". arXiv : 1412.6564 [ cs.LG ].
↑ "ألفا غو - جوجل ديب مايند" . مؤرشف من الأصل في 30 يناير 2016. تم الاطلاع عليه في 30 يناير 2016 .
^ باي، شاوجي؛ كولتر، جي زيكو؛ كولتون ، فلادلين (2018/04/19). “تقييم تجريبي للشبكات التلافيفية العامة والمتكررة لنمذجة التسلسل”. أرخايف : 1803.01271 [ cs.LG ].
↑ يو، فيشر؛ كولتون، فلادلين (30-04-2016). "تجميع السياق متعدد المقاييس بواسطة الالتفافات المتوسعة". arXiv : 1511.07122 [ cs.CV ].
↑ بوروفيك، أناستاسيا؛ بوهتي، ساندر؛ أوسترلي، كورنيليس دبليو. (2018-09-17). "التنبؤ المشروط بالسلاسل الزمنية باستخدام الشبكات العصبية الالتفافية". arXiv : 1703.04691 [ stat.ML ].
↑ ميتلمان، روني (2015-08-03). "نمذجة السلاسل الزمنية باستخدام الشبكات العصبية التلافيفية الكاملة غير المخففة". arXiv : 1508.00317 [ stat.ML ].
^ تشن ، يتيان. كانغ، يانفي؛ تشن، ييشونغ؛ وانغ ، زيتشو (2019/06/11). “التنبؤ الاحتمالي باستخدام الشبكة العصبية التلافيفية الزمنية”. أرخايف : 1906.04397 [ stat.ML ].
↑ تشاو، بيندونغ؛ لو، هوان تشانغ؛ تشين، شانغ فنغ؛ ليو، جون ليانغ؛ وو، دونغيا (2017-02-01). "الشبكات العصبية الالتفافية لتصنيف السلاسل الزمنية". مجلة هندسة النظم والإلكترونيات . 28 (1): 162-169 . doi : 10.21629/JSEE.2017.01.18 .
^ بيتنيهازي ، غابور (21/08/2019). “QCNN: الشبكة العصبية التلافيفية الكمية”. أرخايف : 1908.07978 [ cs.LG ].
↑ هوبرت مارا (2019-06-07)، HeiCuBeDa Hilprecht – مجموعة بيانات مرجعية للكتابة المسمارية في هايدلبرغ لمجموعة Hilprecht (بالألمانية)، heiDATA – مستودع مؤسسي لبيانات البحث بجامعة هايدلبرغ، doi : 10.11588/data/IE8CCN
↑ هوبرت مارا وبارتوش بوغاتش (2019)، "فك شفرة الألواح المكسورة: تحدي التعلم للكتابة المسمارية المشروحة في مجموعات بيانات ثنائية وثلاثية الأبعاد موحدة"، وقائع المؤتمر الدولي الخامس عشر لتحليل المستندات والتعرف عليها (ICDAR) (باللغة الألمانية)، سيدني، أستراليا، ص 148-153 ، doi : 10.1109/ICDAR.2019.00032 ، ISBN 978-1-7281-3014-9، S2CID 211026941 {{citation}}: CS1 maint: موقع الناشر مفقود ( رابط )
↑ بوغاز، بارتوش؛ مارا، هوبرت (2020)، "تصنيف فترات الألواح المسمارية ثلاثية الأبعاد باستخدام الشبكات العصبية الهندسية"، وقائع المؤتمر الدولي السابع عشر حول آفاق التعرف على الكتابة اليدوية (ICFHR) ، دورتموند، ألمانيا
↑ عرض ورقة بحثية من مؤتمر ICFHR بعنوان "تصنيف فترات الألواح المسمارية ثلاثية الأبعاد باستخدام الشبكات العصبية الهندسية" على يوتيوب
↑ دورجوي سين مايترا؛ أوجوال بهاتاشاريا؛ إس كيه باروي، "نهج مشترك قائم على الشبكات العصبية التلافيفية للتعرف على الأحرف المكتوبة بخط اليد في نصوص متعددة"، مؤرشف في 16 أكتوبر 2023 على موقع Wayback Machine ، ضمن المؤتمر الدولي الثالث عشر لتحليل المستندات والتعرف عليها (ICDAR)، 2015، المجلد، العدد، الصفحات 1021-1025، 23-26 أغسطس 2015
↑ "NIPS 2017" . ندوة التعلم الآلي القابل للتفسير . 2017-10-20. مؤرشف من الأصل في 2019-09-07 . تم الاطلاع عليه في 2018-09-12 .
↑ زانغ، جينليانغ؛ وانغ، لي؛ ليو، زيي؛ تشانغ، كيلين؛ هوا، غانغ؛ تشنغ، ناننينغ (2018). "شبكة عصبية تلافيفية موزونة زمنيًا قائمة على الانتباه للتعرف على الحركة". تطبيقات وابتكارات الذكاء الاصطناعي . سلسلة IFIP للتقدم في تكنولوجيا المعلومات والاتصالات. المجلد 519. تشام: دار نشر سبرينغر الدولية. الصفحات 97-108 . arXiv : 1803.07179 . doi : 10.1007/978-3-319-92007-8_9 . ISBN 978-3-319-92006-1ISSN 1868-4238 . S2CID 4058889 .
↑ وانغ، لي؛ زانغ، جينليانغ؛ تشانغ، كيلين؛ نيو، تشنشينغ؛ هوا، غانغ؛ تشنغ، ناننينغ (21-06-2018). " التعرف على الحركة بواسطة شبكة عصبية تلافيفية موزونة زمنيًا واعية بالانتباه" ( ملف PDF) . مجلة Sensors . 18 (7): 1979. Bibcode : 2018Senso..18.1979W . doi : 10.3390/s18071979 . ISSN 1424-8220 . PMC 6069475. PMID 29933555. مؤرشف (PDF) من النسخة الأصلية بتاريخ 13-09-2018 . تم الاطلاع عليه بتاريخ 14-09-2018 .
↑ أونغ، هاو يي؛ تشافيز، كيفن؛ هونغ، أوغسطس (2015-08-18). "التعلم العميق الموزع Q". arXiv : 1508.04186v2 [ cs.LG ].
↑ منيه، فولوديمير؛ وآخرون (2015). "التحكم بمستوى الإنسان من خلال التعلم العميق المعزز" . مجلة نيتشر . 518 (7540): 529-533 . Bibcode : 2015Natur.518..529M . doi : 10.1038/nature14236 . PMID 25719670. S2CID 205242740 .
↑ صن، ر.؛ سيشنز، س. (يونيو 2000). "التجزئة الذاتية للتسلسلات: التكوين التلقائي لتسلسلات السلوكيات المتسلسلة". معاملات IEEE في الأنظمة والإنسان وعلم التحكم الآلي - الجزء ب: علم التحكم الآلي . 30 (3): 403-418 . Bibcode : 2000ITSMB..30..403S . CiteSeerX 10.1.1.11.226 . doi : 10.1109/3477.846230 . ISSN 1083-4419 . PMID 18252373 .
↑ "شبكات الاعتقاد العميق التلافيفية على مجموعة بيانات CIFAR-10" (ملف PDF) . مؤرشف (ملف PDF) من النسخة الأصلية بتاريخ 30 أغسطس 2017. تم الاطلاع عليه بتاريخ 18 أغسطس 2017 .
↑ لي، هونغلاك؛ غروس، روجر؛ رانغاناث، راجيش؛ نغ، أندرو واي. (1 يناير 2009). "شبكات الاعتقاد العميق التلافيفية للتعلم غير الخاضع للإشراف القابل للتوسع للتمثيلات الهرمية". وقائع المؤتمر الدولي السنوي السادس والعشرين للتعلم الآلي . ACM. الصفحات 609-616 . CiteSeerX 10.1.1.149.6800 . doi : 10.1145/1553374.1553453 . ISBN 978-1-60558-516-1. S2CID 12008458 .
↑ بينكه، سفين (2003). الشبكات العصبية الهرمية لتفسير الصور (ملف PDF) . سلسلة محاضرات في علوم الحاسوب. المجلد 2766. سبرينغر. doi : 10.1007/b11963 . ISBN 978-3-540-40722-5S2CID 1304548. مؤرشف (PDF) من الأصل بتاريخ 10 أغسطس 2017. تم الاطلاع عليه بتاريخ 28 ديسمبر 2016 .
↑ تشوي، رينيه ي.؛ كوينر، آرون س.؛ كالباثي-كريمر، جايشري؛ تشيانغ، مايكل ف.؛ كامبل، ج. بيتر (فبراير 2020). "مقدمة في التعلم الآلي، والشبكات العصبية، والتعلم العميق" . مجلة وايرد . مؤرشف من الأصل في 13 يناير 2018. تم الاطلاع عليه في 6 مارس 2017 .

روابط خارجية

CS231n: الشبكات العصبية الالتفافية للتعرف البصري — دورة أندريه كارباثي في علوم الحاسوب بجامعة ستانفورد حول الشبكات العصبية الالتفافية في مجال رؤية الحاسوب
vdumoulin/conv_arithmetic: تقرير فني حول حسابات الالتفاف في سياق التعلم العميق . رسوم متحركة للالتفافات.

[75] عند تطبيقها على أنواع أخرى من البيانات غير بيانات الصور، مثل بيانات الصوت، قد يتوافق "الموقع المكاني" بشكل مختلف مع نقاط مختلفة في المجال الزمني أو مجال التردد أو غيرها من الفضاءات الرياضية .

[78] ومن هنا جاء اسم "الطبقة الالتفافية"

[90] ما يسمى بالبيانات الفئوية .

[LeCun2015-1] 1 2 ليكان، يان؛ بينجيو، يوشوا؛ هينتون، جيفري (28-05-2015). "التعلم العميق" . مجلة نيتشر . 521 (7553): 436-444 . رمز Bibcode : 2015Natur.521..436L . doi : 10.1038/nature14539 . ISSN 1476-4687 . PMID 26017442 .

[2] لوكون، ي.؛ بوسر، ب.؛ دينكر، ج. س.؛ هندرسون، د.؛ هوارد، ر. إ.؛ هوبارد، و.؛ جاكيل، ل. د. (ديسمبر 1989). "تطبيق خوارزمية الانتشار العكسي على التعرف على الرموز البريدية المكتوبة بخط اليد" . الحوسبة العصبية . 1 (4): 541-551 . doi : 10.1162/neco.1989.1.4.541 . ISSN 0899-7667 .

[auto3-3] 1 2 فينكاتيسان، راغاف؛ لي، باوكسين (23-10-2017). الشبكات العصبية الالتفافية في الحوسبة المرئية: دليل موجز . مطبعة سي آر سي. رقم ISBN 978-1-351-65032-8أُرشف من المصدر الأصلي بتاريخ 16 أكتوبر 2023. تم الاطلاع عليه بتاريخ 13 ديسمبر 2020 .

[auto2-4] 1 2 بالاس، فالنتينا إي.؛ كومار، راغفيندرا؛ سريفاستافا، راجشري (19-11-2019). الاتجاهات والتطورات الحديثة في الذكاء الاصطناعي وإنترنت الأشياء . سبرينغر نيتشر. ISBN 978-3-030-32644-9أُرشف من المصدر الأصلي بتاريخ 16 أكتوبر 2023. تم الاطلاع عليه بتاريخ 13 ديسمبر 2020 .

[5] تشانغ، يينغجي؛ سون، هونغ جيوك؛ يي، دونغسن؛ فوه، جيري يينغ هسي؛ تشو، كونبنغ (سبتمبر 2020). "مراقبة عملية دمج طبقة المسحوق باستخدام رؤية الآلة مع الشبكات العصبية الالتفافية الهجينة". معاملات IEEE في المعلوماتية الصناعية . 16 (9): 5769-5779 . Bibcode : 2020ITII...16.5769Z . doi : 10.1109/TII.2019.2956078 . ISSN 1941-0050 . S2CID 213010088 .

[6] تشيرفياكوف، ن. إي.؛ لياخوف، ب. أ.؛ ديريابين، م. أ.؛ ناغورنوف، ن. ن.؛ فالويفا، م. ف.؛ فالويف، ج. ف. (سبتمبر 2020). " حل قائم على نظام الأعداد المتبقية لتقليل تكلفة الأجهزة لشبكة عصبية التفافية" . الحوسبة العصبية . 407 : 439-453 . doi : 10.1016/j.neucom.2020.04.018 . S2CID 219470398. مؤرشف من الأصل في 29 يونيو 2023. تم الاسترجاع في 12 أغسطس 2023. تمثل الشبكات العصبية الالتفافية بنى التعلم العميق التي تُستخدم حاليًا في مجموعة واسعة من التطبيقات، بما في ذلك رؤية الحاسوب، والتعرف على الكلام، والكشف عن البرامج الضارة، وتحليل السلاسل الزمنية في مجال التمويل، وغيرها الكثير.

[auto1-7] 1 2 أغدام، حامد حبيبي؛ هراوي، إلناز جاهاني (30-05-2017). دليل الشبكات العصبية الالتفافية: تطبيق عملي على كشف وتصنيف إشارات المرور . تشام، سويسرا: سبرينغر. ISBN 978-3-319-57549-0. OCLC 987790957 .

[homma-8] ١ ٢ ٣ هوما، توشيتيرو؛ ليس أطلس؛ روبرت ماركس الثاني (١٩٨٧). "شبكة عصبية اصطناعية للأنماط ثنائية القطب المكانية الزمنية: تطبيق على تصنيف الصوتيات" (ملف PDF) . التطورات في أنظمة معالجة المعلومات العصبية . ١ : ٣١-٤٠ . مؤرشف (ملف PDF) من الأصل في ٣١-٠٣-٢٠٢٢ . تم الاسترجاع في ٣١-٠٣-٢٠٢٢ . إن مفهوم الالتفاف أو الارتباط المستخدم في النماذج المعروضة شائع في التخصصات الهندسية، وقد تم تطبيقه على نطاق واسع في تصميم المرشحات وأنظمة التحكم، وما إلى ذلك.

[Valueva_Nagornov_Lyakhov_Valuev_2020_pp._232–243-9] فالويفا، إم. في.؛ ناغورنوف، إن. إن.؛ لياخوف، بي. إيه.؛ فالويف، جي. في.؛ تشيرفياكوف، إن. آي. (2020). "تطبيق نظام الأعداد المتبقية لتقليل تكاليف الأجهزة لتنفيذ الشبكة العصبية الالتفافية". الرياضيات والحاسبات في المحاكاة . 177. إلسيفير بي. في: 232-243 . doi : 10.1016/j.matcom.2020.04.031 . ISSN 0378-4754 . S2CID 218955622. تُعد الشبكات العصبية الالتفافية أداة واعدة لحل مشكلة التعرف على الأنماط.

[10] فان دن أورد ، هارون. ديليمان، ساندر؛ شراوين ، بنيامين (2013/01/01). بورجس، CJC. بوتو، L.؛ ويلينج، م. قهرماني، ز.؛ واينبرغر، KQ (محرران). توصية موسيقية عميقة قائمة على المحتوى (PDF) . Curran Associates, Inc. الصفحات 2643–2651 . أرشفة (PDF) من النسخة الأصلية بتاريخ 2022-03-07 . تم الاسترجاع 2022-03-31 .

[11] كولوبيرت، رونان؛ ويستون، جيسون (1 يناير 2008). "بنية موحدة لمعالجة اللغة الطبيعية". وقائع المؤتمر الدولي الخامس والعشرين للتعلم الآلي - ICML '08 . نيويورك، نيويورك، الولايات المتحدة الأمريكية: ACM. الصفحات 160-167 . doi : 10.1145/1390156.1390177 . ISBN 978-1-60558-205-4. S2CID 2617020 .

[12] أفيلوف، أوليكسي؛ ريمبير، سيباستيان؛ بوبوف، أنطون؛ بوغران، لوران (يوليو 2020). "تقنيات التعلم العميق لتحسين الكشف عن الوعي أثناء الجراحة من إشارات تخطيط كهربية الدماغ" . المؤتمر الدولي السنوي الثاني والأربعون لجمعية الهندسة في الطب وعلم الأحياء التابعة لمعهد مهندسي الكهرباء والإلكترونيات (IEEE) لعام 2020 (ملف PDF) . المجلد 2020. مونتريال، كيبيك، كندا: معهد مهندسي الكهرباء والإلكترونيات. الصفحات 142-145 . doi : 10.1109/EMBC44109.2020.9176228 . ISBN 978-1-7281-1990-8PMID 33017950. S2CID 221386616. مؤرشف (PDF) من الأصل بتاريخ 19 مايو 2022. تم الاطلاع عليه بتاريخ 21 يوليو 2023 .

[Tsantekidis_7–12-13] 1 2 تسانتيكيديس، أفراام؛ باسليس، نيكولاوس؛ تيفاس، أناستاسيوس؛ كانياينن، يوهو؛ غابوج، منصف؛ يوسيفيديس، ألكسندروس (يوليو 2017). "التنبؤ بأسعار الأسهم من دفتر أوامر الحد باستخدام الشبكات العصبية الالتفافية". المؤتمر التاسع عشر لمعهد مهندسي الكهرباء والإلكترونيات (IEEE) حول معلوماتية الأعمال (CBI) لعام 2017. ثيسالونيكي، اليونان: معهد مهندسي الكهرباء والإلكترونيات. الصفحات 7-12 . doi : 10.1109/CBI.2017.23 . ISBN 978-1-5386-3035-8. S2CID 4950757 .

[:0-14] 1 2 3 تشانغ، وي (1988). "شبكة عصبية للتعرف على الأنماط غير المتغيرة مع الإزاحة وبنيتها البصرية" . وقائع المؤتمر السنوي للجمعية اليابانية للفيزياء التطبيقية . مؤرشف من الأصل بتاريخ 23-06-2020 . تم الاطلاع عليه بتاريخ 22-06-2020 .

[:1-15] 1 2 3 تشانغ، وي (1990). " نموذج معالجة موزعة متوازية مع وصلات محلية ثابتة مكانيًا وبنيته البصرية" . البصريات التطبيقية . 29 (32): 4790-4797 . Bibcode : 1990ApOpt..29.4790Z . doi : 10.1364/AO.29.004790 . PMID 20577468. مؤرشف من الأصل في 2017-02-06 . تم الاسترجاع في 2016-09-22 .

[:6-16] 1 2 3 4 5 6 موتون، كونراد؛ مايبورغ، يوهانس سي؛ دافيل، ماريلي إتش (2020). "ثبات الخطوة والترجمة في الشبكات العصبية التلافيفية" . في: جيربر، أورونا (محرر). بحوث الذكاء الاصطناعي . سلسلة اتصالات في علوم الحاسوب والمعلومات. المجلد 1342. تشام: دار نشر سبرينغر الدولية. الصفحات 267-281 . arXiv : 2103.10097 . doi : 10.1007/978-3-030-66151-9_17 . ISBN 978-3-030-66151-9S2CID 232269854. مؤرشف من الأصل بتاريخ 27-06-2021 . تم الاطلاع عليه بتاريخ 26-03-2021 .

[17] كورتزمان، توماس (20 أغسطس 2019). "التحيز الخفي في مجموعة بيانات DUD-E يؤدي إلى أداء مضلل للتعلم العميق في الفحص الافتراضي القائم على البنية" . PLOS ONE . 14 (8) e0220113. Bibcode : 2019PLoSO..1420113C . doi : 10.1371/journal.pone.0220113 . PMC 6701836. PMID 31430292 .

[fukuneoscholar-18] 1 2 3 فوكوشيما، ك. (2007). "نيوكوجنيترون" . سكولاربيديا . 2 (1): 1717. Bibcode : 2007SchpJ...2.1717F . doi : 10.4249/scholarpedia.1717 .

[hubelwiesel1968-19] 1 2 هوبل، د.هـ؛ ويزل، ت.ن. (1968-03-01). "الحقول الاستقبالية والبنية الوظيفية لقشرة الدماغ المخططة لدى القرود" . مجلة علم وظائف الأعضاء . 195 ( 1): 215-243 . doi : 10.1113/jphysiol.1968.sp008455 . ISSN 0022-3751 . PMC 1557912. PMID 4966457 .

[intro-20] 1 2 فوكوشيما، كونيهيكو (1980). "نيوكوجنيترون: نموذج شبكة عصبية ذاتية التنظيم لآلية التعرف على الأنماط غير المتأثرة بتغير الموضع" ( ملف PDF) . علم التحكم الآلي البيولوجي . 36 (4): 193-202 . doi : 10.1007/BF00344251 . PMID 7370364. S2CID 206775608. مؤرشف (ملف PDF) من الأصل في 3 يونيو 2014. تم الاطلاع عليه في 16 نوفمبر 2013 .

[robust_face_detection-21] 1 2 ماتسوجو، ماساكازو؛ كاتسوهيكو موري؛ يوسوكي ميتاري؛ يوجي كانيدا (2003). "التعرف على تعابير الوجه المستقلة عن الشخص مع كشف قوي للوجه باستخدام شبكة عصبية التفافية" ( ملف PDF) . الشبكات العصبية . 16 (5): 555-559 . Bibcode : 2003NN.....16..555M . doi : 10.1016/S0893-6080(03)00115-1 . PMID 12850007. مؤرشف (ملف PDF) من الأصل في 13 ديسمبر 2013. تم الاسترجاع في 17 نوفمبر 2013 .

[22] تبسيط الشبكات العصبية الالتفافية: دليل تعليمي قائم على منظور الترشيح المطابق https://arxiv.org/abs/2108.11663v3

[deeplearning-23] "الشبكات العصبية الالتفافية (LeNet) - وثائق DeepLearning 0.1" . DeepLearning 0.1 . مختبر LISA. مؤرشف من الأصل بتاريخ 28 ديسمبر 2017. تم الاطلاع عليه بتاريخ 31 أغسطس 2013 .

[24] شوليه، فرانسوا (2017-04-04). "Xception: التعلم العميق باستخدام الالتفافات القابلة للفصل العميق". arXiv : 1610.02357 [ cs.CV ].

[flexible-25] 1 2 3 سيريسان، دان؛ أولي ماير؛ جوناثان ماسكي؛ لوكا م. غامبارديلا؛ يورغن شميدهوبر (2011). "شبكات عصبية التفافية مرنة وعالية الأداء لتصنيف الصور" (ملف PDF) . وقائع المؤتمر الدولي المشترك الثاني والعشرين حول الذكاء الاصطناعي - المجلد الثاني . 2 : 1237-1242 . مؤرشف (ملف PDF) من الأصل في 5 أبريل 2022. تم الاطلاع عليه في 17 نوفمبر 2013 .

[26] كريزيفسكي ، أليكس. "تصنيف ImageNet باستخدام الشبكات العصبية التلافيفية العميقة" (ملف PDF) . مؤرشف (ملف PDF) من الأصل في 25 أبريل 2021. تم الاطلاع عليه في 17 نوفمبر 2013 .

[Yamaguchi111990-27] 1 2 ياماغوتشي، كويتشي؛ ساكاموتو، كينجي؛ أكاباني، توشيو؛ فوجيموتو، يوشيجي (نوفمبر 1990). شبكة عصبية للتعرف على الكلمات المنفردة بغض النظر عن المتحدث . المؤتمر الدولي الأول لمعالجة اللغة المنطوقة (ICSLP 90). كوبي، اليابان. مؤرشف من الأصل في 7 مارس 2021. تم الاسترجاع في 4 سبتمبر 2019 .

[mcdns-28] 1 2 3 4 سيريسان، دان؛ ماير، أولي؛ شميدهوبر، يورغن (يونيو 2012). "شبكات عصبية عميقة متعددة الأعمدة لتصنيف الصور". مؤتمر IEEE لعام 2012 حول رؤية الحاسوب والتعرف على الأنماط . نيويورك، نيويورك: معهد مهندسي الكهرباء والإلكترونيات (IEEE). الصفحات 3642-3649 . arXiv : 1202.2745 . CiteSeerX 10.1.1.300.3283 . doi : 10.1109/CVPR.2012.6248110 . ISBN 978-1-4673-1226-4. OCLC 812295155 . S2CID 2161592 .

[29] يو، فيشر؛ كولتون، فلادلين (30-04-2016). "تجميع السياق متعدد المقاييس بواسطة الالتفافات المتوسعة". arXiv : 1511.07122 [ cs.CV ].

[30] تشين، ليانغ-تشيه؛ باباندريو، جورج؛ شروف، فلوريان؛ آدم، هارتويغ (2017-12-05). "إعادة التفكير في الالتفاف المتباعد لتجزئة الصور الدلالية". arXiv : 1706.05587 [ cs.CV ].

[31] دوتا، إيونوت كوزمين؛ جورجيسكو، ماريانا يوليانا؛ إيونيسكو، رادو تيودور (2021-08-16). “الشبكات العصبية التلافيفية السياقية”. أرخايف : 2108.07387 [ cs.CV ].

[LeCun-32] ليكان، يان. "LeNet-5، الشبكات العصبية الالتفافية" . مؤرشف من الأصل في 24 فبراير 2021. تم الاسترجاع في 16 نوفمبر 2013 .

[33] زيلر، ماثيو د.؛ تايلور، غراهام و.؛ فيرغوس، روب (نوفمبر 2011). "شبكات الالتفاف العكسي التكيفية لتعلم الميزات المتوسطة والعالية المستوى" . المؤتمر الدولي لرؤية الحاسوب 2011. معهد مهندسي الكهرباء والإلكترونيات. الصفحات 2018-2025 . doi : 10.1109/iccv.2011.6126474 . ISBN 978-1-4577-1102-2.

[34] دومولين، فينسنت؛ فيسين، فرانشيسكو (2018-01-11)، دليل لحسابات الالتفاف للتعلم العميق ، arXiv : 1603.07285

[35] أودينا، أغسطس. دومولين، فنسنت؛ أولا ، كريس (2016/10/17). "التحف التفكيكية والشطرنج" . التقطير . 1 (10) هـ3. دوى : 10.23915/distill.00003 . ردمك 2476-0757 .

[36] فان دايك، ليونارد إليا؛ كويت، رولاند؛ دينزلر، سيباستيان يوشين؛ غروبر، والتر رولاند (2021). "مقارنة التعرف على الأشياء لدى البشر والشبكات العصبية الالتفافية العميقة - دراسة لتتبع حركة العين" . مجلة فرونتيرز إن نيوروساينس . 15 750639. doi : 10.3389/fnins.2021.750639 . ISSN 1662-453X . PMC 8526843. PMID 34690686 .

[:4-37] 1 2 هوبل، د.هـ؛ ويزل، ت.ن (أكتوبر 1959). " الحقول الاستقبالية للخلايا العصبية المفردة في القشرة المخططة للقط" . مجلة علم وظائف الأعضاء . 148 (3): 574-91 . doi : 10.1113/jphysiol.1959.sp006308 . PMC 1363130. PMID 14403679 .

[38] ديفيد هـ. هوبل وتورستن ن. ويزل (2005). الدماغ والإدراك البصري: قصة تعاون دام 25 عامًا . مطبعة جامعة أكسفورد، الولايات المتحدة. ص 106. ISBN 978-0-19-517618-6أُرشف من المصدر الأصلي بتاريخ 16 أكتوبر 2023. تم الاطلاع عليه بتاريخ 18 يناير 2019 .

[Fukushima1969-39] 1 2 فوكوشيما، ك. (1969). "استخلاص الميزات المرئية بواسطة شبكة متعددة الطبقات من عناصر العتبة التناظرية". معاملات IEEE في علوم الأنظمة وعلم التحكم الآلي . 5 (4): 322-333 . Bibcode : 1969ITSSC...5..322F . doi : 10.1109/TSSC.1969.300225 .

[DLhistory-40] شميدهوبر، يورغن (2022). "تاريخ مشروح للذكاء الاصطناعي الحديث والتعلم العميق". arXiv : 2212.11279 [ cs.NE ].

[41] راماشاندران، براجيت؛ باريت، زوف؛ كوك، في. لي (16 أكتوبر 2017). "البحث عن دوال التنشيط". arXiv : 1710.05941 [ cs.NE ].

[Waibel1987-42] 1 2 وايبيل، أليكس (18 ديسمبر 1987). التعرف على الصوتيات باستخدام الشبكات العصبية ذات التأخير الزمني (ملف PDF) . اجتماع معهد مهندسي الكهرباء والمعلومات والاتصالات (IEICE). طوكيو، اليابان.

[speechsignal-43] ألكسندر وايبيل وآخرون، التعرف على الصوتيات باستخدام الشبكات العصبية ذات التأخير الزمني، مؤرشف في 2021-02-25 في Wayback Machine ، معاملات IEEE في الصوتيات والكلام ومعالجة الإشارات، المجلد 37، العدد 3، الصفحات 328-339، مارس 1989.

[44] ليكان، يان؛ بينجيو، يوشوا (1995). "الشبكات الالتفافية للصور والكلام والسلاسل الزمنية" . في أربيب، مايكل أ. (محرر). دليل نظرية الدماغ والشبكات العصبية ( الطبعة الثانية). مطبعة معهد ماساتشوستس للتكنولوجيا. الصفحات 276-278 . مؤرشف من الأصل بتاريخ 28 يوليو 2020. تم الاطلاع عليه بتاريخ 3 ديسمبر 2019 .

[Hampshire1990-45] جون ب. هامبشاير وألكسندر وايبيل، بنى الاتصال للتعرف على الصوتيات متعددة المتحدثين مؤرشفة في 2022-03-31 في Wayback Machine ، التقدم في أنظمة معالجة المعلومات العصبية، 1990، مورغان كوفمان.

[Ko2017-46] كو، توم؛ بيدينتي، فيجاياديتيا؛ بوفي، دانيال؛ سيلتزر، مايكل ل.؛ خودانبور، سانجيف (مارس 2018). دراسة حول زيادة بيانات الكلام المتردد لتحسين التعرف على الكلام (ملف PDF) . المؤتمر الدولي الثاني والأربعون لجمعية مهندسي الكهرباء والإلكترونيات (IEEE) حول الصوتيات والكلام ومعالجة الإشارات (ICASSP 2017). نيو أورليانز، لويزيانا، الولايات المتحدة الأمريكية. مؤرشف (ملف PDF) من الأصل بتاريخ 8 يوليو 2018. تم الاطلاع عليه بتاريخ 4 سبتمبر 2019 .

[47] دينكر، جيه إس، غاردنر، دبليو آر، غراف، إتش بي، هندرسون، دي، هوارد، آر إي، هوبارد، دبليو، جاكيل، إل دي، بيرد، إتش إس، وغايون (1989) مُعرِّف الشبكة العصبية لأرقام الرموز البريدية المكتوبة بخط اليد. مؤرشف بتاريخ 2018-08-04 في أرشيف الإنترنت ، مختبرات إيه تي آند تي بيل.

[:2-48] 1 2 Y. LeCun, B. Boser, JS Denker, D. Henderson, RE Howard, W. Hubbard, LD Jackel، تطبيق خوارزمية الانتشار العكسي على التعرف على الرموز البريدية المكتوبة بخط اليد، مؤرشف بتاريخ 10 يناير 2020 في أرشيف الإنترنت (Wayback Machine )؛ مختبرات AT&T Bell

[:wz1991-49] 1 2 تشانغ، وي (1991). "معالجة صور بطانة القرنية البشرية باستخدام شبكة تعلم" . البصريات التطبيقية . 30 (29): 4211-4217 . Bibcode : 1991ApOpt..30.4211Z . doi : 10.1364/AO.30.004211 . PMID 20706526. مؤرشف من الأصل في 2017-02-06 . تم الاسترجاع في 2016-09-22 .

[:wz1994-50] 1 2 تشانغ، وي (1994). "الكشف المحوسب عن التكلسات الدقيقة المتجمعة في صور الثدي الرقمية باستخدام شبكة عصبية اصطناعية ثابتة الإزاحة" . الفيزياء الطبية . 21 (4): 517-24 . Bibcode : 1994MedPh..21..517Z . doi : 10.1118/1.597177 . PMID 8058017. مؤرشف من الأصل في 2017-02-06 . تم الاسترجاع في 2016-09-22 .

[weng1993-51] وينغ، ج؛ أهوجا، ن؛ هوانغ، ت.س. (1993). "تعلم التعرف على الأجسام ثلاثية الأبعاد وتجزئتها من صور ثنائية الأبعاد". المؤتمر الدولي الرابع لرؤية الحاسوب، 1993. معهد مهندسي الكهرباء والإلكترونيات. ص 121-128 . doi : 10.1109/ICCV.1993.378228 . ISBN 0-8186-3870-2. S2CID 8619176 .

[schdeepscholar-52] 1 2 شميدهوبر ، يورغن (2015). " التعلم العميق" . سكولاربيديا . 10 (11): 1527-1554 . CiteSeerX 10.1.1.76.1541 . doi : 10.1162/neco.2006.18.7.1527 . PMID 16764513. S2CID 2309950. مؤرشف من الأصل في 19 أبريل 2016. تم الاسترجاع في 20 يناير 2019 .

[lecun95-53] 1 2 ليكون، Y.؛ جاكيل، إل دي؛ بوتو، L.؛ كورتيس، C .؛ دنكر، شبيبة. دراكر، ه.؛ جويون، أنا. مولر، UA؛ ساكينجر، إي؛ سيمارد، P.؛ فابنيك، ف. (أغسطس 1995). خوارزميات التعلم للتصنيف: مقارنة التعرف على الأرقام المكتوبة بخط اليد (PDF) . العلمية العالمية. ص 261 – 276. دوى : 10.1142/2808 . رقم ISBN 978-981-02-2324-3تمت أرشفة الملف (PDF) من النسخة الأصلية في 2 مايو 2023.

[54] ليكان، ي.؛ بوتو، ل.؛ بينجيو، ي.؛ هافنر، ب. (نوفمبر 1998). "التعلم القائم على التدرج المطبق على التعرف على المستندات" (ملف PDF) . وقائع معهد مهندسي الكهرباء والإلكترونيات . 86 (11): 2278-2324 . رمز Bibcode : 1998IEEEP..86.2278L . doi : 10.1109/5.726791 .

[55] تشانغ، وي (1991). "انتشار الخطأ العكسي بأوزان الحد الأدنى من الإنتروبيا: تقنية لتحسين تعميم الشبكات العصبية ثنائية الأبعاد غير المتغيرة مع الإزاحة" . وقائع المؤتمر الدولي المشترك حول الشبكات العصبية . مؤرشف من الأصل بتاريخ 2017-02-06 . تم الاطلاع عليه بتاريخ 2016-09-22 .

[56] دانيال غراوب، روي وين ليو، جورج إس موشيتز. " تطبيقات الشبكات العصبية في معالجة الإشارات الطبية " مؤرشف في 28 يوليو 2020 على موقع Wayback Machine . في وقائع المؤتمر السابع والعشرين لـ IEEE للتحكم واتخاذ القرارات، الصفحات 343-347، 1988.

[57] دانيال غراوب، بوريس فيرن، جي. غرونر، آرون فيلد، وكيو هوانغ. " تحليل إشارات تخطيط كهربية العضل السطحي إلى كمونات عمل الألياف المفردة باستخدام الشبكة العصبية. مؤرشف في 4 سبتمبر 2019 على موقع Wayback Machine ". وقائع ندوة IEEE الدولية للدوائر والأنظمة، الصفحات 1008-1011، 1989.

[58] تشيو هوانغ، دانيال جروب، يي فانغ هوانغ، روي وين ليو." تحديد أنماط إطلاق الإشارات العصبية«في وقائع المؤتمر الثامن والعشرين لمعهد مهندسي الكهرباء والإلكترونيات (IEEE) حول التحكم واتخاذ القرارات، الصفحات 266-271، 1989. https://ieeexplore.ieee.org/document/70115 مؤرشف بتاريخ 31 مارس 2022 في أرشيف الإنترنت (Wayback Machine)

[59] أوه، ك.س.؛ جونغ، ك. (2004). "تنفيذ الشبكات العصبية باستخدام وحدة معالجة الرسومات". التعرف على الأنماط . 37 (6): 1311-1314 . رمز Bibcode : 2004PatRe..37.1311O . doi : 10.1016/j.patcog.2004.01.013 .

[60] ديف ستاينكراوس؛ باتريس سيمارد؛ إيان باك (2005). "استخدام وحدات معالجة الرسومات لخوارزميات التعلم الآلي" . المؤتمر الدولي الثاني عشر لتحليل المستندات والتعرف عليها (ICDAR 2005) . الصفحات 1115-1119 . doi : 10.1109/ICDAR.2005.251 . مؤرشف من الأصل بتاريخ 31 مارس 2022. تم الاطلاع عليه بتاريخ 31 مارس 2022 .

[61] كومار تشيلابيلا؛ سيد بوري؛ باتريس سيمارد (2006). "شبكات عصبية التفافية عالية الأداء لمعالجة المستندات" . في لوريت، جاي (محرر). ورشة العمل الدولية العاشرة حول آفاق التعرف على الكتابة اليدوية . سوفيسوفت. مؤرشف من الأصل في 18 مايو 2020. تم الاسترجاع في 14 مارس 2016 .

[62] هينتون، جي إي؛ أوسينديرو، إس؛ تيه، واي دبليو (يوليو 2006). "خوارزمية تعلم سريعة لشبكات الاعتقاد العميق". الحوسبة العصبية . 18 (7): 1527-1554 . CiteSeerX 10.1.1.76.1541 . doi : 10.1162/neco.2006.18.7.1527 . PMID 16764513. S2CID 2309950 .

[63] بينجيو، يوشوا؛ لامبلين، باسكال؛ بوبوفيتشي، دان؛ لاروشيل، هوغو (2007). "التدريب الجشع للطبقات في الشبكات العميقة" (ملف PDF) . التطورات في أنظمة معالجة المعلومات العصبية : 153-160 . مؤرشف (ملف PDF) من الأصل بتاريخ 2022-06-02 . تم الاطلاع عليه بتاريخ 2022-03-31 .

[64] رانزاتو، مارك أوريليو؛ بولتني، كريستوفر؛ تشوبرا، سوميت؛ ليكان، يان (2007). "التعلم الفعال للتمثيلات المتفرقة باستخدام نموذج قائم على الطاقة" (ملف PDF) . التطورات في أنظمة معالجة المعلومات العصبية . مؤرشف (ملف PDF) من الأصل بتاريخ 22-03-2016 . تم الاطلاع عليه بتاريخ 26-06-2014 .

[LSD_1-65] راينا، ر؛ مادهافان، أ؛ نغ، أندرو (14 يونيو 2009). "التعلم العميق غير الخاضع للإشراف على نطاق واسع باستخدام معالجات الرسومات" (ملف PDF) . وقائع المؤتمر الدولي السنوي السادس والعشرين للتعلم الآلي . ICML '09: وقائع المؤتمر الدولي السنوي السادس والعشرين للتعلم الآلي. الصفحات 873-880 . doi : 10.1145/1553374.1553486 . ISBN 978-1-60558-516-1S2CID 392458. مؤرشف ( PDF) من الأصل بتاريخ 8 ديسمبر 2020. تم الاطلاع عليه بتاريخ 22 ديسمبر 2023 .

[66] سيريسان، دان؛ ماير، أولي؛ غامبارديلا، لوكا؛ شميدهوبر، يورغن (2010). "شبكات عصبية عميقة وكبيرة وبسيطة للتعرف على الأرقام المكتوبة بخط اليد". الحوسبة العصبية . 22 (12): 3207-3220 . arXiv : 1003.0358 . Bibcode : 2010NeCom..22.3207C . doi : 10.1162/NECO_a_00052 . PMID: 20858131. S2CID : 1918673 .

[67] جدول نتائج مسابقة IJCNN 2011. مسابقة IJCNN 2011 الرسمية . 2010. مؤرشف من الأصل بتاريخ 17 يناير 2021. تم الاطلاع عليه بتاريخ 14 يناير 2019 .

[68] شميدهوبر، يورغن (17 مارس 2017). "تاريخ مسابقات رؤية الحاسوب التي فازت بها الشبكات العصبية التلافيفية العميقة على وحدة معالجة الرسومات" . مؤرشف من الأصل في 19 ديسمبر 2018. تم الاطلاع عليه في 14 يناير 2019 .

[:02-69] 1 2 كريزيفسكي، أليكس؛ سوتسكيفر، إيليا؛ هينتون، جيفري إي. (24-05-2017). "تصنيف ImageNet باستخدام الشبكات العصبية الالتفافية العميقة" ( ملف PDF) . مجلة اتصالات ACM . 60 (6): 84-90 . doi : 10.1145/3065386 . ISSN 0001-0782 . S2CID 195908774. مؤرشف (PDF) من النسخة الأصلية بتاريخ 16-05-2017 . تم الاطلاع عليه بتاريخ 04-12-2018 .

[70] فيبكي، أندريه؛ ميميتي، سوجب؛ بلانا، صبري؛ أبراهام، أجيث (2019). "CHAOS: مخطط موازاة لتدريب الشبكات العصبية الالتفافية على معالجات Intel Xeon Phi". مجلة الحوسبة الفائقة . 75 (1): 197-227 . arXiv : 1702.07908 . doi : 10.1007/s11227-017-1994-x . S2CID 14135321 .

[71] فيبكي، أندريه؛ بلانا، صبري (2015). "إمكانات معالج إنتل زيون فاي للتعلم العميق الخاضع للإشراف" . المؤتمر الدولي السابع عشر لعام 2015 التابع لمعهد مهندسي الكهرباء والإلكترونيات حول الحوسبة عالية الأداء والاتصالات، والندوة الدولية السابعة لعام 2015 التابعة لمعهد مهندسي الكهرباء والإلكترونيات حول أمن وسلامة الفضاء الإلكتروني، والمؤتمر الدولي الثاني عشر لعام 2015 التابع لمعهد مهندسي الكهرباء والإلكترونيات حول البرمجيات والأنظمة المدمجة . IEEE Xplore . IEEE 2015. ص 758-765 . doi : 10.1109/HPCC-CSS-ICESS.2015.45 . ISBN 978-1-4799-8937-9S2CID 15411954. مؤرشف من الأصل بتاريخ 2023-03-06 . تم الاطلاع عليه بتاريخ 2022-03-31 .

[72] هينتون، جيفري (2012). "تصنيف ImageNet باستخدام الشبكات العصبية الالتفافية العميقة" . NIPS'12: وقائع المؤتمر الدولي الخامس والعشرين لأنظمة معالجة المعلومات العصبية - المجلد 1. 1 : 1097-1105 . مؤرشف من الأصل في 20 ديسمبر 2019. تم الاسترجاع في 26 مارس 2021 - عبر ACM.

[:5-73] 1 2 3 4 5 أزولاي، أهارون؛ فايس، يائير (2019). "لماذا تُعمّم الشبكات العصبية التلافيفية العميقة بشكل ضعيف جدًا على تحويلات الصور الصغيرة؟" . مجلة أبحاث تعلم الآلة . 20 (184): 1-25 . ISSN 1533-7928 . مؤرشف من الأصل في 31 مارس 2022. تم الاسترجاع في 31 مارس 2022 .

[Géron_Hands-on_ML_2019-74] 1 2 جيرون، أوريليان (2019). التعلم الآلي العملي باستخدام Scikit-Learn وKeras وTensorFlow . سيباستوبول، كاليفورنيا: أورايلي ميديا. ISBN 978-1-492-03264-9.، ص 448

[76] لي، زيوين؛ ليو، فان؛ يانغ، وينجي؛ بنغ، شوهينغ؛ تشو، جون (ديسمبر 2022). "دراسة استقصائية للشبكات العصبية الالتفافية: التحليل والتطبيقات والآفاق". معاملات IEEE في الشبكات العصبية وأنظمة التعلم . 33 (12): 6999-7019 . arXiv : 2004.02806 . Bibcode : 2022ITNNL..33.6999L . doi : 10.1109/TNNLS.2021.3084827 . hdl : 10072/405164 . PMID 34111009 .

[77] "شبكات عصبية التفافية للتعرف البصري CS231n" . cs231n.github.io . مؤرشف من الأصل بتاريخ 23-10-2019 . تم الاطلاع عليه بتاريخ 25-04-2017 .

[79] نيرثيكا، راجندران؛ مانيفانان، سيامالان؛ رامانان، أميرثالينجام؛ وانغ، رويكسوان (2022-04-01). "التجميع في الشبكات العصبية الالتفافية لتحليل الصور الطبية: دراسة استقصائية ودراسة تجريبية" . الحوسبة العصبية وتطبيقاتها . 34 (7): 5321-5347 . doi : 10.1007/s00521-022-06953-8 . ISSN 1433-3058 . PMC 8804673. PMID 35125669 .

[Scherer-ICANN-2010-80] 1 2 شيرر، دومينيك؛ مولر، أندرياس سي؛ بينكه، سفين (2010). "تقييم عمليات التجميع في البنى الالتفافية للتعرف على الأشياء" (ملف PDF) . الشبكات العصبية الاصطناعية (ICANN)، المؤتمر الدولي العشرون حول الشبكات العصبية الاصطناعية . ثيسالونيكي، اليونان: سبرينغر. الصفحات 92-101 . مؤرشف (ملف PDF) من الأصل بتاريخ 2018-04-03 . تم الاسترجاع بتاريخ 2016-12-28 .

[81] غراهام، بنجامين (2014-12-18). "التجميع الأقصى الجزئي". arXiv : 1412.6071 [ cs.CV ].

[82] سبرينجنبرج، جوست توبياس؛ دوسوفيتسكي، أليكسي؛ بروكس، توماس؛ ريدميلر، مارتن (21-12-2014). "السعي نحو البساطة: الشبكة الالتفافية الكاملة". arXiv : 1412.6806 [ cs.LG ].

[Ma_Chang_Xie_Ding_2019_pp._3224–3233-83] ما، زانيو؛ تشانغ، دونغليانغ؛ شي، جييانغ؛ دينغ، ييفنغ؛ وين، شاوغو؛ لي، شياوكسو؛ سي، تشونغوي؛ غو، جون (2019). "تصنيف المركبات عالي الدقة باستخدام شبكات عصبية تلافيفية معدلة بتقنية تجميع القنوات القصوى". مجلة IEEE للمعاملات في تكنولوجيا المركبات . 68 (4). معهد مهندسي الكهرباء والإلكترونيات (IEEE): 3224-3233 . رمز Bibcode : 2019ITVT...68.3224M . doi : 10.1109/tvt.2019.2899972 . ISSN 0018-9545 . S2CID 86674074 .

[84] ظفر، عافية؛ عامر، محمد؛ محمد ناوي، نظري؛ أرشد، علي؛ رياض، سامان؛ الربان، عبد الرحمن؛ دوتا، أشيت كومار؛ المطيري، سلطان (29-08-2022). "مقارنة بين طرق التجميع للشبكات العصبية الالتفافية" . العلوم التطبيقية . 12 (17): 8643. Bibcode : 2022ApSci..12.8643Z . doi : 10.3390/app12178643 . ISSN 2076-3417 .

[85] غلامالينجاد، حسين؛ خسروي، حسين (2020-09-16)، أساليب التجميع في الشبكات العصبية العميقة، مراجعة ، arXiv : 2009.07485

[86] هاوسهولدر، ألستون س. (يونيو 1941). "نظرية النشاط المستقر في شبكات الألياف العصبية: 1. التعريفات والفرضيات التمهيدية" . نشرة الفيزياء الحيوية الرياضية . 3 (2): 63-69 . doi : 10.1007/BF02478220 . ISSN 0007-4985 .

[Romanuke4-87] رومانوك، فاديم (2017). "العدد المناسب لتوزيع دوال ReLU في الشبكات العصبية الالتفافية" . نشرة بحثية لمعهد كييف للفنون التطبيقية التابع لجامعة كييف التقنية الوطنية . 1 (1): 69-78 . doi : 10.20535/1810-0546.2017.1.88156 .

[glorot2011-88] كزافييه غلوروت؛ أنطوان بوردس؛ يوشوا بنجيو (2011). الشبكات العصبية المقومية المتفرقة العميقة (ملف PDF) . AISTATS. مؤرشف من الأصل (ملف PDF) بتاريخ 13 ديسمبر 2016. تم الاطلاع عليه بتاريخ 10 أبريل 2023. دوال التنشيط للمقوم والتنشيط الناعم بلس. الدالة الثانية هي نسخة سلسة من الأولى.

[89] كريزيفسكي، أ.؛ سوتسكيفر، إ.؛ هينتون، ج. إ. (2012). "تصنيف Imagenet باستخدام الشبكات العصبية الالتفافية العميقة" (ملف PDF) . التقدم في أنظمة معالجة المعلومات العصبية . 1 : 1097-1105 . مؤرشف (ملف PDF) من الأصل بتاريخ 31-03-2022 . تم الاسترجاع بتاريخ 31-03-2022 .

[91] ريبيرو، أنطونيو هـ.؛ شون، توماس ب. (2021). "كيف تتعامل الشبكات العصبية الالتفافية مع التداخل". المؤتمر الدولي لهندسة الصوت والكلام ومعالجة الإشارات (ICASSP) لعام 2021 - IEEE . الصفحات 2755-2759 . arXiv : 2102.07757 . doi : 10.1109 /ICASSP39728.2021.9414627 . ISBN 978-1-7281-7605-5. S2CID 231925012 .

[92] مايبورغ، يوهانس سي؛ موتون، كونراد؛ دافيل، ماريلي إتش. (2020). "تتبع ثبات الترجمة في الشبكات العصبية التلافيفية" . في: جيربر، أورونا (محرر). بحوث الذكاء الاصطناعي . سلسلة اتصالات في علوم الحاسوب والمعلومات. المجلد 1342. تشام: دار نشر سبرينغر الدولية. الصفحات 282-295 . arXiv : 2104.05997 . doi : 10.1007/978-3-030-66151-9_18 . ISBN 978-3-030-66151-9S2CID 233219976. مؤرشف من الأصل بتاريخ 22-01-2022 . تم الاطلاع عليه بتاريخ 26-03-2021 .

[93] ريتشارد، تشانغ (25-04-2019). جعل الشبكات الالتفافية غير متغيرة مع الإزاحة مرة أخرى . OCLC 1106340711 .

[94] جايدبيرج، ماكس؛ سيمونيان، كارين؛ زيسرمان، أندرو؛ كافوكوغلو، كوراي (2015). "شبكات المحولات المكانية" ( ملف PDF) . التطورات في أنظمة معالجة المعلومات العصبية . 28. مؤرشف (ملف PDF) من الأصل بتاريخ 25-07-2021 . تم الاسترجاع بتاريخ 26-03-2021 – عبر NIPS.

[95] صبور، سارة؛ فروست، نيكولاس؛ هينتون، جيفري إي. (2017-10-26). التوجيه الديناميكي بين الكبسولات . OCLC 1106278545 .

[96] ماتيز، سيرجيو؛ بارنر، كينيث إي. (2019-06-01). "متنبئ توافقي استقرائي للشبكات العصبية الالتفافية: تطبيقات في التعلم النشط لتصنيف الصور" . التعرف على الأنماط . 90 : 172-182 . Bibcode : 2019PatRe..90..172M . doi : 10.1016/j.patcog.2019.01.035 . ISSN 0031-3203 . S2CID 127253432. مؤرشف من الأصل في 2021-09-29 . تم الاسترجاع في 2021-09-29 .

[97] ويسلاندر، هاكان؛ هاريسون، فيليب جيه؛ سكوجبيرج، غابرييل؛ جاكسون، سونيا؛ فريدن، ماركوس؛ كارلسون، يوهان؛ سبيوث، أولا؛ والبي، كارولينا (فبراير 2021). "التعلم العميق مع التنبؤ المطابق للتحليل الهرمي لصور الأنسجة الكاملة واسعة النطاق" . مجلة IEEE للمعلوماتية الطبية الحيوية والصحية . 25 (2): 371-380 . Bibcode : 2021IJBHI..25..371W . doi : 10.1109/JBHI.2020.2996300 . ISSN 2168-2208 . PMID 32750907. S2CID 219885788 .

[98] سريفاستافا، نيتيش؛ سي. جيفري هينتون؛ أليكس كريزيفسكي؛ إيليا سوتسكيفر؛ روسلان سالاخوتدينوف (2014). "التسرب: طريقة بسيطة لمنع الشبكات العصبية من الإفراط في التخصيص" (ملف PDF) . مجلة أبحاث تعلم الآلة . 15 (1): 1929-1958 . مؤرشف (ملف PDF) من الأصل بتاريخ 19 يناير 2016. تم الاطلاع عليه بتاريخ 3 يناير 2015 .

[99] "تنظيم الشبكات العصبية باستخدام DropConnect | المؤتمر الدولي للتعلم الآلي 2013 | مجلة JMLR W&CP" . jmlr.org : 1058–1066 . 13 فبراير 2013. مؤرشف من الأصل في 12 أغسطس 2017. تم الاطلاع عليه في 17 ديسمبر 2015 .

[100] زيلر، ماثيو د.؛ فيرغوس، روب (2013-01-15). "التجميع العشوائي لتنظيم الشبكات العصبية التلافيفية العميقة". arXiv : 1301.3557 [ cs.LG ].

[:3-101] 1 2 بلات، جون؛ شتاينكراوس، ديف؛ سيمارد، باتريس واي. (أغسطس 2003). "أفضل الممارسات للشبكات العصبية الالتفافية المطبقة على تحليل المستندات المرئية - أبحاث مايكروسوفت" . أبحاث مايكروسوفت . مؤرشف من الأصل في 7 نوفمبر 2017. تم الاسترجاع في 17 ديسمبر 2015 .

[102] هينتون، جيفري إي.؛ سريفاستافا، نيتيش؛ كريزيفسكي، أليكس؛ سوتسكيفر، إيليا؛ سالاخوتدينوف، روسلان ر. (2012). "تحسين الشبكات العصبية عن طريق منع التكيف المشترك لكاشفات الميزات". arXiv : 1207.0580 [ cs.NE ].

[103] "التسرب: طريقة بسيطة لمنع الشبكات العصبية من الإفراط في التخصيص" . jmlr.org . مؤرشف من الأصل بتاريخ 2016-03-05 . تم الاطلاع عليه بتاريخ 2015-12-17 .

[104] هينتون، جيفري (1979). "بعض الأمثلة على تأثيرات الأوصاف البنيوية في التصور الذهني" . العلوم المعرفية . 3 (3): 231-250 . doi : 10.1016/s0364-0213(79)80008-7 .

[105] روك، إيرفين. "إطار المرجعية". إرث سولومون آش: مقالات في الإدراك وعلم النفس الاجتماعي (1990): 243-268.

[106] ج. هينتون، محاضرات كورسيرا حول الشبكات العصبية، 2012، الرابط: https://www.coursera.org/learn/neural-networks ، مؤرشف بتاريخ 31 ديسمبر 2016 في أرشيف الإنترنت (Wayback Machine).

[quartz-107] ديف غيرشغورن (18 يونيو 2018). "القصة الداخلية لكيفية تطور الذكاء الاصطناعي إلى مستوى يسمح له بالسيطرة على وادي السيليكون" . كوارتز . مؤرشف من الأصل في 12 ديسمبر 2019. تم الاطلاع عليه في 5 أكتوبر 2018 .

[108] لورانس، ستيف؛ سي. لي جايلز؛ آه تشونغ تسوي؛ أندرو د. باك (1997). "التعرف على الوجوه: نهج الشبكة العصبية الالتفافية". معاملات IEEE في الشبكات العصبية . 8 (1): 98-113 . CiteSeerX 10.1.1.92.5813 . doi : 10.1109/72.554195 . PMID 18255614. S2CID 2883848 .

[video_quality-109] لو كاليه، باتريك؛ كريستيان فيارد-غودان؛ دومينيك باربا (2006). "نهج الشبكة العصبية الالتفافية لتقييم جودة الفيديو الموضوعي" ( ملف PDF) . معاملات IEEE في الشبكات العصبية . 17 (5): 1316-1327 . Bibcode : 2006ITNN...17.1316L . doi : 10.1109/TNN.2006.879766 . PMID 17001990. S2CID 221185563. مؤرشف (PDF) من الأصل في 24 فبراير 2021. تم الاسترجاع في 17 نوفمبر 2013 .

[ILSVRC2014-110] "مسابقة ImageNet للتعرف البصري واسع النطاق 2014 (ILSVRC2014)" . مؤرشف من الأصل في 5 فبراير 2016. تم الاطلاع عليه في 30 يناير 2016 .

[googlenet-111] سيجيدي، كريستيان؛ ليو، وي؛ جيا، يانغتشينغ؛ سيرمانيت، بيير؛ ريد، سكوت إي.؛ أنجيلوف، دراغومير؛ إرهان، دوميترو؛ فان هوك، فنسنت؛ رابينوفيتش، أندرو (2015). "التعمق أكثر في الالتفافات". مؤتمر IEEE حول رؤية الحاسوب والتعرف على الأنماط، CVPR 2015، بوسطن، ماساتشوستس، الولايات المتحدة الأمريكية، 7-12 يونيو 2015. جمعية IEEE للحاسوب. الصفحات 1-9 . arXiv : 1409.4842 . doi : 10.1109/CVPR.2015.7298594 . ISBN 978-1-4673-6964-0.

[112] روساكوفسكي، أولغا ؛ دنغ، جيا؛ سو، هاو؛ كراوس، جوناثان. ساتيش، سانجيف؛ أماه، شون؛ هوانغ، تشيهينج؛ الأماكن القريبة : خوسلا، أديتيا؛ بيرنشتاين، مايكل. بيرج، الكسندر C.؛ فاي فاي، لي (2014). “ تحدي التعرف البصري على نطاق واسع من Image Net ”. أرخايف : 1409.0575 [ cs.CV ].

[113] "خوارزمية كشف الوجوه ستُحدث ثورة في البحث عن الصور" . مجلة تكنولوجي ريفيو . ١٦ فبراير ٢٠١٥. مؤرشف من الأصل في ٢٠ سبتمبر ٢٠٢٠. تم الاطلاع عليه في ٢٧ أكتوبر ٢٠١٧ .

[114] باكوش، معز؛ ماماليه، فرانك؛ وولف، كريستيان؛ غارسيا، كريستوف؛ باسكرت، أتيلا (16-11-2011). "التعلم العميق المتسلسل للتعرف على حركات الإنسان". في صلاح، ألبرت علي؛ ليبري، برونو (محرران). فهم السلوك البشري . سلسلة محاضرات في علوم الحاسوب. المجلد 7065. سبرينغر برلين هايدلبرغ. الصفحات 29-39 . CiteSeerX 10.1.1.385.4740 . doi : 10.1007/978-3-642-25446-8_4 . ISBN 978-3-642-25445-1.

[115] جي، شويوانغ؛ شو، وي؛ يانغ، مينغ؛ يو، كاي (2013-01-01). "شبكات عصبية تلافيفية ثلاثية الأبعاد للتعرف على حركات الإنسان". معاملات IEEE في تحليل الأنماط والذكاء الآلي . 35 (1): 221-231 . Bibcode : 2013ITPAM..35..221J . CiteSeerX 10.1.1.169.4046 . doi : 10.1109/TPAMI.2012.59 . ISSN 0162-8828 . PMID 22392705. S2CID 1923924 .

[116] هوانغ، جي. تشو، وينجانج؛ تشانغ، كيلين؛ لي، هوكيانغ؛ لي ويبينغ (2018). “التعرف على لغة الإشارة عبر الفيديو دون تجزئة زمنية”. أرخايف : 1801.10111 [ cs.CV ].

[117] كارباثي، أندريه، وآخرون. " تصنيف الفيديو على نطاق واسع باستخدام الشبكات العصبية الالتفافية". مؤرشف في 6 أغسطس 2019 على موقع Wayback Machine . مؤتمر IEEE حول رؤية الحاسوب والتعرف على الأنماط (CVPR). 2014.

[118] سيمونيان، كارين؛ زيسرمان، أندرو (2014). "شبكات الالتفاف ثنائية التدفق للتعرف على الحركة في مقاطع الفيديو". arXiv : 1406.2199 [ cs.CV ].(2014).

[Wang_Duan_Zhang_Niu_p=1657-119] وانغ، لي؛ دوان، شوهوان؛ تشانغ، كيلين؛ نيو، تشنشينغ؛ هوا، غانغ؛ تشنغ، ناننينغ (22 مايو 2018). "Segment-Tube: تحديد موقع الحركة المكاني الزمني في مقاطع الفيديو غير المقصوصة باستخدام تجزئة الإطار" (ملف PDF) . مجلة Sensors . 18 (5): 1657. Bibcode : 2018Senso..18.1657W . doi : 10.3390/s18051657 . ISSN 1424-8220 . PMC 5982167. PMID 29789447. مؤرشف (PDF) من النسخة الأصلية بتاريخ 1 مارس 2021. تاريخ الاسترجاع: 14 سبتمبر 2018 .

[Duan_Wang_Zhai_Zheng_2018_p.-120] دوان، شوهوان؛ وانغ، لو؛ تشاي، تشانغبو؛ تشنغ، ناننينغ؛ تشانغ، كيلين؛ نيو، زينشينغ؛ هوا جانج (2018). “توطين العمل المكاني والزماني المشترك في مقاطع الفيديو غير المقطوعة مع تجزئة لكل إطار”. مؤتمر IEEE الدولي الخامس والعشرون لعام 2018 حول معالجة الصور (ICIP) . مؤتمر IEEE الدولي الخامس والعشرون لمعالجة الصور (ICIP). الصفحات من 918 إلى 922. دوى : 10.1109/icip.2018.8451692 . رقم ISBN 978-1-4799-7061-2.

[121] تايلور، غراهام دبليو؛ فيرغوس، روب؛ ليكان، يان؛ بريغلر، كريستوف (1 يناير 2010). التعلم التلافيفي للميزات المكانية والزمانية . وقائع المؤتمر الأوروبي الحادي عشر لرؤية الحاسوب: الجزء السادس. ECCV'10. برلين، هايدلبرغ: سبرينغر-فيرلاغ. الصفحات 140-153 . ISBN 978-3-642-15566-6أُرشف من المصدر الأصلي بتاريخ 31 مارس 2022. تم الاطلاع عليه بتاريخ 31 مارس 2022 .

[122] لي، كيو في؛ زو، دبليو واي؛ يونغ، إس واي؛ نغ، إيه واي (1 يناير 2011). "تعلم السمات المكانية-الزمانية الثابتة الهرمية للتعرف على الحركة باستخدام تحليل الفضاء الفرعي المستقل" (ملف PDF) . مؤتمر رؤية الحاسوب والتعرف على الأنماط 2011. واشنطن العاصمة، الولايات المتحدة الأمريكية: جمعية مهندسي الكهرباء والإلكترونيات. الصفحات 3361-3368 . CiteSeerX 10.1.1.294.5948 . doi : 10.1109/CVPR.2011.5995496 . ISBN 978-1-4577-0394-2. S2CID 6006618 .

[123] غريفنستيت، إدوارد؛ بلونسوم، فيل؛ دي فريتاس، ناندو؛ هيرمان، كارل موريتز (2014-04-29). "بنية عميقة للتحليل الدلالي". arXiv : 1404.7296 [ cs.CL ].

[124] ميسنيل، غريغوار؛ دينغ، لي؛ غاو، جيانفينغ؛ هي، شياودونغ؛ شين، ييلونغ (أبريل 2014). "تعلم التمثيلات الدلالية باستخدام الشبكات العصبية الالتفافية للبحث على الويب - أبحاث مايكروسوفت" . أبحاث مايكروسوفت . مؤرشف من الأصل في 15 سبتمبر 2017. تم الاسترجاع في 17 ديسمبر 2015 .

[125] كالتشبرينر، نال؛ غريفنستيت، إدوارد؛ بلونسوم، فيل (2014-04-08). "شبكة عصبية التفافية لنمذجة الجمل". arXiv : 1404.2188 [ cs.CL ].

[126] كيم، يون (2014-08-25). "الشبكات العصبية الالتفافية لتصنيف الجمل". arXiv : 1408.5882 [ cs.CL ].

[127] كولوبيرت، رونان، وجيسون ويستون. " بنية موحدة لمعالجة اللغة الطبيعية: الشبكات العصبية العميقة مع التعلم متعدد المهام". مؤرشف في 4 سبتمبر 2019 على موقع Wayback Machine . "وقائع المؤتمر الدولي الخامس والعشرين حول التعلم الآلي. ACM، 2008."

[128] كولوبيرت، رونان؛ ويستون، جيسون؛ بوتو، ليون؛ كارلين، مايكل؛ كافوكوغلو، كوراي؛ كوكسا، بافيل (2011-03-02). "معالجة اللغة الطبيعية (تقريبًا) من الصفر". arXiv : 1103.0398 [ cs.LG ].

[129] ين، و؛ كان، ك؛ يو، م؛ شوتزه، هـ (2017-03-02). "دراسة مقارنة بين الشبكات العصبية الالتفافية والشبكات العصبية المتكررة لمعالجة اللغة الطبيعية". arXiv : 1702.01923 [ cs.LG ].

[130] باي، س.؛ كولتر، ج.س.؛ كولتون، ف. (2018). "تقييم تجريبي للشبكات الالتفافية والمتكررة العامة لنمذجة التسلسل". arXiv : 1803.01271 [ cs.LG ].

[131] غروبر، ن. (2021). "الكشف عن ديناميكيات الحركة في النص باستخدام شبكة عصبية متكررة". الحوسبة العصبية وتطبيقاتها . 33 (12): 15709-15718 . doi : 10.1007/S00521-021-06190-5 . S2CID 236307579 .

[132] هاوتيان، ج.؛ تشونغ، لي؛ تشيانشياو، لي (2021). "نظرية التقريب للهياكل الالتفافية لنمذجة السلاسل الزمنية". المؤتمر الدولي للتعلم الآلي . arXiv : 2107.09355 .

[133] بونسلاف، جيمس ب؛ ويمالاسينا، نيفانثيكا ك؛ كلاوسينغ، كيلسي ج؛ داي، يو ي؛ يارمولينسكي، ديفيد أ؛ كروز، توماس؛ كاشلان، آدم د؛ تشيابي، م يوجينيا؛ أوريفيس، لورين ل؛ وولف، كليفورد ج؛ هارفي، كريستوفر د (2021-09-02). " DeepEthogram، مسار تعلم آلي لتصنيف السلوك الخاضع للإشراف من وحدات البكسل الخام" . eLife . 10 e63377. doi : 10.7554/eLife.63377 . ISSN 2050-084X . PMC 8455138. PMID 34473051 .

[:7-134] 1 2 جيرنات، تيم؛ جاغلا، توبياس؛ جونز، بيريل م.؛ ميدندورف، مارتن؛ روبنسون، جين إي. (27 يناير 2023). "الرصد الآلي لنحل العسل باستخدام الرموز الشريطية والذكاء الاصطناعي يكشف عن شبكتين اجتماعيتين متميزتين من سلوك تقاربي واحد" . التقارير العلمية . 13 (1) 1541. Bibcode : 2023NatSR..13.1541G . doi : 10.1038/ s41598-022-26825-4 . ISSN 2045-2322 . PMC 9883485. PMID 36707534 .

[135] نوروزاده، محمد صادق؛ نغوين، آنه؛ كوسمالا، مارغريت؛ سوانسون، ألكسندرا؛ بالمر، ميريديث س.؛ باكر، كريغ؛ كلون، جيف (19 يونيو 2018). "التعرف التلقائي على الحيوانات البرية وعدّها ووصفها في صور كاميرات المراقبة باستخدام التعلم العميق" . وقائع الأكاديمية الوطنية للعلوم . 115 (25): E5716– E5725 . Bibcode : 2018PNAS..115E5716N . doi : 10.1073/pnas.1719367115 . ISSN 0027-8424 . PMC 6016780. PMID 29871948 .

[136] سفينينج، أسغر. موجو، غيوم؛ أليسون، جيمي؛ شوفالييه، دافني؛ مولينا، نيسا لويز شافيز؛ أونج، سونج تشيوان؛ بيرجي، كيم؛ كاريو، جولي. هوي ، توك توماس (2025/04/14). “طريقة عامة لكشف وتجزئة المفصليات الأرضية في الصور”. BioRxiv 10.1101/2025.04.08.647223 .

[137] تورنتس، جوردي؛ كوستا، تياجو؛ دي بولافييخا، غونزالو ج. (2025-06-02). "موقع idtracker.ai الجديد: إعادة التفكير في تتبع الحيوانات المتعددة كمشكلة تعلم تمثيلي لزيادة الدقة وتقليل أوقات التتبع". bioRxiv 10.1101/2025.05.30.657023 .

[138] ماثيس، ألكسندر؛ ماميدانا، براناف؛ كوري، كيفن م.؛ آبي، تايغا؛ مورثي، فينكاتيش ن.؛ ماثيس، ماكنزي ويغاندت؛ بيثج، ماتياس (سبتمبر 2018). "DeepLabCut: تقدير وضعية أجزاء الجسم المحددة من قبل المستخدم بدون علامات باستخدام التعلم العميق" . Nature Neuroscience . 21 (9): 1281–1289 . doi : 10.1038/s41593-018-0209-y . ISSN 1097-6256 . PMID 30127430 .

[139] غريفينغ، جاكوب م؛ تشاي، دانيال؛ نايك، هيمال؛ لي، ليانغ؛ كوغر، بنجامين؛ كوستيلو، بلير ر؛ كوزين، إيان د (2019-10-01). "DeepPoseKit، مجموعة أدوات برمجية لتقدير وضعية الحيوانات بسرعة ودقة باستخدام التعلم العميق" . eLife . 8 e47994 . Bibcode : 2019eLife...847994G . doi : 10.7554/eLife.47994 . ISSN 2050-084X . PMC 6897514. PMID 31570119 .

[140] بيريرا، تالمو د. تابريس، ناثانيال؛ ماتسليا، آري؛ تيرنر، ديفيد م. لي، جونيو؛ رافيندراناث، شروثي؛ بابادويانيس، إيليني إس؛ نورماند، إدنا. الألمانية، ديفيد س.؛ وانغ، ز. يان؛ ماكنزي سميث، جريس سي؛ ميتيلوت، كاتالين C .؛ كاسترو، ماريليسا دييز؛ دوفا، جون؛ كيسلين ، ميخائيل (مايو 2022). "تصحيح الناشر: SLEAP: نظام تعليمي عميق لتتبع وضعيات الحيوانات المتعددة" . طرق الطبيعة . 19 (5): 628. دوى : 10.1038 / s41592-022-01495-2 . ردمك 1548-7091 . بمك 9119847 . PMID 35468969 .

[:8-141] 1 2 أراك، أحمد؛ تشاو، بينغ بينغ؛ دوبكين، بروس هـ.؛ كارمايكل، س. توماس؛ غولشاني، بيمان (2019-05-07). " DeepBehavior: مجموعة أدوات للتعلم العميق للتحليل الآلي لبيانات تصوير سلوك الحيوانات والبشر" . مجلة Frontiers in Systems Neuroscience . 13 20. doi : 10.3389/fnsys.2019.00020 . ISSN 1662-5137 . PMC 6513883. PMID 31133826 .

[142] رن، هانشنغ؛ شو، بيكسيونج؛ وانغ، يوجينج؛ يي، تشاو؛ هوانغ، كونغروي؛ كو، شياويو؛ شينغ، توني. يانغ، ماو؛ تونغ، جي. تشانغ، تشي (2019). خدمة الكشف عن شذوذ السلاسل الزمنية في Microsoft | وقائع المؤتمر الدولي الخامس والعشرون لـ ACM SIGKDD حول اكتشاف المعرفة واستخراج البيانات . أرخايف : 1906.03821 . دوى : 10.1145/3292500.3330680 . S2CID 182952311 .

[143] والاش، إزهار؛ دزامبا، مايكل؛ هيفيتس، أبراهام (2015-10-09). "AtomNet: شبكة عصبية تلافيفية عميقة للتنبؤ بالنشاط الحيوي في اكتشاف الأدوية القائم على البنية". arXiv : 1510.02855 [ cs.LG ].

[144] يوسينسكي، جيسون؛ كلون، جيف؛ نغوين، آن؛ فوكس، توماس؛ ليبسون، هود (22-06-2015). "فهم الشبكات العصبية من خلال التصور العميق". arXiv : 1506.06579 [ cs.CV ].

[145] «شركة ناشئة في تورنتو لديها طريقة أسرع لاكتشاف أدوية فعّالة» . صحيفة ذا غلوب آند ميل . مؤرشف من الأصل بتاريخ 20 أكتوبر 2015. تم الاطلاع عليه بتاريخ 9 نوفمبر 2015 .

[146] "شركة ناشئة تستغل الحواسيب العملاقة للبحث عن علاجات" . KQED Future of You . 27 مايو 2015. مؤرشف من الأصل في 6 ديسمبر 2018. تم الاطلاع عليه في 9 نوفمبر 2015 .

[147] تشيلابيلا، ك؛ فوغل، د.ب. (1999). "تطوير الشبكات العصبية للعب الداما دون الاعتماد على خبرة الخبراء". مجلة IEEE للمعاملات في الشبكات العصبية . 10 (6): 1382-1391 . رمز Bibcode : 1999ITNN...10.1382C . doi : 10.1109/72.809083 . PMID 18252639 .

[148] تشيلابيلا، ك.؛ فوغل، د.ب. (2001). "تطوير برنامج خبير للعب الداما دون الاستعانة بالخبرة البشرية". معاملات IEEE في الحوسبة التطورية . 5 (4): 422-428 . Bibcode : 2001ITEC....5..422C . doi : 10.1109/4235.942536 .

[149] فوغل، ديفيد (2001). بلوندي 24: اللعب على حافة الذكاء الاصطناعي . سان فرانسيسكو، كاليفورنيا: مورغان كوفمان. ISBN 978-1-55860-783-5.

[150] كلارك، كريستوفر؛ ستوركي، آموس (2014). "تعليم الشبكات العصبية التلافيفية العميقة لعب لعبة غو". arXiv : 1412.3409 [ cs.AI ].

[151] ماديسون، كريس جيه؛ هوانغ، أجا؛ سوتسكيفر، إيليا؛ سيلفر، ديفيد (2014). "تقييم النقلات في لعبة غو باستخدام الشبكات العصبية التلافيفية العميقة". arXiv : 1412.6564 [ cs.LG ].

[152] "ألفا غو - جوجل ديب مايند" . مؤرشف من الأصل في 30 يناير 2016. تم الاطلاع عليه في 30 يناير 2016 .

[153] باي، شاوجي؛ كولتر، جي زيكو؛ كولتون ، فلادلين (2018/04/19). “تقييم تجريبي للشبكات التلافيفية العامة والمتكررة لنمذجة التسلسل”. أرخايف : 1803.01271 [ cs.LG ].

[154] يو، فيشر؛ كولتون، فلادلين (30-04-2016). "تجميع السياق متعدد المقاييس بواسطة الالتفافات المتوسعة". arXiv : 1511.07122 [ cs.CV ].

[155] بوروفيك، أناستاسيا؛ بوهتي، ساندر؛ أوسترلي، كورنيليس دبليو. (2018-09-17). "التنبؤ المشروط بالسلاسل الزمنية باستخدام الشبكات العصبية الالتفافية". arXiv : 1703.04691 [ stat.ML ].

[156] ميتلمان، روني (2015-08-03). "نمذجة السلاسل الزمنية باستخدام الشبكات العصبية التلافيفية الكاملة غير المخففة". arXiv : 1508.00317 [ stat.ML ].

[157] تشن ، يتيان. كانغ، يانفي؛ تشن، ييشونغ؛ وانغ ، زيتشو (2019/06/11). “التنبؤ الاحتمالي باستخدام الشبكة العصبية التلافيفية الزمنية”. أرخايف : 1906.04397 [ stat.ML ].

[158] تشاو، بيندونغ؛ لو، هوان تشانغ؛ تشين، شانغ فنغ؛ ليو، جون ليانغ؛ وو، دونغيا (2017-02-01). "الشبكات العصبية الالتفافية لتصنيف السلاسل الزمنية". مجلة هندسة النظم والإلكترونيات . 28 (1): 162-169 . doi : 10.21629/JSEE.2017.01.18 .

[159] بيتنيهازي ، غابور (21/08/2019). “QCNN: الشبكة العصبية التلافيفية الكمية”. أرخايف : 1908.07978 [ cs.LG ].

[HeiCuBeDa_Hilprecht-160] هوبرت مارا (2019-06-07)، HeiCuBeDa Hilprecht – مجموعة بيانات مرجعية للكتابة المسمارية في هايدلبرغ لمجموعة Hilprecht (بالألمانية)، heiDATA – مستودع مؤسسي لبيانات البحث بجامعة هايدلبرغ، doi : 10.11588/data/IE8CCN

[ICDAR19-161] هوبرت مارا وبارتوش بوغاتش (2019)، "فك شفرة الألواح المكسورة: تحدي التعلم للكتابة المسمارية المشروحة في مجموعات بيانات ثنائية وثلاثية الأبعاد موحدة"، وقائع المؤتمر الدولي الخامس عشر لتحليل المستندات والتعرف عليها (ICDAR) (باللغة الألمانية)، سيدني، أستراليا، ص 148-153 ، doi : 10.1109/ICDAR.2019.00032 ، ISBN 978-1-7281-3014-9، S2CID 211026941 {{citation}}: CS1 maint: موقع الناشر مفقود ( رابط )

[ICFHR20-162] بوغاز، بارتوش؛ مارا، هوبرت (2020)، "تصنيف فترات الألواح المسمارية ثلاثية الأبعاد باستخدام الشبكات العصبية الهندسية"، وقائع المؤتمر الدولي السابع عشر حول آفاق التعرف على الكتابة اليدوية (ICFHR) ، دورتموند، ألمانيا

[ICFHR20_Presentation-163] عرض ورقة بحثية من مؤتمر ICFHR بعنوان "تصنيف فترات الألواح المسمارية ثلاثية الأبعاد باستخدام الشبكات العصبية الهندسية" على يوتيوب

[164] دورجوي سين مايترا؛ أوجوال بهاتاشاريا؛ إس كيه باروي، "نهج مشترك قائم على الشبكات العصبية التلافيفية للتعرف على الأحرف المكتوبة بخط اليد في نصوص متعددة"، مؤرشف في 16 أكتوبر 2023 على موقع Wayback Machine ، ضمن المؤتمر الدولي الثالث عشر لتحليل المستندات والتعرف عليها (ICDAR)، 2015، المجلد، العدد، الصفحات 1021-1025، 23-26 أغسطس 2015

[Interpretable_ML_Symposium_2017-165] "NIPS 2017" . ندوة التعلم الآلي القابل للتفسير . 2017-10-20. مؤرشف من الأصل في 2019-09-07 . تم الاطلاع عليه في 2018-09-12 .

[Zang_Wang_Liu_Zhang_2018_pp._97–108-166] زانغ، جينليانغ؛ وانغ، لي؛ ليو، زيي؛ تشانغ، كيلين؛ هوا، غانغ؛ تشنغ، ناننينغ (2018). "شبكة عصبية تلافيفية موزونة زمنيًا قائمة على الانتباه للتعرف على الحركة". تطبيقات وابتكارات الذكاء الاصطناعي . سلسلة IFIP للتقدم في تكنولوجيا المعلومات والاتصالات. المجلد 519. تشام: دار نشر سبرينغر الدولية. الصفحات 97-108 . arXiv : 1803.07179 . doi : 10.1007/978-3-319-92007-8_9 . ISBN 978-3-319-92006-1ISSN 1868-4238 . S2CID 4058889 .

[Wang_Zang_Zhang_Niu_p=1979-167] وانغ، لي؛ زانغ، جينليانغ؛ تشانغ، كيلين؛ نيو، تشنشينغ؛ هوا، غانغ؛ تشنغ، ناننينغ (21-06-2018). " التعرف على الحركة بواسطة شبكة عصبية تلافيفية موزونة زمنيًا واعية بالانتباه" ( ملف PDF) . مجلة Sensors . 18 (7): 1979. Bibcode : 2018Senso..18.1979W . doi : 10.3390/s18071979 . ISSN 1424-8220 . PMC 6069475. PMID 29933555. مؤرشف (PDF) من النسخة الأصلية بتاريخ 13-09-2018 . تم الاطلاع عليه بتاريخ 14-09-2018 .

[Ong_Chavez_Hong_2015-168] أونغ، هاو يي؛ تشافيز، كيفن؛ هونغ، أوغسطس (2015-08-18). "التعلم العميق الموزع Q". arXiv : 1508.04186v2 [ cs.LG ].

[DQN-169] منيه، فولوديمير؛ وآخرون (2015). "التحكم بمستوى الإنسان من خلال التعلم العميق المعزز" . مجلة نيتشر . 518 (7540): 529-533 . Bibcode : 2015Natur.518..529M . doi : 10.1038/nature14236 . PMID 25719670. S2CID 205242740 .

[170] صن، ر.؛ سيشنز، س. (يونيو 2000). "التجزئة الذاتية للتسلسلات: التكوين التلقائي لتسلسلات السلوكيات المتسلسلة". معاملات IEEE في الأنظمة والإنسان وعلم التحكم الآلي - الجزء ب: علم التحكم الآلي . 30 (3): 403-418 . Bibcode : 2000ITSMB..30..403S . CiteSeerX 10.1.1.11.226 . doi : 10.1109/3477.846230 . ISSN 1083-4419 . PMID 18252373 .

[CDBN-CIFAR-171] "شبكات الاعتقاد العميق التلافيفية على مجموعة بيانات CIFAR-10" (ملف PDF) . مؤرشف (ملف PDF) من النسخة الأصلية بتاريخ 30 أغسطس 2017. تم الاطلاع عليه بتاريخ 18 أغسطس 2017 .

[CDBN-172] لي، هونغلاك؛ غروس، روجر؛ رانغاناث، راجيش؛ نغ، أندرو واي. (1 يناير 2009). "شبكات الاعتقاد العميق التلافيفية للتعلم غير الخاضع للإشراف القابل للتوسع للتمثيلات الهرمية". وقائع المؤتمر الدولي السنوي السادس والعشرين للتعلم الآلي . ACM. الصفحات 609-616 . CiteSeerX 10.1.1.149.6800 . doi : 10.1145/1553374.1553453 . ISBN 978-1-60558-516-1. S2CID 12008458 .

[173] بينكه، سفين (2003). الشبكات العصبية الهرمية لتفسير الصور (ملف PDF) . سلسلة محاضرات في علوم الحاسوب. المجلد 2766. سبرينغر. doi : 10.1007/b11963 . ISBN 978-3-540-40722-5S2CID 1304548. مؤرشف (PDF) من الأصل بتاريخ 10 أغسطس 2017. تم الاطلاع عليه بتاريخ 28 ديسمبر 2016 .

[174] تشوي، رينيه ي.؛ كوينر، آرون س.؛ كالباثي-كريمر، جايشري؛ تشيانغ، مايكل ف.؛ كامبل، ج. بيتر (فبراير 2020). "مقدمة في التعلم الآلي، والشبكات العصبية، والتعلم العميق" . مجلة وايرد . مؤرشف من الأصل في 13 يناير 2018. تم الاطلاع عليه في 6 مارس 2017 .

[ 1 ]

[ 2 ]

[ 3 ]

[ 4 ]

[ 5 ]

[ 6 ]

[ 7 ]

[ 8 ]

[ 9 ]

[ 10 ]

[ 11 ]

[ 12 ]

[ 13 ]

[ 17 ]

[ 18 ]

[ 19 ]

[ 20 ]

[ 21 ]

[ 22 ]

[ 23 ]

[ 24 ]

[ 25 ]

[ 26 ]

[ 27 ]

[ 28 ]

[ 29 ]

[ 30 ]

[ 31 ]

[ 32 ]

[ 33 ]

[ 34 ]

[ 35 ]

[ 36 ]

[ 38 ]

[

[

[ 41 ]

[ 42 ]

[ 43 ]

[ 44 ]

[ 45 ]

[ 46 ]

[ 47 ]

[ 51 ]

[ 52 ]

[ 53 ]

[ 54 ]

لتعزيز

[ 56 ]

[ 57 ]

[ 58 ]

[ 59 ]

[ 60 ]

[ 61 ]

[ 62 ]

[ 63 ]

[ 64 ]

[ 65 ]

[ 66 ]

[ 67 ]

[ 68 ]

[ 70 ]

[ 71 ]

[ 72 ]

[ 74 ]

[ ملاحظة 1 ]

[ 75 ]

[ 76 ]

[ ملاحظة 2 ]

[ 77 ]

[ 78 ]

[

[

[ 81 ]

[ 82 ]

[ 83 ]

[ 84 ]

[

[ 86 ]

[ 87 ]

[ ملاحظة 3 ]

[ 88 ]

[ 89 ]

[ 90 ]

[ 91 ]

[ 92 ]

[ 93 ]

[ 94 ]

[ ٩٥ ]

[ 96 ]

[ 97 ]

[ 99 ]

[ 100 ]

[ 101 ]

[ 102 ]

[ 103 ]

[ 104 ]

[ 105 ]

[ 106 ]

[ 107 ]

اللغة	العربية (RTL)
روابط موسوعية	30 رابطاً
المصدر الأصلي	ويكيبيديا ↗