الذاكرة طويلة المدى قصيرة المدى

📅 آخر تحديث: ٢ أغسطس ٢٠٢٦
✍️ نُشر في: ٢ أغسطس ٢٠٢٦
📷 يحتوي على 43 صور
الموسوعة الحرة
تستطيع خلية الذاكرة طويلة المدى (LSTM) معالجة البيانات بشكل متسلسل والحفاظ على حالتها المخفية بمرور الوقت.

الذاكرة طويلة المدى قصيرة المدى ( LSTM ) [ 1 ] هي نوع من الشبكات العصبية المتكررة (RNN) تهدف إلى التخفيف من مشكلة تلاشي التدرج [ 2 ] الشائعة في الشبكات العصبية المتكررة التقليدية. وتكمن ميزتها في عدم تأثرها بطول الفجوة، مما يجعلها تتفوق على الشبكات العصبية المتكررة الأخرى، ونماذج ماركوف المخفية ، وطرق تعلم التسلسل الأخرى. تهدف LSTM إلى توفير ذاكرة قصيرة المدى للشبكات العصبية المتكررة، قادرة على الاستمرار لآلاف الخطوات الزمنية (ومن هنا جاء مصطلح " الذاكرة طويلة المدى قصيرة المدى"). [ 1 ] وقد استُمد هذا الاسم تشبيهًا بالذاكرة طويلة المدى والذاكرة قصيرة المدى وعلاقتهما، والتي درسها علماء النفس المعرفي منذ أوائل القرن العشرين.

تتكون وحدة LSTM عادةً من خلية وثلاث بوابات : بوابة إدخال، وبوابة إخراج، [ 3 ] وبوابة نسيان. [ 4 ] تحتفظ الخلية بالقيم على مدى فترات زمنية مختلفة، وتتحكم البوابات في تدفق المعلومات داخل الخلية وخارجها. تحدد بوابات النسيان المعلومات التي يجب تجاهلها من الحالة السابقة، وذلك بربط الحالة السابقة والمدخل الحالي بقيمة بين 0 و1. تشير القيمة 1 (بعد التقريب) إلى الاحتفاظ بالمعلومات، بينما تشير القيمة 0 إلى تجاهلها. تحدد بوابات الإدخال المعلومات الجديدة التي يجب تخزينها في حالة الخلية الحالية، باستخدام نفس آلية بوابات النسيان. تتحكم بوابات الإخراج في المعلومات التي يجب إخراجها من حالة الخلية الحالية، وذلك بتعيين قيمة من 0 إلى 1 للمعلومات، مع الأخذ في الاعتبار الحالتين السابقة والحالية. يسمح إخراج المعلومات ذات الصلة بشكل انتقائي من الحالة الحالية لشبكة LSTM بالحفاظ على تبعيات مفيدة طويلة المدى لإجراء التنبؤات، سواء في الخطوات الزمنية الحالية أو المستقبلية.

تتمتع شبكات LSTM بتطبيقات واسعة في التصنيف ، [ 5 ] [ 6 ] ومعالجة البيانات ، ومهام تحليل السلاسل الزمنية ، [ 7 ] والتعرف على الكلام ، [ 8 ] [ 9 ] والترجمة الآلية ، [ 10 ] [ 11 ] وكشف نشاط الكلام، [ 12 ] والتحكم في الروبوتات ، [ 13 ] [ 14 ] وألعاب الفيديو ، [ 15 ] [ 16 ] والرعاية الصحية ، [ 17 ] والتنبؤ بالطاقة . [ 18 ]

تحفيز

نظريًا، تستطيع الشبكات العصبية المتكررة التقليدية تتبع أي تبعيات طويلة المدى في تسلسلات الإدخال. تكمن مشكلة هذه الشبكات في طبيعتها الحسابية (أو العملية): فعند تدريبها باستخدام خوارزمية الانتشار العكسي ، قد "تتلاشى" التدرجات طويلة المدى التي يتم نشرها عكسيًا ، أي أنها قد تقترب من الصفر نتيجة دخول أعداد صغيرة جدًا في الحسابات، مما يؤدي إلى توقف النموذج عن التعلم فعليًا. تحل الشبكات العصبية المتكررة التي تستخدم وحدات الذاكرة طويلة المدى (LSTM) جزئيًا مشكلة تلاشي التدرجات ، لأن هذه الوحدات تسمح بتدفق التدرجات مع توهين ضئيل أو معدوم. مع ذلك، لا تزال شبكات LSTM تعاني من مشكلة تضخم التدرجات. [ 19 ]

يكمن جوهر بنية LSTM في إنشاء وحدة إضافية في الشبكة العصبية تتعلم متى تتذكر المعلومات المهمة ومتى تتجاهلها. [ 4 ] بعبارة أخرى، تتعلم الشبكة المعلومات التي قد تكون مطلوبة لاحقًا في سياق معين، ومتى تصبح هذه المعلومات غير ضرورية. على سبيل المثال، في سياق معالجة اللغة الطبيعية ، يمكن للشبكة تعلم العلاقات النحوية. [ 20 ] قد تعالج LSTM الجملة " Dave , as a result of his interesting claims, is now a pariah" من خلال تذكر الجنس والعدد النحويين (المحتمل إحصائيًا) للفاعل Dave . تجدر الإشارة إلى أن هذه المعلومات مهمة للضمير his ، وأنها لم تعد مهمة بعد الفعل is .

المتغيرات

في المعادلات أدناه، تمثل المتغيرات الصغيرة متجهات. المصفوفاتدبليوq{\displaystyle W_{q}}ويوq{\displaystyle U_{q}}تحتوي على أوزان وصلات الإدخال والوصلات المتكررة على التوالي، حيث يشير الرمز السفلي إلىq{\displaystyle _{q}}يمكن أن تكون بوابة الإدخالأنا{\displaystyle i}بوابة الإخراجo{\displaystyle o}بوابة النسيانو{\displaystyle f}أو خلية الذاكرةج{\displaystyle c}، وذلك بحسب التنشيط الذي يتم حسابه. في هذا القسم، نستخدم "ترميز المتجهات". على سبيل المثال،جت∈Rح{\displaystyle c_{t}\in \mathbb {R} ^{h}}لا يقتصر الأمر على وحدة واحدة من خلية LSTM واحدة، بل يحتوي علىح{\displaystyle h}وحدات خلية LSTM.

شبكة LSTM مع بوابة نسيان (أمر بالغ الأهمية)

الصيغ المختصرة لمعادلات المرور الأمامي لخلية LSTM مع بوابة النسيان هي: [ 1 ] [ 4 ]

وت=σز(دبليووxت+يووحت-1+بو)أنات=σز(دبليوأناxت+يوأناحت-1+بأنا)oت=σز(دبليوoxت+يوoحت-1+بo)ج~ت=σج(دبليوجxت+يوجحت-1+بج)جت=وت⊙جت-1+أنات⊙ج~تحت=oت⊙σح(جت){\displaystyle {\begin{aligned}f_{t}&=\sigma _{g}(W_{f}x_{t}+U_{f}h_{t-1}+b_{f})\\i_{t}&=\sigma _{g}(W_{i}x_{t}+U_{i}h_{t-1}+b_{i})\\o_{t}&=\sigma _{g}(W_{o}x_{t}+U_{o}h_{t-1}+b_{o})\\{\tilde {c}}_{t}&=\sigma _{c}(W_{c}x_{t}+U_{c}h_{t-1}+b_{c})\\c_{t}&=f_{t}\odot c_{t-1}+i_{t}\odot {\tilde {c}}_{t}\\h_{t}&=o_{t}\odot \sigma _{h}(c_{t})\end{aligned}}}

حيث تكون القيم الأوليةج0=0{\displaystyle c_{0}=0}وح0=0{\displaystyle h_{0}=0}والمشغل⊙{\displaystyle \odot }يرمز إلى ضرب هادامارد (الضرب العنصري).ت{\displaystyle t}يُفهرس الخطوة الزمنية.

المتغيرات

السماح للأرقام المرتفعةد{\displaystyle d}وح{\displaystyle h}يشير ذلك إلى عدد ميزات الإدخال وعدد الوحدات المخفية، على التوالي:

  • xت∈Rد{\displaystyle x_{t}\in \mathbb {R} ^{d}}متجه الإدخال لوحدة LSTM
  • وت∈(0،1)ح{\displaystyle f_{t}\in {(0,1)}^{h}}: انسَ متجه التنشيط الخاص بالبوابة
  • أنات∈(0،1)ح{\displaystyle i_{t}\in {(0,1)}^{h}}متجه تنشيط بوابة الإدخال/التحديث
  • oت∈(0،1)ح{\displaystyle o_{t}\in {(0,1)}^{h}}متجه تنشيط بوابة الإخراج
  • حت∈(-1،1)ح{\displaystyle h_{t}\in {(-1,1)}^{h}}متجه الحالة المخفية، المعروف أيضًا باسم متجه الإخراج لوحدة LSTM
  • ج~ت∈(-1،1)ح{\displaystyle {\tilde {c}}_{t}\in {(-1,1)}^{h}}متجه تنشيط مدخلات الخلية
  • جت∈Rح{\displaystyle c_{t}\in \mathbb {R} ^{h}}متجه حالة الخلية
  • دبليو∈Rح×د{\displaystyle W\in \mathbb {R} ^{h\times d}}،يو∈Rح×ح{\displaystyle U\in \mathbb {R} ^{h\times h}}وب∈Rح{\displaystyle b\in \mathbb {R} ^{h}}: مصفوفات الأوزان ومعلمات متجه الانحياز التي يجب تعلمها أثناء التدريب

وظائف التنشيط

  • σز{\displaystyle \sigma _{g}}دالة سيجمويد .
  • σج{\displaystyle \sigma _{c}}دالة الظل الزائدي .
  • σح{\displaystyle \sigma _{h}}: دالة الظل الزائدي أو، كما تقترح ورقة LSTM الخاصة بثقب الباب [ 21 ] [ 22 ] ،σح(x)=x{\displaystyle \sigma _{h}(x)=x}.

ثقب الباب LSTM

وحدة LSTM ذات فتحة تجسس مع مدخلات (أيأنا{\displaystyle i}), الناتج (أيo{\displaystyle o}ثم انسَ (أيو{\displaystyle f}) البوابات

الشكل على اليمين هو تمثيل بياني لوحدة LSTM مزودة بوصلات تجسس (أي LSTM بوصلات تجسس). [ 21 ] [ 22 ] تسمح وصلات التجسس للبوابات بالوصول إلى دائرة الخطأ الثابتة (CEC)، التي يكون تنشيطها هو حالة الخلية. [ 21 ]حت-1{\displaystyle h_{t-1}}غير مستخدم،جت-1{\displaystyle c_{t-1}}يُستخدم بدلاً من ذلك في معظم الأماكن.

وت=σز(دبليووxت+يووجت-1+بو)أنات=σز(دبليوأناxت+يوأناجت-1+بأنا)oت=σز(دبليوoxت+يوoجت-1+بo)جت=وت⊙جت-1+أنات⊙σج(دبليوجxت+بج)حت=oت⊙σح(جت){\displaystyle {\begin{aligned}f_{t}&=\sigma _{g}(W_{f}x_{t}+U_{f}c_{t-1}+b_{f})\\i_{t}&=\sigma _{g}(W_{i}x_{t}+U_{i}c_{t-1}+b_{i})\\o_{t}&=\sigma _{g}(W_{o}x_{t}+U_{o}c_{t-1}+b_{o})\\c_{t}&=f_{t}\odot c_{t-1}+i_{t}\odot \sigma _{c}(W_{c}x_{t}+b_{c})\\h_{t}&=o_{t}\odot \sigma _{h}(c_{t})\end{aligned}}}

يمكن اعتبار كل بوابة بمثابة عصبون "قياسي" في شبكة عصبية أمامية (أو متعددة الطبقات): أي أنها تحسب التنشيط (باستخدام دالة التنشيط) لمجموع مرجح.أنات،oت{\displaystyle i_{t},o_{t}}ووت{\displaystyle f_{t}}تمثل هذه القيم تنشيطات بوابات الإدخال والإخراج والنسيان على التوالي، عند الخطوة الزمنيةت{\displaystyle t}.

الأسهم الثلاثة للخروج من خلية الذاكرةج{\displaystyle c}إلى البوابات الثلاثأنا،o{\displaystyle i,o}وو{\displaystyle f}تمثل هذه الروابط وصلات ثقب الباب . وتشير هذه الوصلات في الواقع إلى مساهمات تنشيط خلية الذاكرة.ج{\displaystyle c}في الوقت المناسبت-1{\displaystyle t-1}أي مساهمةجت-1{\displaystyle c_{t-1}}(وليسجت{\displaystyle c_{t}}(كما قد توحي الصورة). بعبارة أخرى، البواباتأنا،o{\displaystyle i,o}وو{\displaystyle f}احسب تنشيطاتهم في الخطوة الزمنيةت{\displaystyle t}(أي على التوالي)أنات،oت{\displaystyle i_{t},o_{t}}ووت{\displaystyle f_{t}}) مع الأخذ في الاعتبار أيضًا تنشيط خلية الذاكرةج{\displaystyle c}في الوقت المناسبت-1{\displaystyle t-1}، أيجت-1{\displaystyle c_{t-1}}.

السهم الوحيد المتجه من اليسار إلى اليمين الخارج من خلية الذاكرة ليس وصلة ثقب الباب، بل يدل علىجت{\displaystyle c_{t}}.

الدوائر الصغيرة التي تحتوي على×{\displaystyle \times }يمثل الرمز عملية ضرب عنصرية بين مدخلاته. أما الدوائر الكبيرة التي تحتوي على منحنى يشبه حرف S فتمثل تطبيق دالة قابلة للتفاضل (مثل الدالة السينية) على مجموع مرجح.

شبكة LSTM تلافيفية ذات ثقب الباب

شبكة LSTM الالتفافية ذات فتحة النظر . [ 23 ]*{\displaystyle *}يرمز إلى عامل الالتفاف .

وت=σز(دبليوو*xت+يوو*حت-1+Vو⊙جت-1+بو)أنات=σز(دبليوأنا*xت+يوأنا*حت-1+Vأنا⊙جت-1+بأنا)جت=وت⊙جت-1+أنات⊙σج(دبليوج*xت+يوج*حت-1+بج)oت=σز(دبليوo*xت+يوo*حت-1+Vo⊙جت+بo)حت=oت⊙σح(جت){\displaystyle {\begin{aligned}f_{t}&=\sigma _{g}(W_{f}*x_{t}+U_{f}*h_{t-1}+V_{f}\odot c_{t-1}+b_{f})\\i_{t}&=\sigma _{g}(W_{i}*x_{t}+U_{i}*h_{t-1}+V_{i}\odot c_{t-1}+b_{i})\\c_{t}&=f_{t}\odot c_{t-1}+i_{t}\odot \sigma _{c}(W_{c}*x_{t}+U_{c}*h_{t-1}+b_{c})\\o_{t}&=\sigma _{g}(W_{o}*x_{t}+U_{o}*h_{t-1}+V_{o}\odot c_{t}+b_{o})\\h_{t}&=o_{t}\odot \sigma _{h}(c_{t})\end{aligned}}}

تمرين

يمكن تدريب شبكة عصبية متكررة باستخدام وحدات LSTM بطريقة خاضعة للإشراف على مجموعة من تسلسلات التدريب، باستخدام خوارزمية تحسين مثل انحدار التدرج مع الانتشار العكسي عبر الزمن لحساب التدرجات اللازمة أثناء عملية التحسين، من أجل تغيير كل وزن من أوزان شبكة LSTM بما يتناسب مع مشتق الخطأ (في طبقة الإخراج لشبكة LSTM) بالنسبة للوزن المقابل.

تتمثل إحدى مشكلات استخدام خوارزمية التدرج الهبوطي في الشبكات العصبية المتكررة القياسية في أن تدرجات الخطأ تتلاشى بسرعة أسية مع زيادة حجم الفارق الزمني بين الأحداث المهمة. ويعود ذلك إلىليمن→∞دبليون=0{\displaystyle \lim _{n\to \infty}W^{n}=0}إذا كان نصف القطر الطيفي لـدبليو{\displaystyle W}أصغر من 1. [ 2 ] [ 24 ]

مع ذلك، في وحدات LSTM، عندما تنتشر قيم الخطأ عكسيًا من طبقة الإخراج، يبقى الخطأ في خلية وحدة LSTM. هذه "حلقة الخطأ" تُعيد تغذية الخطأ باستمرار إلى كل بوابة من بوابات وحدة LSTM، حتى تتعلم هذه البوابات كيفية قطع القيمة.

دالة تسجيل نقاط CTC

تستخدم العديد من التطبيقات مجموعات من شبكات LSTM RNN [ 25 ] وتدربها باستخدام التصنيف الزمني الاتصالي (CTC) [ 5 ] لإيجاد مصفوفة أوزان RNN التي تزيد من احتمالية تسلسلات التصنيفات في مجموعة التدريب، بالنظر إلى تسلسلات الإدخال المقابلة. يحقق CTC كلاً من المحاذاة والتعرف.

البدائل

في بعض الأحيان، قد يكون من المفيد تدريب (أجزاء من) LSTM عن طريق التطور العصبي [ 7 ] أو عن طريق أساليب تدرج السياسة، خاصة عندما لا يكون هناك "معلم" (أي تصنيفات التدريب).

التطبيقات

تشمل تطبيقات LSTM ما يلي:

في عام 2015، بدأت جوجل باستخدام نموذج LSTM مُدرَّب بواسطة CTC للتعرف على الكلام في خدمة جوجل فويس . [ 50 ] [ 51 ] ووفقًا للمنشور الرسمي على المدونة، قلل النموذج الجديد أخطاء النسخ بنسبة 49%. [ 52 ]

في عام 2016، بدأت جوجل باستخدام شبكة LSTM لاقتراح الرسائل في تطبيق المحادثة Allo. [ 53 ] وفي العام نفسه، أطلقت جوجل نظام الترجمة الآلية العصبية لجوجل ترانسليت، والذي استخدم شبكات LSTM لتقليل أخطاء الترجمة بنسبة 60%. [ 10 ] [ 54 ] [ 55 ]

أعلنت شركة آبل في مؤتمرها العالمي للمطورين أنها ستبدأ باستخدام LSTM لتقنية الكتابة السريعة [ 56 ] [ 57 ] [ 58 ] في أجهزة آيفون ولمساعد سيري. [ 59 ] [ 60 ]

أصدرت أمازون برنامج Polly ، الذي يُولّد الأصوات التي تقف وراء Alexa، باستخدام LSTM ثنائي الاتجاه لتقنية تحويل النص إلى كلام. [ 61 ]

2017: أجرى فيسبوك حوالي 4.5 مليار ترجمة آلية يوميًا باستخدام شبكات الذاكرة طويلة المدى. [ 11 ]

أعلنت مايكروسوفت عن تحقيق دقة تعرّف بلغت 94.9% على مجموعة بيانات Switchboard ، التي تضمّ مفردات من 165,000 كلمة. وقد اعتمد هذا النهج على "الذاكرة طويلة المدى القائمة على جلسات الحوار". [ 62 ]

في عام 2018، استخدمت شركة OpenAI شبكة LSTM المدربة باستخدام تدرجات السياسة للتغلب على البشر في لعبة الفيديو المعقدة Dota 2، [ 15 ] وللتحكم في يد روبوتية تحاكي يد الإنسان وتتعامل مع الأشياء المادية ببراعة غير مسبوقة. [ 14 ] [ 63 ]

2019: استخدمت شركة DeepMind شبكة LSTM المدربة بواسطة تدرجات السياسة للتفوق في لعبة الفيديو المعقدة Starcraft II . [ 16 ] [ 63 ]

تاريخ

تطوير

تم التنبؤ ببعض جوانب LSTM من خلال "الانتشار العكسي المركز"، [ 64 ] كما ورد في ورقة LSTM. [ 1 ]

حللت أطروحة سيب هوكريتر لنيل شهادة البكالوريوس الألمانية عام 1991 مشكلة تلاشي التدرج ، وطورت مبادئ الطريقة. [ 2 ] وقد اعتبر مشرفُه، يورغن شميدهوبر ، الأطروحة ذات أهمية بالغة. [ 65 ]

نُشرت نسخة مبكرة من LSTM في عام 1995 في تقرير فني من إعداد سيب هوكريتر ويورغن شميدهوبر ، [ 66 ] ثم نُشرت في مؤتمر NIPS 1996. [ 3 ]

نُشرت المرجع الأكثر شيوعًا لشبكة LSTM في عام 1997 في مجلة الحوسبة العصبية . [ 1 ] من خلال إدخال وحدات دائرة الخطأ الثابت (CEC)، تعالج شبكة LSTM مشكلة تلاشي التدرج . تضمنت النسخة الأولية من وحدة LSTM خلايا وبوابات إدخال وإخراج. [ 67 ]

أدخل كلٌّ من فيليكس غيرز ، ويورغن شميدهوبر، وفريد ​​كامينز بوابة النسيان (وتُسمى أيضًا "بوابة الاحتفاظ") إلى بنية LSTM في عام 1999، [ 68 ] مما مكّن LSTM من إعادة ضبط حالتها. [ 67 ] وهذه هي النسخة الأكثر شيوعًا من LSTM في الوقت الحاضر. أضافوا وصلات التجسس في عام 2000. [ 21 ] [ 22 ] بالإضافة إلى ذلك، تم حذف دالة تنشيط الإخراج. [ 67 ]

تطوير المتغيرات

في عام 2005 نشر جريفز وشميدهوبر [ 26 ] LSTM مع الانتشار العكسي الكامل عبر الزمن وLSTM ثنائي الاتجاه.

في عام 2006 قدم كل من غريفز، فرنانديز، غوميز، وشميدهوبر [ 5 ] دالة خطأ جديدة لـ LSTM: التصنيف الزمني الاتصالي (CTC) للمحاذاة والتعرف المتزامنين على التسلسلات.

في عام 2014 نشر كيونغ هيون تشو وآخرون [ 69 ] نسخة مبسطة من بوابة النسيان LSTM [ 68 ] تسمى وحدة التكرار البوابية (GRU).

في عام 2015، استخدم سريفاستافا، وغريف، وشميدهوبر مبادئ LSTM [ 68 ] لإنشاء شبكة Highway ، وهي شبكة عصبية أمامية التغذية تتكون من مئات الطبقات، وهي أعمق بكثير من الشبكات السابقة. [ 70 ] [ 71 ] [ 72 ] بالتزامن مع ذلك، تم تطوير بنية ResNet ، وهي تُعادل شبكة طرق سريعة مفتوحة أو بدون بوابات. [ 73 ]

تم نشر نسخة حديثة مطورة من LSTM تسمى xLSTM بواسطة فريق بقيادة سيب هوكريتر . [ 74 ] [ 75 ] إحدى الكتلتين (mLSTM) في البنية قابلة للتوازي مثل بنية Transformer ، بينما تسمح الكتل الأخرى (sLSTM) بتتبع الحالة.

التطبيقات

2001: قام جيرز وشميدهوبر بتدريب LSTM لتعلم اللغات التي لا يمكن تعلمها بواسطة النماذج التقليدية مثل نماذج ماركوف المخفية. [ 21 ] [ 63 ]

استخدم هوكريتر وآخرون LSTM للتعلم الفائق (أي تعلم خوارزمية التعلم). [ 76 ]

2004: أول تطبيق ناجح لـ LSTM على الكلام أليكس جريفز وآخرون [ 77 ] [ 63 ]

2005: قام كل من دان ويرسترا، وفاوستينو غوميز، وشميدهوبر بتدريب LSTM عن طريق التطور العصبي بدون معلم. [ 7 ]

قام ماير وآخرون بتدريب LSTM للتحكم في الروبوتات . [ 13 ]

2007: قام كل من ويرسترا، وفورستر، وبيترز، وشميدهوبر بتدريب LSTM باستخدام تدرجات السياسة للتعلم المعزز بدون معلم. [ 78 ]

قام هوكريتر وهيوسيل وأوبرماير بتطبيق LSTM على الكشف عن تماثل البروتين في مجال علم الأحياء . [ 37 ]

2009: قدم جاستن باير وآخرون بحثًا عن بنية عصبية لـ LSTM. [ 79 ] [ 63 ]

في عام ٢٠٠٩، فاز نموذج LSTM مُدرَّب بواسطة CTC بمسابقة ICDAR للتعرف على الكتابة اليدوية المتصلة. قدّم فريق بقيادة أليكس غريفز ثلاثة نماذج من هذا النوع . [ ٨٠ ] كان أحدها النموذج الأكثر دقة في المسابقة، بينما كان الآخر الأسرع. [ ٨١ ] وكانت هذه المرة الأولى التي يفوز فيها نموذج RNN بمسابقات دولية. [ ٦٣ ]

في عام 2013، استخدم كل من أليكس غريفز وعبد الرحمن محمد وجيفري هينتون شبكات LSTM كمكون رئيسي في شبكة حققت معدل خطأ قياسي بلغ 17.7% في الصوتيات على مجموعة بيانات TIMIT الكلاسيكية للكلام الطبيعي. [ 28 ]

في عام 2017، نشر باحثون من جامعة ولاية ميشيغان ، وقسم الأبحاث في شركة آي بي إم ، وجامعة كورنيل، دراسةً في مؤتمر اكتشاف المعرفة واستخراج البيانات (KDD). [ 82 ] وقد أظهرت شبكتهم LSTM المُدركة للوقت (T-LSTM) أداءً أفضل على مجموعات بيانات مُحددة مقارنةً بشبكة LSTM القياسية.

2020: استكشف كابلان وماكاندليش وآخرون قانون التوسع لبنية LSTM في نمذجة اللغة وقارنوه مع Transformers ، وأظهروا أن Transformers يتوسع بشكل أفضل من LSTM على بيانات النصوص. [ 83 ]

انظر أيضاً

مراجع

  1. 1 2 3 4 5 سيب هوخريتر ; يورغن شميدهوبر (1997). "الذاكرة الطويلة وقصيرة المدى" . الحساب العصبي . 9 (8): 1735–1780 . دوى : 10.1162/neco.1997.9.8.1735 . بميد 9377276 . S2CID 1915014 .  
  2. 1 2 3 هوخريتر، سيب (1991). Unter suchungen zu dynamischen neuronalen Netzen (PDF) (أطروحة الدبلوم). جامعة ميونيخ التقنية ، معهد علوم الكمبيوتر.
  3. 1 2 هوكريتر، سيب؛ شميدهوبر، يورغن (3 ديسمبر 1996). "يمكن لشبكات الذاكرة طويلة المدى (LSTM) حل مشاكل التأخير الزمني الطويل الصعبة" . وقائع المؤتمر الدولي التاسع لأنظمة معالجة المعلومات العصبية . NIPS'96. كامبريدج، ماساتشوستس، الولايات المتحدة الأمريكية: مطبعة معهد ماساتشوستس للتكنولوجيا: 473-479 .
  4. ١ ٢ ٣ فيليكس أ. جيرز؛ يورغن شميدهوبر؛ فريد كامينز (٢٠٠٠). "التعلم للنسيان: التنبؤ المستمر باستخدام LSTM" . الحوسبة العصبية . ١٢ (١٠): ٢٤٥١-٢٤٧١ . CiteSeerX ١٠.١.١.٥٥.٥٧٠٩ . doi : ١٠.١١٦٢/٠٨٩٩٧٦٦٠٠٣٠٠٠١٥٠١٥ . PMID ١١٠٣٢٠٤٢. S2CID ١١٥٩٨٦٠٠. مؤرشف من الأصل في ٢٠١٩-٠٤-٠٧ . تم الاسترجاع في ٢٠١٧-٠٤-١٥ .   
  5. 1 2 3 غريفز، أليكس؛ فرنانديز، سانتياغو؛ غوميز، فاوستينو؛ شميدهوبر، يورغن (2006). "التصنيف الزمني الترابطي: تصنيف بيانات التسلسل غير المجزأة باستخدام الشبكات العصبية المتكررة". في وقائع المؤتمر الدولي للتعلم الآلي، ICML 2006 : 369-376 . CiteSeerX 10.1.1.75.6306 . 
  6. ↑ كريم، فضل؛ ماجومدار، سومشوبرا؛ دارابي، هوشانغ؛ تشين، شون (2018). "شبكات LSTM التلافيفية الكاملة لتصنيف السلاسل الزمنية" . IEEE Access . 6 : 1662-1669 . arXiv : 1709.05206 . Bibcode : 2018IEEEA...6.1662K . doi : 10.1109/ACCESS.2017.2779939 . ISSN 2169-3536 . 
  7. 1 2 3 4 ويرسترا، دان؛ شميدهوبر، ج.؛ غوميز، ف. ج. (2005). "إيفولينو: التطور العصبي الهجين/البحث الخطي الأمثل لتعلم التسلسل" . وقائع المؤتمر الدولي المشترك التاسع عشر حول الذكاء الاصطناعي (IJCAI)، إدنبرة : 853-858 .
  8. ↑ ساك، هاشم؛ سينيور، أندرو؛ بوفاي، فرانسواز (2014). "بنى الشبكات العصبية المتكررة للذاكرة طويلة المدى لنمذجة الصوت على نطاق واسع" (ملف PDF) . مؤرشف من الأصل (ملف PDF) بتاريخ 24 أبريل 2018.
  9. ↑ لي، شيانغانغ؛ وو، شيهونغ (2014-10-15). "بناء شبكات عصبية متكررة عميقة قائمة على الذاكرة طويلة المدى للتعرف على الكلام ذي المفردات الكبيرة". arXiv : 1410.4281 [ cs.CL ].
  10. 1 2 وو، يونغهوي؛ شوستر، مايك؛ تشين، تشيفنغ؛ لي، كوك ف.؛ نوروزي، محمد؛ ماشيري، وولفغانغ؛ كريكن، ماكسيم؛ كاو، يوان؛ غاو، تشين (2016-09-26). "نظام جوجل للترجمة الآلية العصبية: سد الفجوة بين الترجمة البشرية والآلية". arXiv : 1609.08144 [ cs.CL ].
  11. 1 2 أونغ، ثوي (4 أغسطس 2017). "ترجمات فيسبوك تعمل الآن بالكامل بواسطة الذكاء الاصطناعي" . www.allthingsdistributed.com . تاريخ الاسترجاع: 15 فبراير 2019 .
  12. ^ شهيد الله، ماريلاند؛ باتينو، خوسيه. كورنيل، صامويل. يين، رويكينج؛ سيفاسانكاران، سونيت؛ بريدين، هيرفيه. كورشونوف، بافيل؛ بروتي، أليسيو؛ سيريزيل، رومان؛ فنسنت، إيمانويل؛ إيفانز، نيكولاس. مارسيل، سيباستيان. سكوارتيني، ستيفانو؛ باراس ، كلود (2019/11/06). “التقديم السريع إلى ديهارد الثاني: المساهمات والدروس المستفادة”. أرخايف : 1911.02388 [ eess.AS ].
  13. 1 2 3 ماير، هـ.؛ غوميز، ف.؛ ويرسترا، د.؛ ناجي، إ.؛ نول، أ.؛ شميدهوبر، ج. (أكتوبر 2006). "نظام لجراحة القلب الروبوتية يتعلم ربط العقد باستخدام الشبكات العصبية المتكررة". المؤتمر الدولي IEEE/RSJ للروبوتات والأنظمة الذكية لعام 2006. الصفحات 543-548. CiteSeerX 10.1.1.218.3399 . doi : 10.1109 /IROS.2006.282190 . ISBN   978-1-4244-0258-8. S2CID 12284900 . 
  14. 1 2 "مهارة التعلم" . OpenAI . 30 يوليو 2018. تم الاسترجاع في 28 يونيو 2023 .
  15. 1 2 رودريغيز، خيسوس (2 يوليو 2018). "العلم الكامن وراء OpenAI Five الذي حقق أحد أعظم الإنجازات في تاريخ الذكاء الاصطناعي" . نحو علم البيانات . مؤرشف من الأصل في 26 ديسمبر 2019. تم الاطلاع عليه في 15 يناير 2019 .
  16. 1 2 ستانفورد، ستايسي (25 يناير 2019). "ذكاء اصطناعي من ديب مايند، ألفاستار، يُظهر تقدمًا ملحوظًا نحو الذكاء الاصطناعي العام" . مذكرات التعلم الآلي على منصة ميديوم . تم الاطلاع عليه بتاريخ 15 يناير 2019 .
  17. ↑ شميدهوبر، يورغن (2021). "عقد 2010: عقدنا من التعلم العميق / نظرة على عقد 2020" . مدونة الذكاء الاصطناعي . معهد IDSIA، سويسرا . تاريخ الاسترجاع: 30 أبريل 2022 .
  18. 1 2 مايتي، أبيشيك؛ توكارول، فيراج (23 يناير 2026). "التنبؤ باستهلاك الطاقة باستخدام الشبكات العصبية المتكررة: تحليل مقارن". arXiv : 2601.17110 [ cs.CY ].
  19. ↑ كالين، أوفيديو (14 فبراير 2020). بنى التعلم العميق . تشام، سويسرا: سبرينغر نيتشر. ص 555. ISBN  978-3-030-36720-6.
  20. ^ لاكريتز، يائير. كروسزيفسكي، ألماني؛ ديسبوردس، ثيو؛ هوبكيس، ديوك؛ ديهيني، ستانيسلاس؛ باروني ، ماركو (2019)، “ظهور وحدات العدد وبناء الجملة في” ، ظهور وحدات العدد وبناء الجملة (PDF) ، جمعية اللغويات الحاسوبية، الصفحات من 11 إلى 20، دوى : 10.18653/v1/N19-1002 ، hdl : 11245.1/16cb6800-e10d-4166-8e0b-fed61ca6ebb4 ، S2CID 81978369  
  21. 1 2 3 4 5 6 جيرز، ف. أ.؛ شميدهوبر، ج. (2001). "شبكات LSTM المتكررة تتعلم لغات بسيطة خالية من السياق ولغات حساسة للسياق" ( ملف PDF) . معاملات IEEE في الشبكات العصبية . 12 (6): 1333-1340 . Bibcode : 2001ITNN...12.1333G . doi : 10.1109/72.963769 . PMID 18249962. S2CID 10192330. مؤرشف من الأصل (ملف PDF) بتاريخ 2017-07-06.  
  22. 1 2 3 4 جيرز، ف.؛ شراودولف، ن.؛ شميدهوبر، ج. (2002). "تعلم التوقيت الدقيق باستخدام الشبكات العصبية المتكررة LSTM" (ملف PDF) . مجلة أبحاث تعلم الآلة . 3 : 115-143 . مؤرشف من الأصل (ملف PDF) بتاريخ 28 يوليو 2017. تم الاطلاع عليه بتاريخ 15 أبريل 2017 .
  23. ↑ شينغجيان شي؛ تشورونغ تشن؛ هاو وانغ؛ ديت-يان يونغ؛ واي-كين وونغ؛ وانغ-تشون وو (2015). "شبكة LSTM الالتفافية: نهج تعلم آلي للتنبؤ الفوري بالهطول". وقائع المؤتمر الدولي الثامن والعشرين لأنظمة معالجة المعلومات العصبية : 802-810 . arXiv : 1506.04214 . Bibcode : 2015arXiv150604214S .
  24. ↑ هوكريتر، س.؛ بينجيو، ي.؛ فراسكوني، ب.؛ شميدهوبر، ج. (2001). "تدفق التدرج في الشبكات المتكررة: صعوبة تعلم التبعيات طويلة المدى (ملف PDF متاح للتنزيل)" . في: كريمر، س. س.؛ كولين، ج. ف. (محرران). دليل ميداني للشبكات العصبية المتكررة الديناميكية . مطبعة IEEE.
  25. ↑ فرنانديز، سانتياغو؛ غريفز، أليكس؛ شميدهوبر، يورغن (2007). "تصنيف التسلسلات في المجالات المهيكلة باستخدام الشبكات العصبية المتكررة الهرمية". وقائع المؤتمر الدولي المشترك العشرين حول الذكاء الاصطناعي، Ijcai 2007 : 774-779 . CiteSeerX 10.1.1.79.1887 . 
  26. 1 2 غريفز، أ.؛ شميدهوبر، ج. (2005). "تصنيف الصوتيات على مستوى الإطار باستخدام LSTM ثنائي الاتجاه وهياكل الشبكات العصبية الأخرى" . الشبكات العصبية . 18 ( 5-6 ): 602-610 . CiteSeerX 10.1.1.331.5800 . doi : 10.1016/j.neunet.2005.06.042 . PMID 16112549. S2CID 1856462 .   
  27. ↑ فرنانديز، س.؛ غريفز، أ.؛ شميدهوبر، ج. (9 سبتمبر 2007). "تطبيق الشبكات العصبية المتكررة على تحديد الكلمات المفتاحية التمييزية" . وقائع المؤتمر الدولي السابع عشر حول الشبكات العصبية الاصطناعية . ICANN'07. برلين، هايدلبرغ: سبرينغر-فيرلاغ: 220-229 . ISBN 978-3540746935تم الاطلاع عليه بتاريخ 28 ديسمبر 2023 .
  28. 1 2 غريفز، أليكس؛ محمد، عبد الرحمن؛ هينتون، جيفري (2013). "التعرف على الكلام باستخدام الشبكات العصبية المتكررة العميقة". المؤتمر الدولي لهندسة الصوت والكلام ومعالجة الإشارات IEEE لعام 2013. الصفحات 6645-6649 . arXiv : 1303.5778 . doi : 10.1109 /ICASSP.2013.6638947 . ISBN  978-1-4799-0356-6. S2CID 206741496 . 
  29. ↑ كراتزرت، فريدريك؛ كلوتز، دانيال؛ شاليف، غاي؛ كلامباور، غونتر؛ هوكريتر، سيب؛ نيرينغ، غراي (17 ديسمبر 2019). "نحو تعلم السلوكيات الهيدرولوجية العالمية والإقليمية والمحلية عبر التعلم الآلي المطبق على مجموعات بيانات كبيرة" . علم المياه وعلوم نظام الأرض . 23 (12): 5089-5110 . arXiv : 1907.08456 . Bibcode : 2019HESS...23.5089K . doi : 10.5194/hess-23-5089-2019 . ISSN 1027-5606 . 
  30. ↑ إيك، دوغلاس؛ شميدهوبر، يورغن (28 أغسطس/آب 2002). "تعلم البنية طويلة المدى لموسيقى البلوز". الشبكات العصبية الاصطناعية - مؤتمر ICANN 2002. سلسلة محاضرات في علوم الحاسوب. المجلد 2415. سبرينغر، برلين، هايدلبرغ. الصفحات 284-289 . CiteSeerX 10.1.1.116.3620 . doi : 10.1007/3-540-46084-5_47 . ISBN    978-3540460848.
  31. ↑ شميدهوبر، ج.؛ غيرز، ف.؛ إيك، د.؛ شميدهوبر، ج.؛ غيرز، ف. (2002). "تعلم اللغات غير المنتظمة: مقارنة بين الشبكات المتكررة البسيطة وLSTM". الحوسبة العصبية . 14 (9): 2039-2041 . CiteSeerX 10.1.1.11.7369 . doi : 10.1162/089976602320263980 . PMID 12184841. S2CID 30459046 .   
  32. ↑ بيريز-أورتيز، جيه إيه؛ جيرز، إف إيه؛ إيك، دي؛ شميدهوبر، جيه. (2003). "مرشحات كالمان تُحسّن أداء شبكة LSTM في المسائل التي لا يمكن حلها بواسطة الشبكات العصبية المتكررة التقليدية" . الشبكات العصبية . 16 (2): 241-250 . CiteSeerX 10.1.1.381.1992 . doi : 10.1016/s0893-6080(02)00219-8 . PMID 12628609 .  
  33. ↑ أ. غريفز، ج. شميدهوبر. التعرف على الكتابة اليدوية دون اتصال بالإنترنت باستخدام الشبكات العصبية المتكررة متعددة الأبعاد. التقدم في أنظمة معالجة المعلومات العصبية 22، NIPS'22، الصفحات 545-552، فانكوفر، مطبعة معهد ماساتشوستس للتكنولوجيا، 2009.
  34. ↑ غريفز، أ.؛ فرنانديز، س.؛ ليويكي، م.؛ بونكه، هـ.؛ شميدهوبر، ج. (3 ديسمبر 2007). "التعرف على الكتابة اليدوية غير المقيدة عبر الإنترنت باستخدام الشبكات العصبية المتكررة" . وقائع المؤتمر الدولي العشرين لأنظمة معالجة المعلومات العصبية . NIPS'07. الولايات المتحدة الأمريكية: كوران أسوشيتس إنك.: 577-584 . ISBN 9781605603520تم الاطلاع عليه بتاريخ 28 ديسمبر 2023 .
  35. ↑ باكوش، م.؛ ماماليه، ف.؛ وولف، س.؛ غارسيا، س.؛ باسكرت، أ. (2011). "التعلم العميق المتسلسل للتعرف على حركات الإنسان". في صلاح، أ.أ.؛ ليبري، ب. (محرران). ورشة العمل الدولية الثانية حول فهم السلوك البشري (HBU) . سلسلة محاضرات في علوم الحاسوب. المجلد 7065. أمستردام، هولندا: سبرينغر. الصفحات 29-39 . doi : 10.1007/978-3-642-25446-8_4 . ISBN   978-3-642-25445-1.
  36. ^ هوانغ، جي؛ تشو، وينجانج؛ تشانغ، كيلين؛ لي، هوكيانغ؛ لي ، ويبينغ (2018/01/30). “التعرف على لغة الإشارة عبر الفيديو دون تجزئة زمنية”. أرخايف : 1801.10111 [ cs.CV ].
  37. 1 2 هوكريتر، س.؛ هيوزل، م.؛ أوبرماير، ك. (2007). "الكشف السريع عن تماثل البروتينات باستخدام النماذج دون الحاجة إلى محاذاة" . المعلوماتية الحيوية . 23 (14): 1728-1736 . doi : 10.1093/bioinformatics/btm247 . PMID 17488755 . 
  38. ↑ ثيريو، ت.؛ ريتشكو، م. (2007). "شبكات الذاكرة طويلة المدى ثنائية الاتجاه للتنبؤ بموقع البروتينات حقيقية النواة داخل الخلية". معاملات IEEE/ACM في علم الأحياء الحاسوبي والمعلوماتية الحيوية . 4 (3): 441-446 . Bibcode : 2007ITCBB...4..441T . doi : 10.1109/tcbb.2007.1015 . PMID 17666763. S2CID 11787259 .  
  39. ↑ مالهوترا، بانكاج؛ فيج، لوفكيش؛ شروف، غوتام؛ أغاروال، بونيت (أبريل 2015). "شبكات الذاكرة طويلة المدى للكشف عن الشذوذ في السلاسل الزمنية" (ملف PDF) . الندوة الأوروبية حول الشبكات العصبية الاصطناعية والذكاء الحسابي والتعلم الآلي - ESANN 2015. مؤرشف من الأصل (ملف PDF) بتاريخ 30 أكتوبر 2020. تم الاطلاع عليه بتاريخ 21 فبراير 2018 .
  40. ↑ تاكس، ن.؛ فيرينيتش، إ.؛ لا روزا، م.؛ دوماس، م. (2017). "مراقبة عمليات الأعمال التنبؤية باستخدام الشبكات العصبية LSTM". هندسة نظم المعلومات المتقدمة . سلسلة محاضرات في علوم الحاسوب. المجلد 10253. الصفحات 477-492 . arXiv : 1612.02130 . doi : 10.1007/978-3-319-59536-8_30 . ISBN   978-3-319-59535-1. S2CID 2192354 . 
  41. ↑ تشوي، إي.؛ بهادوري، إم. تي.؛ شوتز، إي.؛ ستيوارت، دبليو.؛ صن، ج. (2016). "الذكاء الاصطناعي للأطباء: التنبؤ بالأحداث السريرية عبر الشبكات العصبية المتكررة" . وقائع ورشة عمل ومؤتمر JMLR . 56 : 301-318 . arXiv : 1511.05942 . Bibcode : 2015arXiv151105942C . PMC 5341604. PMID 28286600 .  
  42. ↑ جيا، روبن؛ ليانغ، بيرسي (2016). "إعادة تركيب البيانات للتحليل الدلالي العصبي". arXiv : 1606.03622 [ cs.CL ].
  43. ↑ وانغ، لي؛ دوان، شوهوان؛ تشانغ، كيلين؛ نيو، تشنشينغ؛ هوا، غانغ؛ تشنغ، ناننينغ (22-05-2018). "Segment-Tube: تحديد موقع الحركة المكاني الزمني في مقاطع الفيديو غير المقصوصة باستخدام تجزئة كل إطار" (ملف PDF) . مجلة Sensors . 18 (5): 1657. Bibcode : 2018Senso..18.1657W . doi : 10.3390/ s18051657 . ISSN 1424-8220 . PMC 5982167. PMID 29789447 .   
  44. ^ دوان، شوهوان؛ وانغ، لو؛ تشاي، تشانغبو؛ تشنغ، ناننينغ؛ تشانغ، كيلين؛ نيو، زينشينغ؛ هوا جانج (2018). “توطين العمل المكاني والزماني المشترك في مقاطع الفيديو غير المقطوعة مع تجزئة لكل إطار”. مؤتمر IEEE الدولي الخامس والعشرون لعام 2018 حول معالجة الصور (ICIP) . مؤتمر IEEE الدولي الخامس والعشرون لمعالجة الصور (ICIP). الصفحات من 918 إلى 922. دوى : 10.1109/icip.2018.8451692 . رقم ISBN  978-1-4799-7061-2.
  45. ↑ أورسيني، ف.؛ غاستالدي، م.؛ مانتيكيني، ل.؛ روسي، ر. (2019). الشبكات العصبية المدربة باستخدام بيانات تتبع شبكة الواي فاي للتنبؤ بسلوك ركاب المطارات . المؤتمر الدولي السادس حول النماذج والتقنيات لأنظمة النقل الذكية. كراكوف: IEEE. arXiv : 1910.14026 . doi : 10.1109/MTITS.2019.8883365.8883365 .
  46. ↑ تشاو، ز.؛ تشين، و.؛ وو، ش.؛ تشين، ب.س.ي.؛ ليو، ج. (2017). "شبكة LSTM: نهج التعلم العميق للتنبؤ بحركة المرور على المدى القصير". أنظمة النقل الذكية IET . 11 (2): 68-75 . doi : 10.1049/iet-its.2016.0208 . S2CID 114567527 . 
  47. ↑ غوبتا أ، مولر أ ت، هويسمان ب ج هـ، فوكس ج أ، شنايدر ب، شنايدر ج (2018). " الشبكات المتكررة التوليدية لتصميم الأدوية من الصفر" . معلومات جزيئية . 37 ( 1-2 ) 1700111. doi : 10.1002/minf.201700111 . PMC 5836943. PMID 29095571 .  {{cite journal}}: صيانة CS1: أسماء متعددة: قائمة المؤلفين ( رابط )
  48. ↑ سيف الإسلام، محمد؛ حسين، إمام (26-10-2020). "التنبؤ بأسعار صرف العملات الأجنبية باستخدام شبكة هجينة GRU-LSTM" . رسائل الحوسبة اللينة . 3 100009. doi : 10.1016/j.socl.2020.100009 . ISSN 2666-2221 . 
  49. ↑ مارتن، آبي؛ هيل، أندرو جيه؛ سيلر، كونستانتين إم؛ بالامورالي، مهالا (27-05-2024). "التعرف التلقائي على حركة الحفارات وتحديد موقعها في مقاطع الفيديو غير المُقَطَّعة باستخدام شبكات LSTM-Transformer الهجينة" . المجلة الدولية للتعدين والاستصلاح والبيئة . 38 (5): 353-372 . Bibcode : 2024IJMRE..38..353M . doi : 10.1080/17480930.2023.2290364 . ISSN 1748-0930 . 
  50. ↑ بوفاي، فرانسواز (11 أغسطس 2015). "الشبكات العصبية وراء خدمة نسخ الصوت من جوجل" . مدونة بحثية . تم الاطلاع بتاريخ 27 يونيو 2017 .
  51. ↑ ساك، هاشم؛ سينيور، أندرو؛ راو، كانيشكا؛ بوفايس، فرانسواز؛ شالكويك، يوهان (24 سبتمبر 2015). "البحث الصوتي من جوجل: أسرع وأكثر دقة" . مدونة بحثية . تم الاطلاع عليه بتاريخ 27 يونيو 2017 .
  52. ↑ "وصفة نيون... أو بالأحرى، نسخة صوتية جديدة لخدمة جوجل فويس" . مدونة جوجل الرسمية . 23 يوليو 2015. تاريخ الاطلاع: 25 أبريل 2020 .
  53. ↑ خيطان، براناف (18 مايو 2016). "تحدث بذكاء مع ألو" . مدونة بحثية . تم الاطلاع عليه بتاريخ 27 يونيو 2017 .
  54. ↑ ميتز، كيد (27 سبتمبر 2016). "دمج الذكاء الاصطناعي يجعل ترجمة جوجل أكثر قوة من أي وقت مضى | وايرد" . وايرد . تم الاسترجاع في 27 يونيو 2017 .
  55. ↑ "شبكة عصبية للترجمة الآلية، على نطاق الإنتاج" . مدونة جوجل للذكاء الاصطناعي . 27 سبتمبر 2016. تم الاطلاع عليه بتاريخ 25 أبريل 2020 .
  56. ↑ إفراتي، أمير (13 يونيو 2016). "آلات آبل قادرة على التعلم أيضاً" . المعلومات . تم الاسترجاع في 27 يونيو 2017 .
  57. ↑ رينجر، ستيف (14 يونيو 2016). "آيفون، الذكاء الاصطناعي، والبيانات الضخمة: إليك كيف تخطط آبل لحماية خصوصيتك" . زد نت . تم الاطلاع عليه بتاريخ 27 يونيو 2017 .
  58. ↑ "هل يمكن للسياق الدلالي العالمي تحسين نماذج اللغة العصبية؟ - آبل" . مجلة آبل لتعلم الآلة . تم الاطلاع عليه بتاريخ 30 أبريل 2020 .
  59. ↑ سميث، كريس (13 يونيو 2016). "iOS 10: سيري تعمل الآن في تطبيقات الطرف الثالث، وتأتي مع ميزات ذكاء اصطناعي إضافية" . BGR . تم الاطلاع عليه بتاريخ 27 يونيو 2017 .
  60. ↑ كيبس، تيم؛ كولز، بول؛ كونكي، أليستير؛ غوليبور، لادان؛ هادجيتارخاني، آبي؛ هو، كيونغ؛ هودلستون، نانسي؛ هانت، ميلفين؛ لي، جيانغتشوان؛ نيراشر، ماتياس؛ براهالاد، كيشور (2017-08-20). "نظام تحويل النص إلى كلام الموجه بالتعلم العميق على جهاز سيري" . إنترسبيتش 2017. ISCA: 4011–4015 . doi : 10.21437/Interspeech.2017-1798 .
  61. ↑ فوغلز، فيرنر (30 نوفمبر 2016). "جلب سحر الذكاء الاصطناعي من أمازون وأليكسا إلى التطبيقات على AWS. - كل الأشياء الموزعة" . www.allthingsdistributed.com . تاريخ الاسترجاع: 27 يونيو 2017 .
  62. ↑ شيونغ، و.؛ وو، ل.؛ أليفا، ف.؛ دروبو، ج.؛ هوانغ، ش.؛ ستولك، أ. (أبريل 2018). "نظام مايكروسوفت للتعرف على الكلام التفاعلي 2017". المؤتمر الدولي لهندسة الصوت والكلام ومعالجة الإشارات (ICASSP) لعام 2018. معهد مهندسي الكهرباء والإلكترونيات. الصفحات 5934-5938 . arXiv : 1708.06073 . doi : 10.1109/ICASSP.2018.8461870 . ISBN  978-1-5386-4658-8.
  63. 1 2 3 4 5 6 شميدهوبر، يورغن (10 مايو 2021). "التعلم العميق: عامنا المعجزة 1990-1991". arXiv : 2005.05744 [ cs.NE ].
  64. ↑ موزر، مايك (1989). "خوارزمية الانتشار العكسي المركزة للتعرف على الأنماط الزمنية". الأنظمة المعقدة .
  65. ↑ شميدهوبر، يورغن (2022). "تاريخ مشروح للذكاء الاصطناعي الحديث والتعلم العميق". arXiv : 2212.11279 [ cs.NE ].
  66. ^ سيب هوشريتر . يورغن شميدهوبر (21 أغسطس 1995)، الذاكرة طويلة المدى ، ويكي بيانات Q98967430 
  67. 1 2 3 كلاوس جريف؛ روبيش كومار سريفاستافا؛ يان كوتنيك؛ باس ر. ستوينبرينك؛ يورغن شميدهوبر (2015). "LSTM: رحلة في فضاء البحث". معاملات IEEE في الشبكات العصبية وأنظمة التعلم . 28 (10): 2222-2232 . arXiv : 1503.04069 . Bibcode : 2015arXiv150304069G . doi : 10.1109/TNNLS.2016.2582924 . PMID: 27411231. S2CID : 3356463 .  
  68. 1 2 3 جيرز، فيليكس؛ شميدهوبر، يورغن؛ كومينز، فريد (1999). "التعلم من النسيان: التنبؤ المستمر باستخدام LSTM". المؤتمر الدولي التاسع للشبكات العصبية الاصطناعية: ICANN '99 . المجلد 1999. الصفحات 850-855 . doi : 10.1049/cp:19991218 . ISBN   0-85296-721-7.
  69. ↑ تشو، كيونغ هيون؛ فان ميرينبوير، بارت؛ غولجيهري، كاغلار؛ بهداناو، ديمتري؛ بوغاريس، فتحي؛ شوينك، هولغر؛ بينجيو، يوشوا (2014). "تعلم تمثيلات العبارات باستخدام مُشفِّر-مُفكِّك RNN للترجمة الآلية الإحصائية". arXiv : 1406.1078 [ cs.CL ].
  70. ^ سريفاستافا، روبيش كومار؛ جريف، كلاوس. شميدهوبر، يورغن (2015-05-02). “شبكات الطرق السريعة”. أرخايف : 1505.00387 [ cs.LG ].
  71. ↑ سريفاستافا، روبيش ك؛ جريف، كلاوس؛ شميدهوبر، يورغن (ديسمبر 2015). كُتب في مونتريال، كندا. تدريب الشبكات العميقة جدًا . NIPS'15: وقائع المؤتمر الدولي التاسع والعشرين حول أنظمة معالجة المعلومات العصبية. المجلد 2. كامبريدج، ماساتشوستس، الولايات المتحدة: مطبعة معهد ماساتشوستس للتكنولوجيا. الصفحات 2377-2385 .  
  72. ↑ شميدهوبر، يورغن (2021). "جميع الشبكات العصبية الأكثر استشهادًا مبنية على أعمال أُجريت في مختبراتي" . مدونة الذكاء الاصطناعي . معهد دراسات الذكاء الاصطناعي والعلوم الاجتماعية، سويسرا . تاريخ الاسترجاع: 30 أبريل 2022 .
  73. ↑ هي، كايمينغ؛ تشانغ، شيانغيو؛ رن، شاوكينغ؛ صن، جيان (2016). "التعلم العميق المتبقي للتعرف على الصور". مؤتمر IEEE لعام 2016 حول رؤية الحاسوب والتعرف على الأنماط (CVPR) . IEEE. ص 770-778 . arXiv : 1512.03385 . doi : 10.1109/CVPR.2016.90 . ISBN  978-1-4673-8851-1.
  74. ^ بيك ، ماكسيميليان. بوبل، كوربينيان؛ سبانرينج، ماركوس؛ أوير، أندرياس. برودنيكوفا، أولكسندرا؛ كوب، مايكل. كلامباور، غونتر؛ براندستيتر، يوهانس؛ هوخريتر ، سيب (2024/05/07). “xLSTM: ذاكرة طويلة المدى ممتدة”. أرخايف : 2405.04517 [ cs.LG ].
  75. ^ NX-AI/xlstm ، NXAI، 2024-06-04 ، استرجاعها 2024-06-04
  76. ↑ هوكريتر، س.؛ يونغر، أ.س.؛ كونول، ب.ر. (2001). "التعلم من أجل التعلم باستخدام خوارزمية التدرج الهبوطي". الشبكات العصبية الاصطناعية - مؤتمر ICANN 2001 (ملف PDF) . سلسلة محاضرات في علوم الحاسوب. المجلد 2130. الصفحات 87-94 . CiteSeerX 10.1.1.5.323 . doi : 10.1007/3-540-44668-0_13 . ISBN    978-3-540-42486-4ISSN 0302-9743 . S2CID 52872549 .​  
  77. ↑ غريفز، أليكس؛ بيرينجر، نيكول؛ إيك، دوغلاس؛ شميدهوبر، يورغن (2004). التعرف على الكلام ذي المصداقية البيولوجية باستخدام الشبكات العصبية LSTM . ورشة عمل حول المناهج المستوحاة بيولوجيًا لتكنولوجيا المعلومات المتقدمة، Bio-ADIT 2004، لوزان، سويسرا. الصفحات 175-184 . 
  78. ↑ ويرسترا، دان؛ فورستر، ألكسندر؛ بيترز، يان؛ شميدهوبر، يورغن (2005). "حل مسائل POMDP ذات الذاكرة العميقة باستخدام تدرجات السياسة المتكررة" . المؤتمر الدولي للشبكات العصبية الاصطناعية ICANN'07 .
  79. ↑ باير، جاستن؛ ويرسترا، دان؛ توجليوس، جوليان؛ شميدهوبر، يورغن (2009). "تطوير هياكل خلايا الذاكرة لتعلم التسلسل". المؤتمر الدولي للشبكات العصبية الاصطناعية ICANN'09، قبرص .
  80. ↑ غريفز، أ.؛ ليويكي، م.؛ فرنانديز، س.؛ بيرتولامي، ر.؛ بونكه، هـ.؛ شميدهوبر، ج. (مايو 2009). "نظام اتصالي جديد للتعرف على الكتابة اليدوية غير المقيدة". معاملات IEEE في تحليل الأنماط والذكاء الآلي . 31 (5): 855-868 . Bibcode : 2009ITPAM..31..855G . CiteSeerX 10.1.1.139.4502 . doi : 10.1109 / tpami.2008.137 . ISSN 0162-8828 . PMID 19299860. S2CID 14635907 .    
  81. ↑ مارغنر، فولكر؛ عابد، هيكل (يوليو 2009). "مسابقة التعرف على الكتابة اليدوية العربية ICDAR 2009". المؤتمر الدولي العاشر لتحليل المستندات والتعرف عليها، 2009. الصفحات 1383-1387. doi : 10.1109 /ICDAR.2009.256 . ISBN  978-1-4244-4500-4. S2CID 52851337 . 
  82. ↑ بايتاس، إنجي م.؛ شياو، كاو؛ تشانغ، شي؛ وانغ، فاي؛ جاين، أنيل ك.؛ تشو، جيايو (2017-08-04). "تصنيف المرضى الفرعي عبر شبكات LSTM الواعية بالوقت" . وقائع المؤتمر الدولي الثالث والعشرين لجمعية ACM SIGKDD حول اكتشاف المعرفة واستخراج البيانات . نيويورك، نيويورك، الولايات المتحدة الأمريكية: جمعية آلات الحوسبة. الصفحات 65-74 . doi : 10.1145/3097983.3097997 . ISBN  978-1-4503-4887-4.
  83. ↑ كابلان، جاريد؛ ماكاندليش، سام؛ هينيغان، توم؛ براون، توم ب.؛ تشيس، بنجامين؛ تشايلد، ريون؛ غراي، سكوت؛ رادفورد، أليك؛ وو، جيفري؛ أمودي، داريو (2020). "قوانين القياس لنماذج اللغة العصبية". arXiv : 2001.08361 [ cs.LG ].

للمزيد من القراءة