الذاكرة الزمنية الهرمية

📅 آخر تحديث: ٢٣ يوليو ٢٠٢٦
✍️ نُشر في: ٢٣ يوليو ٢٠٢٦
📷 يحتوي على 1 صور
الموسوعة الحرة

الذاكرة الزمنية الهرمية ( HTM ) هي تقنية ذكاء اصطناعي ذات قيود بيولوجية ، طورتها شركة نومينتا . وُصفت هذه التقنية لأول مرة في كتاب " عن الذكاء" الصادر عام 2004 من تأليف جيف هوكينز وساندرا بليكيسلي ، وتُستخدم اليوم بشكل أساسي للكشف عن الحالات الشاذة في البيانات المتدفقة. تعتمد هذه التقنية على علم الأعصاب ، وعلى فسيولوجيا وتفاعل الخلايا العصبية الهرمية في القشرة المخية الحديثة للدماغ لدى الثدييات (وخاصة الإنسان ).

تعتمد تقنية HTM بشكل أساسي على خوارزميات التعلم التي تستطيع تخزين وتعلم واستنتاج واسترجاع التسلسلات عالية الرتبة. وعلى عكس معظم أساليب التعلم الآلي الأخرى، تتعلم HTM باستمرار (في عملية غير خاضعة للإشراف ) أنماطًا زمنية في بيانات غير مصنفة. تتميز HTM بمقاومتها للضوضاء وقدرتها العالية (إذ يمكنها تعلم أنماط متعددة في آن واحد). عند تطبيقها على الحواسيب، تُعد HTM مناسبة تمامًا للتنبؤ، [ 1 ] واكتشاف الحالات الشاذة، [ 2 ] والتصنيف، وفي نهاية المطاف التطبيقات الحسية الحركية. [ 3 ]

تم اختبار HTM وتطبيقه في البرامج من خلال تطبيقات نموذجية من Numenta وعدد قليل من التطبيقات التجارية من شركاء Numenta .

الهيكل والخوارزميات

تتكون شبكة الذاكرة الهرمية النموذجية من تسلسل هرمي شجري (لا ينبغي الخلط بينها وبين " طبقات " القشرة المخية الحديثة ، كما هو موضح أدناه ). تتألف هذه المستويات من عناصر أصغر تُسمى مناطق (أو عُقد). قد يحتوي المستوى الواحد في التسلسل الهرمي على عدة مناطق. غالبًا ما تحتوي المستويات الهرمية الأعلى على عدد أقل من المناطق. يمكن للمستويات الهرمية الأعلى إعادة استخدام الأنماط المُتعلمة في المستويات الأدنى من خلال دمجها لحفظ أنماط أكثر تعقيدًا.

لكل منطقة في الذاكرة العاملة نفس الوظيفة الأساسية. في وضعَي التعلّم والاستدلال، تُدخَل البيانات الحسية (مثل بيانات العين) إلى المناطق الأدنى. في وضع التوليد، تُخرِج المناطق الأدنى النمط المُوَلَّد لفئة مُحدَّدة. عادةً ما يحتوي المستوى الأعلى على منطقة واحدة تُخزِّن الفئات (المفاهيم) الأكثر عموميةً وديمومة؛ تُحدِّد هذه الفئات، أو تُحدَّد بواسطة، مفاهيم أصغر في مستويات أدنى - مفاهيم أكثر تقييدًا من حيث الزمان والمكان . عند ضبطها في وضع الاستدلال، تُفسِّر المنطقة (في كل مستوى) المعلومات الواردة من مناطقها الفرعية على أنها احتمالات للفئات الموجودة في ذاكرتها.

تتعلم كل منطقة من مناطق الذاكرة عالية الإنتاجية (HTM) من خلال تحديد الأنماط المكانية وحفظها - وهي عبارة عن مجموعات من بتات الإدخال التي غالباً ما تحدث في نفس الوقت. ثم تحدد التسلسلات الزمنية للأنماط المكانية التي من المحتمل أن تحدث واحدة تلو الأخرى.

كنموذج متطور

يُعدّ نموذج HTM المكوّن الخوارزمي لنظرية الألف دماغ لجيف هوكينز في الذكاء. ولذلك، تُدمج الاكتشافات الجديدة حول القشرة المخية الحديثة تدريجيًا في نموذج HTM، الذي يتغير بمرور الوقت استجابةً لها. ولا تُبطل هذه الاكتشافات الجديدة بالضرورة الأجزاء السابقة من النموذج، لذا لا تُستبعد أفكار جيلٍ ما بالضرورة من الجيل الذي يليه. ونظرًا لطبيعة النظرية المتطورة، فقد ظهرت عدة أجيال من خوارزميات HTM، [ 4 ] والتي سنصفها بإيجاز أدناه.

الجيل الأول: زيتا 1

يُشار أحيانًا إلى الجيل الأول من خوارزميات HTM باسم زيتا 1 .

تمرين

أثناء التدريب ، تتلقى العقدة (أو المنطقة) تسلسلًا زمنيًا من الأنماط المكانية كمدخل لها. تتكون عملية التعلم من مرحلتين:

  1. تُحدد عملية التجميع المكاني (في المدخلات) الأنماط المتكررة الملاحظة وتخزنها على أنها "مصادفات". وتُعامل الأنماط المتشابهة بشكل كبير على أنها مصادفة واحدة. وبذلك، يتم اختزال عدد كبير من أنماط المدخلات المحتملة إلى عدد معقول من المصادفات المعروفة.
  2. يقسم التجميع الزمني التزامنات التي من المحتمل أن تتبع بعضها البعض في تسلسل التدريب إلى مجموعات زمنية. تمثل كل مجموعة من الأنماط "سببًا" لنمط الإدخال (أو "اسمًا" في On Intelligence ).

لا تزال مفاهيم التجميع المكاني والتجميع الزمني ذات أهمية بالغة في خوارزميات إدارة الذاكرة عالية الإنتاجية الحالية. ولا يزال التجميع الزمني غير مفهوم تمامًا، وقد تغير معناه بمرور الوقت (مع تطور خوارزميات إدارة الذاكرة عالية الإنتاجية).

الاستدلال

أثناء عملية الاستدلال ، تحسب العقدة مجموعة الاحتمالات التي ينتمي بها نمط ما إلى كل تزامن معروف. ثم تحسب احتمالات أن يمثل المدخل كل مجموعة زمنية. تُسمى مجموعة الاحتمالات المخصصة للمجموعات "اعتقاد" العقدة بشأن نمط المدخل. (في تطبيق مبسط، يتكون اعتقاد العقدة من مجموعة فائزة واحدة فقط). هذا الاعتقاد هو نتيجة الاستدلال الذي يُمرر إلى عقدة أو أكثر من العقد "الأبوية" في المستوى الأعلى التالي من التسلسل الهرمي.

لا تمتلك الأنماط "غير المتوقعة" التي تصل إلى العقدة احتمالًا مهيمنًا للانتماء إلى أي مجموعة زمنية محددة، بل تتساوى احتمالات انتمائها إلى عدة مجموعات تقريبًا. إذا كانت تسلسلات الأنماط مشابهة لتسلسلات التدريب، فلن تتغير الاحتمالات المخصصة للمجموعات بنفس وتيرة استقبال الأنماط. وبالتالي، لن يتغير خرج العقدة بنفس القدر، مما يؤدي إلى فقدان الدقة الزمنية.

في مخطط أكثر عمومية، يمكن إرسال اعتقاد العقدة إلى مدخلات أي عقدة (أو عقد) على أي مستوى (أو مستويات)، لكن الروابط بين العقد تظل ثابتة. تقوم العقدة ذات المستوى الأعلى بدمج هذا المخرج مع مخرجات العقد الفرعية الأخرى، لتشكل بذلك نمط إدخالها الخاص.

بما أن الدقة المكانية والزمانية تتلاشى في كل عقدة كما هو موضح أعلاه، فإن المعتقدات التي تشكلها العقد ذات المستوى الأعلى تمثل نطاقًا مكانيًا وزمانيًا أوسع. ويهدف هذا إلى عكس تنظيم العالم المادي كما يدركه الدماغ البشري. فالمفاهيم الأكبر (مثل الأسباب والأفعال والأشياء) تُدرك على أنها تتغير ببطء أكبر، وتتكون من مفاهيم أصغر تتغير بسرعة أكبر. ويفترض جيف هوكينز أن الأدمغة طورت هذا النوع من التسلسل الهرمي لمواءمة تنظيم العالم الخارجي والتنبؤ به والتأثير فيه.

يمكن الاطلاع على مزيد من التفاصيل حول آلية عمل Zeta 1 HTM في وثائق Numenta القديمة. [ 5 ]

الجيل الثاني: خوارزميات التعلم القشري

يختلف الجيل الثاني من خوارزميات التعلم HTM، والذي يُشار إليه غالبًا باسم خوارزميات التعلم القشري ( CLA )، اختلافًا جذريًا عن الجيل الأول (زيتا 1). يعتمد هذا الجيل على بنية بيانات تُسمى التمثيلات الموزعة المتفرقة (أي بنية بيانات عناصرها ثنائية، إما 1 أو 0، ويكون عدد البتات التي قيمتها 1 فيها صغيرًا مقارنةً بعدد البتات التي قيمتها 0) لتمثيل نشاط الدماغ، بالإضافة إلى نموذج عصبي أكثر واقعية من الناحية البيولوجية (يُشار إليه غالبًا باسم الخلية ، في سياق HTM). [ 6 ] يتكون هذا الجيل من HTM من عنصرين أساسيين: خوارزمية التجميع المكاني ، [ 7 ] التي تُخرج تمثيلات موزعة متفرقة (SDR)، وخوارزمية ذاكرة التسلسل ، [ 8 ] التي تتعلم تمثيل التسلسلات المعقدة والتنبؤ بها.

في هذا الجيل الجديد، يتم تناول طبقات وأعمدة القشرة الدماغية المصغرة ونمذجتها جزئيًا. تتكون كل طبقة من طبقات HTM (لا ينبغي الخلط بينها وبين مستوى HTM ضمن التسلسل الهرمي لـ HTM، كما هو موضح أعلاه ) من عدد من الأعمدة المصغرة شديدة الترابط. تُنشئ طبقة HTM تمثيلًا موزعًا متفرقًا من مدخلاتها، بحيث تكون نسبة ثابتة من الأعمدة المصغرة نشطة في أي وقت . يُفهم العمود المصغر على أنه مجموعة من الخلايا التي لها نفس مجال الاستقبال . يحتوي كل عمود مصغر على عدد من الخلايا القادرة على تذكر عدة حالات سابقة. يمكن أن تكون الخلية في إحدى ثلاث حالات: نشطة ، غير نشطة ، وحالة تنبؤية .

التجميع المكاني

يُمثل مجال الاستقبال لكل عمود مصغر عددًا ثابتًا من المدخلات التي تُختار عشوائيًا من بين عدد أكبر بكثير من مدخلات العقد. وبناءً على نمط الإدخال (المحدد)، ترتبط بعض الأعمدة المصغرة، بدرجات متفاوتة، بقيم الإدخال النشطة. يقوم التجميع المكاني باختيار عدد ثابت نسبيًا من الأعمدة المصغرة الأكثر نشاطًا، ويُعطّل (يُثبّط) الأعمدة المصغرة الأخرى المجاورة لها. تميل أنماط الإدخال المتشابهة إلى تنشيط مجموعة مستقرة من الأعمدة المصغرة. يمكن زيادة مقدار الذاكرة المستخدمة من قِبل كل طبقة لتعلم أنماط مكانية أكثر تعقيدًا، أو تقليله لتعلم أنماط أبسط.

الخلايا النشطة وغير النشطة والخلايا التنبؤية

كما ذكرنا سابقاً، يمكن أن تكون الخلية (أو العصبون) في العمود الصغير، في أي لحظة، في حالة نشطة أو غير نشطة أو تنبؤية. في البداية، تكون الخلايا غير نشطة.

كيف تصبح الخلايا نشطة؟

إذا كانت خلية واحدة أو أكثر في العمود المصغر النشط في حالة التنبؤ (انظر أدناه)، فستكون هذه الخلايا هي الوحيدة التي ستصبح نشطة في الخطوة الزمنية الحالية. أما إذا لم تكن أي من خلايا العمود المصغر النشط في حالة التنبؤ (وهو ما يحدث خلال الخطوة الزمنية الأولية أو عندما لم يكن من المتوقع تنشيط هذا العمود المصغر)، فستصبح جميع الخلايا نشطة.

كيف تصبح الخلايا قادرة على التنبؤ؟

عندما تنشط خلية ما، فإنها تُكوّن تدريجيًا روابط مع الخلايا المجاورة التي تميل إلى أن تكون نشطة خلال عدة خطوات زمنية سابقة. وهكذا، تتعلم الخلية تمييز تسلسل معروف من خلال التحقق مما إذا كانت الخلايا المتصلة بها نشطة. إذا كان عدد كبير من الخلايا المتصلة نشطًا، فإن هذه الخلية تنتقل إلى حالة التنبؤ تحسبًا لأحد المدخلات القليلة التالية في التسلسل.

مخرجات عمود مصغر

تتضمن مخرجات الطبقة أعمدة فرعية في حالتي النشاط والتنبؤ. وبالتالي، تظل الأعمدة الفرعية نشطة لفترات طويلة، مما يؤدي إلى استقرار زمني أكبر للطبقة الأصلية.

الاستدلال والتعلم عبر الإنترنت

Cortical learning algorithms are able to learn continuously from each new input pattern, therefore no separate inference mode is necessary. During inference, HTM tries to match the stream of inputs to fragments of previously learned sequences. This allows each HTM layer to be constantly predicting the likely continuation of the recognized sequences. The index of the predicted sequence is the output of the layer. Since predictions tend to change less frequently than the input patterns, this leads to increasing temporal stability of the output in higher hierarchy levels. Prediction also helps to fill in missing patterns in the sequence and to interpret ambiguous data by biasing the system to infer what it predicted.

Applications of the CLAs

Cortical learning algorithms are currently being offered as commercial SaaS by Numenta (such as Grok[9]).

The validity of the CLAs

The following question was posed to Jeff Hawkins in September 2011 with regard to cortical learning algorithms: "How do you know if the changes you are making to the model are good or not?" To which Jeff's response was "There are two categories for the answer: one is to look at neuroscience, and the other is methods for machine intelligence. In the neuroscience realm, there are many predictions that we can make, and those can be tested. If our theories explain a vast array of neuroscience observations then it tells us that we're on the right track. In the machine learning world, they don't care about that, only how well it works on practical problems. In our case that remains to be seen. To the extent you can solve a problem that no one was able to solve before, people will take notice."[10]

Third generation: sensorimotor inference

The third generation builds on the second generation and adds in a theory of sensorimotor inference in the neocortex.[11][12] This theory proposes that cortical columns at every level of the hierarchy can learn complete models of objects over time and that features are learned at specific locations on the objects. The theory was expanded in 2018 and referred to as the Thousand Brains Theory.[13]

Comparison of neuron models

Comparing the artificial neural network (A), the biological neuron (B), and the HTM neuron (C)
Comparison of Neuron Models
Artificial Neural Network (ANN) Neocortical Pyramidal Neuron (Biological Neuron) HTM Model Neuron[8]
  • Few synapses
  • No dendrites
  • Sum input × weights
  • Learns by modifying weights of synapses
  • مستوحى من الخلايا الهرمية في طبقات القشرة المخية الحديثة 2/3 و 5
  • آلاف من المشابك العصبية
  • التغصنات النشطة: تتعرف الخلية على مئات الأنماط الفريدة
  • تُحاكي هذه النماذج التشعبات العصبية ونبضات مستقبلات NMDA، حيث تحتوي كل مجموعة من مصفوفات الكاشفات المتزامنة على مجموعة من المشابك العصبية.
  • يتعلم من خلال نمذجة نمو المشابك العصبية الجديدة

مقارنة بين HTM والقشرة المخية الحديثة

تسعى تقنية HTM إلى تطبيق الوظائف المميزة لمجموعة من المناطق القشرية ذات الصلة الهرمية في القشرة المخية الحديثة. تتوافق منطقة من القشرة المخية الحديثة مع مستوى واحد أو أكثر في التسلسل الهرمي لتقنية HTM، بينما يُشابه الحصين ، بشكل غير مباشر، أعلى مستوى في هذه التقنية. قد تُمثل عقدة واحدة في تقنية HTM مجموعة من الأعمدة القشرية ضمن منطقة معينة.

على الرغم من أن نموذج HTM هو نموذج وظيفي في المقام الأول، فقد بُذلت عدة محاولات لربط خوارزمياته ببنية الاتصالات العصبية في طبقات القشرة المخية الحديثة. [ 14 ] [ 15 ] تُنظَّم القشرة المخية الحديثة في أعمدة رأسية تتكون من ست طبقات أفقية. يجب عدم الخلط بين طبقات الخلايا الست في القشرة المخية الحديثة ومستويات التسلسل الهرمي لنموذج HTM.

تحاول عقد HTM نمذجة جزء من أعمدة القشرة الدماغية (من 80 إلى 100 عصبون) بحوالي 20 "خلية" HTM لكل عمود. تُنمذج HTM الطبقتين 2 و3 فقط للكشف عن الخصائص المكانية والزمانية للمدخلات، حيث تُستخدم خلية واحدة لكل عمود في الطبقة 2 للتجميع المكاني، ومن 14 إلى 24 خلية لكل عمود في الطبقة 3 للتجميع الزمني. يكمن سرّ HTM والقشرة الدماغية في قدرتهما على التعامل مع التشويش والتغيرات في المدخلات، وهو ما ينتج عن استخدام "تمثيل توزيعي متفرق" حيث لا تتجاوز نسبة الأعمدة النشطة 2% في أي وقت.

تحاول نماذج HTM محاكاة جزء من عملية التعلم والمرونة في القشرة الدماغية كما هو موضح أعلاه. تشمل الاختلافات بين نماذج HTM والخلايا العصبية ما يلي: [ 16 ]

  • الإشارات الثنائية والتشابكات العصبية
  • لا يوجد تثبيط مباشر للمشابك العصبية أو التغصنات (ولكن يتم التحفيز بشكل غير مباشر)
  • حالياً، لا يتم عرض سوى الطبقات 2/3 و4 (لا توجد طبقات 5 أو 6).
  • لا يوجد تحكم "محرك" (الطبقة 5)
  • لا يوجد رد فعل بين المناطق (الطبقة 6 من المناطق العالية إلى الطبقة 1 من المناطق المنخفضة)

التمثيلات الموزعة المتفرقة

يُعدّ دمج مكونات الذاكرة مع الشبكات العصبية مجالًا ذا تاريخ طويل يعود إلى الأبحاث المبكرة في مجال التمثيلات الموزعة [ 17 ] [ 18 ] والخرائط ذاتية التنظيم . فعلى سبيل المثال، في الذاكرة الموزعة المتفرقة (SDM)، تُستخدم الأنماط المشفرة بواسطة الشبكات العصبية كعناوين ذاكرة للذاكرة القابلة للعنونة بالمحتوى ، حيث تعمل "الخلايا العصبية" بشكل أساسي كمشفرات ومفككات عناوين. [ 19 ] [ 20 ]

تخزن الحواسيب المعلومات في تمثيلات كثيفة ، مثل الكلمة المكونة من 32 بت ، حيث تكون جميع تركيبات الأصفار والآحاد ممكنة. في المقابل، يستخدم الدماغ تمثيلات موزعة متفرقة (SDRs). [ 21 ] تحتوي القشرة المخية الحديثة للإنسان على ما يقارب 16 مليار خلية عصبية، ولكن في أي لحظة معينة، لا يكون سوى نسبة ضئيلة منها نشطة. تشبه أنشطة الخلايا العصبية البتات في الحاسوب، ولذلك يكون التمثيل متفرقًا. على غرار نموذج SDM الذي طورته وكالة ناسا في ثمانينيات القرن الماضي [ 19 ] ونماذج فضاء المتجهات المستخدمة في التحليل الدلالي الكامن ، يستخدم نموذج HTM تمثيلات موزعة متفرقة. [ 22 ]

تُستخدم تمثيلات البيانات المُعرّفة (SDRs) في إدارة الذاكرة البشرية (HTM) كتمثيلات ثنائية للبيانات، تتكون من العديد من البتات، حيث تكون نسبة صغيرة منها نشطة (1). قد يحتوي تطبيق نموذجي على 2048 عمودًا و64 ألف خلية عصبية اصطناعية، قد لا يتجاوز عدد الخلايا النشطة منها 40 خلية في آن واحد. على الرغم من أن ترك غالبية البتات "غير مستخدمة" في أي تمثيل قد يبدو أقل كفاءة، إلا أن تمثيلات البيانات المُعرّفة (SDRs) تتميز بميزتين رئيسيتين مقارنةً بالتمثيلات الكثيفة التقليدية. أولًا، تتميز تمثيلات البيانات المُعرّفة (SDRs) بقدرتها على تحمل التشويه والغموض نظرًا لتوزيع معنى التمثيل على نسبة صغيرة ( متفرقة ) من البتات النشطة. في التمثيل الكثيف، يؤدي تغيير بت واحد إلى تغيير المعنى تمامًا، بينما في تمثيل البيانات المُعرّفة (SDR)، قد لا يؤثر بت واحد بشكل كبير على المعنى العام. وهذا يقودنا إلى الميزة الثانية لتمثيلات البيانات المُعرّفة (SDRs): نظرًا لتوزيع معنى التمثيل على جميع البتات النشطة، يمكن استخدام التشابه بين تمثيلين كمقياس للتشابه الدلالي بين الكائنات التي يمثلانها. بمعنى آخر، إذا احتوى متجهان في سجل بيانات مُعرّف برمجياً (SDR) على الرقم 1 في الموضع نفسه، فإنهما متشابهان دلالياً في هذه السمة. تحمل البتات في سجلات البيانات المُعرّفة برمجياً (SDR) معنى دلالياً، ويتوزع هذا المعنى على البتات. [ 22 ]

The semantic folding theory[23] builds on these SDR properties to propose a new model for language semantics, where words are encoded into word-SDRs and the similarity between terms, sentences, and texts can be calculated with simple distance measures.

Similarity to other models

Bayesian networks

Likened to a Bayesian network, an HTM comprises a collection of nodes that are arranged in a tree-shaped hierarchy. Each node in the hierarchy discovers an array of causes in the input patterns and temporal sequences it receives. A Bayesian belief revision algorithm is used to propagate feed-forward and feedback beliefs from child to parent nodes and vice versa. However, the analogy to Bayesian networks is limited, because HTMs can be self-trained (such that each node has an unambiguous family relationship), cope with time-sensitive data, and grant mechanisms for covert attention.

A theory of hierarchical cortical computation based on Bayesian belief propagation was proposed earlier by Tai Sing Lee and David Mumford.[24] While HTM is mostly consistent with these ideas, it adds details about handling invariant representations in the visual cortex.[25]

Neural networks

Like any system that models details of the neocortex, HTM can be viewed as an artificial neural network. The tree-shaped hierarchy commonly used in HTMs resembles the usual topology of traditional neural networks. HTMs attempt to model cortical columns (80 to 100 neurons) and their interactions with fewer HTM "neurons". The goal of current HTMs is to capture as much of the functions of neurons and the network (as they are currently understood) within the capability of typical computers and in areas that can be made readily useful such as image processing. For example, feedback from higher levels and motor control is not attempted because it is not yet understood how to incorporate them and binary instead of variable synapses are used because they were determined to be sufficient in the current HTM capabilities.

LAMINART and similar neural networks researched by Stephen Grossberg attempt to model both the infrastructure of the cortex and the behavior of neurons in a temporal framework to explain neurophysiological and psychophysical data. However, these networks are, at present, too complex for realistic application.[26]

يرتبط نموذج HTM أيضًا بأعمال توماسو بوجيو ، بما في ذلك منهجية لنمذجة المسار البطني للقشرة البصرية تُعرف باسم HMAX. وقد وُصفت أوجه التشابه بين نموذج HTM ومختلف أفكار الذكاء الاصطناعي في عدد ديسمبر 2005 من مجلة الذكاء الاصطناعي. [ 27 ]

نيوكوجنيترون

يُعدّ نموذج Neocognitron ، وهو شبكة عصبية متعددة الطبقات هرمية اقترحها البروفيسور كونيهيكو فوكوشيما في عام 1987، أحد أوائل نماذج الشبكات العصبية للتعلم العميق . [ 28 ]

انظر أيضاً

مراجع

  1. ↑ كوي، يويوي؛ أحمد، سوبوتاي؛ هوكينز، جيف (2016). "التعلم التسلسلي المستمر عبر الإنترنت باستخدام نموذج شبكة عصبية غير خاضع للإشراف". الحوسبة العصبية . 28 (11): 2474-2504 . arXiv : 1512.05463 . doi : 10.1162/NECO_a_00893 . PMID: 27626963. S2CID : 3937908 .  
  2. ↑ أحمد، سوبوتاي؛ لافين، ألكسندر؛ بوردي، سكوت؛ آغا، زها (2017). "الكشف غير الخاضع للإشراف عن الشذوذ في الوقت الحقيقي لبيانات البث" . الحوسبة العصبية . 262 : 134-147 . doi : 10.1016/j.neucom.2017.04.070 .
  3. ↑ "تفاصيل أولية حول العمل النظري الجديد حول الاستدلال الحسي الحركي" . منتدى HTM . 2016-06-03.
  4. ↑ مراجعة HTM على يوتيوب
  5. ↑ "وثائق نومينتا القديمة" . numenta.com . مؤرشفة من الأصل بتاريخ 27-05-2009.
  6. ↑ محاضرة جيف هوكينز التي تشرح خوارزميات التعلم القشري على يوتيوب
  7. ↑ كوي، يويوي؛ أحمد، سوبوتاي؛ هوكينز، جيف (2017). "مجمع HTM المكاني - خوارزمية قشرية حديثة للترميز الموزع المتفرق عبر الإنترنت" . مجلة فرونتيرز في علم الأعصاب الحاسوبي . 11 111. doi : 10.3389/fncom.2017.00111 . PMC 5712570. PMID 29238299 .  
  8. 1 2 3 هوكينز، جيف؛ أحمد، سوبوتاي (30 مارس 2016). "لماذا تحتوي الخلايا العصبية على آلاف المشابك العصبية، نظرية ذاكرة التسلسل في القشرة المخية الحديثة" . فرونت . الدوائر العصبية . 10 : 23. doi : 10.3389/fncir.2016.00023 . PMC 4811948. PMID 27065813 .  
  9. ↑ "صفحة منتج Grok" . grokstream.com . مؤرشفة من الأصل بتاريخ 26-04-2019 . تم الاطلاع عليها بتاريخ 12-08-2017 .
  10. ↑ لاسرسون، جوناثان (سبتمبر 2011). "من الشبكات العصبية إلى التعلم العميق: التركيز على الدماغ البشري" (ملف PDF) . XRDS . 18 (1). doi : 10.1145/2000775.2000787 . S2CID 21496694 . 
  11. ↑ هوكينز، جيف؛ أحمد، سوبوتاي؛ كوي، يويوي (2017). "نظرية حول كيفية تمكين الأعمدة في القشرة المخية الحديثة من تعلم بنية العالم" . مجلة فرونتيرز في الدوائر العصبية . 11 81. doi : 10.3389/fncir.2017.00081 . PMC 5661005. PMID 29118696 .  
  12. ↑ هل فاتنا نصف وظائف القشرة المخية الحديثة؟ الموقع المرجعي كأساس للإدراك ( على يوتيوب)
  13. ↑ «شركة نومينتا تنشر نظرية رائدة في مجال الذكاء والحوسبة القشرية» . eurekalert.org . ١٤ يناير ٢٠١٩. مؤرشف من الأصل بتاريخ ٨ نوفمبر ٢٠٢٠. تم الاطلاع عليه بتاريخ ٢٢ مارس ٢٠١٩ .
  14. ↑ هوكينز، جيف ؛ بليكيسلي، ساندرا . حول الذكاء .
  15. ↑ جورج، ديليب؛ هوكينز، جيف (2009). "نحو نظرية رياضية للدوائر الدقيقة القشرية" . مجلة PLOS لعلم الأحياء الحاسوبي . 5 (10) e1000532. رمز Bibcode : 2009PLSCB...5E0532G . doi : 10.1371/ journal.pcbi.1000532 . PMC 2749218. PMID 19816557 .  
  16. ↑ "خوارزميات التعلم القشري HTM" (ملف PDF) . numenta.org .
  17. ↑ هينتون، جيفري إي. (1984). التمثيلات الموزعة (ملف PDF) (تقرير فني). قسم علوم الحاسوب، جامعة كارنيجي ميلون. CMU-CS-84-157.
  18. ↑ بليت، توني (1991). "التمثيلات المختزلة الهولوغرافية: جبر الالتفاف للتمثيلات الموزعة التركيبية" (ملف PDF) . المؤتمر الدولي المشترك للذكاء الاصطناعي .
  19. 1 2 كانيرفا، بنتي (1988). ذاكرة موزعة متفرقة . الصحافة معهد ماساتشوستس للتكنولوجيا. رقم ISBN 978-0-262-11132-4.
  20. ↑ سنايدر، خافيير؛ فرانكلين، ستان (2012). الذاكرة الموزعة المتفرقة للأعداد الصحيحة (ملف PDF) . المؤتمر الدولي الخامس والعشرون لتقنية FLAIRS. S2CID 17547390. مؤرشف من الأصل (ملف PDF) بتاريخ 29-12-2017. 
  21. ↑ أولشاوزن، برونو أ.؛ فيلد، ديفيد ج. (1997). "الترميز المتفرق مع مجموعة أساسية مكتملة: استراتيجية تستخدمها منطقة V1؟" . أبحاث الرؤية . 37 (23): 3311-3325 . doi : 10.1016/S0042-6989(97)00169-7 . PMID 9425546. S2CID 14208692 .  
  22. 1 2 أحمد، سوبوتاي؛ هوكينز، جيف (2016). "Numenta NUPIC - تمثيلات موزعة متفرقة". arXiv : 1601.00720 [ q-bio.NC ].
  23. ↑ دي سوزا ويبر، فرانسيسكو (2015). "نظرية الطي الدلالي وتطبيقها في البصمة الدلالية". arXiv : 1511.08855 [ cs.AI ].
  24. ↑ لي، تاي سينغ؛ مامفورد، ديفيد (2002). "الاستدلال البايزي الهرمي في القشرة البصرية". مجلة الجمعية البصرية الأمريكية أ . 20 (7): 1434-1448 . CiteSeerX 10.1.1.12.2565 . doi : 10.1364/josaa.20.001434 . PMID 12868647 .  
  25. ↑ جورج، ديليب (24 يوليو 2010). "الاستدلال البايزي الهرمي في القشرة البصرية" . dileepgeorge.com . مؤرشف من الأصل في 1 أغسطس 2019.
  26. ↑ غروسبيرغ، ستيفن (2007). سيسك، بول؛ درو، تريفور؛ كالاسكا، جون (محررون). نحو نظرية موحدة للقشرة المخية الحديثة: الدوائر القشرية الطبقية للرؤية والإدراك. تقرير فني CAS/CNS-TR-2006-008. لعلم الأعصاب الحاسوبي: من الخلايا العصبية إلى النظرية والعودة (ملف PDF) (تقرير). أمستردام: إلسيفير. الصفحات 79-104 . مؤرشف من الأصل (ملف PDF) بتاريخ 29-08-2017. 
  27. ↑ "عدد مراجعة خاص" . الذكاء الاصطناعي . 169 (2): 103-212 . ديسمبر 2005. doi : 10.1016/j.artint.2005.10.001 .
  28. ↑ فوكوشيما، كونيهيكو (2007). "نيوكوجنيترون" . سكولاربيديا . 2 (1): 1717. Bibcode : 2007SchpJ...2.1717F . doi : 10.4249/scholarpedia.1717 .

للمزيد من القراءة