الذاكرة الموزعة المتفرقة

الذاكرة الموزعة المتفرقة ( SDM ) هي نموذج رياضي للذاكرة البشرية طويلة المدى قدمه بينتي كانيرفا في عام 1988 أثناء وجوده في مركز أبحاث ناسا إيمز . ^[1]

تُظهر هذه الذاكرة سلوكيات، سواء من الناحية النظرية أو التجريبية، تشبه تلك التي لم تقترب منها الآلات من قبل - على سبيل المثال، التعرف السريع على الوجوه أو الروائح، واكتشاف اتصالات جديدة بين أفكار تبدو غير ذات صلة، وما إلى ذلك. تُستخدم الذاكرة الموزعة المتفرقة لتخزين واسترجاع كميات كبيرة ( بتات ) من المعلومات دون التركيز على الدقة ولكن على تشابه المعلومات. ^[2] هناك بعض التطبيقات الحديثة في الملاحة الروبوتية ^[3] والتلاعب بالروبوت القائم على الخبرة. ^[4]${\displaystyle 2^{1000}}$

إنها ذاكرة وصول عشوائي عامة (RAM) للكلمات الثنائية الطويلة (مثل 1000 بت). تعمل هذه الكلمات كعناوين وبيانات للذاكرة. السمة الرئيسية للذاكرة هي الحساسية للتشابه. هذا يعني أنه يمكن إعادة قراءة الكلمة ليس فقط عن طريق إعطاء عنوان الكتابة الأصلي ولكن أيضًا عن طريق إعطاء عنوان قريب منه، كما يقاس بعدد البتات غير المتطابقة (أي مسافة هامينج بين عناوين الذاكرة ). ^[1]

ينفذ SDM عملية التحويل من الفضاء المنطقي إلى الفضاء المادي باستخدام تمثيل البيانات الموزعة والتخزين، على نحو مماثل لعمليات الترميز في الذاكرة البشرية. ^[5] يتم تخزين القيمة المقابلة لعنوان منطقي في العديد من العناوين المادية. هذه الطريقة في التخزين قوية وليست حتمية. لا يتم توجيه خلية الذاكرة بشكل مباشر. إذا تعرضت بيانات الإدخال (العناوين المنطقية) للتلف جزئيًا على الإطلاق، فلا يزال بإمكاننا الحصول على بيانات إخراج صحيحة. ^[6]

نظرية الذاكرة مكتملة رياضيًا ^[1] وتم التحقق منها من خلال المحاكاة الحاسوبية . وقد نشأت من ملاحظة أن المسافات بين نقاط الفضاء عالي الأبعاد تشبه علاقات القرب بين المفاهيم في الذاكرة البشرية. كما أن النظرية عملية من حيث أنه يمكن تنفيذ الذكريات القائمة عليها باستخدام عناصر ذاكرة الوصول العشوائي التقليدية . ^[7]

تميل الذاكرة البشرية إلى تجميع الذكريات بناءً على أوجه التشابه بينها (على الرغم من أنها قد لا تكون مرتبطة)، مثل "سيارات الإطفاء حمراء والتفاح أحمر". ^[8] الذاكرة الموزعة المتفرقة هي تمثيل رياضي للذاكرة البشرية، وتستخدم مساحة عالية الأبعاد للمساعدة في نمذجة كميات كبيرة من الذاكرة التي تحاكي الشبكة العصبية البشرية. ^{[9] [10]} من الخصائص المهمة لهذه المساحات عالية الأبعاد أن متجهين تم اختيارهما عشوائيًا بعيدان نسبيًا عن بعضهما البعض، مما يعني أنهما غير مرتبطين. ^[11] يمكن اعتبار SDM تحقيقًا للتجزئة الحساسة للموقع .

الفكرة الأساسية وراء نموذج الذاكرة الرقمية هي تعيين ذاكرة ثنائية ضخمة على مجموعة أصغر من المواقع المادية، والتي تسمى المواقع الصلبة . وكإرشادات عامة، يجب توزيع هذه المواقع الصلبة بشكل موحد في الفضاء الافتراضي ، لمحاكاة وجود الفضاء الافتراضي الأكبر بدقة قدر الإمكان. يتم تخزين كل بيانات موزعة على مجموعة من المواقع الصلبة، ويتم استردادها عن طريق حساب متوسط ​​هذه المواقع. لذلك، قد لا تكون عملية الاستعادة مثالية، حيث تعتمد الدقة على تشبع الذاكرة.

يعتمد اقتراح كانيرفا على أربع أفكار أساسية: ^[12]

1. تُظهر المساحة المنطقية ، أو النقاط في الأبعاد، خصائص تشبه المفاهيم البديهية لدى البشر للعلاقات بين المفاهيم. وهذا يعني أنه من المنطقي تخزين البيانات كنقط في المساحة المذكورة حيث يتم تخزين كل عنصر ذاكرة كمتجه مكون من n بت.${\displaystyle \{0,1\}^{n}}$${\displaystyle 2^{n}}$${\displaystyle 10^{0}n<10^{5}}$
2. يمكن استخدام الخلايا العصبية ذات المدخلات n كمفككات عناوين للذاكرة ذات الوصول العشوائي
3. مبدأ التوحيد: يمكن استخدام البيانات المخزنة في الذاكرة كعناوين لنفس الذاكرة. المسافة بين نقطتين هي مقياس للتشابه بين عنصرين في الذاكرة. كلما اقتربت النقاط، كلما كانت المتجهات المخزنة أكثر تشابهًا.
4. يمكن تتبع الوقت في الذاكرة كدالة لمكان تخزين البيانات، إذا تم تنظيم البيانات كتسلسلات من الأحداث.

يعمل نموذج SDM مع متجهات ذات أبعاد n بمكونات ثنائية. اعتمادًا على السياق، تسمى المتجهات نقاطًا أو أنماطًا أو عناوين أو كلمات أو عناصر ذاكرة أو بيانات أو أحداثًا. يتعلق هذا القسم في الغالب بخصائص فضاء المتجه N = . دع n يكون عدد أبعاد الفضاء. إذن، يكون عدد النقاط أو عناصر الذاكرة المحتملة هو . سنشير إلى هذا العدد بـ N وسنستخدم N و لتمثيل الفضاء نفسه أيضًا. ^[6]${\displaystyle \{0,1\}^{n}}$${\displaystyle 2^{n}}$${\displaystyle 2^{n}}$

المفاهيم المتعلقة بالفضاء ن: ${\displaystyle \{0,1\}^{n}}$^[6]

• الأصل ، 0: النقطة التي جميع إحداثياتها 0 تسمى الأصل، 0 = 000...00.
• المكمل ، 'x: المكمل، أو المقابل، للنقطة x هو مجموعة n التي تحتوي على واحدات حيث تحتوي x على أصفار والعكس صحيح.
• المعيار ، |x|: معيار النقطة x هو عدد الواحدات في تمثيلها الثنائي.
• الفرق ، x − y: الفرق بين نقطتين x وy هو ثنائي n يحتوي على واحدات حيث تختلف x وy وأصفار في مكان آخر. إنه ' حصري أو ' بتيًا: x − y = x ⊕ y. يتبادل الفرق: x − y = y − x.
• المسافة ، d(x, y) المسافة بين نقطتين x وy هي عدد الأبعاد التي تختلف عندها x وy. وتسمى مسافة هامينج (جذرها التربيعي هو المسافة الإقليدية ) ويتم التعبير عنها بالبتات. المسافة هي معيار الفرق: d(x, y) = |x − y|
• الوساطة ، x:y:z: تكون النقطة y بين النقطتين x وz إذا وفقط إذا كانت المسافة من x إلى z هي مجموع المسافات من x إلى y ومن y إلى z؛ أي أن x:y:z ⇔ d(x, z) = d(x, y) + d(y, z). ومن السهل ملاحظة أن كل بت من النقطة الواقعة بينهما هو نسخة من البت المقابل لنقطة نهاية.
• عمودية ، x ⊥ y: تكون النقطة x عمودية على النقطة y، أو تكون النقطتان متعامدتين أو غير مبالين، إذا وفقط إذا كانت المسافة بينهما نصف عدد الأبعاد: x ⊥ y ⇔ d(x, y) = n/2. تسمى المسافة n/2 مسافة اللامبالاة للفضاء N. إذا كانت x عمودية على y، فهي أيضًا عمودية على مكملها 'y (x في منتصف المسافة بين y و'y).
• الدائرة ، O(r,x) الدائرة التي نصف قطرها r ومركزها x هي مجموعة النقاط التي تبعد r بت على الأكثر عن x: O(r,x) = {y | d(x, y) ≤ r}.

خصائص الفضاء N: ${\displaystyle \{0,1\}^{n}}$^{[1] [6]}

يمكن تمثيل الفضاء N بواسطة رؤوس المكعب الوحدوي في الفضاء الإقليدي ذي الأبعاد n . تقع الرؤوس على سطح كرة ذات أبعاد n ونصف قطر (إقليدي متري) . وهذا يؤدي إلى تشبيه الكرة . سنسمي الفضاء كرويًا إذا ${\displaystyle {\sqrt {n}}/2}$

1. أي نقطة x لها معاكس فريد 'x،
2. المساحة بأكملها تقع بين أي نقطة x ونقطة x المقابلة لها، و
3. جميع النقاط "متساوية" (وهذا يعني أنه بالنسبة لأي نقطتين x وy يوجد تماثل ذاتي يحافظ على المسافة للمساحة التي تربط x بـ y، بحيث يبدو الفضاء من أي نقطة من نقاطه متشابهًا).

من الواضح أن سطح الكرة (في الفضاء الإقليدي ثلاثي الأبعاد) كروي. ووفقًا للتعريف، فإن N كروي أيضًا، لأن y ⊕ x ⊕ (...) عبارة عن تماثل ذاتي يطابق x إلى y. ولأن N كروي، فمن المفيد أن نفكر فيه باعتباره سطح كرة محيطها 2n . جميع نقاط N مؤهلة بالتساوي كنقط أصل، والنقطة ومكملها يشبهان قطبين على مسافة n من بعضهما البعض، مع وجود الفضاء بأكمله بينهما. النقاط الواقعة في منتصف المسافة بين القطبين والعمودية عليهما تشبه خط الاستواء.

توزيع المساحة N

عدد النقاط التي تبعد بالضبط d بت عن نقطة عشوائية x (على سبيل المثال، عن النقطة 0) هو عدد الطرق لاختيار إحداثيات d من إجمالي n إحداثيات، وبالتالي يتم إعطاؤها بواسطة معامل ثنائي : ${\displaystyle {\binom {n}{d}}={\frac {n!}{d!(nd)!}}}$

وبالتالي فإن توزيع N هو التوزيع الثنائي مع المعلمات n وp، حيث p = 1/2. ومتوسط ​​التوزيع الثنائي هو n/2، والتباين هو n/4. وسيتم الإشارة إلى دالة التوزيع هذه بواسطة N(d). والتوزيع الطبيعي F مع المتوسط ​​n/2 والانحراف المعياري هو تقريب جيد له: N(d) = Pr{d(x, y) ≤ d} ≅ F{(d − n / 2)/ } ${\displaystyle {\sqrt {n}}/2}$${\displaystyle {\sqrt {n/4}}}$

الميل إلى التعامد

من الخصائص المميزة لـ N أن معظمها يقع على مسافة متوسطة (غير مبالَغ فيها) تقريبًا n/2 من نقطة (ومكملها). بعبارة أخرى، فإن معظم الفضاء عمودي تقريبًا على أي نقطة معينة، وكلما كان n أكبر، كلما كان هذا التأثير أكثر وضوحًا.

يمكن اعتبار SDM إما امتدادًا قابلًا للعنونة بالمحتوى لذاكرة الوصول العشوائي الكلاسيكية (RAM) أو نوعًا خاصًا من الشبكة العصبية ثلاثية الطبقات ذات التغذية الأمامية . التعديلات الرئيسية لـ SDM على RAM هي: ^[13]

• يقوم SDM بحساب مسافات هامينج بين عنوان المرجع وكل عنوان موقع. لكل مسافة أقل من أو تساوي نصف القطر المحدد، يتم تحديد الموقع المقابل.
• يتم تمثيل الذاكرة بواسطة عدادات (حيث n هو عدد المواقع و m هو طول بيانات الإدخال) بدلاً من عناصر التخزين أحادية البت.
• الكتابة في الذاكرة، بدلاً من الكتابة فوقها، تكون على النحو التالي:
  • إذا كان بت i لبيانات الإدخال يساوي 1، يتم زيادة العدادات المقابلة (العدادات في المواقع المحددة (الصفوف) وفي الأعمدة i)،
  • إذا كان بت i لبيانات الإدخال يساوي 0، يتم تقليل العدادات المقابلة.
• القراءة (أو التذكير) من الذاكرة مشابهة:
  • يتم جمع محتويات المواقع المحددة عموديًا.
  • يتم تحديد عتبة لكل مجموع. إذا كان المجموع أكبر من أو يساوي قيمة العتبة، يتم تعيين بت الإخراج المقابل على 1، وفي الحالة المعاكسة يتم مسحه. لاحظ أن العتبات قد تكون صفرًا، إذا كانت متجهات إدخال التدريب قريبة من متجهات متعامدة.

الوصف المثالي للخلية العصبية هو كما يلي: تحتوي الخلية العصبية على جسم خلية به نوعان من الفروع: التغصنات والمحور العصبي . تتلقى الخلية العصبية إشارات الإدخال من الخلايا العصبية الأخرى عبر التغصنات، وتدمجها (تجميعها) وتولد إشارة الإخراج (الكهربائية) الخاصة بها والتي يتم إرسالها إلى الخلايا العصبية الخارجية عبر المحور العصبي. تسمى نقاط الاتصال الكهربائي بين الخلايا العصبية بالمشابك العصبية .

عندما تولد الخلية العصبية إشارة فإنها تطلق إشارات ، وبعد إطلاقها يجب أن تتعافى قبل إطلاقها مرة أخرى. تُسمى الأهمية النسبية للمشبك العصبي لإطلاق الخلية العصبية بالوزن المشبكي (أو معامل الإدخال ). هناك نوعان من المشابك العصبية: مثيرة تحفز الخلية العصبية على إطلاق الإشارات ومثبطة تعيق إطلاق الإشارات. الخلية العصبية إما مثيرة أو مثبطة وفقًا لأنواع المشابك العصبية التي يصنعها محورها العصبي. ^[14]

تنطلق الخلية العصبية عندما يتجاوز مجموع المدخلات حدًا معينًا . وكلما ارتفع الحد، زادت أهمية أن المشابك المثيرة لها مدخلات بينما المشابك المثبطة لا. ^[15] يعتمد إطلاق الخلية العصبية المستردة فعليًا على ما إذا كانت قد تلقت مدخلات مثيرة كافية (خارج الحد) وليس الكثير من المدخلات المثبطة خلال فترة زمنية معينة.

النموذج الرسمي للخلية العصبية يفترض تبسيطًا إضافيًا. ^[16] يتم نمذجة الخلية العصبية ذات المدخلات n بواسطة دالة عتبة خطية على النحو التالي: ${\displaystyle F:\{0,1\}^{n}->\{0,1\}}$

حيث أن n هو عدد المدخلات، فليكن الناتج في الوقت t : وليكن المدخل رقم i في الوقت t : وليكن وزن المدخل رقم i وليكن العتبة. ${\displaystyle i=0,...,n-1}$${\displaystyle F_{t}}$${\displaystyle F_{t}\in \{0,1\}}$${\displaystyle x_{i,t}}$${\displaystyle x_{i,t}\in \{0,1\}}$${\displaystyle w_{i}}$${\displaystyle c}$

يتم تعريف المجموع المرجح للمدخلات في الوقت t بواسطة${\displaystyle S_{t}=\مجموع _{i=0}^{n-1}w_{i}x_{i,t}}$

يتم بعد ذلك تعريف مخرجات العصبون في الوقت t كدالة منطقية : ${\displaystyle \mathbf {F} _{t}={\begin{cases}1&{\text{if }}S_{t}>=c,\\0&{\text{otherwise }}.\end{cases}}}$

حيث F _t = 1 يعني أن الخلية العصبية تطلق إشاراتها في الوقت t وF _t = 0 لا تفعل ذلك، أي أنه لكي تطلق الخلية العصبية إشاراتها يجب أن يصل المجموع المرجح إلى الحد الأقصى أو يتجاوزه. تعمل المدخلات المثيرة على زيادة المجموع وتعمل المدخلات المثبطة على تقليله.

تتلخص أطروحة كانيرفا الأساسية ^[1] في أن بعض الخلايا العصبية يمكن أن يكون لها معاملات إدخال وعتبات ثابتة طوال حياة الكائن الحي واستخدامها كمفككات عناوين حيث تحدد مجموعة n من معاملات الإدخال (النمط الذي تستجيب له الخلايا العصبية بسهولة أكبر) عنوان الذاكرة المكون من n بت، وتتحكم العتبة في حجم منطقة أنماط العناوين المماثلة التي تستجيب لها الخلية العصبية.

إن هذه الآلية مكملة للمشابك العصبية القابلة للتعديل أو الأوزان القابلة للتعديل في الشبكة العصبية ( التعلم التقاربي للمحسوسات )، حيث أن آلية الوصول الثابتة هذه ستكون إطارًا مرجعيًا دائمًا يسمح باختيار المشابك العصبية التي يتم تخزين المعلومات فيها والتي يتم استرجاعها منها في ظل مجموعة معينة من الظروف. وعلاوة على ذلك، فإن ترميز الظروف الحالية من شأنه أن يعمل كعنوان.

يتم تعريف عنوان a للخلية العصبية ذات معاملات الإدخال w حيث على أنه نمط إدخال مكون من n بت يعمل على تعظيم المجموع المرجح. يحدث الحد الأقصى عندما تكون المدخلات المثبطة أصفارًا والمدخلات المثيرة وحدًا. البت i للعنوان هو: ${\displaystyle w_{0},..,w_{n_{1}}}$

${\displaystyle \mathbf {a} _{i}={\begin{cases}1&{\text{if }}w_{i}>0,\\0&{\text{if }}w_{i}<0.\end{cases}}}$ (على افتراض أن الأوزان ليست صفرًا)

وبالتالي فإن الحد الأقصى لمجموع المرجح هو مجموع كل المعاملات الإيجابية: ${\displaystyle S(w)}$${\displaystyle S(w)=\sum _{w_{i}>0}w_{i}}$

وسوف يتوافق الحد الأدنى لمجموع الوزن مع نقطة مقابلة لعنوان العصبون a`:${\displaystyle s(w)}$${\displaystyle s(w)=\sum _{w_{i}<0}w_{i}}$

عندما تكون العتبة c ضمن النطاق، يكون خرج العصبون 0 لبعض العناوين (أنماط الإدخال) و1 لعناوين أخرى. إذا كانت العتبة أعلى من S، يكون الخرج دائمًا 0، وإذا كانت أقل من s، يكون الخرج دائمًا 1. لذا، من خلال الاختيار الصحيح للعتبة، تستجيب العصبون لعنوان واحد فقط. عندما تكون العتبة S (الحد الأقصى للمجموع المرجح)، تستجيب العصبون لعنوانها فقط وتعمل مثل فك تشفير عنوان ذاكرة الوصول العشوائي التقليدية . ${\displaystyle s(w)<c<S(w)}$

تم تصميم SDM للتعامل مع أنماط العناوين التي تمتد على مساحة عناوين هائلة (ترتيب ). يفترض SDM أن أنماط العناوين التي تصف المواقف المادية ذات الأهمية متناثرة بشكل متفرق في جميع أنحاء مساحة الإدخال. من المستحيل حجز موقع مادي منفصل يتوافق مع كل إدخال ممكن؛ ينفذ SDM عددًا محدودًا فقط من المواقع المادية أو الصلبة . يُطلق على الموقع المادي موقع ذاكرة (أو موقع صلب ). ^[7]${\displaystyle 2^{1000}}$

كل موقع صعب يرتبط به عنصرين:

• عنوان ثابت ثابت، وهو عنوان N-بت للموقع
• جزء من المحتويات يبلغ عرضه ميغا بت ويمكنه تجميع أنماط بيانات متعددة ميغا بت مكتوبة في الموقع. جزء المحتويات ليس ثابتًا؛ بل يتم تعديله بواسطة أنماط البيانات المكتوبة في الذاكرة.

في SDM يمكن تخزين كلمة في الذاكرة عن طريق كتابتها في موقع تخزين مجاني وفي نفس الوقت توفير الموقع بفك تشفير العنوان المناسب. ستختار الخلية العصبية كفك تشفير عنوان موقعًا بناءً على تشابه عنوان الموقع مع إشارة الاسترجاع. على عكس آلات تورينج التقليدية ، تستفيد SDM من الحوسبة المتوازية بواسطة فك تشفير العنوان . يعتبر مجرد الوصول إلى الذاكرة بمثابة حوسبة، ويزداد مقدارها مع حجم الذاكرة. ^[1]

متجه مكون من N بت يستخدم في الكتابة إلى الذاكرة والقراءة منها. نمط العنوان هو وصف مشفر لحالة البيئة. (على سبيل المثال N = 256).

متجه M-bit هو هدف عمليات الكتابة والقراءة. ومثل نمط العنوان، فهو وصف مشفر لحالة البيئة. (على سبيل المثال M = 256).

الكتابة هي عملية تخزين نمط بيانات في الذاكرة باستخدام نمط عنوان معين. أثناء الكتابة، يتكون الإدخال إلى الذاكرة من نمط عنوان ونمط بيانات. يتم استخدام نمط العنوان لتحديد مواقع الذاكرة الصلبة التي تقع عناوينها الصلبة ضمن مسافة قطع معينة من نمط العنوان. يتم تخزين نمط البيانات في كل من المواقع المحددة.

القراءة هي عملية استرداد نمط بيانات من الذاكرة باستخدام نمط عنوان معين. أثناء القراءة، يتم استخدام نمط العنوان لتحديد عدد معين من مواقع الذاكرة الصلبة (تمامًا كما هو الحال أثناء الكتابة). يتم جمع محتويات المواقع المحددة وحساب العتبات لاستخلاص نمط بيانات يبلغ حجمه ميجا بت. يعمل هذا كقراءة إخراجية من الذاكرة.

ترتبط جميع العناصر في قائمة واحدة (أو مصفوفة) من المؤشرات إلى مواقع الذاكرة، ويتم تخزينها في ذاكرة الوصول العشوائي (RAM). يشير كل عنوان في المصفوفة إلى سطر فردي في الذاكرة. ثم يتم إرجاع هذا السطر إذا كان مشابهًا لأسطر أخرى. يتم استخدام الخلايا العصبية كمفككات وترميز للعناوين، على غرار الطريقة التي تعمل بها الخلايا العصبية في الدماغ، وتعيد العناصر من المصفوفة التي تتطابق أو تشبه.

يتضمن نموذج كانيرفا للذاكرة مفهوم النقطة الحرجة : قبل هذه النقطة، يمكن بسهولة استرجاع عنصر مخزن مسبقًا؛ ولكن بعد هذه النقطة لا يمكن استرجاع عنصر. حسب كانيرفا هذه النقطة بشكل منهجي لمجموعة معينة من المعلمات (الثابتة). يمكن تقييم المسافة الحرجة المقابلة للذاكرة الموزعة المتفرقة تقريبًا عن طريق تقليل المعادلة التالية بالقيد و . يمكن العثور على الدليل في، ^{[17] [18]}${\displaystyle d\in N}$${\displaystyle d\leqslant n}$

${\displaystyle {\tilde {f}}(d)=\left\{{\frac {1}{2}}\cdot \left[1-N\left(z<{\frac {w\cdot shared(d)}{\sqrt {\theta }}}\right)+N\left(z<{\frac {-w\cdot shared(d)}{\sqrt {\theta }}}\right)\right]-{\frac {d}{n}}\right\}^{2}}$

أين:

• ${\displaystyle d}$: هي المسافة إلى الهدف؛
• ${\displaystyle n}$: هو عدد الأبعاد؛
• ${\displaystyle N}$: هو التوزيع الطبيعي الموحد بمتوسط ​​صفر وتباين واحد؛
• ${\displaystyle w}$: هو عدد المرات التي تمت فيها كتابة سلسلة البتات المستهدفة في الذاكرة؛
• ${\displaystyle \theta }$: هو مجموع سلاسل البتات العشوائية في جميع المواقع الثابتة التي يتم تنشيطها بواسطة عملية قراءة؛ أي حجم مجموعة الخلايا؛${\displaystyle h}$
• ${\displaystyle shared(d)}$: هو متوسط ​​عدد المواقع الصلبة المشتركة التي يتم تنشيطها من خلال وجود بتاتين من سلسلة البتات بعيدًا عن بعضهما البعض. يمكن للمرء أن يجد بعض القيم لـ SDM ذات الألف بُعد في كتاب Kanerva، الجدول 7.1، ص. 63، أو المعادلات لحساب أي SDM في الملحق ب، ص. 125 من نفس الكتاب.${\displaystyle d}$

يمكن إعادة تفسير نظام الذاكرة الترابطية باستخدام التمثيلات الموزعة المتفرقة على أنه عينة ذات أهمية ، وهي طريقة مونت كارلو لتقريب الاستدلال البايزي . ^[19] يمكن اعتبار نموذج الذاكرة الترابطية تقريب مونت كارلو لتكامل احتمالي شرطي متعدد الأبعاد . سينتج نموذج الذاكرة الترابطية استجابات مقبولة من مجموعة تدريب عندما يكون هذا التقريب صالحًا، أي عندما تحتوي مجموعة التدريب على بيانات كافية لتوفير تقديرات جيدة للاحتمالات المشتركة الأساسية وهناك عينات مونت كارلو كافية للحصول على تقدير دقيق للتكامل. ^[20]

ربما يكون الترميز المتفرق استراتيجية عامة تستخدمها الأنظمة العصبية لزيادة سعة الذاكرة. وللتكيف مع بيئاتها، يتعين على الحيوانات أن تتعلم أي المحفزات ترتبط بالمكافآت أو العقوبات وتمييز هذه المحفزات المعززة عن المحفزات المماثلة ولكن غير ذات الصلة. وتتطلب هذه المهمة تنفيذ ذكريات ارتباطية خاصة بالمحفزات حيث يستجيب عدد قليل فقط من الخلايا العصبية من بين مجموعة معينة لأي محفز معين، وتستجيب كل خلية عصبية لعدد قليل فقط من المحفزات من بين كل المحفزات المحتملة.

اقترح العمل النظري الذي أجراه كانيرفا على SDM أن الترميز المتفرق يزيد من سعة الذاكرة الترابطية من خلال تقليل التداخل بين التمثيلات. تجريبياً، لوحظت تمثيلات متفرقة للمعلومات الحسية في العديد من الأنظمة، بما في ذلك الرؤية، ^[21] والسمع، ^[22] واللمس، ^[23] والشم. ^[24] ومع ذلك، وعلى الرغم من الأدلة المتراكمة على انتشار الترميز المتفرق والحجج النظرية لأهميته، إلا أن إثبات أن الترميز المتفرق يحسن من خصوصية التحفيز للذاكرة الترابطية كان مفقودًا حتى وقت قريب.

تم تحقيق بعض التقدم في عام 2014 بواسطة مختبر جيرو ميسينبوك في جامعة أكسفورد لتحليل نظام الشم في ذبابة الفاكهة . ^[25] في ذبابة الفاكهة، يُعتقد أن ترميز الرائحة المتفرقة بواسطة خلايا كينون في جسم الفطر يولد عددًا كبيرًا من المواقع التي يمكن معالجتها بدقة لتخزين الذكريات الخاصة بالرائحة. أظهر لين وآخرون ^[26] أن الندرة يتم التحكم فيها من خلال دائرة ردود الفعل السلبية بين خلايا كينون والخلايا العصبية المزدوجة الأمامية الجانبية (APL). يُظهر التنشيط المنهجي وحصار كل ساق من دائرة ردود الفعل هذه أن خلايا كينون تنشط APL وأن APL يثبط خلايا كينون. يؤدي تعطيل حلقة ردود الفعل بين خلايا كينون وAPL إلى تقليل ندرة استجابات خلايا كينون للرائحة، ويزيد من الارتباطات بين الروائح، ويمنع الذباب من تعلم التمييز بين الروائح المتشابهة، ولكن ليست المختلفة. تشير هذه النتائج إلى أن تثبيط التغذية الراجعة يثبط نشاط خلايا كينون للحفاظ على ترميز الرائحة المتفرقة وغير المرتبطة وبالتالي خصوصية الرائحة للذكريات. أظهر منشور عام 2017 في مجلة Science ^[27] أن الدائرة الشمية للذباب تنفذ نسخة محسنة من التجزئة الحساسة للموقع الثنائي من خلال الإسقاطات العشوائية المتفرقة.

في تطبيقات الذاكرة، تكون الكلمات عبارة عن أنماط من الميزات. يتم إنتاج بعض الميزات بواسطة نظام حسي، بينما يتحكم البعض الآخر في نظام حركي. يوجد نمط حالي (مثل 1000 بت)، وهو المحتويات الحالية لتركيز النظام . تتغذى المستشعرات على التركيز، ويتم تشغيل المحركات من التركيز، ويتم الوصول إلى الذاكرة من خلال التركيز.

إن ما يحدث في العالم ـ التجربة "الذاتية" للنظام ـ يتم تمثيله داخلياً من خلال سلسلة من الأنماط في البؤرة. وتخزن الذاكرة هذا التسلسل ويمكنها إعادة إنشائه لاحقاً في البؤرة إذا تم التعامل معه بنمط مماثل للنمط الذي واجهته في الماضي. وعلى هذا فإن الذاكرة تتعلم التنبؤ بما هو على وشك الحدوث. ومن الممكن أن تكون التطبيقات الواسعة للذاكرة في الأنظمة التي تتعامل مع المعلومات من العالم الحقيقي في الوقت الحقيقي.

تتضمن التطبيقات الرؤية  - اكتشاف وتحديد الأشياء في مشهد ما وتوقع المشاهد اللاحقة - والروبوتات ، واكتشاف الإشارة والتحقق منها ، والتعلم والتحكم التكيفي . على الجانب النظري، قد يساعدنا عمل الذاكرة في فهم الذاكرة والتعلم لدى البشر والحيوانات. ^{[7] [28]}

يمكن تطبيق نموذج SDM على مشكلة العثور على أفضل تطابق لكلمة اختبار في مجموعة بيانات من الكلمات المخزنة. ^{[1] [29]} أو بعبارة أخرى، مشكلة البحث عن أقرب جار .

لنفترض وجود ذاكرة بها N موقع حيث . دع كل موقع يتسع لكلمة واحدة مكونة من n بت (على سبيل المثال N = 2 ¹⁰⁰ كلمة مكونة من 100 بت)، ودع فك تشفير العنوان يتم بواسطة N خلية عصبية لفك تشفير العنوان. اضبط عتبة كل خلية عصبية x على أقصى مجموع مرجح لها واستخدم معلمة مشتركة d لضبط جميع العتبات عند الوصول إلى الذاكرة. ستكون العتبة الفعالة للخلية العصبية x هي عندئذٍ، مما يعني أنه يمكن الوصول إلى الموقع x في كل مرة يكون فيها العنوان x ضمن d بت من العنوان المقدم إلى الذاكرة (أي العنوان الذي يحتفظ به سجل العناوين). مع لدينا ذاكرة وصول عشوائي تقليدية . افترض كذلك أن كل موقع يحتوي على بت خاص مشغول بالموقع يمكن الوصول إليه بنفس الطريقة التي يمكن بها الوصول إلى بتات البيانات العادية. يؤدي كتابة كلمة في موقع إلى تعيين هذا البت المشغول بالموقع . افترض أنه يمكن قراءة الموقع المشغول فقط. ${\displaystyle N=2^{n}}$${\displaystyle |x|}$${\displaystyle x-|d|}$${\displaystyle d=0}$

لحفظ البيانات في الذاكرة، ابدأ بضبط وإصدار أمر لمسح البت المشغول بالموقع . هذه العملية الفردية تضع علامة على كل الذاكرة على أنها غير مشغولة بغض النظر عن قيم سجل العناوين. ثم قم بضبط وكتابة كل كلمة y من مجموعة البيانات مع y نفسها كعنوان. لاحظ أن كل عملية كتابة تؤثر على موقع واحد فقط: الموقع y . وبالتالي فإن وقت التخزين يتناسب مع عدد الكلمات في مجموعة البيانات. ${\displaystyle d=n}$${\displaystyle d=0}$

يتضمن العثور على أفضل تطابق لكلمة اختبار z وضع z في سجل العناوين والعثور على أقل مسافة d يوجد بها موقع مشغول. يمكننا بدء البحث عن طريق ضبط d وزيادته على التوالي حتى يتم العثور على موقع مشغول. تعطي هذه الطريقة أوقات بحث متوسطة تتناسب مع عدد بتات العنوان أو أقل قليلاً من ^[1] لأنه من المتوقع أن يكون أقرب موقع مشغول أقل بقليل من z (مع البحث الثنائي على d سيكون هذا O(log(n)). ${\displaystyle d=0}$${\displaystyle n/2}$${\displaystyle n/2}$

مع كلمات مكونة من 100 بت، ستكون هناك حاجة إلى ²¹⁰⁰ موقع، أي ذاكرة ضخمة للغاية. ومع ذلك، إذا قمنا بإنشاء الذاكرة أثناء تخزين كلمات مجموعة البيانات، فلن نحتاج إلا إلى موقع واحد (وفك تشفير عنوان واحد) لكل كلمة من مجموعة البيانات. لا يلزم وجود أي من المواقع غير المشغولة. وهذا يمثل جانب الندرة في SDM.

يمكن تطبيق SDM في نسخ الكلام ، حيث يتكون التدريب من "الاستماع" إلى مجموعة كبيرة من اللغة المنطوقة . هناك مشكلتان صعبتان في الكلام الطبيعي هما كيفية اكتشاف حدود الكلمات وكيفية التكيف مع المتحدثين المختلفين. يجب أن تكون الذاكرة قادرة على التعامل مع كليهما. أولاً، تخزن تسلسلات الأنماط كسلاسل مؤشرات. في التدريب - في الاستماع إلى الكلام - ستبني بنية احتمالية بأعلى معدل للتفرع عند حدود الكلمات. في نسخ الكلام، يتم اكتشاف نقاط التفرع هذه وتميل إلى تقسيم التدفق إلى أجزاء تتوافق مع الكلمات. ثانيًا، حساسية الذاكرة للتشابه هي آليتها للتكيف مع المتحدثين المختلفين - والاختلافات في صوت نفس المتحدث. ^[7]

وظائف الاضمحلال

في جامعة ممفيس، ابتكر أوما رامامورثي وسيدني ك. دي ميلو وستان فرانكلين نسخة معدلة من نظام الذاكرة الموزعة المتفرقة الذي يمثل "إدراك النسيان". ويستخدم معادلة الاضمحلال لإظهار التداخل في البيانات بشكل أفضل. يوزع نظام الذاكرة الموزعة المتفرقة كل نمط في حوالي مائة من المواقع، ^{[ يحتاج إلى توضيح ]،} وبالتالي يمكن أن يؤدي التداخل إلى نتائج ضارة. ^[30]

يتم تقديم مثالين محتملين للتحلل من هذه الذاكرة الموزعة المتفرقة المعدلة

آلية الاضمحلال الأسّي:${\displaystyle \!f(x)=1+e^{-ax}}$

آلية الاضمحلال السيني المترجم السلبي:${\displaystyle f(x)=1-[{\frac {1}{1+e^{-a(x-c)}}}]}$

في دالة الاضمحلال الأسي، تقترب من الصفر بشكل أسرع مع زيادة x ، و a ثابت (عادةً بين 3-9) و c عداد. بالنسبة لدالة سيجمايد المترجمة المنفية ، يكون الاضمحلال مشابهًا لدالة الاضمحلال الأسي عندما تكون a أكبر من 4. ^[30]

عندما يقترب الرسم البياني من الصفر، فإنه يمثل كيفية نسيان الذاكرة باستخدام آليات الاضمحلال.

أشرف أنور، ستان فرانكلين، وديبانكار داسجوبتا في جامعة ممفيس؛ اقترحوا نموذجًا لتهيئة SDM باستخدام الخوارزميات الجينية والبرمجة الجينية (1999).

تستخدم الذاكرة الجينية الخوارزمية الجينية والذاكرة الموزعة المتفرقة كشبكة عصبية اصطناعية زائفة. وقد تم النظر في استخدامها في إنشاء حياة اصطناعية. ^[31]

تم تطبيق نموذج النمذجة الترابطية على التنبؤ الإحصائي ، وهي مهمة ربط متجهات الحالة الإدراكية الضخمة للغاية بالأحداث المستقبلية. في ظروف السعة القريبة أو الزائدة، حيث ينهار سلوك الذاكرة الترابطية للنموذج، يمكن تفسير المعالجة التي يقوم بها النموذج على أنها معالجة المتنبئ الإحصائي ويمكن اعتبار كل عداد بيانات في نموذج النمذجة الترابطية بمثابة تقدير مستقل للاحتمال الشرطي لدالة ثنائية f تساوي مجموعة التنشيط التي يحددها موقع ذاكرة العداد. ^[32]

• تستخدم LIDA الذاكرة الموزعة المتفرقة للمساعدة في نمذجة الإدراك في الأنظمة البيولوجية. تضع الذاكرة الموزعة المتفرقة مساحة لتذكر أو التعرف على الكائن الذي تمتلكه فيما يتعلق بأشياء أخرى. تم تطويرها من قبل ستان فرانكلين، مبتكر نظام الذاكرة الموزعة المتفرقة المعدل "إدراك النسيان". ^[33] تحتوي الذكريات العرضية والتصريحية العابرة على تمثيلات موزعة في LIDA (بناءً على نسخة معدلة من SDM ^[34] )، وهناك أدلة على أن هذا هو الحال أيضًا في الجهاز العصبي. ^[35]
• CMatie هو وكيل برمجي "واعٍ" تم تطويره لإدارة إعلانات الندوات في قسم العلوم الرياضية بجامعة ممفيس . وهو يعتمد على SDM المعزز باستخدام الخوارزميات الجينية كذاكرة ارتباطية . [ ^36]
• تستخدم الذاكرة الزمنية الهرمية نموذج البيانات الموزعة لتخزين التمثيلات الموزعة المتفرقة للبيانات.

توفر نماذج SDM مخطط تقريب وظيفة محلي خطي ، مصمم للعمل عندما يتعين تعيين مساحة إدخال (عنوان) كبيرة جدًا/عالية الأبعاد في ذاكرة مادية أصغر بكثير . بشكل عام، يمكن أن تخضع البنيات المحلية، بما في ذلك نماذج SDM، للعنة الأبعاد ، حيث قد تتطلب بعض الوظائف المستهدفة، في أسوأ الأحوال، عددًا أسيًا من الوحدات المحلية ليتم تقريبها بدقة عبر مساحة الإدخال بأكملها. ومع ذلك، يُعتقد على نطاق واسع أن معظم أنظمة صنع القرار تحتاج إلى دقة عالية فقط حول المتشعبات منخفضة الأبعاد لمساحة الحالة ، أو "طرق سريعة" مهمة للحالة. ^[37] جمع العمل في Ratitch et al. ^[38] نموذج ذاكرة نموذج SDM مع الأفكار المستمدة من التعلم القائم على الذاكرة ، والذي يوفر مقربًا يمكنه تكييف بنيته ودقته ديناميكيًا من أجل تحديد مناطق مساحة الحالة "الأكثر إثارة للاهتمام" ^[39] وتخصيص موارد ذاكرة أكثر تناسبيًا لنمذجتها بدقة.

أظهر مختبر دانا إتش بالارد ^[40] تقنية فهرسة الأشياء للأغراض العامة للرؤية الحاسوبية والتي تجمع بين مزايا تحليل المكونات الأساسية وخصائص المطابقة المواتية للمساحات عالية الأبعاد لتحقيق التعرف عالي الدقة. تستخدم خوارزمية الفهرسة نظام رؤية نشطًا بالاشتراك مع شكل معدّل من SDM وتوفر منصة لتعلم الارتباط بين مظهر الكائن وهويته.

لقد تم اقتراح العديد من التوسعات والتحسينات على SDM، على سبيل المثال:

• مساحة الذاكرة الثلاثية: يتيح هذا استخدام الذاكرة كذاكرة عرضية مؤقتة (TEM) في وكلاء البرامج المعرفية . TEM هي ذاكرة ذات خصوصية عالية واحتفاظ منخفض، تُستخدم للأحداث التي لها سمات وقت ومكان معينين. ^{[41] [42]}
• Integer SDM الذي يستخدم متجهات عددية صحيحة حسابية معيارية بدلاً من المتجهات الثنائية. يعمل هذا الامتداد على تحسين قدرات التمثيل للذاكرة وهو أكثر قوة من خلال التطبيع. يمكن أيضًا تمديده لدعم النسيان وتخزين التسلسل الموثوق به. ^[11]
• استخدام متجهات الكلمات ذات الحجم الأكبر من متجهات العناوين: تحافظ هذه الإضافة على العديد من الخصائص المرغوبة في SDM الأصلية: القدرة على الارتباط التلقائي، وإمكانية توجيه المحتوى، والتخزين الموزع، والمتانة في مواجهة المدخلات المشوشة. بالإضافة إلى ذلك، تضيف وظيفة جديدة، مما يتيح تخزينًا ارتباطيًا تلقائيًا فعالًا لتسلسلات المتجهات، بالإضافة إلى هياكل البيانات الأخرى مثل الأشجار. ^[43]
• بناء نموذج SDM من الخلايا العصبية المسننة : على الرغم من التشابه البيولوجي لنموذج SDM، إلا أن معظم العمل الذي تم إجراؤه لإثبات قدراته حتى الآن استخدم نماذج عصبية اصطناعية للغاية تجرد السلوك الفعلي للخلايا العصبية في الدماغ . اقترح العمل الأخير الذي أجراه مختبر ستيف فوربر في جامعة مانشستر ^{[44] [45] [46]} تعديلات على نموذج SDM، على سبيل المثال عن طريق دمج رموز رتبة N-of-M ^{[47] [48]} في كيفية ترميز مجموعات الخلايا العصبية للمعلومات - مما قد يجعل من الممكن بناء متغير لنموذج SDM من مكونات معقولة بيولوجيًا. تم دمج هذا العمل في SpiNNaker (هندسة الشبكات العصبية المسننة) التي تُستخدم كمنصة الحوسبة العصبية لمشروع الدماغ البشري . ^[49]
• التوزيع غير العشوائي للمواقع: ^{[50] [51]} على الرغم من أن مواقع التخزين موزعة عشوائيًا في البداية في مساحة العنوان الثنائي N، فإن التوزيع النهائي للمواقع يعتمد على أنماط الإدخال المقدمة، وقد يكون غير عشوائي مما يسمح بمرونة وتعميم أفضل . يتم تخزين نمط البيانات أولاً في المواقع الأقرب إلى عنوان الإدخال. ثم تنتشر الإشارة (أي نمط البيانات) في جميع أنحاء الذاكرة، وتضيع نسبة صغيرة من قوة الإشارة (مثل 5٪) في كل موقع لاحق يتم مواجهته. يؤدي توزيع الإشارة بهذه الطريقة إلى إزالة الحاجة إلى نصف قطر القراءة / الكتابة المحدد، وهي إحدى السمات الإشكالية لـ SDM الأصلي. لا تتلقى جميع المواقع المحددة في عملية الكتابة الآن نسخة من النمط الثنائي الأصلي بنفس القوة. بدلاً من ذلك، تتلقى نسخة من النمط المرجح بقيمة حقيقية من 1.0-> 0.05 لتخزينها في عدادات ذات قيمة حقيقية (بدلاً من العدادات الثنائية في SDM الخاص بـ Kanerva). وهذا يكافئ المواقع الأقرب بقوة إشارة أكبر، ويستخدم البنية الطبيعية لـ SDM للتخفيف من قوة الإشارة. وعلى نحو مماثل، عند القراءة من الذاكرة، يتم إعطاء الناتج من المواقع الأقرب وزنًا أكبر من الناتج من المواقع الأبعد. وتسمح طريقة الإشارة الجديدة باستخدام قوة الإشارة الإجمالية التي يتلقاها موقع ما كمقياس لملاءمة الموقع، وهي مرنة لتغير المدخلات (حيث لا يتعين تغيير عامل الخسارة لأنماط الإدخال ذات الأطوال المختلفة).
• SDMSCue (ذاكرة موزعة متفرقة للإشارات الصغيرة): قدم أشرف أنور وستان فرانكلين في جامعة ممفيس نوعًا مختلفًا من SDM قادرًا على التعامل مع الإشارات الصغيرة؛ وهو SDMSCue في عام 2002. الفكرة الأساسية هي استخدام عمليات قراءة/كتابة متعددة، وإسقاطات مساحة للوصول إلى إشارة أطول على التوالي. ^[52]

• طريقة وجهاز لنظام ذاكرة موزعة متفرقة US 5113507 A، رابطة أبحاث الفضاء بالجامعات ، 1992 ^[53]
• طريقة وجهاز لتخزين واسترجاع المعلومات باستخدام نظام ذاكرة كانيرفا US 5829009 A, Texas Instruments , 1998 ^[54]
• الذاكرة الرقمية، فوربر، ستيفن. الولايات المتحدة 7512572 B2، 2009 ^[55]

This section's use of external links may not follow Wikipedia's policies or guidelines. Please improve this article by removing excessive or inappropriate external links, and converting useful links where appropriate into footnote references. (February 2023) (Learn how and when to remove this message)

• رموز المتجهات الثنائية في لغة C (CBVS): تتضمن تنفيذ SDM في لغة C كجزء من بنية الرمز المتجهي ^[56] التي طورتها EISLAB في جامعة لوليا للتكنولوجيا : http://pendicular.net/cbvs.php مؤرشف في 2015-09-25 على موقع Wayback Machine ^[57]
• تتضمن مجموعة أدوات CommonSense ToolKit (CSTK) لمعالجة بيانات المستشعر في الوقت الفعلي والتي تم تطويرها في جامعة لانكستر تنفيذ SDM في C++ : http://cstk.sourceforge.net/ ^[58]
• تنفيذ جوليا بواسطة بريان هايز : https://github.com/bit-player/sdm-julia ^[59]
• يتضمن برنامج Learning Intelligent Distribution Agent (LIDA) الذي طوره مختبر Stan Franklin في جامعة ممفيس تنفيذ SDM في Java : http://ccrg.cs.memphis.edu/framework.html
• تنفيذ بايثون : https://github.com/msbrogli/sdm ^[60]
• تنفيذ Python و OpenCL : https://github.com/msbrogli/sdm-framework ^[60]
• تنفيذ APL ^[61]
• تنفيذ LISP لجهاز الاتصال ^[62]
• تنفيذ FPGA ^[63]
• التنفيذ الأصلي للأجهزة الذي طورته وكالة ناسا ^[7]
• تم تنفيذ هذا المشروع بلغة C في معهد أبحاث علوم الكمبيوتر المتقدمة في وكالة ناسا إيمز ^[64]

• الذاكرة الترابطية الذاتية
• وحدة تحكم في مفصل نموذج المخيخ
• شبكات الذاكرة الديناميكية
• الذاكرة الترابطية الهولوغرافية
• كود التحقق من التكافؤ منخفض الكثافة
• شبكات الذاكرة
• إطار عمل التنبؤ بالذاكرة
• الترميز العصبي
• آلة تورينج العصبية
• الفهرسة العشوائية
• خريطة ذاتية التنظيم
• الطي الدلالي
• الذاكرة الدلالية
• الشبكة الدلالية
• مُرمِّزات تلقائية مكدسة
• نظرية الفهرسة البصرية