حاسوب عصبي قابل للتفاضل

في مجال الذكاء الاصطناعي ، يُعدّ الحاسوب العصبي التفاضلي ( DNC ) بنية شبكة عصبية مُعززة بالذاكرة (MANN)، وهي عادةً (ولكن ليس بالضرورة) متكررة في تطبيقها. نُشر هذا النموذج في عام 2016 بواسطة أليكس غريفز وآخرين من شركة ديب مايند . ^{[ 1 ]}

يستلهم DNC بشكل غير مباشر من بنية فون نيومان ، مما يجعله من المرجح أن يتفوق على البنى التقليدية في المهام التي هي خوارزمية بشكل أساسي والتي لا يمكن تعلمها من خلال إيجاد حدود القرار .

حتى الآن، أثبتت الشبكات العصبية الديناميكية قدرتها على التعامل مع مهام بسيطة نسبيًا، يمكن حلها باستخدام البرمجة التقليدية. لكن هذه الشبكات لا تحتاج إلى برمجة لكل مشكلة على حدة، بل يمكن تدريبها. يتيح هذا المدى الانتباهي للمستخدم إدخال هياكل بيانات معقدة ، مثل الرسوم البيانية، بشكل متسلسل، واسترجاعها لاستخدامها لاحقًا. علاوة على ذلك، يمكنها تعلم جوانب من الاستدلال الرمزي وتطبيقها على الذاكرة العاملة. يرى الباحثون الذين نشروا هذه الطريقة إمكانية واعدة لتدريب الشبكات العصبية الديناميكية على أداء مهام معقدة ومنظمة ^{[ 1 ] [ 2 ]} ، ومعالجة تطبيقات البيانات الضخمة التي تتطلب نوعًا من الاستدلال، مثل إنشاء تعليقات الفيديو أو تحليل النصوص الدلالي ^{[ 3 ] [ 4 ] .}

يمكن تدريب شبكة DNC على التنقل في أنظمة النقل السريع ، وتطبيق هذه الشبكة على نظام مختلف. عادةً ما يتعين على الشبكة العصبية التي لا تمتلك ذاكرة أن تتعلم كل نظام نقل من الصفر. في مهام اجتياز الرسوم البيانية ومعالجة التسلسلات باستخدام التعلم الخاضع للإشراف ، تفوقت شبكات DNC على البدائل مثل الذاكرة طويلة المدى أو آلة تورينج العصبية . ^{[ 5 ]} باستخدام نهج التعلم المعزز لحل مشكلة أحجية المكعبات المستوحاة من SHRDLU ، تم تدريب شبكة DNC عبر التعلم المنهجي، وتعلمت وضع خطة . وقد تفوقت على الشبكة العصبية المتكررة التقليدية . ^{[ 5 ]}

طُرحت شبكات DNC كامتداد لآلة تورينج العصبية (NTM)، مع إضافة آليات انتباه الذاكرة التي تتحكم في مكان تخزين الذاكرة، والانتباه الزمني الذي يسجل ترتيب الأحداث. يتيح هذا الهيكل لشبكات DNC أن تكون أكثر قوة وتجريدًا من آلة تورينج العصبية، مع قدرتها على أداء مهام ذات تبعيات طويلة المدى مقارنةً ببعض النماذج السابقة مثل الذاكرة طويلة المدى ( LSTM ). يمكن تخصيص الذاكرة، وهي عبارة عن مصفوفة، ديناميكيًا والوصول إليها بشكل غير محدود. تتميز شبكة DNC بقابلية التفاضل من البداية إلى النهاية (كل مكون فرعي من النموذج قابل للتفاضل، وبالتالي فإن النموذج بأكمله قابل للتفاضل). هذا يُمكّن من تحسينها بكفاءة باستخدام خوارزمية التدرج الهبوطي . ^{[ 3 ] [ 6 ] [ 7 ]}

يشابه نموذج DNC بنية فون نيومان ، وبسبب إمكانية تغيير حجم الذاكرة، فهو كامل تورينج . ^{[ 8 ]}

اللجنة الوطنية الديمقراطية التقليدية

اللجنة الوطنية الديمقراطية، كما نُشرت أصلاً ^{[ 1 ]}

المتغيرات المستقلة
${\displaystyle \mathbf {x} _{t}}$	متجه الإدخال
${\displaystyle \mathbf {z} _{t}}$	ناقل الهدف
وحدة التحكم
${\displaystyle {\boldsymbol {\chi }}_{t}=[\mathbf {x} _{t};\mathbf {r} _{t-1}^{1};\cdots$ ;\mathbf {r} _{t-1}^{R}]}	مصفوفة إدخال وحدة التحكم
LSTM عميق (متعدد الطبقات)	${\displaystyle \forall \;0\leq l\leq L}$
$//$	متجه بوابة الإدخال
${\displaystyle \mathbf {o} _{t}^{l}=\sigma (W_{o}^{l}[{\boldsymbol {\chi }}_{t};\mathbf {h} _{t-1}^{l};\mathbf {h} _{t}^{l-1}]+\mathbf {b} _{o}^{l})}$	متجه بوابة الإخراج
${\displaystyle \mathbf {f} _{t}^{l}=\sigma (W_{f}^{l}[{\boldsymbol {\chi }}_{t};\mathbf {h} _{t-1}^{l};\mathbf {h} _{t}^{l-1}]+\mathbf {b} _{f}^{l})}$	متجه بوابة النسيان
${\displaystyle \mathbf {s} _{t}^{l}=\mathbf {f} _{t}^{l}\mathbf {s} _{t-1}^{l}+\mathbf {i} _{t}^{l}\tanh(W_{s}^{l}[{\boldsymbol {\chi }}_{t};\mathbf {h} _{t-1}^{l};\mathbf {h} _{t}^{l-1}]+\mathbf {b} _{s}^{l})}$	متجه بوابة الولاية،${\displaystyle s_{0}=0}$
${\displaystyle \mathbf {h} _{t}^{l}=\mathbf {o} _{t}^{l}\tanh(\mathbf {s} _{t}^{l})}$	متجه بوابة مخفية،${\displaystyle h_{0}=0;h_{t}^{0}=0\;\forall \;t}$
${\displaystyle \mathbf {y} _{t}=W_{y}[\mathbf {h} _{t}^{1};\cdots$ ;\mathbf {h} _{t}^{L}]+W_{r}[\mathbf {r} _{t}^{1};\cdots  ;\mathbf {r} _{t}^{R}]}	متجه خرج DNC
قراءة وكتابة العناوين
${\displaystyle \xi _{t}=W_{\xi }[h_{t}^{1};\cdots ;h_{t}^{L}]}$	معلمات الواجهة
${\displaystyle =[\mathbf {k} _{t}^{r,1};\cdots$ ;\mathbf {k} _{t}^{r,R};{\hat {\beta }}_{t}^{r,1};\cdots  ;{\hat {\beta }}_{t}^{r,R};\mathbf {k} _{t}^{w};{\hat {\beta _{t}^{w}}};\mathbf {\hat {e}} _{t};\mathbf {v} _{t};{\hat {f_{t}^{1}}};\cdots  ;{\hat {f_{t}^{R}}};{\hat {g}}_{t}^{a};{\hat {g}}_{t}^{w};{\hat {\boldsymbol {\pi }}}_{t}^{1};\cdots  ;{\hat {\boldsymbol {\pi }}}_{t}^{R}]}
رؤوس القراءة	${\displaystyle \forall \;1\leq i\leq R}$
${\displaystyle \mathbf {k} _{t}^{r,i}}$	مفاتيح القراءة
${\displaystyle \beta _{t}^{r,i}={\text{oneplus}}({\hat {\beta }}_{t}^{r,i})}$	اقرأ نقاط القوة
${\displaystyle f_{t}^{i}=\sigma ({\hat {f}}_{t}^{i})}$	بوابات مجانية
${\displaystyle {\boldsymbol {\pi }}_{t}^{i}={\text{softmax}}({\hat {\boldsymbol {\pi }}}_{t}^{i})}$	أوضاع القراءة،${\displaystyle {\boldsymbol {\pi }}_{t}^{i}\in \mathbb {R} ^{3}}$
رأس الكتابة
${\displaystyle \mathbf {k} _{t}^{w}}$	مفتاح الكتابة
${\displaystyle \beta _{t}^{w}={\hat {\beta }}_{t}^{w}}$	قوة الكتابة
${\displaystyle \mathbf {e} _{t}=\sigma (\mathbf {\hat {e}} _{t})}$	مسح المتجه
${\displaystyle \mathbf {v} _{t}}$	متجه الكتابة
${\displaystyle g_{t}^{a}=\sigma ({\hat {g}}_{t}^{a})}$	بوابة التخصيص
${\displaystyle g_{t}^{w}=\sigma ({\hat {g}}_{t}^{w})}$	بوابة الكتابة
ذاكرة
${\displaystyle M_{t}=M_{t-1}\circ (E-\mathbf {w} _{t}^{w}\mathbf {e} _{t}^{\intercal })+\mathbf {w} _{t}^{w}\mathbf {v} _{t}^{\intercal }}$	مصفوفة الذاكرة، مصفوفة من الآحاد${\displaystyle E\in \mathbb {R} ^{N\times W}}$
${\displaystyle \mathbf {u} _{t}=(\mathbf {u} _{t-1}+\mathbf {w} _{t-1}^{w}-\mathbf {u} _{t-1}\circ \mathbf {w} _{t-1}^{w})\circ {\boldsymbol {\psi }}_{t}}$	متجه الاستخدام
${\displaystyle \mathbf {p} _{t}=\left(1-\sum _{i}\mathbf {w} _{t}^{w}[i]\right)\mathbf {p} _{t-1}+\mathbf {w} _{t}^{w}}$	ترجيح الأسبقية،${\displaystyle \mathbf {p} _{0}=\mathbf {0} }$
${\displaystyle L_{t}=(\mathbf {1} -\mathbf {I} )\left[(1-\mathbf {w} _{t}^{w}[i]-\mathbf {w} _{t}^{w}[j])L_{t-1}[i,j]+\mathbf {w} _{t}^{w}[i]\mathbf {p} _{t-1}^{j}\right]}$	مصفوفة الارتباط الزمني،${\displaystyle L_{0}=\mathbf {0} }$
${\displaystyle \mathbf {w} _{t}^{w}=g_{t}^{w}[g_{t}^{a}\mathbf {a} _{t}+(1-g_{t}^{a})\mathbf {c} _{t}^{w}]}$	كتابة الترجيح
${\displaystyle \mathbf {w} _{t}^{r,i}={\boldsymbol {\pi }}_{t}^{i}[1]\mathbf {b} _{t}^{i}+{\boldsymbol {\pi }}_{t}^{i}[2]c_{t}^{r,i}+{\boldsymbol {\pi }}_{t}^{i}[3]f_{t}^{i}}$	قراءة الوزن
${\displaystyle \mathbf {r} _{t}^{i}=M_{t}^{\intercal }\mathbf {w} _{t}^{r,i}}$	قراءة المتجهات
${\displaystyle {\mathcal {C}}(M,\mathbf {k} ,\beta )[i]={\frac {\exp\{{\mathcal {D}}(\mathbf {k} ,M[i,\cdot ])\beta \}}{\sum _{j}\exp\{{\mathcal {D}}(\mathbf {k} ,M[j,\cdot ])\beta \}}}}$	العنونة القائمة على المحتوى ، مفتاح البحث${\displaystyle \mathbf {k} }$، نقطة قوة رئيسية${\displaystyle \beta }$
${\displaystyle \phi _{t}}$	مؤشرات${\displaystyle \mathbf {u} _{t}}$مرتبة حسب ترتيب الاستخدام تصاعديًا
${\displaystyle \mathbf {a} _{t}[\phi _{t}[j]]=(1-\mathbf {u} _{t}[\phi _{t}[j]])\prod _{i=1}^{j-1}\mathbf {u} _{t}[\phi _{t}[i]]}$	ترجيح التخصيص
${\displaystyle \mathbf {c} _{t}^{w}={\mathcal {C}}(M_{t-1},\mathbf {k} _{t}^{w},\beta _{t}^{w})}$	ترجيح المحتوى
${\displaystyle \mathbf {c} _{t}^{r,i}={\mathcal {C}}(M_{t-1},\mathbf {k} _{t}^{r,i},\beta _{t}^{r,i})}$	وزن محتوى القراءة
${\displaystyle \mathbf {f} _{t}^{i}=L_{t}\mathbf {w} _{t-1}^{r,i}}$	الترجيح الأمامي
${\displaystyle \mathbf {b} _{t}^{i}=L_{t}^{\intercal }\mathbf {w} _{t-1}^{r,i}}$	الترجيح العكسي
${\displaystyle {\boldsymbol {\psi }}_{t}=\prod _{i=1}^{R}\left(\mathbf {1} -f_{t}^{i}\mathbf {w} _{t-1}^{r,i}\right)}$	ناقل الاحتفاظ بالذاكرة
التعريفات
${\displaystyle \mathbf {W} ,\mathbf {b} }$	مصفوفة الأوزان ، متجه الانحياز
${\displaystyle \mathbf {0} ,\mathbf {1} ,\mathbf {I} }$	مصفوفة الأصفار، مصفوفة الآحاد، مصفوفة الوحدة
${\displaystyle \circ }$	الضرب العنصري
${\displaystyle {\mathcal {D}}(\mathbf {u} ,\mathbf {v} )={\frac {\mathbf {u} \cdot \mathbf {v} }{\|\mathbf {u} \|\|\mathbf {v} \|}}}$	تشابه جيب التمام
${\displaystyle \sigma (x)=1/(1+e^{-x})}$	دالة سيجمويد
${\displaystyle {\text{oneplus}}(x)=1+\log(1+e^{x})}$	وظيفة ون بلس
${\displaystyle {\text{softmax}}(\mathbf {x} )_{j}={\frac {e^{x_{j}}}{\sum _{k=1}^{K}e^{x_{k}}}}}$  لـ j = 1، ... ، K.	دالة سوفتماكس

• البرمجة التفاضلية

• دليل تفصيلي للمعادلات التي تحكم الحواسيب العصبية التفاضلية
• شبكة DeepMind العصبية القابلة للتفاضل تفكر بعمق