شبكة عصبية بيانية

📅 آخر تحديث: ٢٧ يوليو ٢٠٢٦
✍️ نُشر في: ٢٧ يوليو ٢٠٢٦
📷 يحتوي على 78 صور
الموسوعة الحرة

الشبكات العصبية البيانية ( GNNs ) هي شبكات عصبية اصطناعية مصممة للمهام التي تكون مدخلاتها عبارة عن رسوم بيانية . [ 1 ] [ 2 ] [ 3 ] [ 4 ] [ 5 ]

نظرًا لأن الرسوم البيانية عادةً لا تملك ترتيبًا قياسيًا لعقدها، تُصمم بنى الشبكات العصبية الرسومية (GNN) عادةً لتكون متغيرة بالتبديل : أي أن إعادة ترتيب العقد في المدخلات يُعيد ترتيب تمثيلات العقد المقابلة بنفس الطريقة. بالنسبة لمهام التنبؤ على مستوى الرسم البياني، تستخدم الشبكات العصبية الرسومية عادةً دالة قراءة ثابتة بالتبديل، حيث لا يتغير ناتجها بتغير ترتيب العقد. [ 6 ]

يُعدّ تصميم الأدوية الجزيئية مثالًا بارزًا على ذلك . [ 7 ] [ 8 ] [ 9 ] يمكن تمثيل الجزيئات برسوم بيانية، حيث تمثل العقد الذرات والحواف الروابط الذرية، وغالبًا ما تتضمن خصائص كيميائية معروفة. وبالتالي، قد تختلف المدخلات في الحجم نظرًا لاختلاف عدد الذرات والروابط. ومن المهام على مستوى الرسم البياني التنبؤ بفعالية جزيء معين لتطبيق طبي محدد، مثل القضاء على بكتيريا الإشريكية القولونية .

يُعدّ استخدام تمرير الرسائل الثنائي العنصر التصميمي الأساسي في الشبكات العصبية الرسومية (GNNs) ، حيث تُحدّث عُقد الرسم البياني تمثيلاتها بشكل متكرر من خلال تبادل المعلومات مع جيرانها. وقد اقتُرحت العديد من بنى الشبكات العصبية الرسومية [ 2 ] [ 3 ] [ 10 ] [ 11 ] [ 12 ] ، والتي تُطبّق أنواعًا مختلفة من تمرير الرسائل [ 6 ] [ 13 ]، بدءًا من المناهج التكرارية [ 2 ] أو البنائية الالتفافية [ 3 ] . وقد جادلت ورقة بحثية نُشرت عام 2022 بأن العديد من البنى التي وُصفت بأنها تتجاوز تمرير الرسائل يُمكن تفسيرها بدلًا من ذلك على أنها تمرير رسائل عبر رسوم بيانية مُعدّلة بشكل مناسب، واقترحت مصطلح "تمرير الرسائل المُعزّز" لهذه المناهج [ 14 ] .

المكونات الأساسية لشبكة عصبية بيانية (GNN).(1){\displaystyle (1)}طبقة التبديل المتغيرة.(2){\displaystyle (2)}طبقة تجميع محلية.(3){\displaystyle (3)}طبقة التجميع العالمي (أو طبقة القراءة). تشير الألوان إلى المعالم .

في موضوع " التعلم العميق الهندسي " بشكل عام، يمكن تفسير بعض بنى الشبكات العصبية الحالية على أنها شبكات عصبية هندسية تعمل على رسوم بيانية محددة بشكل مناسب. [ 6 ] في سياق رؤية الحاسوب ، يمكن اعتبار طبقة الشبكة العصبية الالتفافية شبكة عصبية هندسية مطبقة على رسوم بيانية تكون عقدها عبارة عن وحدات بكسل ، وترتبط وحدات البكسل المتجاورة فقط بالحواف في الرسم البياني. أما طبقة المحولات ، في معالجة اللغة الطبيعية ، فيمكن اعتبارها شبكة عصبية هندسية مطبقة على رسوم بيانية كاملة تكون عقدها عبارة عن كلمات أو رموز في نص لغوي طبيعي .

تشمل مجالات التطبيق ذات الصلة بشبكات الرسوم البيانية العصبية معالجة اللغة الطبيعية ، [ 15 ] والشبكات الاجتماعية ، [ 16 ] وشبكات الاستشهاد ، [ 17 ] وعلم الأحياء الجزيئي ، [ 18 ] والكيمياء ، [ 19 ] [ 20 ] والفيزياء ، [ 21 ] ومسائل التحسين التوافقي الصعبة من نوع NP . [ 22 ]

تتضمن مكتبات المصادر المفتوحة التي تنفذ الشبكات العصبية الرسومية PyTorch Geometric [ 23 ] ( PyTorch )، وTensorFlow GNN [ 24 ] ( TensorFlow )، وDeep Graph Library [ 25 ] (مستقلة عن الإطار)، وjraph [ 26 ] ( Google JAX )، وGraphNeuralNetworks.jl [ 27 ] /GeometricFlux.jl [ 28 ] ( Julia ، Flux ).

بنيان

تُنفذ بنية الشبكة العصبية الرسومية العامة الطبقات الأساسية التالية : [ 6 ]

  1. الطبقات المتغيرة بالتبديل : تقوم هذه الطبقات بتحويل تمثيل الرسم البياني إلى تمثيل مُحدَّث لنفس الرسم البياني. في الأدبيات، تُنفَّذ هذه الطبقات عبر تمرير الرسائل بين عُقد الرسم البياني. [ 6 ] [ 14 ] وبشكلٍ بديهي، في طبقة تمرير الرسائل، تُحدِّث العُقد تمثيلاتها بتجميع الرسائل المُستلمة من جيرانها المُباشرين. وبذلك، تُزيد كل طبقة تمرير رسائل مجال استقبال الشبكة العصبية الرسومية بمقدار قفزة واحدة.
  2. التجميع المحلي : تعمل طبقة التجميع المحلي على تقليل دقة الرسم البياني عبر تقليل حجمه . يُستخدم التجميع المحلي لزيادة مجال الاستقبال في شبكة الرسوم البيانية العصبية، على غرار طبقات التجميع في الشبكات العصبية الالتفافية . تشمل الأمثلة تجميع أقرب k جار ، وتجميع أعلى k جار، [ 29 ] وتجميع الانتباه الذاتي. [ 30 ]
  3. التجميع العالمي : توفر طبقة التجميع العالمي، والمعروفة أيضًا بطبقة القراءة ، تمثيلًا ثابت الحجم للرسم البياني بأكمله. يجب أن تكون طبقة التجميع العالمي ثابتةً بغض النظر عن التبديلات، بحيث لا تؤثر التبديلات في ترتيب عقد الرسم البياني وحوافه على الناتج النهائي. [ 31 ] تشمل الأمثلة الجمع والمتوسط ​​والقيمة القصوى لكل عنصر.

لا تتجاوز قدرة شبكات GNN القياسية التي تعتمد على تمرير الرسائل اختبارَ تماثل الرسم البياني لـ Weisfeiler Leman . [ 32 ] [ 33 ] عمليًا، يعني هذا وجود هياكل رسوم بيانية مختلفة لا تستطيع شبكات GNN تمييزها. ويمكن تصميم شبكات GNN أكثر قوة تعمل على هندسات ذات أبعاد أعلى، مثل المجمعات التبسيطية . [ 34 ] [ 35 ] [ 13 ] اعتبارًا من عام 2022يبقى ما إذا كانت البنى المستقبلية ستتغلب على آلية تمرير الرسائل الأساسية أم لا سؤالاً بحثياً مفتوحاً. [ 14 ]

الرسوم البيانية غير المتماثلة التي لا يمكن تمييزها بواسطة شبكة عصبية رسومية (GNN) بسبب قيود اختبار تماثل الرسوم البيانية لـ Weisfeiler-Lehman. تشير الألوان إلى خصائص العقد .

طبقات تمرير الرسائل

تحديث تمثيل العقدة في طبقة شبكة عصبية تمرير الرسائل (MPNN). العقدةx0{\displaystyle \mathbf {x} _{0}}يستقبل الرسائل المرسلة من جميع جيرانه المباشرينx1{\displaystyle \mathbf {x} _{1}}لx4{\displaystyle \mathbf {x} _{4}}يتم حساب الرسائل بواسطة دالة الرسائلψ{\displaystyle \psi }وهذا يفسر خصائص كل من المرسل والمستقبل.

طبقات تمرير الرسائل هي طبقات متغيرة بالتبديل تقوم بتحويل الرسم البياني إلى تمثيل محدّث لنفس الرسم البياني. ويمكن التعبير عنها رسميًا كشبكات عصبية لتمرير الرسائل (MPNNs). [ 6 ]

يتركجي=(V،هـ){\displaystyle G=(V,E)}ليكن رسمًا بيانيًا ، حيثV{\displaystyle V}هي مجموعة العقد وهـ{\displaystyle E}هي مجموعة الحواف.شمالu{\displaystyle N_{u}}ليكن جوار عقدة ماu∈V{\displaystyle u\in V}بالإضافة إلى ذلك، دعxu{\displaystyle \mathbf {x} _{u}}خصائص العقدة​u∈V{\displaystyle u\in V}، وهـuv{\displaystyle \mathbf {e} _{uv}}كن سمات الحافة(u،v)∈هـ{\displaystyle (u,v)\in E}يمكن التعبير عن طبقة MPNN على النحو التالي: [ 6 ]

حu=ϕ(xu،⨁v∈شمالuψ(xu،xv،هـuv)){\displaystyle \mathbf {h} _{u}=\phi \left(\mathbf {x} _{u},\bigoplus _{v\in N_{u}}\psi (\mathbf {x} _{u},\mathbf {x} _{v},\mathbf {e} _{uv})\right)}

أينϕ{\displaystyle \phi }وψ{\displaystyle \psi }هي دوال قابلة للتفاضل (مثل الشبكات العصبية الاصطناعية )، و⨁{\displaystyle \bigoplus }هو عامل تجميع ثابت لا يتأثر بالتبديل ، ويمكنه قبول عدد غير محدد من المدخلات (مثل مجموع العناصر، أو المتوسط، أو القيمة القصوى). على وجه الخصوص،ϕ{\displaystyle \phi }وψ{\displaystyle \psi }يُشار إليهما بوظائف التحديث والرسائل ، على التوالي. وبشكل بديهي، في وحدة حسابية لشبكة عصبية متعددة النقاط، تقوم عقد الرسم البياني بتحديث تمثيلاتها من خلال تجميع الرسائل الواردة من جيرانها.

تمثل مخرجات طبقة واحدة أو أكثر من طبقات شبكة MPNN تمثيلات العقد.حu{\displaystyle \mathbf {h} _{u}}لكل عقدةu∈V{\displaystyle u\in V}في الرسم البياني. يمكن استخدام تمثيلات العقد لأي مهمة لاحقة، مثل تصنيف العقد/الرسم البياني أو التنبؤ بالحواف.

تقوم عقد الرسم البياني في شبكة MPNN بتحديث تمثيلها من خلال تجميع المعلومات من جيرانها المباشرين. وعلى هذا النحو، فإن التكديسن{\displaystyle n}تعني طبقات MPNN أن عقدة واحدة ستكون قادرة على التواصل مع عقد أخرى على الأكثرن{\displaystyle n}"قفزات" بعيدة. من حيث المبدأ، لضمان حصول كل عقدة على معلومات من كل عقدة أخرى، يلزم تكديس عدد من طبقات الشبكة العصبية متعددة الطبقات (MPNN) يساوي قطر الرسم البياني . مع ذلك، قد يؤدي تكديس العديد من طبقات MPNN إلى مشاكل مثل التنعيم المفرط [ 36 ] والضغط المفرط [ 37 ] . يشير التنعيم المفرط إلى مشكلة عدم إمكانية تمييز تمثيلات العقد. أما الضغط المفرط فيشير إلى عنق الزجاجة الناتج عن ضغط التبعيات طويلة المدى في تمثيلات ذات حجم ثابت. يمكن التخفيف من التنعيم المفرط باستخدام تدابير مضادة مثل وصلات التخطي [ 11 ] [ 38 ] (كما في الشبكات العصبية المتبقية )، وقواعد التحديث المُقيدة [ 39 ] ، ومعرفة القفز [ 40 ] . كما يمكن التخفيف من الضغط المفرط في المشاكل التي تتطلب تبعيات طويلة المدى عن طريق تعديل الطبقة الأخيرة لتكون طبقة متجاورة تمامًا، أي باعتبار الرسم البياني رسمًا بيانيًا كاملًا . [ 37 ]

تم تطوير "نكهات" أخرى من MPNN في الأدبيات، [ 6 ] مثل شبكات الالتفاف البياني [ 10 ] وشبكات الانتباه البياني، [ 12 ] والتي يمكن التعبير عن تعريفاتها من حيث الشكلية MPNN.

شبكة الالتفاف البياني

تم تقديم شبكة الالتفاف البياني (GCN) لأول مرة بواسطة توماس كيبف وماكس ويلينج في عام 2017. [ 10 ]

تُعرّف طبقة GCN تقريبًا من الدرجة الأولى لمرشح طيفي موضعي على الرسوم البيانية. ويمكن فهم GCNs على أنها تعميم للشبكات العصبية الالتفافية على البيانات ذات البنية الرسومية.

يُكتب التعبير الرسمي لطبقة GCN على النحو التالي:

ح=σ(د~-12أ~د~-12XΘ){\displaystyle \mathbf {H} =\sigma \left({\tilde {\mathbf {D} }}^{-{\frac {1}{2}}}{\tilde {\mathbf {A} }}{\tilde {\mathbf {D} }}^{-{\frac {1}{2}}}\mathbf {X} \mathbf {\Theta } \يمين)}

أينح{\displaystyle \mathbf {H} }هي مصفوفة تمثيلات العقدحu{\displaystyle \mathbf {h} _{u}}،X{\displaystyle \mathbf {X} }هي مصفوفة خصائص العقدةxu{\displaystyle \mathbf {x} _{u}}،σ(⋅){\displaystyle \sigma (\cdot )}هي دالة تنشيط (مثل دالة ReLU )،أ~{\displaystyle {\tilde {\mathbf {A} }}}هي مصفوفة تجاور الرسم البياني مع إضافة الحلقات الذاتية،د~{\displaystyle {\tilde {\mathbf {D} }}}هي مصفوفة درجة الرسم البياني مع إضافة الحلقات الذاتية، وΘ{\displaystyle \mathbf {\Theta } }هي مصفوفة من المعلمات القابلة للتدريب.

على وجه الخصوص، دعأ{\displaystyle \mathbf {A} }لتكن مصفوفة تجاور الرسم البياني: عندئذٍ، يمكن تعريفأ~=أ+أنا{\displaystyle {\tilde {\mathbf {A} }}=\mathbf {A} +\mathbf {I} }ود~أناأنا=∑ج∈Vأ~أناج{\displaystyle {\tilde {\mathbf {D} }}_{ii}=\sum _{j\in V}{\tilde {A}}_{ij}}، أينأنا{\displaystyle \mathbf {I} }يرمز إلى مصفوفة الوحدة . يضمن هذا التوحيد أن تكون القيم الذاتية لـد~-12أ~د~-12{\displaystyle {\tilde {\mathbf {D} }}^{-{\frac {1}{2}}}{\tilde {\mathbf {A} }}{\tilde {\mathbf {D} }}^{-{\frac {1}{2}}}}محصورة في النطاق[0،1]{\displaystyle [0,1]}، وتجنب عدم الاستقرار العددي وانفجار /تلاشي التدرجات .

من عيوب شبكات GCN أنها لا تسمح بميزات الحواف متعددة الأبعادهـuv{\displaystyle \mathbf {e} _{uv}}[ 10 ] ومع ذلك، من الممكن ربط الأوزان العددية .wuv{\displaystyle w_{uv}}لكل حافة عن طريق فرضأuv=wuv{\displaystyle A_{uv}=w_{uv}}أي، عن طريق تعيين كل عنصر غير صفري في مصفوفة التجاور مساوياً لوزن الحافة المقابلة.

شبكة الانتباه البياني

تم تقديم شبكة الانتباه البياني (GAT) بواسطة بيتر فيليتشكوفيتش وآخرون في عام 2018. [ 12 ]

شبكة الانتباه البياني هي مزيج من شبكة عصبية بيانية وطبقة انتباه. يساعد تطبيق طبقة الانتباه في الشبكات العصبية البيانية على توجيه الانتباه أو التركيز على المعلومات المهمة من البيانات بدلاً من التركيز على البيانات بأكملها.

يمكن التعبير عن طبقة GAT متعددة الرؤوس على النحو التالي:

حu=‖ك=1كσ(∑v∈شمالuαuvكدبليوكxv){\displaystyle \mathbf {h} _{u}={\overset {K}{\underset {k=1}{\Big \Vert }}}\sigma \left(\sum _{v\in N_{u}}\alpha _{uv}^{k}\mathbf {W} ^{k}\mathbf {x} _{v}\right)}

أينك{\displaystyle K}هو عدد رؤوس الانتباه ،‖{\displaystyle {\Big \Vert }}يشير إلى دمج المتجهات ،σ(⋅){\displaystyle \sigma (\cdot )}هي دالة تنشيط (مثل دالة ReLU )،شمالu{\displaystyle N_{u}}هي مجموعة العقد المجاورة مباشرة للعقدةu{\displaystyle u}، بما في ذلك العقدةu{\displaystyle u}نفسها،αuvك{\displaystyle \alpha _{uv}^{k}}معاملات الانتباه لـك{\displaystyle k}-th رأس الانتباه، ودبليوك{\displaystyle W^{k}}هي مصفوفة من المعلمات القابلة للتدريب لـك{\displaystyle k}-th انتباه الرأس.

في طبقة GAT النهائية، يتم حساب متوسط ​​مخرجات كل رأس انتباه قبل تطبيق دالة التنشيط. ويمكن كتابة طبقة GAT النهائية رسميًا على النحو التالي:

حu=σ(1ك∑ك=1ك∑v∈شمالuαuvكدبليوكxv){\displaystyle \mathbf {h} _{u}=\sigma \left({\frac {1}{K}}\sum _{k=1}^{K}\sum _{v\in N_{u}}\alpha _{uv}^{k}\mathbf {W} ^{k}\mathbf {x} _{v}\right)}

الانتباه في التعلم الآلي هو أسلوب يحاكي الانتباه الإدراكي . في سياق التعلم على الرسوم البيانية، معامل الانتباهαuv{\displaystyle \alpha _{uv}}تقيس هذه المقاييس مدى أهمية العقدةv{\displaystyle v}هو أن يكون عقدةu{\displaystyle u}.

يتم حساب معاملات الانتباه المعيارية على النحو التالي:

αuv=خبرة⁡(LeakyReLU(أتي[دبليوxu‖دبليوxv‖هـuv]))∑z∈شمالuخبرة⁡(LeakyReLU(أتي[دبليوxu‖دبليوxz‖هـuz])){\displaystyle \alpha _{uv}={\frac {\exp({\text{LeakyReLU}}\left(\mathbf {a} ^{T}[\mathbf {W} \mathbf {x} _{u}\Vert \mathbf {W} \mathbf {x} _{v}\Vert \mathbf {e} _{uv}]\right))}{\sum _{z\in N_{u}}\exp({\text{LeakyReLU}}\left(\mathbf {a} ^{T}[\mathbf {W} \mathbf {x} _{u}\Vert \mathbf {W} \mathbf {x} _{z}\Vert \mathbf {e} _{uz}]\right))}}}

أينأ{\displaystyle \mathbf {a} }هو متجه من الأوزان القابلة للتعلم،⋅تي{\displaystyle \cdot ^{T}}يشير إلى التبديل ،هـuv{\displaystyle \mathbf {e} _{uv}}وهي خصائص الحواف (إن وجدت)، وLeakyReLU{\displaystyle {\text{LeakyReLU}}}هي دالة تنشيط ReLU معدلة . ثم يتم تطبيع معاملات الانتباه باستخدام دالة softmax لتسهيل مقارنتها بين العقد المختلفة. [ 12 ]

يمكن اعتبار شبكة GCN حالة خاصة من شبكة GAT حيث لا يمكن تعلم معاملات الانتباه، بل تكون ثابتة ومساوية لأوزان الحواف.wuv{\displaystyle w_{uv}}.

شبكة عصبية متسلسلة من الرسوم البيانية ذات البوابات

تم تقديم الشبكة العصبية المتسلسلة للرسوم البيانية ذات البوابات (GGS-NN) من قِبل يوجيا لي وآخرون في عام 2015. [ 39 ] تُوسّع GGS-NN صياغة GNN التي وضعها سكارسيلي وآخرون [ 2 ] لإخراج المتسلسلة. يتم تطبيق إطار تمرير الرسائل كقاعدة تحديث لخلية وحدة التكرار ذات البوابات (GRU).

يمكن التعبير عن GGS-NN على النحو التالي:

حu(0)=xu‖0{\displaystyle \mathbf {h} _{u}^{(0)}=\mathbf {x} _{u}\,\Vert \,\mathbf {0} }
مu(ل+1)=∑v∈شمالuΘحv{\displaystyle \mathbf {m} _{u}^{(l+1)}=\sum _{v\in N_{u}}\mathbf {\Theta } \mathbf {h} _{v}}
حu(ل+1)=جي آر يو(مu(ل+1)،حu(ل)){\displaystyle \mathbf {h} _{u}^{(l+1)}={\text{GRU}}(\mathbf {m} _{u}^{(l+1)},\mathbf {h} _{u}^{(l)})}

أين‖{\displaystyle \Vert }يشير إلى دمج المتجهات ،0{\displaystyle \mathbf {0} }هو متجه من الأصفار،Θ{\displaystyle \mathbf {\Theta } }هي مصفوفة من المعلمات القابلة للتعلم،جي آر يو{\displaystyle {\text{GRU}}}هي خلية GRU، ول{\displaystyle l}يشير إلى فهرس التسلسل. في شبكة GGS-NN، تُعتبر تمثيلات العقد بمثابة الحالات المخفية لخلية GRU. خصائص العقدة الأوليةxu(0){\displaystyle \mathbf {x} _{u}^{(0)}}تُضاف أصفار إلى بُعد الحالة المخفية لخلية GRU. وتُستخدم خلية GRU نفسها لتحديث تمثيلات كل عقدة.

طبقات التجميع المحلية

تقوم طبقات التجميع المحلي بتحويل الرسم البياني إلى رسم بياني أصغر وأكثر دقة قبل طبقات تمرير الرسائل أو القراءة اللاحقة. وعلى عكس التجميع العالمي، الذي يجمع جميع تمثيلات العقد في تمثيل واحد على مستوى الرسم البياني، ينتج التجميع المحلي رسمًا بيانيًا وسيطًا بمصفوفة خصائص العقد ومصفوفة التجاور الخاصة به. تختلف طرق التجميع في كيفية بناء هذا الرسم البياني الأكثر دقة: تحتفظ طرق اختيار العقد، مثل تجميع أفضل k وتجميع الانتباه الذاتي، بمجموعة فرعية من العقد الأصلية، بينما تُعيّن طرق تجميع العقد العقد الأصلية إلى مجموعات، والتي تصبح عقدًا جديدة، أو عقدًا فائقة، في الرسم البياني الأكثر دقة. [ 31 ] في كلتا الحالتين، يكون المدخل عبارة عن رسم بياني ممثل بمصفوفة خصائص العقد.X{\displaystyle \mathbf {X} }ومصفوفة تجاورأ{\displaystyle \mathbf {A} }الناتج عبارة عن مصفوفة مُخَشَّطة للعقد والميزاتX′{\displaystyle \mathbf {X} '}ومصفوفة تجاور خشنةأ′{\displaystyle \mathbf {A} '}.

التجميع التفاضلي

التجميع التفاضلي، أو DiffPool، هو أسلوب لتجميع العقد تم تقديمه في عام 2018. [ 41 ] بدلاً من اختيار مجموعة فرعية من العقد الأصلية، يتعلم DiffPool تعيينًا مرنًا للعقد إلى مجموعات (باستخدام درجات بين 0 و1). تصبح هذه المجموعات عقد الرسم البياني المُخَفَّف الذي تستخدمه طبقة الشبكة العصبية الرسومية التالية.

بالنظر إلى مصفوفة العقد والميزاتX{\displaystyle \mathbf {X} }ومصفوفة تجاورأ{\displaystyle \mathbf {A} }تستخدم DiffPool شبكتين عصبيتين بيانيتين. إحداهما تحسب تضمينات العقد المحدثة،

Z=شبكة عصبية عالميةهـمبهـد⁡(X،أ){\displaystyle \mathbf {Z} =\operatorname {GNN} _{\mathrm {embed} }(\mathbf {X} ,\mathbf {A} )}

ويقوم الآخر بحساب مصفوفة التخصيص،

S=سوفتماكس⁡(شبكة عصبية عالميةصooل⁡(X،أ)){\displaystyle \mathbf {S} =\operatorname {softmax} (\operatorname {GNN} _{\mathrm {pool} }(\mathbf {X} ,\mathbf {A} ))}

أينSأناج{\displaystyle S_{ij}}يشير إلى التخصيص المرن للعقدةأنا{\displaystyle i}للتجميعج{\displaystyle j}ثم يتم حساب مصفوفة خصائص العقدة ومصفوفة التجاور بعد تبسيطها.

X′=SتيZ{\displaystyle \mathbf {X} '=\mathbf {S} ^{T}\mathbf {Z} }
أ′=SتيأS{\displaystyle \mathbf {A} '=\mathbf {S} ^{T}\mathbf {A} \mathbf {S} }

في هذه الصيغة، كل عقدة جديدة فيX′{\displaystyle \mathbf {X} '}يمثل مجموعة متعلمة من العقد من الرسم البياني السابق، والحواف فيأ′{\displaystyle \mathbf {A} '}تمثل هذه الدالة الاتصال الكلي بين المجموعات. ولأن مصفوفة التخصيص قابلة للتفاضل، يمكن تدريب DiffPool بشكل كامل مع طبقات الشبكة العصبية الرسومية المحيطة. وقد أضافت الصيغة الأصلية خسائر إضافية لتشجيع تخصيص العقد القريبة لمجموعات متشابهة، ولتشجيع تخصيص المجموعات بثقة. [ 41 ]

تجميع Top-k

لقد حددنا أولاًy=Xص‖ص‖{\displaystyle \mathbf {y} ={\frac {\mathbf {X} \mathbf {p} }{\Vert \mathbf {p} \Vert }}}أينص{\displaystyle \mathbf {p} }هو متجه إسقاط قابل للتعلم يقوم بحساب قيمة إسقاط قياسية لكل عقدة.

يمكن بعد ذلك صياغة طبقة التجميع ذات أعلى k عنصر [ 29 ] على النحو التالي:

X′=(X⊙المنحنى السيني(y))أنا{\displaystyle \mathbf {X} '=(\mathbf {X} \odot {\text{sigmoid}}(\mathbf {y} ))_{\mathbf {i} }}
أ′=أأنا،أنا{\displaystyle \mathbf {A} '=\mathbf {A} _{\mathbf {i} ,\mathbf {i} }}

أينأنا=قمةك(y){\displaystyle \mathbf {i} ={\text{top}}_{k}(\mathbf {y} )}هي مجموعة فرعية من العقد التي حصلت على أعلى k درجة إسقاط،⊙{\displaystyle \odot }يرمز إلى ضرب المصفوفات عنصرًا بعنصر ، والمنحنى السيني(⋅){\displaystyle {\text{sigmoid}}(\cdot )}هي دالة سيجمويد . بعبارة أخرى، يتم الاحتفاظ بالعقد ذات أعلى k درجة إسقاط في مصفوفة التجاور الجديدة.أ′{\displaystyle \mathbf {A} '}. الالمنحنى السيني(⋅){\displaystyle {\text{sigmoid}}(\cdot )}تُنشئ العملية متجه الإسقاطص{\displaystyle \mathbf {p} }يمكن تدريبها عن طريق الانتشار العكسي ، والذي ينتج عنه مخرجات منفصلة في غير ذلك. [ 29 ]

تجميع الانتباه الذاتي

استخدامy=شبكة عصبية عالمية(X،أ){\displaystyle \mathbf {y} ={\text{GNN}}(\mathbf {X} ,\mathbf {A} )}باعتبارها طبقة GNN عامة متغيرة بالتبديل (مثل GCN، GAT، MPNN)، يمكن صياغة طبقة تجميع الانتباه الذاتي [ 30 ] على النحو التالي:

X′=(X⊙y)أنا{\displaystyle \mathbf {X} '=(\mathbf {X} \odot \mathbf {y} )_{\mathbf {i} }}
أ′=أأنا،أنا{\displaystyle \mathbf {A} '=\mathbf {A} _{\mathbf {i} ,\mathbf {i} }}

أينأنا=قمةك(y){\displaystyle \mathbf {i} ={\text{top}}_{k}(\mathbf {y} )}هي مجموعة فرعية من العقد التي حصلت على أعلى k درجة إسقاط،⊙{\displaystyle \odot }يشير إلى ضرب المصفوفات عنصرًا بعنصر .

يمكن اعتبار طبقة تجميع الانتباه الذاتي امتدادًا لطبقة تجميع أعلى k. وبخلاف تجميع أعلى k، فإن درجات الانتباه الذاتي المحسوبة في تجميع الانتباه الذاتي تأخذ في الاعتبار كلًا من خصائص الرسم البياني وبنيته.

التعلم البياني غير المتجانس

يُعتقد عمومًا أن مبدأ التماثل، أي أن العقد ذات التصنيفات المتشابهة أو السمات المتقاربة أكثر عرضةً للترابط، هو السبب الرئيسي لتفوق الشبكات العصبية الرسومية (GNNs) على الشبكات العصبية التقليدية (NNs) في معالجة البيانات ذات البنية الرسومية، لا سيما في مهام مستوى العقدة. [ 42 ] مع ذلك ، حددت دراسات حديثة مجموعةً غير بديهية من مجموعات البيانات التي لا يكون فيها أداء الشبكات العصبية الرسومية مُرضيًا مقارنةً بالشبكات العصبية التقليدية. [ 43 ] ويُعتبر التباين ، أي انخفاض التماثل، السبب الرئيسي لهذه الملاحظة التجريبية. [ 44 ] وقد بدأ الباحثون في إعادة النظر في معظم نماذج الرسوم البيانية الحالية وتقييمها في ظل سيناريو التباين عبر أنواع مختلفة من الرسوم البيانية، مثل الرسوم البيانية غير المتجانسة ، والرسوم البيانية الزمنية ، والرسوم البيانية الفائقة . علاوة على ذلك، وُجد أن العديد من التطبيقات المتعلقة بالرسوم البيانية ترتبط ارتباطًا وثيقًا بمشكلة التباين، مثل كشف الاحتيال/الشذوذ في الرسوم البيانية ، وهجمات الخصومة في الرسوم البيانية ومتانتها ، والخصوصية، والتعلم الموحد وتجزئة السحابة النقطية ، وتجميع الرسوم البيانية ، وأنظمة التوصية ، والنماذج التوليدية ، والتنبؤ بالروابط ، وتصنيف الرسوم البيانية وتلوينها ، وما إلى ذلك . في السنوات القليلة الماضية، بُذلت جهود كبيرة لدراسة ومعالجة مشكلة التباين في تعلم الرسوم البيانية. [ 42 ] [ 44 ] [ 45 ]

قابلية التوسع والتدريب الموزع

يمثل تدريب الشبكات العصبية الرسومية على الرسوم البيانية الكبيرة تحديات حسابية تختلف اختلافًا كبيرًا عن تلك الموجودة في بنى الشبكات العصبية الأخرى. ويبرز نوعان رئيسيان من المشكلات: التدريب على رسم بياني واحد كبير جدًا (مثل شبكة اجتماعية تحتوي على مليارات العقد)، والتدريب على مجموعات من الرسوم البيانية الفردية الكبيرة (مثل الأنظمة الجزيئية التي تتطلب نمذجة تفاعل من الدرجة الأعلى).

في حالة الرسم البياني الكبير الواحد، تقلل الطرق القائمة على أخذ العينات من متطلبات الذاكرة من خلال العمل على الرسوم البيانية الفرعية بدلاً من الرسم البياني الكامل. يقوم نموذج Cluster-GCN بتقسيم الرسم البياني إلى رسوم بيانية فرعية باستخدام خوارزميات تقسيم الرسوم البيانية ، وتدريب النموذج على كل قسم بالتتابع. [ 46 ] أما نموذج GraphSAINT، فيقوم بأخذ عينات عشوائية من الرسوم البيانية الفرعية أثناء التدريب، مما يُنشئ مُقدِّرات غير متحيزة لخسارة الرسم البياني الكامل. [ 47 ] تعمل الأطر الموزعة مثل DistDGL [ 48 ] على توسيع نطاق التدريب ليشمل بيئات متعددة الأجهزة، حيث تُدير الاتصال بين الأجهزة اللازم لتجميع الجوار عندما تكون عُقد الرسم البياني موزعة على عدة أجهزة.

بالنسبة لمهام مثل المحاكاة الذرية ، تظهر مشكلة أخرى: فبنى الشبكات العصبية الرسومية (GNN) التي تُحاكي التفاعلات المعقدة بين ثلاثيات أو رباعيات الذرات تتطلب ذاكرة كبيرة على مستوى الرسوم البيانية الفردية، مما يجعل التوازي القياسي للبيانات - حيث تعالج كل وحدة معالجة رسومية (GPU) عينة منفصلة - غير كافٍ عندما تتجاوز الرسوم البيانية الفردية سعة ذاكرة الجهاز الواحد. يعالج التوازي الرسومي هذه المشكلة بتوزيع رسم بياني واحد مُدخل على وحدات معالجة رسومية متعددة، وتقسيم العقد والحواف بين الأجهزة بدلاً من توزيع العينات بينها. [ 49 ] مكّن هذا النهج من تدريب شبكات عصبية رسومية (GNN) تحتوي على مئات الملايين إلى مليارات المعاملات على أنظمة ذرية كانت ستتجاوز سعة ذاكرة الجهاز الواحد لولا ذلك، وقد طُبّق هذا النهج على تطوير كمونات بين ذرية شاملة واسعة النطاق .

التطبيقات

الشبكات الاجتماعية

تُعدّ الشبكات الاجتماعية مجالًا رئيسيًا لتطبيقات الشبكات العصبية الرسومية (GNNs) نظرًا لتمثيلها الطبيعي كرسوم بيانية اجتماعية . تُستخدم هذه الشبكات لتطوير أنظمة التوصية القائمة على كلٍّ من العلاقات الاجتماعية وعلاقات العناصر. [ 50 ] [ 16 ]

التحسين التوافقي

تُستخدم الشبكات العصبية الرسومية كعناصر أساسية في العديد من خوارزميات التحسين التوافقي. [ 51 ] تشمل الأمثلة حساب أقصر المسارات أو الدوائر الأويلرية لرسم بياني مُعطى، [ 39 ] واستنباط مواقع رقائق إلكترونية تتفوق أو تُنافس الحلول البشرية المصممة يدويًا، [ 52 ] وتحسين قواعد التفرع المصممة من قِبل الخبراء في خوارزمية التفرع والتقييد . [ 53 ]

سايبر فود

عند النظر إلى شبكة الحواسيب كشبكة بيانية، يمكن تحليلها باستخدام الشبكات العصبية الرسومية (GNNs) للكشف عن الحالات الشاذة. غالبًا ما ترتبط الحالات الشاذة في مخططات المصدر بنشاط خبيث داخل الشبكة. وقد استُخدمت الشبكات العصبية الرسومية لتحديد هذه الحالات الشاذة على مستوى العقد الفردية [ 54 ] وداخل المسارات [ 55 ] للكشف عن العمليات الخبيثة، أو على مستوى الحافة [ 56 ] للكشف عن الحركة الجانبية .

شبكات توزيع المياه

يمكن نمذجة أنظمة توزيع المياه باستخدام الرسوم البيانية. وقد طُبقت الشبكات العصبية الرسومية (GNNs) في التنبؤ بالطلب على المياه، [ 57 ] وربط مناطق القياس الموزعة (DMAs) لتحسين قدرة التنبؤ. ومن التطبيقات الأخرى تطوير النماذج الوصفية. [ 58 ]

رؤية الحاسوب

لتمثيل صورة كهيكل بياني، تُقسّم الصورة أولاً إلى عدة أجزاء، يُعامل كل جزء منها كعقدة في الرسم البياني. ثم تُشكّل الحواف بربط كل عقدة بأقرب جيرانها بناءً على التشابه المكاني أو تشابه الخصائص. يُمكّن هذا التمثيل القائم على الرسم البياني من تطبيق نماذج تعلّم الرسوم البيانية على المهام البصرية. يُساعد الهيكل العلائقي على تحسين استخلاص الخصائص ورفع مستوى أداء فهم الصور. [ 59 ]

النصوص ومعالجة اللغة الطبيعية

يساعد تمثيل النصوص باستخدام الرسوم البيانية على فهم العلاقات الدلالية العميقة بين الكلمات. وقد استخدمت العديد من الدراسات شبكات الرسوم البيانية لتحسين الأداء في مهام معالجة النصوص المختلفة، مثل تصنيف النصوص، والإجابة على الأسئلة، والترجمة الآلية العصبية، واستخراج الأحداث، والتحقق من الحقائق، وغيرها. [ 60 ]

المحاكاة الذرية وعلم المواد

أصبحت الشبكات العصبية الرسومية أداةً أساسيةً لنمذجة التفاعلات الذرية في الكيمياء الحاسوبية وعلوم المواد ، حيث تُمثَّل الجزيئات والبنى البلورية بشكلٍ طبيعيٍّ كرسوم بيانية، حيث تمثل الذرات العُقد، والروابط الكيميائية أو التقارب المكاني الحواف. ومن أهم مزاياها مقارنةً بأساليب الكيمياء الكمومية التقليدية، مثل نظرية الكثافة الوظيفية (DFT)، هو انخفاض التكلفة الحسابية من O(n³) إلى O(n)، مما يُتيح إجراء عمليات محاكاة على نطاقاتٍ كانت غير عمليةٍ سابقًا.

تشمل البنى المبكرة للشبكات العصبية الرسومية في هذا المجال SchNet (2017)، التي قدمت طبقات التفافية ذات مرشح مستمر للتعلم على الهياكل الجزيئية ثلاثية الأبعاد، [ 61 ] وDimeNet (2020)، التي دمجت المعلومات الزاوية بين الذرات لتحسين التعبير الهندسي. [ 62 ] حققت البنى المتغيرة اللاحقة مثل NequIP [ 63 ] وMACE، [ 64 ] التي تحترم التناظرات الدورانية والانتقالية للأنظمة الفيزيائية، تحسينات كبيرة في الدقة على المعايير القياسية بما في ذلك QM9 وMD17 ومشروع المواد .

ساهمت مجموعات البيانات المفتوحة الضخمة في تحقيق تقدم سريع في هذا المجال. فقد أرست مجموعة بيانات Open Catalyst 2020 (OC20)، التي تضم أكثر من 260 مليون عملية حسابية باستخدام نظرية الكثافة الوظيفية (DFT) لتفاعلات سطح المحفز مع المادة الممتزة، معيارًا مرجعيًا واسع الانتشار لمهام التنبؤ بالطاقة والقوة ذات الصلة باكتشاف المحفزات . [ 65 ] وبالمثل، وفرت قواعد بيانات مشروع المواد وقاعدة بيانات الإسكندرية بيانات واسعة النطاق لبنية البلورات لتدريب نماذج الجهد بين الذرات الشاملة. وقد وسعت مجموعات البيانات الأحدث، بما في ذلك OMat24 وOMol25، نطاق التغطية ليشمل الجزيئات العضوية والمواد المعقدة على نطاق حسابي أوسع.

أتاحت مجموعات البيانات هذه تطوير نماذج جهد التفاعل بين الذرات باستخدام التعلم الآلي الشامل (MLIPs)، وهي نماذج مُدرَّبة على نطاق واسع من المجالات الكيميائية بدلاً من الاعتماد على بيانات خاصة بنظام معين. ومن الأمثلة على ذلك CHGNet [ 66 ] وM3GNet [ 67 ] وMACE-MP ونماذج Meta FAIR الشاملة للذرات (UMA)، التي دُرِّبت على ما يقارب 500 مليون بنية ذرية تشمل الجزيئات والمواد والمحفزات [ 68 ] . أما GNoME، الذي طورته Google DeepMind ، فقد استخدم الشبكات العصبية الرسومية (GNNs) للتنبؤ باستقرار البنى البلورية، وأسفر عن تحديد ملايين المواد المرشحة الجديدة المستقرة [ 69 ] .

مراجع

  1. ↑ وو، لينغفي؛ تسوي، بنغ؛ باي، جيان؛ تشاو، ليانغ (2022). "الشبكات العصبية البيانية: الأسس والآفاق والتطبيقات" . سبرينغر سنغافورة : 725.
  2. 1 2 3 4 سكارسيلي، فرانكو؛ غوري، ماركو؛ تسوي، آه تشونغ؛ هاغنبوخنر، ماركوس؛ مونفارديني، غابرييل (2009). " نموذج الشبكة العصبية البيانية" . معاملات IEEE في الشبكات العصبية . 20 (1): 61-80 . Bibcode : 2009ITNN...20...61S . doi : 10.1109/TNN.2008.2005605 . ISSN 1941-0093 . PMID 19068426. S2CID 206756462 .   
  3. 1 2 3 ميشيلي، أليسيو (2009). "الشبكة العصبية للرسوم البيانية: منهج بنائي سياقي". معاملات IEEE في الشبكات العصبية . 20 (3): 498-511 . Bibcode : 2009ITNN...20..498M . doi : 10.1109 / TNN.2008.2010350 . ISSN 1045-9227 . PMID 19193509. S2CID 17486263 .   
  4. ↑ سانشيز-لينجلينج، بنيامين؛ ريف، إميلي؛ بيرس، آدم؛ ويلتشكو، أليكس (2 سبتمبر 2021). "مقدمة مبسطة لشبكات الرسم البياني العصبية" . ديستيل . 6 (9) e33. doi : 10.23915/distill.00033 . ISSN 2476-0757 . 
  5. ↑ دايغافان، أميا؛ رافيندران، بالارامان؛ أغاروال، غاوراف (2 سبتمبر 2021). "فهم الالتفافات على الرسوم البيانية" . ديستيل . 6 (9) e32. doi : 10.23915/distill.00032 . ISSN 2476-0757 . S2CID 239678898 .  
  6. 1 2 3 4 5 6 7 8 برونشتاين، مايكل م.؛ برونا، جوان؛ كوهين، تاكو؛ فيليتشكوفيتش، بيتر (4 مايو 2021). "التعلم العميق الهندسي: الشبكات، والمجموعات، والرسوم البيانية، والجيوديسيات، والمقاييس". arXiv : 2104.13478 [ cs.LG ].
  7. ↑ ستوكس، جوناثان م.؛ يانغ، كيفن؛ سوانسون، كايل؛ جين، وينغونغ؛ كوبيلوس-رويز، أندريس؛ دونغيا، نينا م.؛ ماكنير، كريغ ر.؛ فرينش، شون؛ كارفريه، ليندسي أ.؛ بلوم-أكرمان، زوهار؛ تران، فيكتوريا م.؛ تشيابينو-بيبي، أنوش؛ بدران، أحمد ح.؛ أندروز، إيان و.؛ تشوري، إيما ج. (20 فبراير 2020). "نهج التعلم العميق لاكتشاف المضادات الحيوية" . مجلة Cell . 180 (4): 688–702.e13. Bibcode : 2020Cell..180..688S . doi : 10.1016/j.cell.2020.01.021 . ISSN 1097-4172 . PMC 8349178 . PMID 32084340 .   
  8. ↑ يانغ، كيفن؛ سوانسون، كايل؛ جين، وينغونغ؛ كولي، كونور؛ إيدن، فيليب؛ غاو، هوا؛ غوزمان-بيريز، أنجيل؛ هوبر، تيموثي؛ كيلي، برايان (20 نوفمبر 2019). "تحليل التمثيلات الجزيئية المُتعلمة للتنبؤ بالخصائص". arXiv : 1904.01561 [ cs.LG ].
  9. ↑ مارشانت، جو (20 فبراير 2020). "اكتشاف مضادات حيوية فعالة باستخدام الذكاء الاصطناعي" . مجلة نيتشر . doi : 10.1038/d41586-020-00018-3 . PMID 33603175 . 
  10. 1 2 3 4 كيبف، توماس ن؛ ويلينغ، ماكس (2016). "نموذج الشبكة العصبية البيانية". معاملات IEEE في الشبكات العصبية . 20 (1): 61-80 . arXiv : 1609.02907 . Bibcode : 2009ITNN...20...61S . doi : 10.1109 / TNN.2008.2005605 . PMID 19068426. S2CID 206756462 .  
  11. 1 2 هاميلتون، ويليام؛ يينغ، ريكس؛ ليسكوفيك، يور (2017). "التعلم الاستقرائي للتمثيل على الرسوم البيانية الكبيرة" ( ملف PDF) . أنظمة معالجة المعلومات العصبية . 31. arXiv : 1706.02216 – عبر ستانفورد.
  12. 1 2 3 4 فيليكوفيتش، بيتار؛ كوكيورول، غيليم؛ كازانوفا، أرانتشا؛ روميرو، أدريانا؛ ليو، بيترو؛ بنجيو ، يوشوا (4 فبراير 2018). “شبكات الانتباه الرسم البياني”. أرخايف : 1710.10903 [ stat.ML ].
  13. 1 2 حاج، م. الزمزمي، ج. باباماركو، T.؛ ميولان، ن.؛ غوزمان-ساينز، أ.؛ رامامورثي، كن. شواب، MT (2022). “التعلم العميق الطوبولوجي: تجاوز بيانات الرسم البياني”. أرخايف : 2206.00606 [ cs.LG ].
  14. 1 2 3 فيليكوفيتش، بيتار (2022). "تمرير الرسالة على طول الطريق". أرخايف : 2202.11097 [ cs.LG ].
  15. ↑ وو، لينغفي؛ تشين، يو؛ شين، كاي؛ غو، شياوجي؛ غاو، هانينغ؛ لي، شوتشنغ؛ باي، جيان؛ لونغ، بو (2023). "الشبكات العصبية البيانية لمعالجة اللغة الطبيعية: دراسة استقصائية" . أسس واتجاهات في تعلم الآلة . 16 (2): 119-328 . arXiv : 2106.06090 . doi : 10.1561/2200000096 . ISSN 1941-0093 . S2CID 206756462 .  
  16. 1 2 يينغ، ريكس؛ هي، روينينغ؛ تشين، كايفنغ؛ إكسومباتشاي، بونغ؛ هاميلتون، ويليام ل.؛ ليسكوفيك، جور (2018). الشبكات العصبية الالتفافية للرسوم البيانية لأنظمة التوصية على نطاق الويب . الصفحات 974-983 . arXiv : 1806.01973 . doi : 10.1145/3219819.3219890 . ISBN  978-1-4503-5552-0. S2CID 46949657 . 
  17. ↑ "مجموعة بيانات شبكة ستانفورد الكبيرة" . snap.stanford.edu . تم الاطلاع عليه في 5 يوليو 2021 .
  18. ↑ تشانغ، ويهانغ؛ تسوي، يانغ؛ ليو، بوين؛ لوزا، مارتن؛ بارك، سونغ جون؛ ناكاي، كينتا (5 أبريل 2024). "HyGAnno: ترميز نوع الخلية القائم على الشبكة العصبية الرسومية الهجينة لبيانات تسلسل ATAC للخلايا المفردة" . Briefings in Bioinformatics . 25 (3) bbae152. doi : 10.1093/bib/bbae152 . PMC 10998639. PMID 38581422 .  
  19. ↑ جيلمر، جاستن؛ شونهولز، صموئيل س.؛ رايلي، باتريك ف.؛ فينيالز، أوريول؛ دال، جورج إي. (17 يوليو 2017). "تمرير الرسائل العصبية للكيمياء الكمية" . وقائع بحوث التعلم الآلي : 1263-1272 . arXiv : 1704.01212 .
  20. ↑ كولي، كونور دبليو؛ جين، وينغونغ؛ روجرز، لوك؛ جاميسون، تيموثي إف؛ جاكولا، تومي إس؛ غرين، ويليام إتش؛ بارزيلاي، ريجينا؛ جنسن، كلافس إف. (2 يناير 2019). "نموذج شبكة عصبية التفافية بيانية للتنبؤ بالتفاعلية الكيميائية" . العلوم الكيميائية . 10 (2): 370-377 . doi : 10.1039/C8SC04228D . ISSN 2041-6539 . PMC 6335848. PMID 30746086 .   
  21. ↑ قاسم، شاروخان؛ كيسلر، يناير؛ إياما، يوتارو؛ بيريني، ماوريتسيو بيريني (2019). “تمثيلات التعلم لهندسة كاشف الجسيمات غير المنتظمة مع شبكات الرسم البياني الموزونة عن بعد” . المجلة الفيزيائية الأوروبية ج . 79 (7): 608. أرخايف : 1902.07987 . بيب كود : 2019EPJC...79..608Q . دوى : 10.1140/epjc/s10052-019-7113-9 . S2CID 88518244 . 
  22. ↑ لي، تشوين؛ تشين، تشيفنغ؛ كولتون، فلادلين ( 2018). "تبسيط النصوص باستخدام شبكات توليد المؤشرات القائمة على الانتباه الذاتي". معالجة المعلومات العصبية . سلسلة محاضرات في علوم الحاسوب. المجلد 31. الصفحات 537-546 . arXiv : 1810.10659 . doi : 10.1007/978-3-030-04221-9_48 . ISBN   978-3-030-04220-2.
  23. ↑ ماتياس، فاي؛ لينسن، جان إي. (2019). "التعلم السريع لتمثيل الرسوم البيانية باستخدام PyTorch Geometric". arXiv : 1903.02428 [ cs.LG ].
  24. ^ "تينسورفلو جي إن إن" . جيثب . تم الاسترجاع في 30 يونيو 2022 .
  25. ↑ "مكتبة الرسم البياني العميق (DGL)" . تم الاطلاع عليه بتاريخ 12 سبتمبر 2024 .
  26. ↑ "jraph" . GitHub . تم الاطلاع عليه بتاريخ 30 يونيو 2022 .
  27. ↑ لوسيبيلو، كارلو (2021). "GraphNeuralNetworks.jl" . جيت هاب . تم الاسترجاع في 21 سبتمبر 2023 .
  28. ↑ FluxML/GeometricFlux.jl ، FluxML، 31 يناير 2024 ، تم الاطلاع عليه في 3 فبراير 2024
  29. 1 2 3 جاو، هونغيانغ؛ جي شويوانج جي (2019). “الرسم البياني لشبكات U”. أرخايف : 1905.05178 [ cs.LG ].
  30. 1 2 لي، جون هيون؛ لي، إنيوب؛ كانغ، جاي وو (2019). "تجميع الرسم البياني للانتباه الذاتي". arXiv : 1904.08082 [ cs.LG ].
  31. 1 2 ليو، تشوانغ؛ زان، ييبينغ؛ لي تشانغ. دو، بو؛ وو، جيا؛ هو، وينبين؛ ليو، تونجليانج؛ تاو، داتشنغ (2022). “تجميع الرسم البياني للشبكات العصبية الرسومية: التقدم والتحديات والفرص”. أرخايف : 2204.07321 [ cs.LG ].
  32. ↑ دوغلاس، بي إل (27 يناير 2011). "طريقة وايسفيلر-ليمان واختبار تماثل الرسوم البيانية". arXiv : 1101.5211 [ math.CO ].
  33. ↑ شو، كيولو؛ هو، ويهوا؛ ليسكوفيك، يوري؛ جيجلكا، ستيفاني (22 فبراير 2019). "ما مدى قوة الشبكات العصبية البيانية؟". arXiv : 1810.00826 [ cs.LG ].
  34. ^ بودنار، كريستيان؛ فراسكا، فابريزيو؛ غوانغ وانغ، يو؛ أوتر، نينا؛ مونتوفار، جويدو؛ ليو، بيترو؛ برونشتاين، مايكل (2021). “Weisfeiler و Lehman Go Topological: رسالة تمرير الشبكات البسيطة”. أرخايف : 2103.03212 [ cs.LG ].
  35. ↑ جرادي، ليو؛ بوليميني، جوناثان (2011). حساب التفاضل والتكامل المنفصل: التحليل التطبيقي على الرسوم البيانية لعلوم الحوسبة (ملف PDF) . سبرينغر.
  36. ↑ تشين، ديلي؛ لين، يانكاي؛ لي، وي؛ لي، بنغ؛ تشو، جي؛ صن، شو (2020). "قياس وتخفيف مشكلة التنعيم المفرط لشبكات الرسم البياني العصبية من منظور طوبولوجي". وقائع مؤتمر AAAI حول الذكاء الاصطناعي . 34 (4): 3438-3445 . arXiv : 1909.03211 . doi : 10.1609/aaai.v34i04.5747 . S2CID 202539008 . 
  37. 1 2 ألون، أوري؛ ياهف، إران (2021). "حول عنق الزجاجة في الشبكات العصبية البيانية وآثارها العملية". arXiv : 2006.05205 ​​[ cs.LG ].
  38. ↑ Xu, Keyulu; Zhang, Mozhi; Jegelka, Stephanie ; Kawaguchi, Kenji (2021). "تحسين الشبكات العصبية البيانية: التسريع الضمني عن طريق الاتصالات المتخطية والمزيد من العمق". arXiv : 2105.04550 [ cs.LG ].
  39. 1 2 3 لي، يوجيا؛ تارلو، دانيال؛ بروكسشميدت، مارك؛ زيميل، ريتشارد (2016). "شبكات عصبية لتسلسل الرسم البياني البوابية". arXiv : 1511.05493 [ cs.LG ].
  40. ↑ Xu, Keyulu; Li, Chengtao; Tian, ​​Yonglong; Sonobe, Tomohiro; Kawarabayashi, Ken-ichi; Jegelka, Stefanie (2018). "تعلم التمثيل على الرسوم البيانية باستخدام شبكات المعرفة القافزة". arXiv : 1806.03536 [ cs.LG ].
  41. 1 2 يينغ، ريكس؛ يو، جياكسوان؛ موريس، كريستوفر؛ رين، شيانغ؛ هاميلتون، ويليام ل.؛ ليسكوفيك، جور (2018). تعلم تمثيل الرسم البياني الهرمي باستخدام التجميع التفاضلي . التقدم في أنظمة معالجة المعلومات العصبية. المجلد 31. arXiv : 1806.08804 . 
  42. 1 2 لوان، سيتاو؛ هوا، تشنتشينغ؛ لو، تشينتشنغ؛ ما، ليهينج؛ وو، ليرونج؛ وانغ، شينيو؛ شو، مينكاي؛ تشانغ، شياو ون؛ Precup، دوينا؛ يينغ، ريكس. لي، ستان Z.؛ تانغ، جيان. وولف، جاي؛ جيجيلكا ، ستيفاني (2024). “دليل تعلم الرسم البياني غير المتجانس: المعايير والنماذج والتحليل النظري والتطبيقات والتحديات”. أرخايف : 2407.09618 [ cs.LG ].
  43. ↑ لوان، سيتاو؛ هوا، تشن تشينغ؛ لو، تشين تشنغ؛ تشو، جيا تشي؛ تشانغ، شياو وين؛ بريكوب، دوينا (2024). "متى نحتاج إلى الشبكات العصبية البيانية لتصنيف العقد؟" . في: شريفي، حسين؛ روشا، لويس م.؛ شريفي، شانتال؛ دوندوران، مراد (محررون). الشبكات المعقدة وتطبيقاتها 12. دراسات في الذكاء الحسابي. المجلد 1141. تشام: سبرينغر نيتشر سويسرا. الصفحات 37-48 . doi : 10.1007/978-3-031-53468-3_4 . ISBN   978-3-031-53467-6.
  44. 1 2 لوان، سيتاو؛ هوا، تشنتشينغ؛ لو، تشينتشنغ؛ تشو، جياكي؛ تشاو، مينغده؛ تشانغ، شويوان؛ تشانغ، شياو ون؛ بريكوب، دوينا (6 ديسمبر 2022). "إعادة النظر في التغاير للشبكات العصبية الرسومية" . التقدم في أنظمة معالجة المعلومات العصبية . 35 : 1362 – 1375. أرخايف : 2210.07606 .
  45. ↑ لوان، سيتاو؛ هوا، تشن تشينغ؛ شو، مين كاي؛ لو، تشين تشنغ؛ تشو، جيا تشي؛ تشانغ، شياو وين؛ فو، جي؛ ليسكوفيك، يوري؛ بريكوب، دوينا (15 ديسمبر 2023). "متى تُساعد الشبكات العصبية البيانية في تصنيف العُقد؟ دراسة مبدأ التماثل في تمييز العُقد" . التطورات في أنظمة معالجة المعلومات العصبية . 36 : 28748-28760 .
  46. ↑ تشيانغ، وي-لين؛ ليو، شوانكينغ؛ سي، سي؛ لي، يانغ؛ بينجيو، سامي؛ هسيه، تشو-جوي (2019). Cluster-GCN: خوارزمية فعّالة لتدريب شبكات الالتفاف البياني العميق والكبير . وقائع المؤتمر الدولي الخامس والعشرين لجمعية ACM SIGKDD حول اكتشاف المعرفة واستخراج البيانات. الصفحات 257-266 . arXiv : 1905.07953 . doi : 10.1145/3292500.3330925 . 
  47. ↑ زينغ، هانكينغ؛ تشو، هونغكوان؛ سريفاستافا، أجيتيش؛ كانان، راجوبال؛ براسانا، فيكتور (2020). GraphSAINT: طريقة التعلم الاستقرائي القائمة على أخذ عينات من الرسوم البيانية . المؤتمر الدولي حول تمثيلات التعلم. arXiv : 1907.04931 .
  48. ↑ تشنغ، دا؛ ما، تشاو؛ وانغ، مينجي؛ تشو، جينجينغ؛ سو، تشيدونغ؛ سونغ، شيانغ؛ غان، كوان؛ تشانغ، تشنغ؛ كاريبس، جورج (2020). DistDGL: تدريب الشبكات العصبية الموزعة للرسوم البيانية للرسوم البيانية ذات المليارات . وقائع ورشة العمل حول التطبيقات غير المنتظمة: البنى والخوارزميات (IA³). arXiv : 2010.05337 .
  49. ↑ سريرام، أنوروب؛ داس، أبهيشيك؛ وود، براندون م.؛ غويال، سيدهارث؛ زيتنيك، سي. لورانس (2022). نحو تدريب الشبكات العصبية البيانية ذات المليار مُعامل لمحاكاة الذرات . المؤتمر الدولي حول تمثيلات التعلم. arXiv : 2203.09697 .
  50. ^ فان وينكي. ما ياو. لي، تشينغ؛ هو يوان. تشاو، اريك. تانغ، جيليانغ؛ يين داوي (2019). رسم بياني للشبكات العصبية للتوصية الاجتماعية . ص 417 – 426. أرخايف : 1902.07243 . دوى : 10.1145/3308558.3313488 . اتش دي ال : 10397/81232 . رقم ISBN  978-1-4503-6674-8. S2CID 67769538 . 
  51. ↑ كابارت، كوينتين؛ شيتيلات، ديدييه؛ خليل، إلياس؛ لودي، أندريا؛ موريس، كريستوفر؛ فيليتشكوفيتش، بيتر (2021). "التحسين التوافقي والاستدلال باستخدام الشبكات العصبية البيانية". arXiv : 2102.09544 [ cs.LG ].
  52. ↑ ميرحسيني، أزاليا؛ غولدي، آنا؛ يزغان، مصطفى؛ جيانغ، جو وينجي؛ سونغوري، إبراهيم؛ وانغ، شين؛ لي، يونغ جون؛ جونسون، إريك؛ باثاك، أومكار؛ نازي، آزاده؛ باك، جيوو؛ تونغ، أندي؛ سرينيفاسا، كافيا؛ هانغ، ويليام؛ تونجر، إمري؛ لي، كوك ف.؛ لاودون، جيمس؛ هو، ريتشارد؛ كاربنتر، روجر؛ دين، جيف (2021). "منهجية وضع الرسوم البيانية لتصميم رقائق سريعة". Nature . 594 (7862): 207–212 . Bibcode : 2021Natur.594..207M . doi : 10.1038/s41586-021-03544-w . PMID 34108699 . S2CID 235395490 .  
  53. ↑ غاس، ماكسيم؛ شيتيلات، ديدييه؛ فيروني، نيكولا؛ شارلين، لوران؛ لودي، أندريا (2019). "التحسين التوافقي الدقيق باستخدام الشبكات العصبية الالتفافية للرسوم البيانية". arXiv : 1906.01629 [ cs.LG ].
  54. ↑ وانغ، سو؛ وانغ، تشيليانغ؛ تشو، تاو؛ صن، هونغبين؛ ين، شيا؛ هان، دونغتشي؛ تشانغ، هان؛ شي، شينغانغ؛ يانغ، جياهاي (2022). "Threatrace: كشف وتتبع التهديدات القائمة على المضيف على مستوى العقدة من خلال تعلم الرسم البياني للأصل" . معاملات IEEE في الطب الشرعي وأمن المعلومات . 17 : 3972-3987 . arXiv : 2111.04333 . Bibcode : 2022ITIF...17.3972W . doi : 10.1109/TIFS.2022.3208815 . ISSN 1556-6021 . S2CID 243847506 .  
  55. ↑ وانغ، تشي؛ حسن، وجيه أول؛ لي، دينغ؛ جي، كانغكوك؛ يو، شياو (2020). "أنت ما تفعله: البحث عن البرمجيات الخبيثة الخفية من خلال تحليل مصدر البيانات" . ندوة أمن الشبكات والأنظمة الموزعة . doi : 10.14722/ndss.2020.24167 . ISBN 978-1-891562-61-7. S2CID 211267791 . 
  56. ↑ كينغ، إشعيا جيه؛ هوانغ، إتش. هاوي (2022). "أويلر: كشف الحركة الجانبية للشبكة عبر التنبؤ الزمني القابل للتوسع للروابط" (ملف PDF) . في وقائع الندوة التاسعة والعشرين لأمن الشبكات والأنظمة الموزعة . doi : 10.14722/ndss.2022.24107 . S2CID 248221601 . 
  57. ↑ زانفي، أرييل؛ وآخرون (2022). "شبكات عصبية متكررة التفافية بيانية للتنبؤ بالطلب على المياه" . بحوث موارد المياه . 58 (7) e2022WR032299. الاتحاد الجيوفيزيائي الأمريكي. رمز Bibcode : 2022WRR....5832299Z . doi : 10.1029/2022WR032299 . تاريخ الاسترجاع: 11 يونيو 2024 . 
  58. ↑ زانفي، أرييل؛ وآخرون (2023). "هل يجب علينا دائمًا استخدام النماذج الهيدروليكية؟ نموذج فوقي لشبكة عصبية بيانية لمعايرة نظام المياه وتقييم عدم اليقين" . بحث المياه . 242 120264. Bibcode : 2023WatRe.24220264Z . doi : 10.1016/j.watres.2023.120264 . PMID 37393807 .  
  59. ^ هان، كاي؛ وانغ، يونهي؛ قوه، جيانيوان؛ تانغ، ييهوي؛ وو، انهوا (2022). “رؤية GNN: الصورة تستحق الرسم البياني للعقد”. أرخايف : 2206.00272 [ cs.CV ].
  60. ^ تشو، جي؛ كوي، جانكو؛ هو، شنغدينغ؛ تشانغ، تشنغيان. يانغ، تشنغ. ليو، تشييوان؛ وانغ، ليفينج؛ لي، تشانغتشنغ؛ صن ، ماوسونج (1 يناير 2020). "رسم الشبكات العصبية: مراجعة للطرق والتطبيقات" . منظمة العفو الدولية مفتوحة . 1 : 57– 81. دوى : 10.1016/j.aiopen.2021.01.001 . ISSN 2666-6510 . 
  61. ^ شوت، كريستوف ت. كيندرمانز، بيتر جان؛ سوسيدا، هوزيل E.؛ شميلا، ستيفان؛ تكاتشينكو، الكسندر؛ مولر، كلاوس روبرت (2017). SchNet: شبكة عصبية تلافيفية ذات مرشح مستمر لنمذجة التفاعلات الكمومية . التقدم في أنظمة معالجة المعلومات العصبية. المجلد. 30. أرخايف : 1706.08566 . 
  62. ↑ غاستايغر، يوهانس؛ غروس، يانيك؛ غونيمان، ستيفان (2020). تمرير الرسائل الاتجاهي للرسوم البيانية الجزيئية . المؤتمر الدولي حول تمثيلات التعلم. arXiv : 2003.03123 .
  63. ↑ باتزنر، سيمون؛ موسيليان، ألبرت؛ صن، ليكسين؛ جايجر، ماريو؛ مايلوا، جوناثان ب.؛ كورنبلث، موردخاي؛ موليناري، نيكولا؛ سميدت، تيس إي.؛ كوزينسكي، بوريس (2022). "شبكات عصبية بيانية متغيرة من النوع E(3) لحساب كمونات التفاعل بين الذرات بكفاءة عالية ودقة في استخدام البيانات" . مجلة نيتشر كوميونيكيشنز . 13 (1) 2453. arXiv : 2101.03164 . Bibcode : 2022NatCo..13.2453B . doi : 10.1038/ s41467-022-29939-5 . PMC 9068745. PMID 35508450 .  
  64. ^ باتايا، إلياس. كوفاكس، ديفيد بيتر؛ سيم، جريجور نورث كارولاينا؛ أورتنر، كريستوف. تساني ، غابور (2022). MACE: رسالة مكافئة ذات رتبة أعلى تمر عبر الشبكات العصبية للحصول على مجالات قوة سريعة ودقيقة . التقدم في أنظمة معالجة المعلومات العصبية. المجلد. 35. الصفحات من 11423 إلى 11436. أرخايف : 2206.07697 .  
  65. ↑ شانوسوت، لويك؛ داس، أبيشيك؛ غويال، سيدهارث؛ لافريل، ثيبو؛ شعيب، محمد؛ ريفيير، مورغان؛ تران، كيفن؛ هيراس-دومينغو، خافيير؛ هو، كاليب؛ هو، ويهوا؛ باليزهاتي، عيني؛ سريرام، أنوروب؛ وود، براندون؛ يون، جونوونغ؛ باريك، ديفي؛ زيتنيك، سي. لورانس؛ أوليسي، زاكاري (2021). "مجموعة بيانات Open Catalyst 2020 (OC20) وتحديات المجتمع". ACS Catalysis . 11 (10): 6059–6072 . arXiv : 2010.09990 . doi : 10.1021/acscatal.0c04525 .
  66. ↑ دينغ، بوين؛ تشونغ، بيتشين؛ جون، كيو جونغ؛ ريبسيل، جانوش؛ هان، كيفن؛ باربر، كريستوفر جيه؛ سيدر، جيربراند (2023). "CHGNet كجهد شبكة عصبية عالمية مُدرَّبة مسبقًا لنمذجة الذرات المُستندة إلى الشحنة". مجلة Nature Machine Intelligence . 5 (9): 1031–1041 . arXiv : 2302.14231 . Bibcode : 2023NatMI...5.1031D . doi : 10.1038/s42256-023-00716-3 .
  67. ↑ تشين، تشي؛ أونغ، شيوي بينغ (2022). "جهد تفاعلي بين الذرات باستخدام التعلم العميق للرسوم البيانية الشاملة للجدول الدوري". مجلة نيتشر للعلوم الحاسوبية . 2 (11): 718-728 . arXiv : 2202.02450 . doi : 10.1038/s43588-022-00349-3 . PMID 38177366 . 
  68. ^ وود ، براندون م. دزامبا، ميسكو؛ فو، شيانغ؛ جاو منغ. الشعيبي، محمد؛ باروسو لوكي، لويس؛ وآخرون . (2025). “UMA: عائلة من النماذج العالمية للذرات”. أرخايف : 2506.23971 [ cs.LG ]. 
  69. ↑ ميرشانت، أميل؛ باتزنر، سيمون؛ شونهولز، صموئيل س.؛ أيكول، موراتاهان؛ وآخرون . (2023). "توسيع نطاق التعلم العميق لاكتشاف المواد" . مجلة نيتشر . 624 (7990): 80-85 . Bibcode : 2023Natur.624...80M . doi : 10.1038/ s41586-023-06735-9 . PMC 10700138. PMID 37968396 .