شبكة بايزية

نظرًا لأن الشبكة البايزية تُعد نموذجًا كاملًا لمتغيراتها وعلاقاتها، يُمكن استخدامها للإجابة عن الاستفسارات الاحتمالية المتعلقة بها. على سبيل المثال، يُمكن استخدام الشبكة لتحديث معرفة حالة مجموعة فرعية من المتغيرات عند رصد متغيرات أخرى (متغيرات الأدلة ). تُسمى عملية حساب التوزيع الاحتمالي اللاحق للمتغيرات بناءً على الأدلة بالاستدلال الاحتمالي. يُوفر التوزيع الاحتمالي اللاحق إحصائية كافية شاملة لتطبيقات الكشف، عند اختيار قيم لمجموعة المتغيرات الفرعية التي تُقلل من دالة الخسارة المتوقعة، مثل احتمال خطأ القرار. وبالتالي، يُمكن اعتبار الشبكة البايزية آلية لتطبيق نظرية بايز تلقائيًا على المشكلات المعقدة.

أكثر طرق الاستدلال الدقيق شيوعًا هي: حذف المتغيرات ، الذي يحذف (بالتكامل أو الجمع) المتغيرات غير المرصودة وغير المستعلم عنها واحدًا تلو الآخر بتوزيع المجموع على الناتج؛ ونشر شجرة الزمر ، الذي يخزن الحساب مؤقتًا بحيث يمكن الاستعلام عن العديد من المتغيرات في وقت واحد ونشر الأدلة الجديدة بسرعة؛ والتكييف التكراري والبحث AND/OR، اللذان يسمحان بموازنة المساحة والوقت ويطابقان كفاءة حذف المتغيرات عند استخدام مساحة كافية. جميع هذه الطرق لها تعقيد أُسّي في عرض شجرة الشبكة . أما أكثر خوارزميات الاستدلال التقريبي شيوعًا فهي: أخذ العينات المهمة ، ومحاكاة MCMC العشوائية ، وحذف الدلو المصغر، ونشر الاعتقاد الحلقي ، ونشر الاعتقاد المعمم ، والطرق التباينية .

لتحديد الشبكة البايزية بشكل كامل، وبالتالي تمثيل التوزيع الاحتمالي المشترك تمثيلاً كاملاً ، من الضروري تحديد التوزيع الاحتمالي لكل عقدة X ، بشرط أن تكون هذه العقدة مرتبطة بعقدها الأبوية . قد يتخذ هذا التوزيع أي شكل. من الشائع استخدام التوزيعات المنفصلة أو الغاوسية لتبسيط الحسابات. في بعض الأحيان، لا تُعرف سوى قيود التوزيع؛ عندها يمكن استخدام مبدأ أقصى إنتروبيا لتحديد توزيع واحد، وهو التوزيع ذو أعلى إنتروبيا في ظل هذه القيود. (وبالمثل، في سياق الشبكة البايزية الديناميكية ، يُحدد عادةً التوزيع الشرطي للتطور الزمني للحالة المخفية لتعظيم معدل إنتروبيا العملية العشوائية الضمنية).

غالبًا ما تتضمن هذه التوزيعات الشرطية معلمات غير معروفة، ويجب تقديرها من البيانات، على سبيل المثال، باستخدام أسلوب الاحتمال الأقصى . ويُعدّ التعظيم المباشر للاحتمال (أو الاحتمال اللاحق ) عملية معقدة في ظل وجود متغيرات غير مُلاحظة. ومن الأساليب الكلاسيكية لحل هذه المشكلة خوارزمية التوقع والتعظيم ، التي تتناوب بين حساب القيم المتوقعة للمتغيرات غير المُلاحظة بناءً على البيانات المُلاحظة، وبين تعظيم الاحتمال الكامل (أو الاحتمال اللاحق) بافتراض صحة القيم المتوقعة المحسوبة سابقًا. وفي ظل شروط انتظام بسيطة، تتقارب هذه العملية نحو قيم الاحتمال الأقصى (أو الاحتمال اللاحق الأقصى) للمعلمات.

يتمثل النهج البايزي الأكثر شمولاً في التعامل مع المعلمات في اعتبارها متغيرات إضافية غير مُلاحظة، وحساب التوزيع الاحتمالي اللاحق الكامل على جميع العقد بناءً على البيانات المُلاحظة، ثم دمج المعلمات. قد يكون هذا النهج مكلفًا ويؤدي إلى نماذج ذات أبعاد كبيرة، مما يجعل أساليب ضبط المعلمات التقليدية أكثر سهولة.

في أبسط الحالات، يقوم خبير بتحديد شبكة بايزية، ثم تُستخدم لإجراء الاستدلال. أما في تطبيقات أخرى، فتكون مهمة تحديد الشبكة معقدة للغاية بالنسبة للبشر. في هذه الحالة، يجب تعلم بنية الشبكة ومعاملات التوزيعات المحلية من البيانات.

يُعدّ التعلّم التلقائي لبنية الرسم البياني لشبكة بايزية (BN) تحديًا يُسعى إليه في مجال التعلّم الآلي . وتعود الفكرة الأساسية إلى خوارزمية استعادة طوّرها ريبان وبيرل ^{[ 7 ]} ، وتعتمد على التمييز بين الأنماط الثلاثة الممكنة في رسم بياني موجه غير دوري (DAG) بثلاث عقد:

أنماط التقاطع

نمط	نموذج
سلسلة	${\displaystyle X\rightarrow Y\rightarrow Z}$
شوكة	${\displaystyle X\leftarrow Y\rightarrow Z}$
مصادم	${\displaystyle X\rightarrow Y\leftarrow Z}$

يمثل أول اثنين نفس التبعيات (${\displaystyle X}$و${\displaystyle Z}$مستقلة بالنظر إلى${\displaystyle Y}$وبالتالي، لا يمكن تمييزها. ومع ذلك، يمكن تحديد المصادم بشكل فريد، لأنه${\displaystyle X}$و${\displaystyle Z}$تكون هذه الأزواج مستقلة بشكل هامشي، بينما تكون جميع الأزواج الأخرى تابعة. وبالتالي، على الرغم من أن الهياكل الأساسية (الرسوم البيانية المجردة من الأسهم) لهذه الثلاثيات الثلاث متطابقة، إلا أنه يمكن تحديد اتجاه الأسهم جزئيًا. وينطبق التمييز نفسه عندما${\displaystyle X}$و${\displaystyle Z}$تشترك هذه المجموعات في آباء مشتركين، إلا أنه يجب أولاً التحقق من هؤلاء الآباء. وقد طُوِّرت خوارزميات لتحديد الهيكل الأساسي للرسم البياني بشكل منهجي، ثم توجيه جميع الأسهم التي تحدد اتجاهاتها الاستقلالات الشرطية الملاحظة. ^{[ 2 ] [ 8 ] [ 9 ] [ 10 ]}

تستخدم طريقة بديلة للتعلم الهيكلي البحثَ القائم على التحسين. تتطلب هذه الطريقة دالةَ تقييم واستراتيجيةَ بحث. من دوال التقييم الشائعة الاحتمالية اللاحقة للهيكل بناءً على بيانات التدريب، مثل BIC أو BDeu. يُعدّ الوقت اللازم للبحث الشامل الذي يُعيد هيكلًا يُعظّم النتيجة أكبر من أُسّي بالنسبة لعدد المتغيرات. تُجري استراتيجية البحث المحلي تغييرات تدريجية تهدف إلى تحسين نتيجة الهيكل. يمكن لخوارزمية بحث شاملة، مثل سلسلة ماركوف مونت كارلو (MCMC)، تجنّب الوقوع في الحد الأدنى المحلي . يُعدّ إيجاد هيكل يُعظّم المعلومات المتبادلة ، عادةً عن طريق تقييد مجموعة المرشحين الأبوية إلى k عقدة ^{[ 11 ] [ 12 ] [ 13 ]} أو عن طريق إيجاد قيمة k المثلى على أساس كل عقدة على حدة ^{[ 14 ]} ، تقنيةً تُحقق باستمرار نتائج عالية على مجموعات البيانات المعيارية.

تتمثل إحدى الطرق السريعة لتعلم الشبكات البايزية بدقة في صياغة المسألة كمسألة تحسين، وحلها باستخدام البرمجة العددية الصحيحة . تُضاف قيود عدم التكرار إلى البرنامج العددي الصحيح أثناء الحل على شكل مستويات قطع . ^{[ 15 ]} يمكن لهذه الطريقة التعامل مع مسائل تصل إلى 100 متغير.

لمعالجة المشكلات التي تحتوي على آلاف المتغيرات، يلزم اتباع نهج مختلف. يتمثل هذا النهج في اختيار ترتيب واحد أولًا، ثم إيجاد بنية الشبكة البيزية المثلى بناءً على هذا الترتيب. وهذا يستلزم العمل على فضاء البحث الخاص بالترتيبات الممكنة، وهو أمر ملائم لأنه أصغر من فضاء هياكل الشبكات. بعد ذلك، يتم اختيار عدة ترتيبات وتقييمها. وقد أثبتت هذه الطريقة أنها الأفضل المتاحة في الأدبيات العلمية عندما يكون عدد المتغيرات كبيرًا جدًا. ^{[ 16 ]}

تتمثل طريقة أخرى في التركيز على الفئة الفرعية من النماذج القابلة للتحليل، والتي يكون لتقدير الاحتمال الأقصى لها صيغة مغلقة. ومن ثم، يصبح من الممكن اكتشاف بنية متسقة لمئات المتغيرات. ^{[ 17 ]}

يُعدّ تعلّم الشبكات البايزية ذات عرض الشجرة المحدود ضروريًا للسماح باستدلال دقيق وقابل للمعالجة، نظرًا لأنّ تعقيد الاستدلال في أسوأ الحالات يكون أُسّيًا بالنسبة لعرض الشجرة k (وفقًا لفرضية الزمن الأُسّي). ومع ذلك، وباعتباره خاصية عامة للرسم البياني، فإنه يزيد بشكل كبير من صعوبة عملية التعلّم. في هذا السياق، يُمكن استخدام شجرة K للتعلّم الفعّال. ^{[ 18 ]}

بالنظر إلى الكميات المقاسة${\displaystyle x_{1},\dots ,x_{n}\,\!}$كل منها بأخطاء موزعة توزيعًا طبيعيًا ذات انحراف معياري معروف${\displaystyle \sigma \,\!}$،

${\displaystyle x_{i}\sim N(\theta _{i},\sigma ^{2})}$

لنفترض أننا مهتمون بتقدير${\displaystyle \theta _{i}}$يتمثل أحد الأساليب في تقدير${\displaystyle \theta _{i}}$باستخدام أسلوب الاحتمال الأقصى ؛ بما أن المشاهدات مستقلة، فإن الاحتمال يتحلل إلى عوامل، ويكون تقدير الاحتمال الأقصى ببساطة

${\displaystyle \theta _{i}=x_{i}.}$

لكن إذا كانت الكميات مرتبطة، بحيث يكون الفرد على سبيل المثال${\displaystyle \theta _{i}}$إذا تم استخلاص هذه البيانات من توزيع أساسي، فإن هذه العلاقة تقضي على الاستقلالية وتقترح نموذجًا أكثر تعقيدًا، على سبيل المثال،

${\displaystyle x_{i}\sim N(\theta _{i},\sigma ^{2}),}$

${\displaystyle \theta _{i}\sim N(\varphi ,\tau ^{2}),}$

مع سوابق غير مناسبة${\displaystyle \varphi \sim {\text{flat}}}$،${\displaystyle \tau \sim {\text{flat}}\in (0,\infty )}$. متى${\displaystyle n\geq 3}$هذا نموذج مُحدد (أي يوجد حل فريد لمعاملات النموذج)، والتوزيعات اللاحقة للفرد${\displaystyle \theta _{i}}$ستميل هذه القيم إلى التحرك، أو الانكماش، بعيدًا عن تقديرات الاحتمال الأقصى باتجاه متوسطها المشترك. ويُعد هذا الانكماش سلوكًا نموذجيًا في نماذج بايز الهرمية.

يلزم توخي الحذر عند اختيار التوزيعات الاحتمالية المسبقة في نموذج هرمي، لا سيما فيما يتعلق بمتغيرات المقياس في المستويات العليا من التسلسل الهرمي مثل المتغير${\displaystyle \tau \,\!}$في المثال. غالباً ما لا تنجح التوزيعات الاحتمالية المسبقة المعتادة مثل توزيع جيفريز المسبق ، لأن التوزيع الاحتمالي اللاحق لن يكون قابلاً للتطبيع، وستكون التقديرات التي يتم إجراؤها عن طريق تقليل الخسارة المتوقعة غير مقبولة .

X هي شبكة بايزية بالنسبة إلى G إذا كان من الممكن كتابة دالة كثافة الاحتمال المشتركة الخاصة بها (بالنسبة لمقياس المنتج ) كحاصل ضرب دوال الكثافة الفردية، بشرط متغيراتها الأصلية: ^{[ 19 ]}

${\displaystyle p(x)=\prod _{v\in V}p\left(x_{v}\,{\big |}\,x_{\operatorname {pa} (v)}\right)}$

حيث pa( v ) هي مجموعة الآباء لـ v (أي تلك الرؤوس التي تشير مباشرة إلى v عبر حافة واحدة).

بالنسبة لأي مجموعة من المتغيرات العشوائية، يمكن حساب احتمال أي عنصر من عناصر التوزيع المشترك من الاحتمالات الشرطية باستخدام قاعدة السلسلة (مع مراعاة الترتيب الطوبولوجي لـ X ) على النحو التالي: ^{[ 19 ]}

${\displaystyle \operatorname {P} (X_{1}=x_{1},\ldots ,X_{n}=x_{n})=\prod _{v=1}^{n}\operatorname {P} \left(X_{v}=x_{v}\mid X_{v+1}=x_{v+1},\ldots ,X_{n}=x_{n}\right)}$

باستخدام التعريف أعلاه، يمكن كتابة ذلك على النحو التالي:

${\displaystyle \operatorname {P} (X_{1}=x_{1},\ldots ,X_{n}=x_{n})=\prod _{v=1}^{n}\operatorname {P} (X_{v}=x_{v}\mid X_{j}=x_{j}{\text{ for each }}X_{j}\,{\text{ that is a parent of }}X_{v}\,)}$

الفرق بين التعبيرين هو الاستقلال الشرطي للمتغيرات عن أي من المتغيرات غير المنحدرة منها، بالنظر إلى قيم المتغيرات الأصلية.

X هي شبكة بايزية بالنسبة إلى G إذا كانت تحقق خاصية ماركوف المحلية : كل متغير مستقل شرطيًا عن غير أحفاده بالنظر إلى متغيراته الأصلية: ^{[ 20 ]}

${\displaystyle X_{v}\perp \!\!\!\perp X_{V\,\smallsetminus \,\operatorname {de} (v)}\mid X_{\operatorname {pa} (v)}\quad {\text{for all }}v\in V}$

حيث de( v ) هي مجموعة الأحفاد و V  \  de( v ) هي مجموعة غير الأحفاد لـ v .

ويمكن التعبير عن ذلك بعبارات مشابهة للتعريف الأول، كما

${\displaystyle {\begin{aligned}&\operatorname {P} (X_{v}=x_{v}\mid X_{i}=x_{i}{\text{ for each }}X_{i}{\text{ that is not a descendant of }}X_{v}\,)\\[6pt]={}&P(X_{v}=x_{v}\mid X_{j}=x_{j}{\text{ for each }}X_{j}{\text{ that is a parent of }}X_{v}\,)\end{aligned}}}$

مجموعة الآباء هي مجموعة فرعية من مجموعة غير المنحدرين لأن الرسم البياني غير دوري .

بشكل عام، يُعرف تعلم شبكة بايزية من البيانات بأنه مسألة صعبة حسابيًا (NP-hard) . ^{[ 21 ]} ويعود ذلك جزئيًا إلى التزايد الهائل في عدد المخططات البيانية الموجهة غير الدورية (DAGs) مع ازدياد عدد المتغيرات. ومع ذلك، يمكن استخلاص رؤى حول الشبكة البايزية الأساسية من البيانات في وقت متعدد الحدود من خلال التركيز على بنية استقلالها الهامشي: ^{[ 22 ]} فبينما تُشفّر عبارات الاستقلال الشرطي لتوزيع مُنمذج بواسطة شبكة بايزية بواسطة مخطط بياني موجه غير دوري (وفقًا لخصائص التحليل وماركوف المذكورة أعلاه)، فإن عبارات الاستقلال الهامشي - أي عبارات الاستقلال الشرطي التي تكون فيها مجموعة التكييف فارغة - تُشفّر بواسطة رسم بياني بسيط غير موجه ذي خصائص خاصة مثل تساوي التقاطع وأعداد الاستقلال .

غالبًا ما يبدأ تطوير الشبكة البايزية بإنشاء رسم بياني موجه غير دوري G بحيث يحقق المتغير X خاصية ماركوف المحلية بالنسبة إلى G. أحيانًا يكون هذا الرسم البياني سببيًا . يتم تقييم التوزيعات الاحتمالية الشرطية لكل متغير بالنظر إلى متغيراته الأصلية في G. في كثير من الحالات، وخاصةً عندما تكون المتغيرات منفصلة، ​​إذا كان التوزيع المشترك لـ ^X هو حاصل ضرب هذه التوزيعات الشرطية، فإن X يمثل شبكة بايزية بالنسبة إلى G. ^{[ 23} ]

غطاء ماركوف لعقدة ما هو مجموعة العقد التي تتكون من آبائها وأبنائها وأي آباء آخرين لأبنائها. يجعل غطاء ماركوف العقدة مستقلة عن بقية الشبكة؛ ويكفي معرفة التوزيع المشترك للمتغيرات في غطاء ماركوف لعقدة ما لحساب توزيع تلك العقدة. تُعتبر X شبكة بايزية بالنسبة إلى G إذا كانت كل عقدة مستقلة شرطيًا عن جميع العقد الأخرى في الشبكة، مع الأخذ في الاعتبار غطاء ماركوف الخاص بها . ^{[ 20 ]}

على الرغم من أن الشبكات البايزية تُستخدم غالبًا لتمثيل العلاقات السببية ، إلا أن هذا ليس شرطًا: فالحافة الموجهة من u إلى v لا تتطلب بالضرورة أن يكون X_{_v} تابعًا سببيًا لـ X_{_u}. ويتضح ذلك من خلال حقيقة أن الشبكات البايزية على الرسوم البيانية:

${\displaystyle a\rightarrow b\rightarrow c\qquad {\text{and}}\qquad a\leftarrow b\leftarrow c}$

متكافئة: أي أنها تفرض نفس متطلبات الاستقلال الشرطي تمامًا.

الشبكة السببية هي شبكة بايزية تشترط أن تكون العلاقات سببية. وتحدد الدلالات الإضافية للشبكات السببية أنه إذا تم التسبب بنشاط في وجود عقدة X في حالة معينة x (وهو إجراء يُكتب على النحو التالي: do( X  = x ))، فإن دالة كثافة الاحتمال تتغير إلى دالة الشبكة الناتجة عن قطع الروابط من العقد الأبوية لـ X إلى X ، وتعيين X إلى القيمة المتسببة x . ^{[ 2 ]} وباستخدام هذه الدلالات، يمكن التنبؤ بتأثير التدخلات الخارجية من البيانات التي تم الحصول عليها قبل التدخل.