الارتباط الكلي

في نظرية الاحتمالات ، وتحديدًا في نظرية المعلومات ، يُعدّ الارتباط الكلي (واتانابي، 1960) أحد التعميمات العديدة للمعلومات المتبادلة . ويُعرف أيضًا باسم القيد متعدد المتغيرات (غارنر، 1962) أو المعلومات المتعددة (ستوديني وفيجناروفا، 1999). وهو يُحدد كميًا مدى التكرار أو التبعية بين مجموعة من n متغيرًا عشوائيًا.

بالنسبة لمجموعة معينة من n متغيرات عشوائية${\displaystyle \{X_{1},X_{2},\ldots ,X_{n}\}}$الارتباط الكلي${\displaystyle C(X_{1},X_{2},\ldots ,X_{n})}$يُعرَّف بأنه تباعد كولباك-لايبير عن التوزيع المشترك${\displaystyle p(X_{1},\ldots ,X_{n})}$إلى التوزيع المستقل لـ${\displaystyle p(X_{1})p(X_{2})\cdots p(X_{n})}$،

${\displaystyle C(X_{1},X_{2},\ldots ,X_{n})\equiv \operatorname {D_{KL}} \left[p(X_{1},\ldots ,X_{n})\|p(X_{1})p(X_{2})\cdots p(X_{n})\right]\;.}$

يختزل هذا التباين إلى الفرق الأبسط في قيم الإنتروبيا،

${\displaystyle C(X_{1},X_{2},\ldots ,X_{n})=\left[\sum _{i=1}^{n}H(X_{i})\right]-H(X_{1},X_{2},\ldots ,X_{n})}$

أين${\displaystyle H(X_{i})}$هي إنتروبيا المعلومات للمتغير${\displaystyle X_{i}\,}$، و${\displaystyle H(X_{1},X_{2},\ldots ,X_{n})}$هي الإنتروبيا المشتركة لمجموعة المتغيرات${\displaystyle \{X_{1},X_{2},\ldots ,X_{n}\}}$من حيث التوزيعات الاحتمالية المنفصلة على المتغيرات${\displaystyle \{X_{1},X_{2},\ldots ,X_{n}\}}$، ويُعطى الارتباط الكلي بواسطة

${\displaystyle C(X_{1},X_{2},\ldots ,X_{n})=\sum _{x_{1}\in {\mathcal {X}}_{1}}\sum _{x_{2}\in {\mathcal {X}}_{2}}\ldots \sum _{x_{n}\in {\mathcal {X}}_{n}}p(x_{1},x_{2},\ldots ,x_{n})\log {\frac {p(x_{1},x_{2},\ldots ,x_{n})}{p(x_{1})p(x_{2})\cdots p(x_{n})}}.}$

يمثل الارتباط الكلي مقدار المعلومات المشتركة بين المتغيرات في المجموعة. المجموع${\displaystyle {\begin{matrix}\sum _{i=1}^{n}H(X_{i})\end{matrix}}}$يمثل هذا المصطلح كمية المعلومات بالبتات (بافتراض استخدام اللوغاريتمات ذات الأساس 2) التي ستمتلكها المتغيرات إذا كانت مستقلة تمامًا عن بعضها البعض (غير متكررة)، أو، بشكل مكافئ، متوسط ​​طول الشفرة لنقل قيم جميع المتغيرات إذا تم ترميز كل متغير (على النحو الأمثل) بشكل مستقل.${\displaystyle H(X_{1},X_{2},\ldots ,X_{n})}$يمثل هذا المقدار الفعلي للمعلومات التي تحتويها مجموعة المتغيرات، أو ما يعادله، متوسط ​​طول الشفرة اللازمة لنقل قيم جميع المتغيرات إذا تم ترميز مجموعة المتغيرات معًا (بشكل أمثل). وبالتالي، يمثل الفرق بين هذين المصطلحين التكرار المطلق (بالبتات) الموجود في مجموعة المتغيرات المعطاة، مما يوفر مقياسًا كميًا عامًا للبنية أو التنظيم المتضمن في مجموعة المتغيرات (روثستين، 1952). كما أن الارتباط الكلي هو تباعد كولباك-لايبير بين التوزيع الفعلي${\displaystyle p(X_{1},X_{2},\ldots ,X_{n})}$وتقريب حاصل ضرب الإنتروبيا الأقصى الخاص به${\displaystyle p(X_{1})p(X_{2})\cdots p(X_{n})}$.

يقيس الارتباط الكلي مقدار الاعتماد بين مجموعة من المتغيرات. يشير الارتباط الكلي القريب من الصفر إلى أن المتغيرات في المجموعة مستقلة إحصائيًا بشكل أساسي؛ فهي غير مرتبطة تمامًا، بمعنى أن معرفة قيمة أحد المتغيرات لا توفر أي دليل على قيم المتغيرات الأخرى. من ناحية أخرى، فإن الحد الأقصى للارتباط الكلي (لمجموعة ثابتة من قيم الإنتروبيا الفردية)${\displaystyle H(X_{1}),...,H(X_{n})}$) معطى بواسطة

${\displaystyle C_{\max }=\sum _{i=1}^{n}H(X_{i})-\max \limits _{X_{i}}H(X_{i}),}$

ويحدث ذلك عندما يحدد أحد المتغيرات جميع المتغيرات الأخرى. وتكون المتغيرات حينها مرتبطة ارتباطاً وثيقاً بمعنى أن معرفة قيمة أحد المتغيرات توفر معلومات كاملة عن قيم جميع المتغيرات الأخرى، ويمكن اعتبار المتغيرات مجازياً كتروس، حيث يحدد موضع أحد التروس مواضع جميع التروس الأخرى (روثستين 1952).

من المهم ملاحظة أن الارتباط الكلي يحسب جميع حالات التكرار بين مجموعة من المتغيرات، ولكن هذه الحالات قد تتوزع في جميع أنحاء مجموعة المتغيرات بطرق معقدة ومتنوعة (جارنر، 1962). على سبيل المثال، قد تكون بعض المتغيرات في المجموعة متداخلة تمامًا، بينما تكون متغيرات أخرى مستقلة تمامًا. ولعل الأهم من ذلك، أن التكرار قد يكون موجودًا في تفاعلات بدرجات متفاوتة: فقد لا تحتوي مجموعة من المتغيرات على أي تكرار ثنائي، ولكنها قد تحتوي على تكرارات تفاعلية من رتبة أعلى، كما هو موضح في دالة التكافؤ . تم استكشاف تحليل الارتباط الكلي إلى التكرارات المكونة له في عدد من المصادر (Mcgill 1954, Watanabe 1960, Garner 1962, Studeny & Vejnarova 1999, Jakulin & Bratko 2003a, Jakulin & Bratko 2003b, Nemenman 2004, Margolin et al. 2008, Han 1978، هان 1980).

يُعرَّف الارتباط الكلي المشروط بشكل مشابه للارتباط الكلي، ولكن بإضافة شرط إلى كل حد. ويُعرَّف الارتباط الكلي المشروط أيضاً على أنه تباعد كولباك-لايبير بين توزيعين احتماليين مشروطين.

${\displaystyle C(X_{1},X_{2},\ldots ,X_{n}|Y=y)\equiv \operatorname {D_{KL}} \left[p(X_{1},\ldots ,X_{n}|Y=y)\|p(X_{1}|Y=y)p(X_{2}|Y=y)\cdots p(X_{n}|Y=y)\right]\;.}$

وبالمثل لما سبق، فإن الارتباط الكلي المشروط يختزل إلى فرق في الإنتروبيا المشروطة.

${\displaystyle C(X_{1},X_{2},\ldots ,X_{n}|Y=y)=\sum _{i=1}^{n}H(X_{i}|Y=y)-H(X_{1},X_{2},\ldots ,X_{n}|Y=y)}$

استكشف واتانابي خوارزميات التجميع واختيار الميزات القائمة على الارتباط الكلي. وطبّق ألفونسو وآخرون (2010) مفهوم الارتباط الكلي على تحسين شبكات مراقبة المياه.

• المعلومات المتبادلة
• الارتباط الكلي المزدوج
• معلومات التفاعل

• ألفونسو، ل.، لوبريشت، أ.، وبرايس، ر. (2010). تحسين شبكة مراقبة مستوى المياه في أنظمة البولدر باستخدام نظرية المعلومات ، بحوث موارد المياه ، 46، W12553، 13 صفحة، 2010، doi : 10.1029/2009WR008953 .
• غارنر دبليو آر (1962). عدم اليقين والبنية كمفاهيم نفسية ، جون وايلي وأولاده، نيويورك.
• Han TS (1978). مقاييس الإنتروبيا غير السالبة للارتباطات المتناظرة متعددة المتغيرات، المعلومات والتحكم 36 ، 133-156 .
• هان تي إس (1980). المعلومات المتبادلة المتعددة والتفاعلات المتعددة في بيانات التردد، المعلومات والتحكم 46 ، 26-45 .
• جاكولين أ وبراتكو إ (2003أ). تحليل تبعيات السمات، في ن لافرا، د غامبرغر، ل تودوروفسكي وهـ بلوكيل، المحررين، وقائع المؤتمر الأوروبي السابع حول مبادئ وممارسات اكتشاف المعرفة في قواعد البيانات ، سبرينغر، كافتا -دوبروفنيك، كرواتيا، ص  229-240 .
• جاكولين أ وبراتكو إ (2003ب). قياس وتصوير تفاعلات السمات.
• مارغولين أ، وانغ ك، كاليفانو أ، ونيمينمان إ (2010). الاعتماد متعدد المتغيرات واستدلال الشبكات الجينية. مجلة IET لعلم الأحياء النظمي 4 ، 428.
• McGill WJ (1954). نقل المعلومات متعددة المتغيرات، Psychometrika 19 ، 97-116 .
• نيمينمان الأول (2004). نظرية المعلومات، والاعتماد متعدد المتغيرات، واستدلال الشبكة الجينية.
• روثستين ج (1952). التنظيم والإنتروبيا، مجلة الفيزياء التطبيقية 23 ، 1281 – 1282.
• Studený M & Vejnarová J (1999). دالة المعلومات المتعددة كأداة لقياس التبعية العشوائية، في MI Jordan، محرر، التعلم في النماذج الرسومية ، مطبعة معهد ماساتشوستس للتكنولوجيا ، كامبريدج، ماساتشوستس، ص  261-296 .
• واتانابي إس (1960). التحليل النظري للمعلومات للارتباط متعدد المتغيرات، مجلة آي بي إم للبحوث والتطوير 4 ، 66-82 .