الإنتروبيا الشرطية

${\displaystyle \mathrm {H} (Y|X)=0}$إذا وفقط إذا كانت قيمة${\displaystyle Y}$يتحدد ذلك كلياً بقيمة${\displaystyle X}$.

وعلى العكس من ذلك،${\displaystyle \mathrm {H} (Y|X)=\mathrm {H} (Y)}$إذا وفقط إذا${\displaystyle Y}$و${\displaystyle X}$هي متغيرات عشوائية مستقلة .

بافتراض أن النظام المدمج يتم تحديده بواسطة متغيرين عشوائيين${\displaystyle X}$و${\displaystyle Y}$له إنتروبيا مشتركة${\displaystyle \mathrm {H} (X,Y)}$أي أننا نحتاج${\displaystyle \mathrm {H} (X,Y)}$نستخدم معلومات قليلة في المتوسط ​​لوصف حالتها بدقة. الآن، إذا تعلمنا أولاً قيمة${\displaystyle X}$لقد حققنا${\displaystyle \mathrm {H} (X)}$معلومات متفرقة. مرة واحدة${\displaystyle X}$إذا كان معروفًا، فنحن نحتاج فقط إلى${\displaystyle \mathrm {H} (X,Y)-\mathrm {H} (X)}$بتات لوصف حالة النظام بأكمله. هذه الكمية هي بالضبط${\displaystyle \mathrm {H} (Y|X)}$، مما يعطي قاعدة السلسلة للإنتروبيا الشرطية:

${\displaystyle \mathrm {H} (Y|X)\,=\,\mathrm {H} (X,Y)-\mathrm {H} (X).}$^{[ 3 ] : 17}

تستنتج قاعدة السلسلة من التعريف المذكور أعلاه للإنتروبيا الشرطية:

${\displaystyle {\begin{aligned}\mathrm {H} (Y|X)&=\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log \left({\frac {p(x)}{p(x,y)}}\right)\\[4pt]&=\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)(\log(p(x))-\log(p(x,y)))\\[4pt]&=-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log(p(x,y))+\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}{p(x,y)\log(p(x))}\\[4pt]&=\mathrm {H} (X,Y)+\sum _{x\in {\mathcal {X}}}p(x)\log(p(x))\\[4pt]&=\mathrm {H} (X,Y)-\mathrm {H} (X).\end{aligned}}}$

بشكل عام، تنطبق قاعدة السلسلة على المتغيرات العشوائية المتعددة:

${\displaystyle \mathrm {H} (X_{1},X_{2},\ldots ,X_{n})=\sum _{i=1}^{n}\mathrm {H} (X_{i}|X_{1},\ldots ,X_{i-1})}$^{[ 3 ] : 22}

له شكل مشابه لقاعدة السلسلة في نظرية الاحتمالات ، باستثناء أنه يتم استخدام الجمع بدلاً من الضرب.

قاعدة بايز لحالات الإنتروبيا الشرطية

${\displaystyle \mathrm {H} (Y|X)\,=\,\mathrm {H} (X|Y)-\mathrm {H} (X)+\mathrm {H} (Y).}$

دليل.${\displaystyle \mathrm {H} (Y|X)=\mathrm {H} (X,Y)-\mathrm {H} (X)}$و${\displaystyle \mathrm {H} (X|Y)=\mathrm {H} (Y,X)-\mathrm {H} (Y)}$التناظر يستلزم${\displaystyle \mathrm {H} (X,Y)=\mathrm {H} (Y,X)}$. طرح المعادلتين يستلزم قاعدة بايز.

لو${\displaystyle Y}$مستقل شرطيًا عن${\displaystyle Z}$منح${\displaystyle X}$لدينا:

${\displaystyle \mathrm {H} (Y|X,Z)\,=\,\mathrm {H} (Y|X).}$

لأي${\displaystyle X}$و${\displaystyle Y}$:

${\displaystyle {\begin{aligned}\mathrm {H} (Y|X)&\leq \mathrm {H} (Y)\,\\\mathrm {H} (X,Y)&=\mathrm {H} (X|Y)+\mathrm {H} (Y|X)+\operatorname {I} (X;Y),\qquad \\\mathrm {H} (X,Y)&=\mathrm {H} (X)+\mathrm {H} (Y)-\operatorname {I} (X;Y),\,\\\operatorname {I} (X;Y)&\leq \mathrm {H} (X),\,\end{aligned}}}$

أين${\displaystyle \operatorname {I} (X;Y)}$المعلومات المتبادلة بين${\displaystyle X}$و${\displaystyle Y}$.

للمستقلين${\displaystyle X}$و${\displaystyle Y}$:

${\displaystyle \mathrm {H} (Y|X)=\mathrm {H} (Y)}$و${\displaystyle \mathrm {H} (X|Y)=\mathrm {H} (X)\,}$

على الرغم من الانتروبيا الشرطية المحددة${\displaystyle \mathrm {H} (X|Y=y)}$يمكن أن تكون أقل أو أكبر من${\displaystyle \mathrm {H} (X)}$بالنسبة لمتغير عشوائي معين${\displaystyle y}$ل${\displaystyle Y}$،${\displaystyle \mathrm {H} (X|Y)}$لا يمكن أن يتجاوز${\displaystyle \mathrm {H} (X)}$.

التعريف أعلاه خاص بالمتغيرات العشوائية المنفصلة. أما النسخة المستمرة من الإنتروبيا الشرطية المنفصلة فتُسمى الإنتروبيا التفاضلية الشرطية (أو المستمرة) .${\displaystyle X}$و${\displaystyle Y}$لتكن متغيرات عشوائية متصلة ذات دالة كثافة احتمالية مشتركة${\displaystyle f(x,y)}$. الإنتروبيا الشرطية التفاضلية${\displaystyle h(X|Y)}$يُعرَّف على النحو التالي ^{[ 3 ] : 249}

${\displaystyle h(X|Y)=-\int _{{\mathcal {X}},{\mathcal {Y}}}f(x,y)\log f(x|y)\,dxdy}$.

وعلى النقيض من الانتروبيا الشرطية للمتغيرات العشوائية المنفصلة، ​​قد تكون الانتروبيا التفاضلية الشرطية سالبة.

كما هو الحال في الحالة المنفصلة، ​​توجد قاعدة سلسلة للإنتروبيا التفاضلية:

${\displaystyle h(Y|X)\,=\,h(X,Y)-h(X)}$^{[ 3 ] : 253}

لاحظ مع ذلك أن هذه القاعدة قد لا تكون صحيحة إذا لم تكن الانتروبيا التفاضلية المعنية موجودة أو كانت لانهائية.

يُستخدم مفهوم الإنتروبيا التفاضلية المشتركة أيضًا في تعريف المعلومات المتبادلة بين المتغيرات العشوائية المستمرة:

${\displaystyle \operatorname {I} (X,Y)=h(X)-h(X|Y)=h(Y)-h(Y|X)}$

${\displaystyle h(X|Y)\leq h(X)}$مع المساواة إذا وفقط إذا${\displaystyle X}$و${\displaystyle Y}$مستقلة. ^{[ 3 ] : 253}

يُعطي الانتروبيا التفاضلية الشرطية حدًا أدنى للخطأ التربيعي المتوقع للمُقدِّر . لأي متغير عشوائي غاوسي${\displaystyle X}$، ملاحظة${\displaystyle Y}$والمُقدِّر${\displaystyle {\widehat {X}}}$ينطبق ما يلي: ^{[ 3 ] : 255}

$${\displaystyle \mathbb {E} \left[{\bigl (}X-{\widehat {X}}{(Y)}{\bigr )}^{2}\right]\geq {\frac {1}{2\pi e}}e^{2h(X|Y)}}$$

يرتبط هذا بمبدأ عدم اليقين في ميكانيكا الكم .