التباين (الإحصاءات)

في هندسة المعلومات ، يعتبر التباعد نوعًا من المسافة الإحصائية : دالة ثنائية تحدد الفصل من توزيع احتمالي إلى آخر على مشعب إحصائي .

أبسط أنواع التباعد هو المسافة الإقليدية التربيعية (SED)، ويمكن اعتبار أنواع التباعد الأخرى تعميمات لها. أما النوع الثاني الأكثر أهمية فهو الإنتروبيا النسبية (المعروفة أيضًا بتباعد كولباك-لايبير )، والتي تُعدّ أساسية في نظرية المعلومات . وهناك العديد من أنواع التباعد الأخرى، ولا سيما تباعدات f وتباعدات بريغمان (انظر قسم  الأمثلة ).

بالنظر إلى مشعب قابل للتفاضل ^{[ أ ]}${\displaystyle M}$من الأبعاد${\displaystyle n}$، اختلاف في${\displaystyle M}$هو${\displaystyle C^{2}}$-وظيفة${\displaystyle D:M\times M\to [0,\infty )}$مُرضٍ: ^{[ 1 ] [ 2 ]}

1. ${\displaystyle D(p,q)\geq 0}$للجميع${\displaystyle p,q\in M}$(عدم السلبية)،
2. ${\displaystyle D(p,q)=0}$إذا وفقط إذا${\displaystyle p=q}$(الإيجابية)،
3. في كل نقطة${\displaystyle p\in M}$،${\displaystyle D(p,p+dp)}$هي صيغة تربيعية موجبة محددة للإزاحات المتناهية الصغر${\displaystyle dp}$من${\displaystyle p}$.

في تطبيقات الإحصاء، المتشعب${\displaystyle M}$عادةً ما تكون فضاء معلمات عائلة بارامترية من التوزيعات الاحتمالية .

الشرط الثالث يعني أن${\displaystyle D}$يُعرّف الضرب الداخلي على الفضاء المماسي${\displaystyle T_{p}M}$لكل${\displaystyle p\in M}$. منذ${\displaystyle D}$يكون${\displaystyle C^{2}}$على${\displaystyle M}$وهذا يُعرّف مقياسًا ريمانيًا${\displaystyle g}$على${\displaystyle M}$.

محلياً في${\displaystyle p\in M}$يمكننا إنشاء مخطط إحداثيات محلي باستخدام الإحداثيات${\displaystyle x}$إذن، يكون الاختلاف هو$${\displaystyle D(x(p),x(p)+dx)=\textstyle {\frac {1}{2}}dx^{T}g_{p}(x)dx+O(|dx|^{3})}$$أين${\displaystyle g_{p}(x)}$هي مصفوفة بحجم${\displaystyle n\times n}$إنها المقياس الريماني عند النقطة${\displaystyle p}$معبر عنها بالإحداثيات${\displaystyle x}$.

يُظهر التحليل البُعدي للحالة 3 أن التباعد له بُعد المسافة التربيعية. ^{[ 3 ]}

التباين المزدوج${\displaystyle D^{*}}$يُعرَّف بأنه

${\displaystyle D^{*}(p,q)=D(q,p).}$

عندما نرغب في المقارنة${\displaystyle D}$ضد${\displaystyle D^{*}}$، نشير إلى${\displaystyle D}$باعتباره تباينًا أوليًا .

بغض النظر عن أي اختلاف${\displaystyle D}$، ويتم الحصول على نسختها المتناظرة عن طريق حساب متوسطها مع تباعدها الثنائي: ^{[ 3 ]}

${\displaystyle D_{S}(p,q)=\textstyle {\frac {1}{2}}{\big (}D(p,q)+D(q,p){\big )}.}$

تختلف رموز التباينات اختلافاً كبيراً بين المجالات، على الرغم من وجود بعض الاتفاقيات.

يُشار إلى حالات الاختلاف عمومًا بحرف "D" كبير، كما في${\displaystyle D(x,y)}$ولتمييزها عن المسافات المترية، التي يُرمز لها بالحرف الصغير "d". وعند استخدام تباعدات متعددة، يتم تمييزها عادةً برموز سفلية، كما في${\displaystyle D_{\text{KL}}}$بالنسبة لتباعد كولباك-لايبير (تباعد KL).

غالباً ما يُستخدم فاصل مختلف بين المعاملات، لا سيما للتأكيد على عدم التناظر. في نظرية المعلومات ، يُستخدم عادةً خطان متوازيان:${\displaystyle D(p\parallel q)}$وهذا مشابه لرمز الاحتمال الشرطي ، ولكنه يختلف عنه .${\displaystyle P(A|B)}$ويؤكد على تفسير التباعد كمقياس نسبي، كما هو الحال في الإنتروبيا النسبية ؛ وهذا الترميز شائع في تباعد كولباك-لايبير. ويمكن استخدام النقطتين الرأسيتين بدلاً من ذلك، ^{[ ب ]} كما${\displaystyle D(p:q)}$وهذا يؤكد على المعلومات النسبية التي تدعم التوزيعين.

تختلف طريقة كتابة المعاملات أيضًا. الأحرف الكبيرة${\displaystyle P,Q}$تفسر المعلمات على أنها توزيعات احتمالية، بينما الأحرف الصغيرة${\displaystyle p,q}$أو${\displaystyle x,y}$يفسرها هندسياً على أنها نقاط في الفضاء، و${\displaystyle \mu _{1},\mu _{2}}$أو${\displaystyle m_{1},m_{2}}$يفسرها على أنها مقاييس.

يمكن استنتاج العديد من خصائص التباعدات إذا قمنا بتقييد S لتكون متعددة الشعب الإحصائية، مما يعني أنه يمكن تحديدها باستخدام نظام إحداثيات محدود الأبعاد θ ، بحيث يمكننا كتابة p = p ( θ ) لتوزيع p ∈ S.

بالنسبة لزوج من النقاط p و q ∈ S ذات الإحداثيات θp و θq _، نرمز إلى المشتقات الجزئية لـ D ( p , q ) على النحو التالي _:

${\displaystyle {\begin{aligned}D((\partial _{i})_{p},q)\ \ &{\stackrel {\mathrm {def} }{=}}\ \ {\tfrac {\partial }{\partial \theta _{p}^{i}}}D(p,q),\\D((\partial _{i}\partial _{j})_{p},(\partial _{k})_{q})\ \ &{\stackrel {\mathrm {def} }{=}}\ \ {\tfrac {\partial }{\partial \theta _{p}^{i}}}{\tfrac {\partial }{\partial \theta _{p}^{j}}}{\tfrac {\partial }{\partial \theta _{q}^{k}}}D(p,q),\ \ \mathrm {etc.} \end{aligned}}}$

الآن نقوم بتقييد هذه الدوال إلى عنصر قطري p = q ، ونرمز إلى ^{[ 4 ]}

${\displaystyle {\begin{aligned}D[\partial _{i},\cdot ]\ &:\ p\mapsto D((\partial _{i})_{p},p),\\D[\partial _{i},\partial _{j}]\ &:\ p\mapsto D((\partial _{i})_{p},(\partial _{j})_{p}),\ \ \mathrm {etc.} \end{aligned}}}$

بحسب التعريف، تكون الدالة D ( p , q ) في أدنى قيمة لها عند p = q ، وبالتالي

${\displaystyle {\begin{aligned}&D[\partial _{i},\cdot ]=D[\cdot ,\partial _{i}]=0,\\&D[\partial _{i}\partial _{j},\cdot ]=D[\cdot ,\partial _{i}\partial _{j}]=-D[\partial _{i},\partial _{j}]\ \equiv \ g_{ij}^{(D)},\end{aligned}}}$

حيث تكون المصفوفة g ^{( D )} شبه موجبة محددة وتحدد مقياس ريماني فريد على المتشعب S .

يُعرّف التباعد D (·, ·) أيضًا اتصالًا تآلفيًا فريدًا خاليًا من الالتواء ∇ ^{( D )} بمعاملات

${\displaystyle \Gamma _{ij,k}^{(D)}=-D[\partial _{i}\partial _{j},\partial _{k}],}$

ويتم توليد الثنائي لهذا الاتصال ∇* بواسطة التباعد الثنائي D * .

وبالتالي، يُولّد التباعد D (·, ·) على مشعب إحصائي بنية ثنائية فريدة ( g ^{( D )} , ∇ ^{( D )} , ∇ ^{( D *)} ). والعكس صحيح أيضًا: فكل بنية ثنائية خالية من الالتواء على مشعب إحصائي تُستنتج من دالة تباعد مُعرّفة عالميًا (والتي قد لا تكون فريدة بالضرورة). ^{[ 5 ]}

على سبيل المثال، عندما يكون D تباعدًا من النوع f ^{[ 6 ]} لبعض الدوال ƒ(·)، فإنه يولد المقياس g ^{( D _f )} = c·g والاتصال ∇ ^{( D _f )} = ∇ ^{( α )} ، حيث g هو مقياس معلومات فيشر المتعارف عليه ، و∇ ^{( α )} هو الاتصال من النوع α، وc = ƒ′′(1) ، و α = 3 + 2ƒ′′′(1)/ƒ′′(1) .

أهم نوعين من أنواع التباعد هما الإنتروبيا النسبية ( تباعد كولباك-لايبير ، تباعد KL)، وهو عنصر أساسي في نظرية المعلومات والإحصاء، والمسافة الإقليدية التربيعية (SED). ويُعدّ تقليل هذين النوعين من التباعد الطريقة الرئيسية لحل مسائل المعكوس الخطي ، وذلك من خلال مبدأ الإنتروبيا القصوى والمربعات الصغرى ، لا سيما في الانحدار اللوجستي والانحدار الخطي . ^{[ 7 ]}

أهم فئتين من التباعدات هما تباعدات f وتباعدات بريغمان ؛ ومع ذلك، توجد أنواع أخرى من دوال التباعد في الأدبيات. التباعد الوحيد للاحتمالات على أبجدية منتهية والذي يُعد تباعدًا من نوع f وتباعدًا من نوع بريغمان هو تباعد كولباك-لايبير. ^{[ 8 ]} التباعد الإقليدي التربيعي هو تباعد بريغمان (يُقابل الدالة ⁠${\displaystyle x^{2}}$) ولكن ليس تباعدًا من النوع f .

تباعدات f

بفرض دالة محدبة${\displaystyle f:[0,+\infty )\to (-\infty ,+\infty ]}$بحيث${\displaystyle f(0)=\lim _{t\to 0^{+}}f(t),f(1)=0}$، التباعد f الناتج عن${\displaystyle f}$يُعرَّف بأنه

${\displaystyle D_{f}(p,q)=\int p(x)f{\bigg (}{\frac {q(x)}{p(x)}}{\bigg )}dx}$.

تباعد كولباك-لايبير :	${\displaystyle D_{\mathrm {KL} }(p,q)=\int p(x)\ln \left({\frac {p(x)}{q(x)}}\right)dx}$
مسافة هيلينجر التربيعية :	${\displaystyle H^{2}(p,\,q)=2\int {\Big (}{\sqrt {p(x)}}-{\sqrt {q(x)}}\,{\Big )}^{2}dx}$
تباعد جنسن-شانون :	${\displaystyle D_{JS}(p,q)={\frac {1}{2}}\int p(x)\ln \left(p(x)\right)+q(x)\ln \left(q(x)\right)-(p(x)+q(x))\ln \left({\frac {p(x)+q(x)}{2}}\right)dx}$
تباعد ألفا	${\displaystyle D^{(\alpha )}(p,q)={\frac {4}{1-\alpha ^{2}}}{\bigg (}1-\int p(x)^{\frac {1-\alpha }{2}}q(x)^{\frac {1+\alpha }{2}}dx{\bigg )}}$
تباعد مربع كاي :	${\displaystyle D_{\chi ^{2}}(p,q)=\int {\frac {(p(x)-q(x))^{2}}{p(x)}}dx}$
تباعد المنتج ( α ، β ) :	${\displaystyle D_{\alpha ,\beta }(p,q)={\frac {2}{(1-\alpha )(1-\beta )}}\int {\Big (}1-{\Big (}{\tfrac {q(x)}{p(x)}}{\Big )}^{\!\!{\frac {1-\alpha }{2}}}{\Big )}{\Big (}1-{\Big (}{\tfrac {q(x)}{p(x)}}{\Big )}^{\!\!{\frac {1-\beta }{2}}}{\Big )}p(x)dx}$

لقد اختلف استخدام مصطلح "التباعد" - سواء الوظائف التي يشير إليها، أو المسميات المختلفة للمسافات الإحصائية - بشكل كبير عبر الزمن، ولكن بحلول عام 2000 تقريبًا استقر على الاستخدام الحالي في هندسة المعلومات، ولا سيما في كتاب أماري وناغاوكا (2000) . ^{[ 1 ]}

استُخدم مصطلح "التباعد" للدلالة على المسافة الإحصائية بشكل غير رسمي في سياقات مختلفة بين عامي 1910 و1940 تقريبًا. ويعود استخدامه الرسمي على الأقل إلى بحث بهاتاشاريا (1943) بعنوان "حول مقياس التباعد بين مجموعتين إحصائيتين محددتين بتوزيعاتهما الاحتمالية"، والذي عرّف مسافة بهاتاشاريا ، وبحث بهاتاشاريا (1946) بعنوان "حول مقياس التباعد بين مجموعتين متعددتي الحدود"، والذي عرّف زاوية بهاتاشاريا . وقد شاع استخدام المصطلح من خلال استخدامه للدلالة على تباعد كولباك-لايبير في بحث كولباك ولايبير (1951) وفي كتاب كولباك (1959) . واستخدم علي وسيلفي (1966) مصطلح "التباعد" بشكل عام للدلالة على المسافات الإحصائية. تم تقديم العديد من المراجع للاستخدامات السابقة للمسافات الإحصائية في Adhikari & Joshi (1956) و Kullback (1959 ، ص 6-7، §1.3 التباعد) . 

استخدم كولباك وليبلر (1951) في الواقع "التباعد" للإشارة إلى التباعد المتماثل (تم تعريف هذه الوظيفة واستخدامها بالفعل بواسطة هارولد جيفريز في عام 1948 ^{[ 9 ]} )، مشيرين إلى الوظيفة غير المتماثلة على أنها "متوسط ​​المعلومات للتمييز ... لكل ملاحظة"، ^{[ 10 ]} بينما أشار كولباك (1959) إلى الوظيفة غير المتماثلة على أنها "التباعد الموجه". ^{[ 11 ]} أشار علي وسيلفي (1966) عمومًا إلى هذه الدالة باسم "معامل التباعد"، وأظهرا أن العديد من الدوال الموجودة يمكن التعبير عنها كتباعدات من النوع f ، حيث أشارا إلى دالة جيفريز باسم "مقياس جيفريز للتباعد" (يُعرف اليوم باسم "تباعد جيفريز")، وإلى دالة كولباك-لايبير غير المتناظرة (في كل اتجاه) باسم "مقياسي كولباك ولايبير للمعلومات التمييزية" (يُعرف اليوم باسم "تباعد كولباك-لايبير"). ^{[ 12 ]}

كان تعريف التباعد في هندسة المعلومات (موضوع هذه المقالة) يُشار إليه في البداية بمصطلحات بديلة، منها "شبه المسافة" (أماري، 1982 ، ص 369) و"دالة التباين" (إيغوتشي، 1985) ، مع أن مصطلح "التباعد" استُخدم في دراسة أماري (1985) للإشارة إلى التباعد من النوع α ، وأصبح المصطلح القياسي للفئة العامة. ^{[ 1 ] [ 2 ]} 

يُستخدم مصطلح "التباعد" في مقابل المسافة (المقياس)، لأن التباعد المتناظر لا يحقق متباينة المثلث. ^{[ 13 ]} على سبيل المثال، لا يزال مصطلح "مسافة بريغمان" مستخدمًا، ولكن يُفضّل الآن استخدام مصطلح "تباعد بريغمان".

من الناحية الرمزية، أشار كولباك وليبلر (1951) إلى دالتهما غير المتناظرة على النحو التالي:${\displaystyle I(1:2)}$بينما يشير علي وسيلفي (1966) إلى وظائفهم بحرف صغير 'd' كـ${\displaystyle d\left(P_{1},P_{2}\right)}$.

• المسافة الإحصائية