نظرية الانحرافات الكبيرة

لنفترض سلسلة من رميات مستقلة لعملة معدنية متوازنة. النتائج المحتملة هي إما صورة أو كتابة. لنرمز إلى النتيجة المحتملة للمحاولة رقم i بالرمز .${\displaystyle X_{i}}$حيث نُشفّر الرأس بـ 1 والذيل بـ 0. الآن لنفترض${\displaystyle M_{N}}$يشير إلى القيمة المتوسطة بعد${\displaystyle N}$التجارب، وتحديداً

${\displaystyle M_{N}={\frac {1}{N}}\sum _{i=1}^{N}X_{i}}$.

ثم${\displaystyle M_{N}}$يقع بين 0 و1. من قانون الأعداد الكبيرة، يتبين أنه مع ازدياد N، فإن توزيع${\displaystyle M_{N}}$يتقارب إلى${\displaystyle 0.5=\operatorname {E} [X]}$(القيمة المتوقعة لرمية عملة واحدة).

علاوة على ذلك، وبحسب نظرية النهاية المركزية ، فإن${\displaystyle M_{N}}$يتوزع توزيعًا طبيعيًا تقريبًا للأحجام الكبيرة${\displaystyle N}$يمكن لنظرية النهاية المركزية أن توفر معلومات أكثر تفصيلاً حول سلوك${\displaystyle M_{N}}$أكثر من قانون الأعداد الكبيرة. على سبيل المثال، يمكننا تقريبًا إيجاد احتمال الذيل لـ${\displaystyle M_{N}}$– احتمال أن${\displaystyle M_{N}}$أكبر من قيمة معينة${\displaystyle x}$– لقيمة ثابتة من${\displaystyle N}$ومع ذلك ، قد لا يكون التقريب باستخدام نظرية النهاية المركزية دقيقًا إذا${\displaystyle x}$بعيد عن${\displaystyle \operatorname {E} [X_{i}]}$و${\displaystyle N}$ليست كبيرة بما يكفي. كما أنها لا توفر معلومات حول تقارب احتمالات الذيل.${\displaystyle N\to \infty }$ومع ذلك ، يمكن لنظرية الانحراف الكبير أن تقدم إجابات لمثل هذه المشاكل.

دعونا نجعل هذه العبارة أكثر دقة. لقيمة معينة${\displaystyle 0.5<x<1}$لنحسب احتمال الذيل${\displaystyle P(M_{N}>x)}$. يُعرِّف

${\displaystyle I(x)=x\ln {x}+(1-x)\ln(1-x)+\ln {2}}$.

لاحظ أن الدالة${\displaystyle I(x)}$هي دالة محدبة وغير سالبة تساوي صفرًا عند${\displaystyle x={\tfrac {1}{2}}}$ويزداد مع${\displaystyle x}$الأساليب${\displaystyle 1}$وهي معكوس إنتروبيا برنولي مع${\displaystyle p={\tfrac {1}{2}}}$إن ملاءمتها لرمي العملة المعدنية تنبع من خاصية التوزيع المتساوي التقاربي المطبقة على تجربة برنولي . ومن ثم، باستخدام متباينة تشيرنوف ، يمكن إثبات أن${\displaystyle P(M_{N}>x)<\exp(-NI(x))}$[ ^{2 ] هذا الحد دقيق إلى حد ما} ، بمعنى أن${\displaystyle I(x)}$لا يمكن استبدالها بعدد أكبر، مما سيؤدي إلى متباينة صارمة لجميع القيم الموجبة.${\displaystyle N}$[ ^{3 ] (مع ذلك، لا يزال من} الممكن تقليل الحد الأسي بعامل شبه أسي من رتبة${\displaystyle 1/{\sqrt {N}}}$( وهذا يتبع من تقريب ستيرلينغ المطبق على معامل ذي الحدين الذي يظهر في توزيع برنولي .) ومن ثم، نحصل على النتيجة التالية:

${\displaystyle P(M_{N}>x)\approx \exp(-NI(x))}$.

الاحتمالية${\displaystyle P(M_{N}>x)}$يتناقص بشكل أسي مع${\displaystyle N\to \infty }$بمعدل يعتمد على x . هذه الصيغة تقارب أي احتمال ذيل لمتوسط ​​العينة للمتغيرات المستقلة والمتطابقة التوزيع وتعطي تقاربها مع زيادة عدد العينات.

في المثال أعلاه لرمي العملة، افترضنا صراحة أن كل رمية هي محاولة مستقلة، وأن احتمال الحصول على صورة أو كتابة هو نفسه دائمًا.

يترك${\displaystyle X,X_{1},X_{2},\ldots }$لنفترض أن لدينا متغيرات عشوائية مستقلة ومتطابقة التوزيع (iid) يحقق توزيعها المشترك شرط نمو معين. عندئذٍ، توجد النهاية التالية:

${\displaystyle \lim _{N\to \infty }{\frac {1}{N}}\ln P(M_{N}>x)=-I(x)}$.

هنا

${\displaystyle M_{N}={\frac {1}{N}}\sum _{i=1}^{N}X_{i}}$،

كما كان من قبل.

وظيفة${\displaystyle I(\cdot )}$وتسمى " دالة المعدل " أو "دالة كرامر" أو أحيانًا "دالة الإنتروبيا".

الحد المذكور أعلاه يعني أنه بالنسبة للأشياء الكبيرة${\displaystyle N}$،

${\displaystyle P(M_{N}>x)\approx \exp[-NI(x)]}$،

وهي النتيجة الأساسية لنظرية الانحرافات الكبيرة. ^{[ 4 ] [ 5 ]}

إذا كنا نعرف التوزيع الاحتمالي لـ${\displaystyle X}$ويمكن الحصول على تعبير صريح لدالة المعدل. ويتم ذلك عن طريق تحويل ليجندر-فينشل ، ^{[ 6 ]}

${\displaystyle I(x)=\sup _{\theta >0}[\theta x-\lambda (\theta )]}$،

أين

${\displaystyle \lambda (\theta )=\ln \operatorname {E} [\exp(\theta X)]}$

تُسمى دالة توليد العزوم التراكمية (CGF) و${\displaystyle \operatorname {E} }$يشير إلى التوقع الرياضي .

لو${\displaystyle X}$إذا اتبعت دالة المعدل التوزيع الطبيعي ، فإنها تصبح قطعًا مكافئًا رأسه عند متوسط ​​التوزيع الطبيعي.

لو${\displaystyle \{X_{i}\}}$إذا كانت سلسلة ماركوف غير قابلة للاختزال وغير دورية ، فقد يكون هناك اختلاف في نتيجة الانحرافات الكبيرة الأساسية المذكورة أعلاه.

المثال السابق يتحكم في احتمالية وقوع الحدث${\displaystyle [M_{N}>x]}$أي تركيز قانون${\displaystyle M_{N}}$على المجموعة المدمجة${\displaystyle [-x,x]}$من الممكن أيضاً التحكم في احتمالية وقوع الحدث${\displaystyle [M_{N}>xa_{N}]}$لبعض التسلسلات${\displaystyle a_{N}\to 0}$فيما يلي مثال على مبدأ الانحرافات المعتدلة : ^{[ 7 ] [ 8 ]}

على وجه الخصوص، الحالة الحدية${\displaystyle a_{N}={\sqrt {N}}}$هي نظرية النهاية المركزية .

ترتبط دالة المعدل بالإنتروبيا في الميكانيكا الإحصائية. ويمكن توضيح ذلك بشكل مبسط كما يلي: في الميكانيكا الإحصائية، ترتبط إنتروبيا حالة ماكرو معينة بعدد الحالات الميكروية التي تقابل هذه الحالة الماكروية. في مثالنا عن رمي العملة، فإن القيمة المتوسطة${\displaystyle M_{N}}$يمكن أن يشير إلى حالة كلية معينة. والتسلسل المحدد للصور والكتابة الذي يؤدي إلى قيمة معينة لـ${\displaystyle M_{N}}$يشكل حالةً مجهريةً محددة. وبشكلٍ عام، تتميز الحالة الكلية التي تحتوي على عددٍ أكبر من الحالات المجهرية التي تُؤدي إلى ظهورها، بإنتروبيا أعلى. والحالة ذات الإنتروبيا الأعلى لديها فرصة أكبر للظهور في التجارب العملية. الحالة الكلية ذات القيمة المتوسطة 1/2 (أي عدد مرات ظهور الصورة يساوي عدد مرات ظهور الكتابة) لديها أكبر عدد من الحالات المجهرية التي تُؤدي إلى ظهورها، وهي بالفعل الحالة ذات الإنتروبيا الأعلى. وفي معظم الحالات العملية، سنحصل بالفعل على هذه الحالة الكلية عند إجراء عدد كبير من المحاولات. من ناحية أخرى، تقيس "دالة المعدل" احتمالية ظهور حالة كلية معينة. كلما صغرت دالة المعدل، زادت فرصة ظهور الحالة الكلية. في رمي العملة، تكون قيمة "دالة المعدل" صفرًا عندما تكون القيمة المتوسطة 1/2. وبهذه الطريقة، يمكن اعتبار "دالة المعدل" معكوس "الإنتروبيا".

هناك علاقة بين "دالة المعدل" في نظرية الانحرافات الكبيرة وتباعد كولباك-لايبير ، وقد تم إثبات هذه العلاقة من خلال نظرية سانوف (انظر سانوف ^{[ 11 ]} ونوفاك ^{[ 15 ]} الفصل 14.5).

في حالة خاصة، ترتبط الانحرافات الكبيرة ارتباطًا وثيقًا بمفهوم حدود جروموف-هاوسدورف . ^{[ 16 ]}