معدل الإنتروبيا

📅 آخر تحديث: ٢٨ يوليو ٢٠٢٦
✍️ نُشر في: ٢٨ يوليو ٢٠٢٦
📷 يحتوي على 24 صور
الموسوعة الحرة

في نظرية الاحتمالات الرياضية ، يُعرف معدل الإنتروبيا أو معدل معلومات المصدر لعملية عشوائية ، بشكل غير رسمي، بأنه الكثافة الزمنية لمتوسط ​​المعلومات في تلك العملية. بالنسبة للعمليات العشوائية ذات المؤشر القابل للعد ، فإن معدل الإنتروبياح(X){\displaystyle H(X)}هي نهاية الإنتروبيا المشتركة لـن{\displaystyle n}أعضاء العمليةXك{\displaystyle X_{k}}مقسوماً علىن{\displaystyle n}، مثلن{\displaystyle n}يميل إلى اللانهاية :

ح(X)=ليمن→∞1نح(X1،X2،...Xن){\displaystyle H(X)=\lim _{n\to \infty }{\frac {1}{n}}H(X_{1},X_{2},\dots X_{n})}

عند وجود حد. الكمية البديلة ذات الصلة هي:

ح′(X)=ليمن→∞ح(Xن|Xن-1،Xن-2،...X1){\displaystyle H'(X)=\lim _{n\to \infty }H(X_{n}|X_{n-1},X_{n-2},\dots X_{1})}

بالنسبة للعمليات العشوائية الثابتة بقوة ،ح(X)=ح′(X){\displaystyle H(X)=H'(X)}يمكن اعتبار معدل الإنتروبيا خاصية عامة للمصادر العشوائية؛ وهذه هي خاصية التوزيع المتساوي التقاربي .

يمكن استخدام معدل الإنتروبيا لتقدير تعقيد العمليات العشوائية. ويُستخدم في تطبيقات متنوعة تتراوح من توصيف تعقيد اللغات، وفصل المصادر العمياء، وصولاً إلى تحسين المُكمِّمات وخوارزميات ضغط البيانات . على سبيل المثال، يمكن استخدام معيار معدل الإنتروبيا الأقصى لاختيار الميزات في التعلّم الآلي . [ 1 ]

تعريف

عمليةX{\displaystyle X}يؤدي استخدام مؤشر قابل للعد إلى ظهور سلسلة من الإنتروبيا المشتركة الخاصة به.حن(X1،X2،...Xن){\displaystyle H_{n}(X_{1},X_{2},\dots X_{n})}إذا وُجدت النهاية، يُعرَّف معدل الإنتروبيا على النحو التالي:

ح(X):=ليمن→∞1نحن.{\displaystyle H(X):=\lim _{n\to \infty }{\tfrac {1}{n}}H_{n}.}

لاحظ أنه بالنظر إلى أي متتالية(أن)ن{\displaystyle (a_{n})_{n}}معأ0=0{\displaystyle a_{0}=0}والسماحΔأك:=أك-أك-1{\displaystyle \Delta a_{k}:=a_{k}-a_{k-1}}عن طريق التلسكوب ، يكون المرءأن=∑ك=1نΔأك{\displaystyle a_{n}={\textstyle \sum _{k=1}^{n}}\Delta a_{k}}وبالتالي، يحسب معدل الإنتروبيا متوسط ​​الأولن{\displaystyle n}هذه التغيرات في الإنتروبيا، معن{\displaystyle n}الذهاب إلى ما لا نهاية .ن{\displaystyle n}إن تغير الإنتروبيا هو في حد ذاته إنتروبيا مشروطة.ح(Xن|Xن-1،Xن-2،...){\displaystyle H(X_{n}|X_{n-1},X_{n-2},...)}وبالتالي، فإن معدل الإنتروبيا هو متوسط ​​إنتروبيا توزيعن{\displaystyle n}المتغير رقم 1 بمجرد معرفة المتغيرات السابقة. كما أن سلوك الإنتروبيا المشتركة من مؤشر إلى آخر يخضع بشكل صريح في بعض توصيفات الإنتروبيا .

مناقشة

بينماX{\displaystyle X}يمكن فهمها على أنها سلسلة من المتغيرات العشوائية، معدل الإنتروبياح(X){\displaystyle H(X)}يمثل متوسط ​​تغير الإنتروبيا لكل متغير عشوائي واحد، على المدى الطويل.

يمكن اعتبارها خاصية عامة للمصادر العشوائية - وهذا هو موضوع خاصية التوزيع المتساوي التقاربي .

بالنسبة للعمليات الثابتة بقوة

تُنتج العملية العشوائية أيضًا سلسلة من قيم الإنتروبيا الشرطية، التي تتضمن عددًا متزايدًا من المتغيرات العشوائية. بالنسبة للعمليات العشوائية المستقرة بقوة، يساوي معدل الإنتروبيا نهاية تلك السلسلة.

ح(X)=ليمن→∞ح(Xن|Xن-1،Xن-2،...X1){\displaystyle H(X)=\lim _{n\to \infty }H(X_{n}|X_{n-1},X_{n-2},\dots X_{1})}

الكمية المعطاة بالنهاية على اليمين يُشار إليها أيضاً بـح′(X){\displaystyle H'(X)}، وهو ما يحفز إلى حد أن هذا يمثل مرة أخرى معدلًا مرتبطًا بالعملية، بالمعنى المذكور أعلاه.

بالنسبة لسلاسل ماركوف

بما أن العملية العشوائية المحددة بسلسلة ماركوف غير القابلة للاختزال وغير الدورية لها توزيع ثابت ، فإن معدل الإنتروبيا مستقل عن التوزيع الأولي. [ 2 ]

على سبيل المثال، لنفترض سلسلة ماركوف معرفة على عدد قابل للعد من الحالات. بالنظر إلى مصفوفة الانتقال العشوائية اليمنى الخاصة بها.Pأناج{\displaystyle P_{ij}}والإنتروبيا

حأنا:=-∑جPأناجسجل⁡Pأناج{\displaystyle h_{i}:=-\sum _{j}P_{ij}\log P_{ij}}

يجد المرء مرتبطًا بكل ولاية

ح(X)=∑أناμأناحأنا،{\displaystyle \displaystyle H(X)=\sum _{i}\mu _{i}h_{i},}

أينμأنا{\displaystyle \mu _{i}}هو التوزيع التقاربي للسلسلة.

وعلى وجه الخصوص، يترتب على ذلك أن معدل الإنتروبيا لعملية عشوائية مستقلة ومتطابقة التوزيع هو نفسه إنتروبيا أي عضو فردي في العملية.

بالنسبة لنماذج ماركوف المخفية

لا يوجد حل مغلق معروف لمعدل الإنتروبيا في نماذج ماركوف المخفية (HMM). ومع ذلك، توجد حدود عليا وسفلى معروفة له. لنفترض أن سلسلة ماركوف الأساسيةX1:∞{\displaystyle X_{1:\infty }}كُنْ سَارِقًا، وَلِيَكُنْY1:∞{\displaystyle Y_{1:\infty }}إذا كانت هذه هي الحالات القابلة للملاحظة، فسنحصل علىح(Yن|X1،Y1:ن-1)≤ح(Y)≤ح(Yن|Y1:ن-1){\displaystyle H(Y_{n}|X_{1},Y_{1:n-1})\leq H(Y)\leq H(Y_{n}|Y_{1:n-1})}وعلى حدودن→∞{\displaystyle n\to \infty }[ 3 ] يتقارب كلا الجانبين نحو المنتصف.

انظر أيضاً

مراجع

  1. ↑ إينيك، جي إيه (2018). "اختيار الميزات باستخدام معدل الإنتروبيا الأقصى لتصنيف التغيرات في ديناميكيات الركبة والكاحل أثناء الجري". مجلة IEEE للمعلوماتية الطبية الحيوية والصحية . 28 (4): 1097-1103 . arXiv : 2501.13750 . doi : 10.1109/JBHI.2017.2711487 . PMID 29969403. S2CID 49555941 .  
  2. ↑ كوفير، توماس م.؛ توماس، جوي أ. (2006). عناصر نظرية المعلومات ( الطبعة الثانية). هوبوكين، نيوجيرسي: وايلي-إنترساينس. ص 78. ISBN   978-0-471-24195-9.
  3. ↑ كوفر، توماس م.؛ توماس، جوي أ. (2006). "4.5. دوال سلاسل ماركوف". عناصر نظرية المعلومات ( الطبعة الثانية). هوبوكين، نيوجيرسي: وايلي-إنترساينس. ISBN  978-0-471-24195-9.