حيرة

الموسوعة الحرة

في نظرية المعلومات ، يُعدّ الحيرة مقياسًا لعدم اليقين في توزيع احتمالي منفصل . تبلغ حيرة رمية عملة عادلة 2 ، وحيرة رمية نرد عادلة 6 ؛ وعمومًا، بالنسبة لتوزيع احتمالي يحتوي على N نتيجة بالضبط، لكل منها احتمال يساوي 1/ N ، فإن الحيرة تساوي N. لكن يمكن تطبيق الحيرة أيضًا على النرد غير المتوازن، وعلى توزيعات احتمالية أخرى غير منتظمة. ويمكن تعريفها بأنها أسّ إنتروبيا المعلومات للتوزيع . وبشكل بديهي، كلما زادت الحيرة، زادت "دهشة" المراقب من قيمة مُستخرجة من التوزيع، في المتوسط. في علم البيئة، يُشار إلى الحيرة أيضًا باسم التنوع الحقيقي (من الرتبة 1) .

في النمذجة الإحصائية والتعلم الآلي ، يُستخدم مقياس الحيرة لقياس مدى تطابق نموذج احتمالي مُقترح مع توزيع احتمالي غير معروف. ويُعرَّف بأنه أسّ الإنتروبيا المتقاطعة للتوزيعين. وكلما انخفضت قيمة الحيرة، كان النموذج أفضل.

تم تقديم مفهوم الحيرة في الأصل عام 1977 في سياق التعرف على الكلام من قبل فريدريك جيلينك ، وروبرت ليروي ميرسر ، ولاليت ر. باهل، وجيمس ك. بيكر . [ 1 ]

حيرة التوزيع الاحتمالي

يُعرَّف الارتباك PP لتوزيع احتمالي منفصل p على النحو التالي:PP(ص)=∏xص(x)-ص(x)،{\displaystyle \mathrm {PP} (p)=\prod _{x}p(x)^{-p(x)},} حيث يرمز p(x) إلى احتمال النتيجة x ، ويشمل حاصل الضرب جميع النتائج الممكنة، ويُستخدم الاصطلاح 0 - 0 = 1. ويمكن كتابة ذلك أيضًا على النحو التالي: PP(ص)=ب-∑xص(x)سجلب⁡ص(x)،{\displaystyle \mathrm {PP} (p)=b^{-\sum _{x}p(x)\log _{b}p(x)},}حيث لا تؤثر قيمة b على النتيجة (على سبيل المثال، يمكن اختيار b لتكون 2 أو 10 أو e أو أي قيمة موجبة أخرى غير 1 ) ويتم استخدام الاصطلاح 0 log b 0 = 0 .

اللوغاريتم log PP( p ) هو إنتروبيا التوزيع؛ يتم إعطاؤه الوحدة shannon (bit) إذا كان أساس اللوغاريتم هو 2 ، و nat إذا تم استخدام اللوغاريتم الطبيعي .

يمكن تعريف حيرة المتغير العشوائي X بأنها حيرة التوزيع على قيمه المحتملة x . ويمكن اعتبارها مقياسًا للشك أو "المفاجأة" المتعلقة بالنتائج.

بالنسبة لتوزيع احتمالي p حيث يكون لكل k نتيجة احتمال 1/ k ، بينما تكون احتمالات جميع النتائج الأخرى صفرًا، فإنّ معامل الحيرة لهذا التوزيع هو k . وذلك لأنّ التوزيع يُحاكي نردًا متوازنًا ذا k وجه ، حيث تكون احتمالات كل نتيجة من النتائج k متساوية. في هذا السياق، يُشير معامل الحيرة k إلى وجود قدر من عدم اليقين يُعادل ما هو عليه عند رمي نرد متوازن ذي k وجه. حتى لو كان للمتغير العشوائي أكثر من k نتيجة مُحتملة، فإنّ معامل الحيرة سيظل k إذا كان التوزيع منتظمًا على k نتيجة، وصفرًا على النتائج المتبقية. بالتالي، يُمكن وصف المتغير العشوائي ذي معامل الحيرة k بأنه "مُحير k مرة"، أي أنه يحمل نفس مستوى عدم اليقين الذي يحمله نرد متوازن ذو k وجه.

يُستخدم مقياس الحيرة أحيانًا لقياس صعوبة مسألة التنبؤ. ومع ذلك، فهو ليس تمثيلًا مباشرًا للاحتمالية ذات الصلة. على سبيل المثال، إذا كان لديك خياران، أحدهما باحتمالية 0.9 ، فإن احتمالية تخمينك الصحيح باستخدام الاستراتيجية المثلى هي 0.9 . ومع ذلك، فإن الحيرة تساوي 0.9 - 0.9 / 0.1 - 0.1 = 1.38 . مقلوب الحيرة، 1 / ​​1.38 = 0.72 ، لا يساوي الاحتمالية 0.9 .

الحيرة هي أسّ الإنتروبيا، وهي كمية أكثر شيوعًا. تقيس الإنتروبيا العدد المتوقع أو "المتوسط" للبتات اللازمة لترميز نتيجة المتغير العشوائي باستخدام رمز متغير الطول الأمثل . ويمكن اعتبارها أيضًا بمثابة المعلومات المتوقعة المكتسبة من معرفة نتيجة المتغير العشوائي، مما يوفر فهمًا لعدم اليقين وتعقيد التوزيع الاحتمالي الأساسي.

حيرة نموذج الاحتمالات

يمكن اقتراح نموذج لتوزيع احتمالي غير معروف p بناءً على عينة تدريبية مأخوذة من p . وبالنظر إلى نموذج احتمالي مقترح q ، يمكن تقييم q من خلال السؤال عن مدى دقة تنبؤه بعينة اختبار منفصلة x1 ، x2 ، ...، xN مأخوذة أيضًا من p . ويُعرَّف تعقيد النموذج q على النحو التالي :ب-1شمال∑أنا=1شمالسجلب⁡q(xأنا)=(∏أناq(xأنا))-1/شمال،{\displaystyle b^{-{\frac {1}{N}}\sum _{i=1}^{N}\log _{b}q(x_{i})}=\left(\prod _{i}q(x_{i})\right)^{-1/N},} أينب{\displaystyle b}عادةً ما تكون القيمة 2. تميل النماذج الأفضل للتوزيع المجهول p إلى إسناد احتمالات أعلى q ( xi ) لأحداث الاختبار. وبالتالي، يكون مستوى الحيرة فيها أقل لأنها أقل تأثراً بعينة الاختبار. وهذا يُعادل القول بأن النماذج الأفضل لديها احتمالات أعلى لبيانات الاختبار، مما يؤدي إلى انخفاض قيمة الحيرة.

الأس،-1شمال∑أنا=1شمالسجلب⁡q(xأنا){\textstyle -{\frac {1}{N}}\sum _{i=1}^{N}\log _{b}q(x_{i})}يمكن اعتبار q ( xᵢ)، حيث b = 2 ، متوسط ​​عدد البتات اللازمة لتمثيل حدث اختبار xᵢ عند استخدام رمز أمثل يعتمد على q . تُحسِّن نماذج التعقيد المنخفض من ضغط عينة الاختبار، إذ تتطلب عددًا قليلًا من البتات لكل عنصر اختبار في المتوسط، لأن q(xᵢ) تميل إلى أن تكون عالية.

يمكن أيضًا تفسير الأس على أنه إنتروبيا متقاطعة : ح(ص~،q)=-∑xص~(x)سجلب⁡q(x)،{\displaystyle H({\tilde {p}},q)=-\sum _{x}{\tilde {p}}(x)\log _{b}q(x),} حيث تشير ~ p إلى التوزيع التجريبي لعينة الاختبار (أي ~ p ( x ) = n / N إذا ظهر x n مرة في عينة الاختبار بحجم N ).

بحسب تعريف تباعد كولباك-لايبير ، فإنه يساوي أيضًا H ( ~ p ) + DKL ( ~ p || q ) ، وهو ≥ H ( ~ p ) . وبالتالي، يتم تقليل الحيرة إلى أدنى حد عندما q = ~ p .

الحيرة المعيارية للرموز

في معالجة اللغات الطبيعية ، تُعرَّف المدونة بأنها مجموعة منظمة من النصوص أو المستندات، بينما يُعرَّف نموذج اللغة بأنه توزيع احتمالي على النصوص أو المستندات بأكملها. ونتيجةً لذلك، يُعدّ مقياس الحيرة المعياري للرموز (حيث يُعرَّف الرمز بأنه كلمة أو، في أغلب الأحيان، جزء من كلمة) المقياس الأكثر شيوعًا في معالجة اللغات الطبيعية ، ويُعرَّف على النحو التالي:(∏أنا=1نq(sأنا))-1/شمال{\displaystyle \left(\prod _{i=1}^{n}q(s_{i})\right)^{-1/N}}حيث تمثل s1 ، ...، sn المستندات n في المجموعة، و N هو عدد الكلمات في المجموعة. هذا يُوحّد مقياس التعقيد وفقًا لطول النص، مما يسمح بإجراء مقارنات أكثر جدوى بين النصوص أو النماذج المختلفة بدلًا من المستندات.

لنفترض أن متوسط ​​احتمالية النص xᵢ في مجموعة النصوص هو 2⁻¹⁹⁰ وفقًا لنموذج اللغة. هذا يُعطي حيرة نموذجية قدرها 2¹⁹⁰ للجملة. مع ذلك، في معالجة اللغات الطبيعية، من الشائع أكثر توحيد القيم بناءً على طول النص. بالتالي، إذا كان طول عينة الاختبار 1000 رمز، ويمكن ترميزها باستخدام 7.95 بت لكل رمز، يُمكن الإبلاغ عن حيرة نموذجية للرمز الواحد قدرها 2¹⁹⁰ 7.95 = 2⁴⁷ . بعبارة أخرى ، يكون النموذج مرتبكًا على بيانات الاختبار كما لو كان عليه الاختيار بشكل عشوائي ومستقل من بين 2⁴⁷ احتمال لكل رمز.

هناك مقياسان معياريان لتقييم نماذج اللغة: الحيرة أو معدل خطأ الكلمات  (WER). المقياس الأبسط، وهو معدل خطأ الكلمات، هو ببساطة النسبة المئوية للكلمات التي تم التعرف عليها بشكل خاطئ E (الحذف، الإضافة، الاستبدال) إلى إجمالي عدد الكلمات N ، في مهمة التعرف على الكلام.دبليوهـR=(هـشمال){\displaystyle \mathrm {WER} =\left({\frac {E}{N}}\right)}

المقياس الثاني، وهو الحيرة (للرمز المميز)، هو مقياس نظري للمعلومات يُقيّم مدى تشابه النموذج المقترح m مع التوزيع الأصلي p . ويمكن حسابه كمعكوس لمتوسط ​​الاحتمالية (الهندسي) لمجموعة الاختبار T.PPل(د)=1م(تي)شمال=2-1شمالسجل2⁡(م(تي))،{\displaystyle \mathrm {PPL} (D)={\sqrt[{N}]{\frac {1}{m(T)}}}=2^{-{\frac {1}{N}}\log _{2}\left(m(T)\right)},} حيث N هو عدد الرموز في مجموعة الاختبار T. يمكن اعتبار هذه المعادلة بمثابة الإنتروبيا التقاطعية الأسية، حيث يتم تقريب الإنتروبيا التقاطعية H ( p ; m ) على النحو التالي:ح(ص؛م)=-1شمالسجل2⁡(م(تي)).{\displaystyle H(p;m)=-{\frac {1}{N}}\log _{2}\left(m(T)\right).}

التطورات الحديثة في نمذجة اللغة

منذ عام 2007، ظهرت تطورات كبيرة في نمذجة اللغة، لا سيما مع ظهور تقنيات التعلم العميق . ولا يزال مقياس التعقيد المعياري للرموز، وهو مقياس يحدد القدرة التنبؤية لنموذج اللغة، عنصراً أساسياً في تقييم نماذج مثل نماذج المحولات السائدة مثل BERT من جوجل ، وGPT-4 من OpenAI، وغيرها من نماذج اللغة الكبيرة (LLMs).

استُخدم هذا المقياس لمقارنة النماذج المختلفة على نفس مجموعة البيانات وتوجيه تحسين المعلمات الفائقة ، على الرغم من أنه وُجد أنه حساس لعوامل مثل السمات اللغوية وطول الجملة. [ 2 ]

على الرغم من دورها المحوري في تطوير نموذج اللغة، فقد أظهرت الحيرة قيودًا، لا سيما كمؤشر غير كافٍ لأداء التعرف على الكلام ، والتجاوز والتعميم ، [ 3 ] [ 4 ] مما يثير تساؤلات حول فوائد تحسين الحيرة بشكل أعمى وحده.

براون كوربوس

أقل قيمة لمعامل التعقيد (Perplexity) نُشرت على مجموعة بيانات براون (مليون كلمة من اللغة الإنجليزية الأمريكية ذات مواضيع وأنواع أدبية متنوعة) حتى عام 1992 هي حوالي 247 لكل كلمة/رمز، وهو ما يعادل إنتروبيا متقاطعة مقدارها log₂ 247 = 7.95 بت لكل كلمة أو 1.75 بت لكل حرف [ 5 ] باستخدام نموذج ثلاثي الأحرف . وبينما كان هذا الرقم يمثل أحدث ما توصلت إليه التقنية في ذلك الوقت، فقد أدت التطورات في تقنيات مثل التعلم العميق إلى تحسينات كبيرة في معامل التعقيد على معايير أخرى، مثل معيار المليار كلمة [ 6 ] .

في سياق مدونة براون ، فإن مجرد التخمين بأن الكلمة التالية هي "the" سيحقق دقة بنسبة 7% ، مقارنةً بنسبة 0.4% (1/247) التي قد تُتوقع من استخدام بسيط لمؤشر الحيرة. يُبرز هذا الفرق أهمية النموذج الإحصائي المُستخدم وطبيعة مؤشر الحيرة الدقيقة كمقياس للتنبؤ. [ 7 ] يعتمد التخمين على إحصاءات الكلمات المفردة، وليس على إحصاءات الكلمات الثلاثية التي أسفرت عن مؤشر حيرة قدره 247 ، واستخدام إحصاءات الكلمات الثلاثية من شأنه أن يُحسّن التنبؤ بشكل أكبر.

انظر أيضاً

مراجع

  1. ↑ جيلينك، ف.؛ ميرسر، ر. ل.؛ باهل، ل. ر.؛ بيكر، ج. ك. (1977). "الحيرة - مقياس لصعوبة مهام التعرف على الكلام" . مجلة الجمعية الصوتية الأمريكية . 62 (ملحق 1): ص63. رمز Bibcode : 1977ASAJ...62Q..63J . doi : 10.1121/1.2016299 . ISSN 0001-4966 . 
  2. ↑ مياشي، أليسيو؛ بروناتو، دومينيك؛ ديل أورليتا، فيليس؛ فينتوري، جوليا (2021). "ما الذي يُحيّر نموذجي؟ دراسة لغوية حول حيرة نماذج اللغة العصبية" . وقائع ورشة العمل الثانية حول استخلاص المعرفة وتكاملها لهياكل التعلم العميق (DeeLIO). الصفحات 40-47 . doi : 10.18653/v1/2021.deelio-1.5 . مؤرشف من الأصل بتاريخ 24 أكتوبر 2023. تم الاطلاع عليه بتاريخ 24 أغسطس 2023 . 
  3. ↑ كلاكو، ديتريش؛ بيترز، يوشين (2002). "اختبار العلاقة بين معدل أخطاء الكلمات والحيرة" . التواصل الكلامي . 38 ( 1-2 ): 19-28 . doi : 10.1016/S0167-6393(01)00041-3 . ISSN 0167-6393 . 
  4. ↑ تشين، ستانلي ف؛ بيفرمان، دوغلاس؛ روزنفيلد، روني (2018). "مقاييس تقييم نماذج اللغة" . جامعة كارنيجي ميلون . doi : 10.1184/R1/6605324.v1 .
  5. ↑ براون، بيتر ف.؛ وآخرون . (مارس 1992). "تقدير الحد الأعلى لإنتروبيا اللغة الإنجليزية" (ملف PDF) . اللغويات الحاسوبية . 18 (1). مؤرشف (ملف PDF) من الأصل بتاريخ 17 سبتمبر 2021. تم الاطلاع عليه بتاريخ 7 فبراير 2007 . 
  6. ↑ جوزيفوفيتش، رافال، وآخرون. "استكشاف حدود نمذجة اللغة". arXiv preprint arXiv:1602.02410 (2016).أُرشف بتاريخ 4 مايو 2021 في أرشيف الإنترنت (Wayback Machine) .
  7. ↑ ويلكوكس، إيثان غوتليب، وآخرون. "حول القدرة التنبؤية لنماذج اللغة العصبية لسلوك الفهم البشري في الوقت الحقيقي". نسخة ما قبل النشر arXiv:2006.01912 (2020).أُرشف بتاريخ 25 أغسطس 2023 في أرشيف الإنترنت (Wayback Machine) .