قاعدة التسجيل

قاعدة تسجيل النقاط${\displaystyle \mathbf {S} }$مناسب بالنسبة إلى${\displaystyle {\mathcal {F}}}$إذا (بافتراض التوجه السلبي) يتم تقليل النتيجة المتوقعة عندما يتطابق التوزيع المتوقع مع توزيع الملاحظة.

${\displaystyle \mathbb {E} _{Y\sim Q}[\mathbf {S} (Q,Y)]\leq \mathbb {E} _{Y\sim Q}[\mathbf {S} (F,Y)]}$للجميع${\displaystyle F,Q\in {\mathcal {F}}}$.

يكون ذلك صحيحًا تمامًا إذا تحققت المعادلة أعلاه مع المساواة إذا وفقط إذا${\displaystyle F=Q}$.

دالة تسجيل النقاط${\displaystyle S}$وهو متسق بالنسبة للوظيفة${\displaystyle T}$بالنسبة للفئة${\displaystyle {\mathcal {F}}}$لو

${\displaystyle \mathbb {E} _{Y\sim F}[S(t,Y)]\leq \mathbb {E} _{Y\sim F}[S(x,Y)]}$للجميع${\displaystyle F\in {\mathcal {F}}}$، الجميع${\displaystyle t\in T(F)}$وكل شيء${\displaystyle x\in \mathbb {R} ^{d}}$.

يكون متسقًا تمامًا إذا كان متسقًا، والمساواة في المعادلة أعلاه تعني أن${\displaystyle x\in T(F)}$.

قاعدة التقييم اللوغاريتمية هي قاعدة تقييم دقيقة ومحلية. وهي أيضاً معكوس إنتروبيا شانون ، التي تُستخدم عادةً كمعيار تقييم في الاستدلال البايزي . وتستند هذه القاعدة إلى أسس متينة في نظرية المعلومات .

${\displaystyle \mathbf {S} (\mathbf {p} ,i)=\ln(p_{i})}$

هنا، تُحسب النتيجة كلوغاريتم احتمالية النتيجة الفعلية. أي أن تنبؤًا بنسبة 80% ثبتت صحته سيحصل على نتيجة ln(0.8) = −0.22 . ويُخصص هذا التنبؤ نفسه احتمالية 20% للحالة المعاكسة، وبالتالي إذا ثبت خطأ التنبؤ، فسيحصل على نتيجة بناءً على نسبة الـ 20%: ln(0.2) = −1.6 . ويهدف المتنبئ إلى تعظيم النتيجة وجعلها أكبر ما يمكن، و −0.22 أكبر بالفعل من −1.6.

إذا اعتبرنا صحة أو خطأ التنبؤ متغيرًا x بقيمة 1 أو 0 على التوالي، واحتمالية التنبؤ p ، فيمكن كتابة قاعدة التقييم اللوغاريتمية على النحو التالي: x ln( p ) + (1 − x ) ln(1 − p ) . لاحظ أنه يمكن استخدام أي أساس لوغاريتمي، لأن قواعد التقييم الصحيحة تمامًا تظل صحيحة تمامًا تحت التحويل الخطي. أي:

${\displaystyle L(\mathbf {p} ,i)=\log _{b}(p_{i})}$

هذا مناسب تمامًا للجميع${\displaystyle b>1}$.

قاعدة التسجيل التربيعية هي قاعدة تسجيل صحيحة تمامًا

${\displaystyle \mathbf {S} _{Q}(\mathbf {p} ,i)=2p_{i}-\mathbf {p} \cdot \mathbf {p} =2p_{i}-\sum _{j=1}^{m}p_{j}^{2}}$

أين${\displaystyle p_{i}}$الاحتمالية المخصصة للإجابة الصحيحة${\displaystyle i}$.

يمكن الحصول على درجة بريير ، التي اقترحها جلين دبليو بريير في عام 1950، ^{[ 6 ]} عن طريق التحويل الأفيني من قاعدة التسجيل التربيعية.

${\displaystyle \mathbf {S} _{B}(\mathbf {p} ,i)=\sum _{j=1}^{m}(y_{j}-p_{j})^{2}}$

أين${\displaystyle y_{j}=1}$عندما${\displaystyle j}$الحدث صحيح و${\displaystyle y_{j}=0}$وإلا، فيمكن اعتبارها تعميماً لمتوسط ​​مربع الخطأ للتنبؤات الاحتمالية.

يتمثل أحد الفروق المهمة بين هاتين القاعدتين في أنه ينبغي على المتنبئ أن يسعى إلى تعظيم النتيجة التربيعية.${\displaystyle \mathbf {S} _{Q}}$ومع ذلك، يجب تقليل درجة بريير${\displaystyle \mathbf {S} _{B}}$ويرجع ذلك إلى وجود إشارة سالبة في التحويل الخطي بينهما.

تُعد قاعدة التسجيل الكروية أيضًا قاعدة تسجيل صحيحة تمامًا

${\displaystyle \mathbf {S} (\mathbf {p} ,i)={\frac {p_{i}}{\lVert \mathbf {p} \rVert }}={\frac {p_{i}}{\sqrt {p_{1}^{2}+\cdots +p_{m}^{2}}}}}$

وكذلك تعميمها مع${\displaystyle \alpha >1}$هذا مناسب تماماً

${\displaystyle \mathbf {S} (\mathbf {p} ,i)={\frac {p_{i}^{\alpha -1}}{\left(\sum _{j=1}^{m}p_{j}^{\alpha }\right)^{(\alpha -1)/\alpha }}}}$

تُعدّ درجة الاحتمالية المصنفة ^{[ 7 ]} (RPS) قاعدة تسجيل صحيحة تمامًا، ويمكن التعبير عنها على النحو التالي:

${\displaystyle RPS(\mathbf {p} ,i)=\sum _{k=1}^{m-1}\left(\sum _{j=1}^{k}p_{j}-y_{j}\right)^{2}}$

أين${\displaystyle y_{j}=1}$عندما${\displaystyle j}$الحدث صحيح و${\displaystyle y_{j}=0}$وإلا، و${\displaystyle m}$يمثل عدد الفئات. وبخلاف قواعد التقييم الأخرى، يأخذ تقييم الاحتمالية المصنفة في الاعتبار المسافة بين الفئات، أي أن الفئتين 1 و2 تُعتبران أقرب من الفئتين 1 و3. ويُخصص هذا التقييم درجات أفضل للتنبؤات الاحتمالية، مع تخصيص احتمالات عالية للفئات القريبة من الفئة الصحيحة. على سبيل المثال، عند النظر في التنبؤات الاحتمالية${\displaystyle \mathbf {p} _{1}=(0.5,0.5,0)}$و ${\displaystyle \mathbf {p} _{2}=(0.5,0,0.5)}$، نجد أن${\displaystyle RPS(\mathbf {p} _{1},1)=0.25}$، بينما${\displaystyle RPS(\mathbf {p} _{2},1)=0.5}$، على الرغم من أن كلا التنبؤين الاحتماليين يخصصان نفس الاحتمال للفئة الصحيحة.

يُظهر الشكل أدناه على اليسار مقارنة بيانية بين قواعد التقييم اللوغاريتمية والتربيعية والكروية لمسألة تصنيف ثنائي . يشير المحور السيني إلى الاحتمالية المُبلغ عنها للحدث الذي وقع بالفعل.

من المهم ملاحظة أن لكل درجة مقدارًا وموقعًا مختلفين. مع ذلك، لا تُعدّ اختلافات المقدار ذات أهمية، إذ تبقى الدرجات صحيحة تحت التحويل الخطي. لذا، لمقارنة الدرجات المختلفة، من الضروري نقلها إلى مقياس مشترك. يوضح الشكل خيارًا مناسبًا للتطبيع، حيث تتقاطع جميع الدرجات مع النقطتين (0.5، 0) و(1، 1). يضمن هذا أن تكون النتيجة صفرًا للتوزيع المنتظم (احتمالان، كل منهما 0.5)، مما يعكس عدم وجود تكلفة أو فائدة للإبلاغ عما يُعتبر غالبًا التوزيع الأساسي. جميع الدرجات المُطَبَّعة أدناه تُعطي أيضًا 1 عندما تُسند احتمالية 1 للفئة الحقيقية.

النتيجة اللوغاريتمية هي قاعدة تقييم محلية ودقيقة. وهي تُعرَّف على النحو التالي:

${\displaystyle L(F,y)=-\ln(f(y))}$.

ترتبط النتيجة اللوغاريتمية للمتغيرات المستمرة ارتباطًا وثيقًا بتقدير الاحتمال الأقصى وتباعد كولباك-لايبير .

تنص قاعدة التقييم التربيعي للمتغيرات المستمرة على ما يلي:

${\displaystyle S(f,y)=2f(y)-\|f\|_{2}^{2}}$

وهو مناسب تمامًا للكثافات التي يكون معيارها${\displaystyle \|f\|_{2}^{2}=\left(\int f(y)^{2}dy\right)^{\frac {1}{2}}}$موجود.

يُعدّ مقياس الاحتمالية المرتبة المستمرة (CRPS) ^{[ 8 ]} قاعدة تقييم دقيقة تُستخدم بكثرة في علم الأرصاد الجوية. وهو يرتبط ارتباطًا وثيقًا بمسافة الطاقة أحادية البعد ، ويُعرَّف على النحو التالي:

${\displaystyle CRPS(F,y)=\int _{\mathbb {R} }(F(x)-H(x-y))^{2}dx}$

أين${\displaystyle H}$هي دالة هيفسايد المتدرجة و${\displaystyle y\in \mathbb {R} }$هي الملاحظة. بالنسبة للتوزيعات ذات العزم الأول المحدود ، يمكن كتابة درجة الاحتمالية المرتبة المستمرة على النحو التالي: ^{[ 1 ]}

${\displaystyle CRPS(F,y)=\mathbb {E} _{X\sim F}|X-y|-{\frac {1}{2}}\mathbb {E} _{X,X'\sim F}|X-X'|}$

أين${\displaystyle X}$و${\displaystyle X'}$متغيرات عشوائية مستقلة، تم أخذ عينات منها من التوزيع${\displaystyle F}$هذا هو شكل الطاقة لـ CRPS ويفتح الباب لتقدير CRPS عبر أخذ عينات مونت كارلو (من خلال تقريب القيمة المتوقعة).

علاوة على ذلك، عندما تكون دالة الاحتمال التراكمي${\displaystyle F}$إذا كانت متصلة، فيمكن كتابة درجة الاحتمالية المرتبة المتصلة أيضًا على النحو التالي ^{[ 9 ]}

${\displaystyle CRPS(F,y)=\mathbb {E} _{X\sim F}|X-y|+\mathbb {E} _{X\sim F}[X]-2\mathbb {E} _{X\sim F}[X\cdot F(X)]}$

يمكن اعتبار درجة الاحتمالية المرتبة المستمرة امتدادًا مستمرًا لدرجة الاحتمالية المرتبة، وكذلك انحدار الكميات . درجة الاحتمالية المرتبة المستمرة على التوزيع التجريبي${\displaystyle {\hat {F}}_{q}}$من مجموعة نقاط مرتبة${\displaystyle q_{1}\leq \ldots \leq q_{n}}$(أي أن كل نقطة لها${\displaystyle 1/n}$احتمالية الحدوث)، تساوي ضعف متوسط ​​خسارة الكمية المطبقة على تلك النقاط ذات الكميات الموزعة بالتساوي${\displaystyle (\tau _{1},\ldots ,\tau _{n})=(1/(2n),\ldots ,(2n-1)/(2n))}$[ ^{10 ]​}

${\displaystyle CRPS\left({\hat {F}}_{q},y\right)={\frac {2}{n}}\sum _{i=1}^{n}\tau _{i}(y-q_{i})_{+}+(1-\tau _{i})(q_{i}-y)_{+}}$

بالنسبة للعديد من عائلات التوزيعات الشائعة، تم اشتقاق صيغ مغلقة لدرجة الاحتمالية المرتبة المستمرة. وقد استُخدمت درجة الاحتمالية المرتبة المستمرة كدالة خسارة للشبكات العصبية الاصطناعية ، حيث تُعالَج تنبؤات الطقس لاحقًا إلى توزيع احتمالي غاوسي . ^{[ 11 ] [ 12 ]}

تم أيضًا تكييف CRPS مع تحليل البقاء لتغطية الأحداث الخاضعة للرقابة. ^{[ 13 ]}

يمكن اعتبار CRPS تعميمًا لمتوسط ​​الخطأ المطلق (MAE) للتنبؤات الاحتمالية، وهو مكافئ لمتوسط ​​الخطأ المطلق (MAE) بالنسبة لعينة واحدة. ويمكن النظر إليه أيضًا على أنه درجة بريير/التربيعية لدالة التوزيع التراكمي المأخوذة من العينة.${\displaystyle F}$بالنسبة للحدث الثنائي${\displaystyle \{X\leq y\}}$.

يُعدّ CRPS حالة خاصة من مسافة كرامر ، ويمكن اعتباره تحسينًا لمسافة واسرشتين التي تُستخدم غالبًا في التعلّم الآلي. وقد أظهرت مسافة كرامر أداءً أفضل في الانحدار الترتيبي مقارنةً بمسافة كولباك-لايبير أو مقياس واسرشتين. ^{[ 14 ]}

يُستخدم نظام CRPS على نطاق واسع لتقييم التنبؤات الاحتمالية، ويُقارن بقواعد تقييم أخرى، انظر على سبيل المثال ^{[ 15 ]} . إلا أنه يعاني من بعض القيود النظرية الهامة: فقد ثبت أن CRPS قد يُنتج تقييمات مُضللة بشكل منهجي من خلال تفضيل التنبؤات الاحتمالية التي تكون وسائطها قريبة من النتيجة المرصودة، بغض النظر عن الاحتمال الفعلي المُخصص لتلك المنطقة، مما قد يؤدي إلى درجات أعلى للتنبؤات التي تُخصص كتلة احتمالية ضئيلة (أو حتى معدومة) للنتيجة الحقيقية. علاوة على ذلك، فإن CRPS ليس ثابتًا في ظل التحويلات السلسة لمتغير التنبؤ، وقد ينعكس ترتيب أنظمة التنبؤ في ظل هذه التحويلات، مما يُثير مخاوف بشأن اتساقه لأغراض التقييم. ^{[ 16 ]}

تعتمد درجة داويد-سيباستياني (DSS) ^{[ 17 ]} فقط على الزخم الأول والثاني، أو ما يعادله، المتوسط${\displaystyle \mu _{F}}$والانحراف المعياري${\displaystyle \sigma _{F}}$توزيع${\displaystyle F}$:

${\displaystyle S(F,y)=\left({\frac {y-\mu _{F}}{\sigma _{F}}}\right)^{2}+\log \sigma _{F}^{2}}$

النتيجة اللوغاريتمية متعددة المتغيرات مشابهة للنتيجة اللوغاريتمية أحادية المتغير:

${\displaystyle L(D,y)=-\ln(f_{D}(y))}$

أين${\displaystyle f_{D}}$تشير إلى دالة كثافة الاحتمال للتوزيع متعدد المتغيرات المتوقع${\displaystyle D}$إنها قاعدة تسجيل محلية ودقيقة للغاية.

يتم تعريف دالة تسجيل Hyvärinen (للكثافة p) بواسطة ^{[ 18 ]}

${\displaystyle s(p)=2\Delta _{y}\log p(y)+\|\nabla _{y}\log p(y)\|_{2}^{2}}$

أين${\displaystyle \Delta }$يشير إلى أثر مصفوفة هيسيان و${\displaystyle \nabla }$يرمز إلى التدرج . يمكن استخدام قاعدة التقييم هذه لتبسيط استنتاج المعلمات حسابيًا ومعالجة مقارنة النماذج البايزية ذات التوزيعات الاحتمالية المسبقة الغامضة. ^{[ 18 ] [ 19 ]} كما استُخدمت أيضًا لتقديم كميات جديدة في نظرية المعلومات تتجاوز نظرية المعلومات الحالية . ^{[ 20 ]}

قاعدة تسجيل Hyvärinen محلية من الدرجة 2 (أي أنها تأخذ في الاعتبار محليًا المشتقات حتى الدرجة الثانية).

تُعتبر درجة الطاقة امتدادًا متعدد المتغيرات لدرجة الاحتمالية المرتبة المستمرة: ^{[ 1 ]}

${\displaystyle ES_{\beta }(D,Y)=\mathbb {E} _{X\sim D}[\lVert X-Y\rVert _{2}^{\beta }]-{\frac {1}{2}}\mathbb {E} _{X,X'\sim D}[\lVert X-X'\rVert _{2}^{\beta }]}$

هنا،${\displaystyle \beta \in (0,2)}$،${\displaystyle \lVert \rVert _{2}}$يشير إلى${\displaystyle n}$المسافة الإقليدية ذات الأبعاد n و${\displaystyle X,X'}$هي متغيرات عشوائية تم أخذ عينات منها بشكل مستقل من التوزيع الاحتمالي${\displaystyle D}$تُعتبر درجة الطاقة مناسبة تمامًا للتوزيعات.${\displaystyle D}$والتي${\displaystyle \mathbb {E} _{X\sim D}[\lVert X\rVert _{2}]}$هي قيمة محدودة. وقد أشير إلى أن درجة الطاقة غير فعالة إلى حد ما عند تقييم بنية التبعية بين المتغيرات للتوزيع متعدد المتغيرات المتوقع. ^{[ 21 ]} باستثناء حد يعتمد فقط على توزيع المشاهدة، فإن درجة الطاقة تساوي ضعف مسافة الطاقة بين التوزيع المتوقع والتوزيع التجريبي للمشاهدة.

درجة التباين المكاني من الرتبة${\displaystyle p}$يتم تحديده بواسطة: ^{[ 22 ]}

${\displaystyle VS_{p}(D,Y)=\sum _{i,j=1}^{n}w_{ij}(|Y_{i}-Y_{j}|^{p}-\mathbb {E} _{X\sim D}[|X_{i}-X_{j}|^{p}])^{2}}$

هنا،${\displaystyle w_{ij}}$هي أوزان، غالباً ما يتم ضبطها على 1، و${\displaystyle p>0}$يمكن اختيارها بشكل تعسفي، ولكن${\displaystyle p=0.5,1}$أو${\displaystyle 2}$تُستخدم غالباً.${\displaystyle X_{i}}$يُستخدم هنا للدلالة على${\displaystyle i}$المتغير العشوائي الهامشي رقم 'th من${\displaystyle X}$تُعدّ درجة التباين المكاني مناسبة للتوزيعات التي يكون فيها${\displaystyle (2p)}$العزم النوني محدود لجميع المكونات، ولكنه ليس دقيقًا تمامًا. وبالمقارنة مع درجة الطاقة، يُزعم أن درجة التباين المكاني أكثر تمييزًا فيما يتعلق ببنية الارتباط المتوقعة.

تُعدّ درجة الاحتمالية المرتبة المستمرة المشروطة (Conditional CRPS أو CCRPS) مجموعة من قواعد التقييم الصحيحة (بشكل صارم). تُقيّم درجة الاحتمالية المرتبة المستمرة المشروطة توزيعًا متعدد المتغيرات مُتوقعًا.${\displaystyle D}$عن طريق تقييم CRPS على مجموعة محددة من توزيعات الاحتمالية الشرطية أحادية المتغير للتوزيع متعدد المتغيرات المتوقع: ^{[ 23 ]}

${\displaystyle CCRPS_{\mathcal {T}}(D,Y)=\sum _{i=1}^{k}CRPS(P_{X\sim D}(X_{v_{i}}|X_{j}=Y_{j}{\text{ for }}j\in {\mathcal {C}}_{i}),Y_{v_{i}})}$

هنا،${\displaystyle X_{i}}$هو${\displaystyle i}$المتغير الهامشي رقم 'th من${\displaystyle X\sim D}$،${\displaystyle {\mathcal {T}}=(v_{i},{\mathcal {C}}_{i})_{i=1}^{k}}$هي مجموعة من الصفوف التي تحدد مواصفات شرطية (مع${\displaystyle v_{i}\in \{1,\ldots ,n\}}$و${\displaystyle {\mathcal {C}}_{i}\subseteq \{1,\ldots ,n\}\setminus \{v_{i}\}}$)، و${\displaystyle P_{X\sim D}(X_{v_{i}}|X_{j}=Y_{j}{\text{ for }}j\in {\mathcal {C}}_{i})}$يرمز إلى توزيع الاحتمال الشرطي لـ${\displaystyle X_{v_{i}}}$بافتراض أن جميع المتغيرات${\displaystyle X_{j}}$ل${\displaystyle j\in {\mathcal {C}}_{i}}$تساوي قيمها المشاهدات المقابلة لها. في حالة أن${\displaystyle P_{X\sim D}(X_{v_{i}}|X_{j}=Y_{j}{\text{ for }}j\in {\mathcal {C}}_{i})}$إذا كان التوزيع غير مُعرَّف جيدًا (أي أن احتمالية وقوع حدثه الشرطي تساوي صفرًا)، فإن درجات CRPS على هذا التوزيع تُعرَّف بأنها لانهائية. يكون CRPS الشرطي مناسبًا تمامًا للتوزيعات ذات العزم الأول المحدود، إذا تم تضمين قاعدة السلسلة في التحديد الشرطي، مما يعني وجود تبديل.${\displaystyle \phi _{1},\ldots ,\phi _{n}}$ل${\displaystyle 1,\ldots ,n}$بحيث يكون ذلك لجميع${\displaystyle 1\leq i\leq n}$:${\displaystyle (\phi _{i},\{\phi _{1},\ldots ,\phi _{i-1}\})\in {\mathcal {T}}}$.

${\displaystyle S(x,y)=(x-y)^{2}}$

${\displaystyle S(x,y)=(\mathbf {1} \{x\geq y\}-\alpha )(x-y)}$

تُعتبر نتيجة الفاصل الزمني مزيجًا من خسارتي لعبة البينبول للكميات المقابلة.

${\displaystyle S_{\alpha }(l,u;y)=(u-l)+{\frac {2}{\alpha }}(l-y)\,\mathbf {1} \{y<l\}+{\frac {2}{\alpha }}(y-u)\,\mathbf {1} \{y>u\}}$

"يُكافأ المتنبئ على فترات التنبؤ الضيقة، ويتعرض هو أو هي لعقوبة، يعتمد حجمها على α، إذا فاتت الملاحظة الفترة" ^{[ 1 ]}