بلو

تتطلب المحاولة الأساسية الأولى لتحديد درجة BLEU وسيطين: سلسلة مرشحة${\displaystyle {\hat {y}}}$وقائمة بسلاسل المراجع${\displaystyle (y^{(1)},...,y^{(N)})}$الفكرة هي أن${\displaystyle BLEU({\hat {y}};y^{(1)},...,y^{(N)})}$ينبغي أن تكون قريبة من 1 عندما${\displaystyle {\hat {y}}}$يشبه إلى${\displaystyle ذ^{(1)},...,ص^{(N)}}$وإلا فإنها تقترب من الصفر.

على سبيل المثال، تشبه درجة BLEU محاولة مدرس لغة تقييم جودة ترجمة أحد الطلاب${\displaystyle {\hat {y}}}$من خلال التحقق من مدى تطابقها مع الإجابات المرجعية${\displaystyle ذ^{(1)},...,ص^{(N)}}$.

بما أنه في معالجة اللغة الطبيعية ، يجب تقييم مجموعة كبيرة من السلاسل المرشحة، فيجب تعميم درجة BLEU إلى الحالة التي يكون فيها لدينا قائمة من M من السلاسل المرشحة (تسمى " مجموعة النصوص ").${\displaystyle ({\hat {y}}^{(1)},\cdots ,{\hat {y}}^{(M)})}$ولكل سلسلة مرشحة${\displaystyle {\hat {y}}^{(i)}}$، قائمة بسلاسل المرشحين المرجعية${\displaystyle S_{i}:=(y^{(i,1)},...,y^{(i,N_{i})})}$.

بفرض أي سلسلة نصية${\displaystyle y=y_{1}y_{2}\cdots y_{K}}$وأي عدد صحيح${\displaystyle n\geq 1}$، نُعرّف مجموعة n-grams الخاصة بها على أنها$${\displaystyle G_{n}(y)=\{y_{1}\cdots y_{n},y_{2}\cdots y_{n+1},\cdots ,y_{K-n+1}\cdots y_{K}\}}$$لاحظ أنها مجموعة من العناصر الفريدة، وليست مجموعة متعددة تسمح بوجود عناصر زائدة، بحيث، على سبيل المثال،${\displaystyle G_{2}(abab)=\{ab,ba\}}$.

بافتراض وجود سلسلتين نصيتين${\displaystyle s,y}$حدد عدد السلاسل الفرعية${\displaystyle C(s,y)}$أن يكون عدد مرات الظهور${\displaystyle s}$كجزء من${\displaystyle y}$. على سبيل المثال،${\displaystyle C(ab,abcbab)=2}$.

الآن، قم بتحديد مجموعة بيانات مرشحة${\displaystyle {\hat {S}}:=({\hat {y}}^{(1)},\cdots ,{\hat {y}}^{(M)})}$، ومجموعة النصوص المرشحة المرجعية${\displaystyle S=(S_{1},\cdots ,S_{M})}$حيث كل${\displaystyle S_{i}:=(y^{(i,1)},...,y^{(i,N_{i})})}$.

عرّف دالة دقة n-gram المعدلة على النحو التالي$${\displaystyle p_{n}({\hat {S}};S):={\frac {\sum _{i=1}^{M}\sum _{s\in G_{n}({\hat {y}}^{(i)})}\min(C(s,{\hat {y}}^{(i)}),\max _{y\in S_{i}}C(s,y))}{\sum _{i=1}^{M}\sum _{s\in G_{n}({\hat {y}}^{(i)})}C(s,{\hat {y}}^{(i)})}}}$$إنّ نموذج n-gram المعدّل، الذي يبدو معقداً، ليس سوى تعميم مباشر للحالة النموذجية: جملة مرشحة واحدة وجملة مرجعية واحدة. في هذه الحالة، يكون$${\displaystyle p_{n}(\{{\hat {y}}\};\{y\})={\frac {\sum _{s\in G_{n}({\hat {y}})}\min(C(s,{\hat {y}}),C(s,y))}{\sum _{s\in G_{n}({\hat {y}})}C(s,{\hat {ص}})}}}$$للوصول إلى هذا التعبير، نبدأ بمجموع عدد الكلمات المتجاورة (n-gram) الأكثر وضوحًا:$${\displaystyle \sum _{s\in G_{n}({\hat {y}})}C(s,y)={\text{عدد السلاسل الفرعية ذات n- في }}{\hat {y}}{\text{ التي تظهر في }}y}$$ يقيس هذا المقدار عدد الجمل المكونة من n-grams في الجملة المرجعية التي يتم تكرارها في الجملة المرشحة. لاحظ أننا نحسب السلاسل الفرعية المكونة من n-grams ، وليس الجمل المكونة من n-grams . على سبيل المثال، عندما${\displaystyle {\hat {y}}=aba,y=abababa,n=2}$جميع السلاسل الفرعية المكونة من 2 في${\displaystyle {\hat {y}}}$(ab و ba) يظهران في${\displaystyle y}$ثلاث مرات لكل منهما، لذا فإن العدد هو 6 وليس 2.

في الحالة المذكورة أعلاه، يكون النص المرشح قصيرًا جدًا. بدلًا من ظهوره ثلاث مرات${\displaystyle ab}$يحتوي على واحد فقط، لذلك نضيف دالة الحد الأدنى لتصحيح ذلك:$${\displaystyle {\sum _{s\in G_{n}({\hat {y}})}\min(C(s,{\hat {y}}),C(s,y))}}$$لا يمكن استخدام مجموع هذا العدد للمقارنة بين الجمل، لأنه غير مُعَيَّر. فإذا كانت كل من الجملة المرجعية والجملة المرشحة طويلتين، فقد يكون العدد كبيرًا، حتى لو كانت الجملة المرشحة ذات جودة رديئة للغاية. لذلك نقوم بتطبيعه.$${\displaystyle {\frac {\sum _{s\in G_{n}({\hat {y}})}\min(C(s,{\hat {y}}),C(s,y))}{\sum _{s\in G_{n}({\hat {y}})}C(s,{\hat {y}})}}}$$يتم التوحيد بحيث يكون دائمًا رقمًا في${\displaystyle [0,1]}$مما يسمح بإجراء مقارنات ذات مغزى بين مجموعات النصوص. تكون قيمته صفرًا إذا لم تكن أي من السلاسل الفرعية المكونة من n- في النص المرشح موجودة في النص المرجعي. وتكون قيمته واحدًا إذا ظهرت كل سلسلة n-gram في النص المرشح في النص المرجعي، على الأقل بنفس عدد مرات ظهورها في النص المرشح. وعلى وجه الخصوص، إذا كان النص المرشح سلسلة فرعية من النص المرجعي، فإن قيمته تكون واحدًا.

إن دقة n-gram المعدلة تعطي درجة عالية بشكل غير مبرر للسلاسل المرشحة التي تعتبر " تلغرافية "، أي تحتوي على جميع n-grams من السلاسل المرجعية، ولكن لأقل عدد ممكن من المرات.

من أجل معاقبة السلاسل المرشحة القصيرة جدًا، حدد عقوبة الإيجاز على النحو التالي:$${\displaystyle BP({\hat {S}};S):=e^{-(r/c-1)^{+}}}$$أين${\displaystyle (r/c-1)^{+}=\max(0,r/c-1)}$هو الجانب الإيجابي من${\displaystyle r/c-1}$.

• متى${\displaystyle r\leq c}$عقوبة الإيجاز${\displaystyle BP=1}$وهذا يعني أننا لا نعاقب المرشحين ذوي المؤهلات الطويلة، وإنما نعاقب المرشحين ذوي المؤهلات القصيرة فقط.
• متى${\displaystyle r>c}$عقوبة الإيجاز${\displaystyle BP=e^{1-r/c}}$

${\displaystyle c}$يمثل طول مجموعة النصوص المرشحة، أي$${\displaystyle c:=\sum _{i=1}^{M}|{\hat {y}}^{(i)}|}$$أين${\displaystyle |y|}$هو طول${\displaystyle y}$.

${\displaystyle r}$يمثل طول مجموعة النصوص المرجعية الفعالة ، أي$${\displaystyle r:=\sum _{i=1}^{M}|y^{(i,j)}|}$$أين${\displaystyle y^{(i,j)}=\arg \min _{y\in S_{i}}||y|-|{\hat {y}}^{(i)}||}$أي الجملة من${\displaystyle S_{i}}$طوله أقرب ما يكون إلى${\displaystyle |{\hat {y}}^{(i)}|}$قدر الإمكان.

لا يوجد تعريف واحد لـ BLEU، بل مجموعة كاملة من التعريفات، يتم تحديدها بواسطة متجه الترجيح.${\displaystyle w:=(w_{1},w_{2},\cdots )}$هو توزيع احتمالي على${\displaystyle \{1,2,3,\cdots \}}$، إنه،${\displaystyle \sum _{i=1}^{\infty }w_{i}=1}$، و${\displaystyle \forall i\in \{1,2,3,\cdots \},w_{i}\in [0,1]}$.

مع خيار${\displaystyle w}$، درجة BLEU هي$${\displaystyle BLEU_{w}({\hat {S}};S):=BP({\hat {S}};S)\cdot \exp \left(\sum _{n=1}^{\infty }w_{n}\ln p_{n}({\hat {S}};S)\right)}$$بعبارة أخرى، هو المتوسط ​​الهندسي المرجح لجميع دقة نماذج n-gram المعدلة، مضروبًا في معامل الاختصار. نستخدم المتوسط ​​الهندسي المرجح، بدلًا من المتوسط ​​الحسابي المرجح، لتفضيل مجموعات النصوص المرشحة التي تُعتبر جيدة في آنٍ واحد وفقًا لدقة نماذج n-gram المتعددة.

الخيار الأكثر شيوعًا، وهو الخيار الموصى به في الورقة الأصلية، هو${\displaystyle w_{1}=\cdots =w_{4}={\frac {1}{4}}}$[ ^{1 ]​}