Traducere automată neuronală (NMT) este o sarcină standard în NLP care implică traducerea unui text dintr-o limbă sursă într-o limbă țintă. BLEU (Substudiu de evaluare bilingvă) este un scor folosit pentru a evalua traducerile efectuate de un traducător automat. În acest articol, vom vedea matematica din spatele scorului BLEU și implementarea acestuia în Python.

Cuprins

• Ce este Scorul BLEU?
• Expresie matematică pentru scorul BLEU
• Cum se calculează scorul BLEU?
• Implementarea scorului BLEU în Python

Ce este Scorul BLEU?

După cum sa menționat mai sus, Scorul BLEU este o măsurătoare de evaluare pentru sarcinile de traducere automată. Se calculează prin compararea n-grame de propoziții traduse automat la n-gramul de propoziții traduse de om. De obicei, s-a observat că scorul BLEU scade pe măsură ce lungimea propoziției crește. Totuși, aceasta poate varia în funcție de modelul utilizat pentru traducere. Următorul este un grafic care ilustrează variația Scorului BLEU cu lungimea propoziției.

Expresie matematică pentru scorul BLEU

Din punct de vedere matematic, Scorul BLEU este dat după cum urmează:

BLEU Score = BP * exp(sum_{i=1}^{N}(w_i * ln(p_i))

conversia obiectului în șir

Aici,

• BP reprezintă Concizie pedeapsă
• w_i este greutatea pentru precizia n-gram de ordinul i (de obicei, greutățile sunt egale pentru tot i)
• p_ieste scorul de precizie modificat cu n grame de ordinul i.
• N este ordinea maximă de n grame de luat în considerare (de obicei până la 4)

Precizie n-gram modificată (p_i)

Precizia modificatăp_ieste într-adevăr calculat ca raport între numărul de n -grame în traducerea candidatului care se potrivesc exact n -grame în oricare dintre traducerile de referință, tăiate după numărul de n -grame în traducerea candidatului.

p_i = frac{ ext{Count Clip}(matches_i, ext{max-ref-count}_i)}{ ext{candidate-n-grams}_i}

Aici,

• Count Clips este o funcție care decupează numărul de n-grame potrivite (matches_i)cu numărul maxim al n-gramului în toate traducerile de referință ( ext{max-ref-count}_i.
• matches_ieste numărul de n-grame de ordinul i care se potrivesc exact între traducerea candidatului și oricare dintre traducerile de referință.
• ext{max-ref-count}_ieste numărul maxim de apariții ale n-gramului specific de ordine pe care l-am găsit în orice traducere de referință.
• ext{candidate-n-grams}_ieste numărul total de n-grame de ordin pe care le prezint în traducerea candidatului.

Penalizare de concizie (BP)

Concizie pedeapsă penalizează traducerile care sunt mai scurte decât traducerile de referință. Expresia matematică pentru Concizie pedeapsă este dat după cum urmează:

BP = exp(1- frac{r}{c})

Aici,

• r este lungimea traducerii candidatului
• c este lungimea medie a traducerilor de referință.

Cum se calculează scorul BLEU?

Pentru o mai bună înțelegere a calculului Scorului BLEU, să luăm un exemplu. Următorul este un caz pentru traducerea din franceză în engleză:

• Text sursă (franceză) : această imagine este făcută clic de mine
• Text tradus automat : poza poza de mine
• Text de referință-1 : această imagine este făcută clic de mine
• Text de referință-2 : poza a fost făcută clic de mine

Putem vedea clar că traducerea făcută de mașină nu este exactă. Să calculăm scorul BLEU pentru traducere.

Precizie modificată Unigram

Pentru n = 1, vom calcula Precizie modificată la Unigram:

Aici unigramele (the, picture, by, me) sunt preluate din textul tradus automat. Numărătoarea se referă la frecvența n-gramelor în tot textul tradus automat, iar Numărarea tăiată se referă la frecvența unigramelor în textele de referință în mod colectiv.

P_1 = frac{ ext{Clipped Count}}{ ext{Count in MT}} = frac{1+1+1+1}{2+2+1+1} =frac{4}{6} = frac{2}{3}

Precizie modificata Bigram

Pentru n = 2 , vom calcula Precizie modificata Bigram :

P_2 = frac{ ext{Clip Count}}{ ext{Count in MT}} = frac{2}{5}

Precizie modificată cu trigramă

Pentru n = 3 , vom calcula Precizie modificată cu trigramă:

P_3 = frac{0+0+0+0}{1+1+1+1} =0.0

Precizie modificată de 4 grame

Pentru n =4 , vom calcula Precizie modificată de 4 grame:

P_4 = frac{0+0+0}{1+1+1} =0.0

Calculul pedepsei de concizie

Acum am calculat toate scorurile de precizie, haideți să găsim penalitatea de concizie pentru traducere:

Brevity Penalty = min(1, frac{Machine,Translation,Output,Length}{Maximum,Reference,Output,Length})

• Lungimea de ieșire a traducerii automate = 6 (Text tradus automat: imaginea poza mea)
• Lungime maximă de ieșire de referință = 6 (Text de referință-2: imaginea a fost făcută clic de mine)

Brevity Penalty (BP) = min(1, frac{6}{6}) = 1

Calcul BLEU Scor

În cele din urmă, scorul BLEU pentru traducerea de mai sus este dat de:

BLEU Score = BP * exp(sum_{n=1}^{4} w_i * log(p_i))

Înlocuind valorile, obținem,

ext{BLEU Score} = 1 * exp(0.25*ln(2/3) + 0.25*ln(2/5) + 0*ln(0) + 0*ln(0))

ext{BLEU Score} = 0.718

În cele din urmă, am calculat scorul BLEU pentru traducerea dată.

ce este 10 din 1 milion

Implementarea scorului BLEU în Python

După ce s-a calculat manual Scorul BLEU, acum suntem obișnuiți cu funcționarea matematică a scorului BLEU. Cu toate acestea, Python’s NLTK oferă un modul încorporat pentru calculul scorului BLEU. Să calculăm scorul BLEU pentru același exemplu de traducere ca mai sus, dar de data aceasta folosind NLTK.

Cod:

Python3

     Output:   0.7186082239261684 We can see that the BLEU score computed using Python is the same as the one computed manually. Thus, we have successfully calculated the BLEU score and understood the mathematics behind it.>