WEEK8 : Bleu score

donghwa-kim.github.io/BLEU.html

BLEU Score

 

Blue는 번역된 문장을 평가하기 위한 지표로,

실제 번역 문장과 기계가 번역한 문장과의 유사성을 기반으로 score를 산출한다.

 

1. n-gram 기준 얼마나 겹치는 지

• 1-gram, 2-gram, 3-gram, 4-gram 이용하여 실제 번역 문장과 기계 번역 문장과의 유사성 비교

2. 같은 단어가 연속적으로 나와 성능이 과대측정 되는 것을 막기 위한 목적

• 실제 번역 문장 : there is a cat on the mat
• 기계 번역 문장 : there there there there is
• 1-gram 기준 유사성이 4(=일치하는 단어의 수)/5(=기계번역 문장의 길이)로 평가되는 것을 막기 위함

3. 실제 번역 문장과 기계 번역 문장과의 문장 길이 비교

• 실제 번역 문장 대비 기계 번역 문장의 길이가 짧다면 penalty 부여
• 실제 번역 문장 대비 기계 번역 문장의 길이가 길다면 이점 제공하는 것 X (그냥 1 곱해주게 된다)

이 세 가지를 모두 고려하여 Blue score가 정의된다.

 

자세한 내용은 위에 언급한 블로그에 잘 정리되어 있기에 .. !