Also known as: BLEURT (Bilingual Evaluation Understudy From Transformers) · BLEURT · Bilingual Evaluation Understudy From Transformers
Bilingual Evaluation Understudy from Transformers (BLEURT) — обучаемая метрика оценки генерации текста и машинного перевода. Она использует модель на основе BERT, дообученную на человеческих суждениях, для оценки семантического сходства и качества выхода. По сравнению с традиционной BLEU, BLEURT может лучше учитывать парафразы, сохраняющие смысл.
A metric for evaluating machine translations from one language to another, particularly to and from English. For translations to and from English, BLEURT aligns more closely to human ratings than BLEU. Unlike BLEU, BLEURT emphasizes semantic (meaning) similarities and can accommodate paraphrasing. BLEURT relies on a pre-trained large language model (BERT to be exact) that is then fine-tuned on text from human translators. The original paper on this metric is BLEURT: Learning Robust Metrics for Text Generation.