Also known as: BLEURT (Bilingual Evaluation Understudy From Transformers) · BLEURT · Bilingual Evaluation Understudy From Transformers
Bilingual Evaluation Understudy from Transformers (BLEURT) es una métrica de evaluación aprendida para generación de texto y traducción automática. Utiliza un modelo basado en BERT ajustado finamente con juicios humanos para evaluar similitud semántica y calidad de salida. En comparación con BLEU tradicional, BLEURT puede tener mejor en cuenta paráfrasis que conservan el significado.
A metric for evaluating machine translations from one language to another, particularly to and from English. For translations to and from English, BLEURT aligns more closely to human ratings than BLEU. Unlike BLEU, BLEURT emphasizes semantic (meaning) similarities and can accommodate paraphrasing. BLEURT relies on a pre-trained large language model (BERT to be exact) that is then fine-tuned on text from human translators. The original paper on this metric is BLEURT: Learning Robust Metrics for Text Generation.