Un autorater es un modelo o sistema automatizado utilizado para evaluar la calidad de la respuesta o salida de otro modelo. Puede comparar respuestas, aplicar criterios de puntuación o apoyar pipelines de evaluación, como la evaluación lado a lado de modelos.
An autorater is a language model that evaluates the quality of model responses given an original inference prompt. It's used in the AutoSxS pipeline to compare the inferences of two models and determine which model performed the best. For more information, see The autorater.