Autorater — модель или автоматизированная система, используемая для оценки качества ответа или выхода другой модели. Он может сравнивать ответы, применять критерии оценивания или поддерживать оценочные пайплайны, такие как парная оценка моделей.
An autorater is a language model that evaluates the quality of model responses given an original inference prompt. It's used in the AutoSxS pipeline to compare the inferences of two models and determine which model performed the best. For more information, see The autorater.