Also known as: Automatic Side-by-side (AutoSxS) · AutoSxS · Automatic Side-by-side AutoSxS · Automatic Side by side [AutoSxS]
Automatic Side-by-side, или AutoSxS, — подход к оценке с помощью модели, сравнивающий две крупные языковые модели или наборы сгенерированных выходов на одних и тех же промптах. Autorater определяет, какой ответ лучше по заданным критериям, обеспечивая масштабируемую парную оценку, которая в некоторых условиях может приближаться к тестированию человеческих предпочтений.
Automatic side-by-side (AutoSxS) is a model-assisted evaluation tool that compares two large language models (LLMs) side by side. It can be used to evaluate the performance of either generative AI models in Vertex AI Model Registry or pregenerated inferences. AutoSxS uses an autorater to decide which model gives the better response to a prompt. AutoSxS is available on demand and evaluates language models with comparable performance to human raters.