Also known as: Automatic Side-by-side (AutoSxS) · AutoSxS · Automatic Side-by-side AutoSxS · Automatic Side by side [AutoSxS]
Automatic Side-by-side, o AutoSxS, es un enfoque de evaluación asistido por modelos que compara dos modelos de lenguaje grandes o conjuntos de salidas generadas frente a los mismos prompts. Un autorater juzga qué respuesta es mejor de acuerdo con criterios definidos, lo que permite una evaluación lado a lado escalable que puede aproximarse a pruebas de preferencia humana en algunos contextos.
Automatic side-by-side (AutoSxS) is a model-assisted evaluation tool that compares two large language models (LLMs) side by side. It can be used to evaluate the performance of either generative AI models in Vertex AI Model Registry or pregenerated inferences. AutoSxS uses an autorater to decide which model gives the better response to a prompt. AutoSxS is available on demand and evaluates language models with comparable performance to human raters.