Оценка автоматическим оценщиком — автоматизированный процесс оценки, в котором модель или система скоринга судит о качестве выходов модели. Autoraters могут быть готовыми или дообученными под конкретную задачу оценки, а их надежность зависит от качества критериев, обучающих данных и проверки относительно человеческих суждений.
Prebuilt autoraters are available, but the best autoraters are fine-tuned specifically to the task you are evaluating. [!NOTE] Note: A running autorater is a fully automated process; humans "only" provide data that helps train an autorater.