Начальный
Что такое оценка модели?
Оценка — это процесс измерения качества, поведения или performance модели, системы либо изменения по заданным критериям. В машинном обучении она может использовать validation и test data, а оценка LLM также может включать безопасность, factuality, robustness и влияние на пользователей.
Что такое benchmark в оценке AI?
Benchmark — это стандартизированный тест, набор данных, задача или процедура оценки, используемые для измерения и сравнения performance AI-систем.
Чем отличаются precision и recall?
Используйте Precision, когда false positives стоят дорого; используйте Recall, когда дорого обходятся пропущенные positives.
Почему accuracy может вводить в заблуждение?
Accuracy — это classification metric, равная доле правильных предсказаний среди всех сделанных предсказаний. Она полезна в некоторых сценариях evaluation, но может вводить в заблуждение при imbalanced classes, где precision, recall или другие метрики лучше отражают performance модели.