Пользователь хочет понять Model Drift в контексте AI Safety & Risk и применить это к практической работе по AI governance или compliance.
Model drift — это ухудшение или изменение performance модели со временем, когда реальные данные, поведение пользователей или условия эксплуатации расходятся с данными, использованными при обучении или оценке. Обнаружение drift важно для решения, когда модель нужно дообучить, откалибровать или заменить.
Model drift — это изменение performance или поведения модели со временем, потому что реальные данные, поведение пользователей, условия эксплуатации или связь между inputs и outcomes больше не соответствуют условиям, использованным при обучении или оценке. Это риск жизненного цикла, а не просто техническая метрика. Drift может сделать AI-систему менее точной, менее справедливой, менее безопасной или менее соответствующей требованиям, даже если при запуске она работала хорошо.
Model drift означает, что мир изменился, а модель не успела адаптироваться. Модель fraud detection, обученная на старых паттернах транзакций, может пропускать новые тактики мошенничества. Прогноз спроса может перестать работать после изменения поведения рынка. Модель модерации может деградировать, когда пользователи придумывают новый сленг. Мониторинг drift помогает командам решить, когда расследовать, перекалибровать, переобучить, ограничить или вывести модель из эксплуатации.
Аналогия
Карта может быть точной в момент печати и всё равно стать ненадёжной после изменения дорог, трафика и пунктов назначения.
Model drift важен, потому что многие AI controls валидируются в один момент времени, а deployment environments продолжают меняться. Если drift не мониторится, организации могут продолжать полагаться на систему, предположения которой больше не верны. Это может привести к ошибкам, bias, небезопасным рекомендациям, вреду для клиентов, regulatory exposure и плохим бизнес-решениям. Для compliance-команд drift monitoring является частью post-deployment governance: он поддерживает auditability, incident detection, решения о retraining, model-change control и evidence того, что система остаётся пригодной для своего intended purpose.
Срочность
Модели, используемые в динамичных, high-impact, regulated или customer-facing средах, должны иметь drift monitoring до production reliance.
Практическая программа drift определяет baseline data, performance metrics, fairness metrics, monitoring frequency, alert thresholds, owners и response playbooks. Команды должны различать data drift, когда меняется распределение входных данных, и concept drift, когда меняется связь между inputs и outcomes. Monitoring должен быть связан с операционными решениями: расследовать, обновить thresholds, перекалибровать, переобучить, откатить, приостановить или эскалировать. Записи о drift должны документировать сигнал, impact analysis, root cause, mitigation, approval и validation after change. Для regulated или high-risk систем эти записи должны быть связаны с AI inventory, risk assessment и safety case.
Самая распространённая ошибка — предполагать, что модель, одобренная при запуске, остаётся одобренной навсегда. Другая ошибка — мониторить только общую accuracy, игнорируя subgroup performance, calibration, fairness, confidence, data quality и изменения business process. Команды также путают data drift с concept drift или обнаруживают drift, но не имеют владельца и playbook для реакции. Последняя governance-ошибка — автоматически переобучать модель без проверки, являются ли новые данные законными, репрезентативными, безопасными и согласованными с intended purpose.
Ошибка 1: Переобучить модель после падения performance, не выяснив, отражают ли новые данные мошенничество, bias, сезонность или изменение процесса.
Ошибка 2: Мониторить aggregate performance и пропустить, что модель деградировала для меньшей protected или vulnerable group.
Эта страница должна ссылаться на data-drift и concept-drift, потому что эти термины объясняют два самых важных паттерна drift. Она также должна ссылаться на ai-safety, ai-risk-assessment, monitoring и safety-case concepts, потому что drift — это вопрос post-deployment assurance. Самые сильные сравнения — model-drift-vs-concept-drift и data-drift-vs-model-drift. Связанные вопросы включают what-is-a-safety-case-for-ai, how-is-data-drift-different-from-concept-drift и what-is-ai-safety. Ссылка на инцидент CASE-0575 может использоваться как обучающая опора для деградации performance и failure of monitoring.