Начальный
Что такое AI safety?
AI Safety — это междисциплинарная область и набор практик, направленных на предотвращение вреда от AI-систем. Она включает надёжность, предотвращение злоупотреблений, снижение bias и ошибок, согласование с человеческими ценностями, а также анализ краткосрочных и долгосрочных рисков.
Чем риск отличается от вреда?
Используйте «риск» для потенциальных неблагоприятных исходов до или во время оценки; используйте «вред» для неблагоприятного эффекта, который уже произошёл или может быть конкретно описан.
Что такое safety case для AI?
AI safety case — это документированный аргумент, подкреплённый доказательствами, что AI-система является приемлемо безопасной для определённого использования и операционного контекста. Он особенно важен для более рискованных секторов, где assurance должен быть явным, проверяемым и поддерживаемым во времени.
Что такое model drift?
Model drift — это ухудшение или изменение performance модели со временем, когда реальные данные, поведение пользователей или условия эксплуатации расходятся с данными, использованными при обучении или оценке. Обнаружение drift важно для решения, когда модель нужно дообучить, откалибровать или заменить.
Средний
Чем data drift отличается от concept drift?
Используйте data drift, когда меняется распределение входных данных; используйте concept drift, когда меняется связь между inputs и целевым outcome.
Что такое alignment в AI safety?
Alignment — это практика проектирования, обучения и управления AI-системой так, чтобы ее цели, outputs и поведение оставались согласованными с человеческими намерениями, ценностями и acceptable use constraints.
Что такое serious AI incident?
AI Incident — это событие или серия событий, при которых разработка, deployment, использование или malfunction AI-системы причиняет или может причинить вред. Такой вред может касаться safety, discrimination, privacy, legal compliance, critical infrastructure, property, communities или environment.
Что такое human-in-the-loop control?
HITL, или human-in-the-loop, — это подход, при котором люди остаются вовлеченными в формирование, review, approval или улучшение outputs или decisions AI-системы. Он используется для сочетания machine efficiency с human judgment, особенно в higher-risk или context-sensitive tasks.
Что такое AI toxicity?
AI Toxicity — это harmful, offensive, false, biased или otherwise inappropriate output, созданный или усиленный AI-системой. Он может возникать из training data, system design, prompt context, misalignment или inadequate safeguards.
Почему post-market monitoring важен?
Post-market monitoring system состоит из действий провайдеров AI-систем по сбору и анализу опыта использования систем, размещенных на рынке или введенных в эксплуатацию. Его цель — определить, нужны ли corrective или preventive actions после deployment.
Продвинутый
Что такое anomaly detection в AI monitoring?
Anomaly detection — это процесс выявления observations, events или patterns, которые значительно отличаются от ожидаемого поведения. В AI и data analysis он используется для flagging outliers, которые могут указывать на errors, fraud, security incidents, system faults или другие unusual conditions.
Что такое security by design для AI-систем?
Security by design — это подход, при котором security requirements и safeguards интегрируются с самого начала разработки системы. Для AI-систем он включает anticipation of misuse, protection of data and models и embedding access controls, monitoring и resilience на протяжении всего lifecycle.