Начальный
Что такое EU AI Act?
EU AI Act — это регламент Европейского союза, который устанавливает риск-ориентированную систему регулирования AI-систем и, в отдельных случаях, моделей общего назначения. Он определяет категории использования ИИ и распределяет обязанности по безопасности, прозрачности, управлению и compliance в зависимости от уровня риска.
Кто считается provider по EU AI Act?
Provider — это лицо, организация, публичный орган, агентство или иной субъект, который разрабатывает AI-систему или general-purpose AI model либо поручает её разработку и выводит её на рынок или вводит в эксплуатацию под своим именем или товарным знаком.
Чем provider отличается от deployer?
Provider — это участник, который разрабатывает, выводит на рынок или вводит в эксплуатацию AI-систему или GPAI model под своим именем; Deployer — участник, который использует AI-систему под своей ответственностью.
Что такое conformity assessment для AI-системы?
Conformity assessment — это процесс определения, соответствует ли система, продукт или процесс установленным правовым или техническим требованиям.
Что такое LLM security?
LLM, или large language model, — это языковая модель с большим числом параметров, обученная на широких текстовых или мультимодальных данных для понимания и генерации языка.
Что такое prompt injection?
Prompt injection — это состязательный приём, при котором языковую модель заставляют следовать вредоносным или непредусмотренным инструкциям, помещённым во ввод пользователя, документы, веб-страницы или другой обрабатываемый контент.
Что такое jailbreak в LLM-системе?
Prompt injection или jailbreak означает состязательный ввод, предназначенный для обхода инструкций модели, safety-политик или операционных мер контроля. Меры снижения риска включают фильтрацию ввода, изоляцию retrieval-слоя, доступ инструментов по принципу минимальных привилегий, enforcement политик и многоуровневые guardrails.
Чем RAG отличается от fine-tuning?
Используйте RAG, когда модели нужна актуальная, основанная на источниках информация; используйте fine-tuning, когда модели нужно специализированное поведение, выполнение задач, адаптация к домену или стиль, усвоенный из данных.
Что такое управление ИИ?
AI Governance — это система политик, процессов, ролей, мер контроля и надзора, используемая для управления разработкой и использованием ИИ на протяжении его жизненного цикла. Она направлена на ответственную, законную, безопасную, прозрачную и подотчётную практику ИИ внутри организации или юрисдикции.
Что такое AI management system?
AI Management System — это организационная платформа или структурированный набор процессов для управления AI-проектами и AI-системами на протяжении их жизненного цикла. Она координирует governance, потоки данных, разработку моделей, внедрение, мониторинг, compliance и accountability.
Что такое ISO/IEC 42001?
ISO/IEC 42001 — международный стандарт для создания, внедрения, поддержания и улучшения системы управления ИИ. Он помогает организациям управлять разработкой и использованием ИИ через политики, роли, управление рисками, надзор и постоянное совершенствование.
Что такое реестр инвентаризации ИИ-систем?
AI Inventory или System Register — это организованный каталог ИИ-систем и AI use cases внутри организации. Обычно он фиксирует владельцев, цели, источники данных, статус внедрения, риски, меры контроля и другую информацию, нужную для governance, аудита и accountability.
Что такое персональные данные в ИИ?
Персональные данные — это информация, относящаяся к идентифицированному или идентифицируемому физическому лицу по праву защиты данных. В контексте ЕС значение связано со статьёй 4(1) Регламента (EU) 2016/679 и соответствующим правовым толкованием.
Что такое специальные категории данных в ИИ?
Особые категории персональных данных — это особо чувствительные виды персональных данных, выделенные в праве ЕС о защите данных.
Являются ли биометрические данные персональными данными?
Биометрические данные — это персональные данные, полученные в результате специальной технической обработки физических, физиологических или поведенческих характеристик человека. Примеры включают изображения лица, отпечатки пальцев, голосовые паттерны, походку и другие идентификаторы, которые могут поддерживать распознавание или идентификацию.
Что такое анонимизация в управлении AI-данными?
Анонимизация и деидентификация — это методы, используемые для снижения риска идентификации людей по набору данных. На практике необратимая анонимизация может быть сложной, особенно если наборы данных можно связать с другой информацией.
Что такое AI safety?
AI Safety — это междисциплинарная область и набор практик, направленных на предотвращение вреда от AI-систем. Она включает надёжность, предотвращение злоупотреблений, снижение bias и ошибок, согласование с человеческими ценностями, а также анализ краткосрочных и долгосрочных рисков.
Чем риск отличается от вреда?
Используйте «риск» для потенциальных неблагоприятных исходов до или во время оценки; используйте «вред» для неблагоприятного эффекта, который уже произошёл или может быть конкретно описан.
Что такое safety case для AI?
AI safety case — это документированный аргумент, подкреплённый доказательствами, что AI-система является приемлемо безопасной для определённого использования и операционного контекста. Он особенно важен для более рискованных секторов, где assurance должен быть явным, проверяемым и поддерживаемым во времени.
Что такое model drift?
Model drift — это ухудшение или изменение performance модели со временем, когда реальные данные, поведение пользователей или условия эксплуатации расходятся с данными, использованными при обучении или оценке. Обнаружение drift важно для решения, когда модель нужно дообучить, откалибровать или заменить.
Что такое оценка модели?
Оценка — это процесс измерения качества, поведения или performance модели, системы либо изменения по заданным критериям. В машинном обучении она может использовать validation и test data, а оценка LLM также может включать безопасность, factuality, robustness и влияние на пользователей.
Что такое benchmark в оценке AI?
Benchmark — это стандартизированный тест, набор данных, задача или процедура оценки, используемые для измерения и сравнения performance AI-систем.
Чем отличаются precision и recall?
Используйте Precision, когда false positives стоят дорого; используйте Recall, когда дорого обходятся пропущенные positives.
Почему accuracy может вводить в заблуждение?
Accuracy — это classification metric, равная доле правильных предсказаний среди всех сделанных предсказаний. Она полезна в некоторых сценариях evaluation, но может вводить в заблуждение при imbalanced classes, где precision, recall или другие метрики лучше отражают performance модели.
Что такое агентный AI?
Agentic AI означает AI-системы, которые могут преследовать цели, воспринимая контекст, принимая решения, планируя шаги и выполняя действия с некоторой степенью автономности.
Что такое AI agent?
AI Agent — это сущность или программная система, которая воспринимает среду, интерпретирует входные данные и выполняет действия для достижения целей.
Что такое agentic workflow?
Agentic Workflow — это процесс, в котором AI agent планирует и выполняет несколько шагов для достижения заданной цели. Он может включать reasoning, tool invocation, взаимодействие с внешними systems, monitoring и self-correction при изменении условий.
Что такое agentic loop?
Agentic Loop — это повторяющийся цикл, в котором AI agent наблюдает ситуацию, рассуждает о том, что делать, действует и использует feedback, чтобы продолжить или остановиться. Цикл продолжается, пока цель не достигнута, не возникло failure condition или не сработало другое termination rule.
Что такое biometric AI?
Биометрическая технология — это системы, которые используют biometric data для распознавания, проверки или идентификации личности человека. Примеры включают facial recognition, fingerprint scanning, iris recognition, voice recognition и связанные identity-assurance tools.
Что такое biometric data?
Biometric data — это персональные данные, созданные в результате специальной технической обработки физических, физиологических или поведенческих характеристик человека. Примеры включают изображения лица, отпечатки пальцев, голосовые паттерны, походку и другие identifiers, которые могут поддерживать распознавание или идентификацию.
Что такое biometric identification?
Biometric identification — это автоматизированное распознавание личности физического лица путём сравнения его biometric data с biometric data, сохранёнными в базе данных. Обычно это процесс сопоставления one-to-many, используемый для установления того, кем является человек.
Чем biometric verification отличается от biometric identification?
Используйте Biometric Identification, когда фокус — автоматизированное распознавание личности физического лица путём сравнения его biometric data с biometric data, сохранёнными в базе данных; используйте Biometric Verification, когда фокус — автоматизированное one-to-one подтверждение личности человека путём сравнения его biometric data с заявленной личностью.
Что такое machine learning?
Machine Learning (ML) — это подполе artificial intelligence, в котором системы учатся паттернам на данных или опыте, чтобы делать predictions, classifications, recommendations или decisions без явного программирования каждого случая.
Что такое supervised learning?
Supervised learning — это подход machine learning, при котором модель учится на примерах, связывающих inputs с известными target outputs или labels. Модель использует эти labeled examples, чтобы изучать mappings для prediction, classification или regression на новых данных.
Чем unsupervised learning отличается от supervised learning?
Используйте Supervised Learning, когда есть labeled input-output examples; используйте Unsupervised Learning, когда цель — обнаружить структуру без labels.
Что такое reinforcement learning?
Reinforcement Learning (RL) — это парадигма machine learning, в которой agent учится действовать в среде, получая rewards или penalties за свои действия. Цель — выучить policy, которая максимизирует ожидаемую cumulative reward во времени.
Что такое generative AI?
Generative AI (GenAI) — это AI-системы, создающие новый контент, например текст, изображения, audio, video, code или другие media, в ответ на prompts или context. Такие системы изучают patterns из training data и генерируют outputs, похожие на типы контента, на которых они обучались, или преобразующие их.
Чем generative AI отличается от artificial intelligence?
Используйте Artificial Intelligence для широкой области и категории систем; используйте Generative AI, когда система создаёт новый content из prompts или context.
Что такое large language model?
LLM, или large language model, — это language model с большим числом parameters, обученная на широких text или multimodal data для понимания и генерации языка.
Что такое diffusion model?
Diffusion model — это generative model, обученная обращать процесс постепенного добавления noise к данным. Обучаясь denoise от random noise к целевому data distribution, она может генерировать realistic images, audio, text representations или другие outputs.
Средний
Когда AI-система считается размещенной на рынке?
Размещение на рынке означает первое предоставление AI-системы или модели AI общего назначения на рынке ЕС. Этот термин важен, потому что определенные регуляторные обязанности возникают в этот момент или до него.
Что такое предполагаемое назначение AI-системы?
Предполагаемое назначение — это использование, для которого AI-система разработана, продвигается на рынке или развертывается ее провайдером. Оно определяет ожидаемый контекст, пользователей, функции, выходные данные и ограничения, а также является центральным для классификации риска, комплаенса и подотчетности.
Что такое разумно предсказуемое неправильное использование?
Разумно предсказуемое неправильное использование — это использование AI-системы за пределами ее предполагаемого назначения, которое все же можно предвидеть исходя из поведения человека или взаимодействия с другими системами.
Что такое маркировка CE для AI-систем?
Маркировка CE — это знак соответствия, указывающий, что продукт или AI-система соответствует применимым требованиям соответствующего права Европейского союза. Для AI-систем она показывает, что провайдер оценил соответствие юридическим обязанностям, применимым к системе.
Что такое AI общего назначения?
AI общего назначения (GPAI) относится к AI-моделям или системам, которые можно адаптировать к широкому спектру задач и приложений. Распространенный пример — foundation models, в отличие от узких AI-систем, созданных для конкретной задачи.
Что такое системный риск в GPAI?
Системный риск — это риск, связанный с высокоэффективными возможностями моделей AI общего назначения, которые могут создавать значительные последствия для рынков, общества, общественного здоровья, безопасности, защищенности или основных прав.
Почему RAG может создавать риски для приватности и безопасности?
Retrieval Augmented Generation (RAG) — это метод, который сочетает генеративный AI с извлечением данных из внешних источников. Модель использует найденные документы, фрагменты или записи как контекст для формирования более актуальных, конкретных и проверяемых ответов.
Что такое guardrails в LLM-системе?
Guardrails — это технические, процедурные или политические меры контроля, предназначенные для удержания AI-систем в приемлемых границах. Они могут снижать такие риски, как вредные выходные данные, утечка данных, несанкционированный доступ, нарушения политики или небезопасное поведение.
Что такое grounding в генеративном AI?
Grounding — это процесс привязки выходных данных AI-модели к надежным и проверяемым источникам информации во время inference. В генеративном AI он помогает повысить фактическую надежность, предоставляя релевантный контекст без изменения базовых весов модели.
Что такое hallucination в AI-системе?
Hallucination — это сгенерированный AI результат, который выглядит правдоподобным или уверенным, но является ложным, неподтвержденным, вводящим в заблуждение или вымышленным. В генеративном AI hallucinations могут включать неверные факты, вымышленные источники, ложные цитаты или рассуждения, не основанные на надежных доказательствах.
Чем системный промпт отличается от пользовательского промпта?
Используйте системный промпт для устойчивых инструкций и ограничений приложения; используйте пользовательский промпт для текущего запроса пользователя, контекста и желаемого результата.
Что такое red teaming для LLM?
Red teaming — это структурированный процесс adversarial testing, используемый для выявления слабых мест, небезопасного поведения или вредных выходных данных в AI-системе. Он включает намеренное тестирование системы сложными, вредоносными или пограничными входными данными, чтобы разработчики могли оценить и улучшить защитные меры.
Чем AI risk assessment отличается от AI audit?
Используйте AI Risk Assessment для выявления и управления рисками; используйте AI Audit для оценки доказательств, controls или утверждений по заданным критериям.
Что такое AI assurance?
AI Assurance — это набор практик, которые дают обоснованную уверенность в том, что AI-система работает как задумано в своем операционном контексте.
Что такое shadow AI?
Shadow AI — это использование AI-инструментов или систем без формального одобрения, надзора или governance со стороны организации. Это создает риски утечки данных, комплаенса, безопасности и непоследовательного принятия решений и обычно управляется через политики, одобренные альтернативы, обучение и мониторинг.
Что такое AI use policy?
AI Use Policy — это внутренний governance-документ, который определяет, как AI-инструменты и системы могут использоваться внутри организации. Обычно он охватывает допустимое и запрещенное использование, роли и обязанности, обработку данных, требования к approval, мониторинг и escalation incidents.
Что такое vendor due diligence для AI?
AI vendor due diligence — это оценка сторонних AI-продуктов или провайдеров на предмет рисков безопасности, приватности, надежности, governance и комплаенса. Она помогает организациям решить, можно ли безопасно одобрить, закупать, мониторить или ограничивать конкретного vendor.
Что такое algorithmic accountability?
Algorithmic accountability — это ответственность за проектирование, работу, решения и последствия алгоритмических систем. Она включает прозрачность, прослеживаемость, надзор и механизмы объяснения, оспаривания или исправления вредных последствий.
Чем pseudonymisation отличается от anonymisation?
Используйте anonymisation / de-identification, когда речь идет о сниженной или удаленной идентифицируемости; используйте pseudonymisation, когда персональные данные все еще могут быть отнесены к человеку с помощью защищенной дополнительной информации.
Что такое differential privacy?
Используйте data anonymisation, когда изменяете данные для снижения идентифицируемости; используйте differential privacy, когда ограничиваете выводы об отдельных людях из outputs через privacy framework.
Может ли synthetic data все еще создавать privacy risk?
Synthetic data — это искусственно сгенерированные данные, созданные так, чтобы напоминать выбранные patterns, structures или statistical properties реальных данных.
Что такое data provenance?
Data provenance — это записанная история данных, включая их происхождение, создание, преобразования, перемещения и изменения во времени. В AI governance provenance помогает проверять lineage датасетов, оценивать надежность, поддерживать audits и понимать, как были произведены digital content или model inputs.
Что такое data residency в AI?
Data residency и sovereignty касаются того, где данные хранятся, обрабатываются и регулируются, а также какие правовые режимы к ним применяются. Для регулируемого использования AI эти понятия влияют на выбор cloud region, cross-border transfers, contractual controls и соблюдение отраслевых или национальных требований.
Как пересекаются GDPR и EU AI Act?
Используйте GDPR, когда вопрос касается обработки personal data; используйте EU AI Act, когда вопрос касается risk category AI-системы, safety, transparency, governance или conformity obligations.
Чем data drift отличается от concept drift?
Используйте data drift, когда меняется распределение входных данных; используйте concept drift, когда меняется связь между inputs и целевым outcome.
Что такое alignment в AI safety?
Alignment — это практика проектирования, обучения и управления AI-системой так, чтобы ее цели, outputs и поведение оставались согласованными с человеческими намерениями, ценностями и acceptable use constraints.
Что такое serious AI incident?
AI Incident — это событие или серия событий, при которых разработка, deployment, использование или malfunction AI-системы причиняет или может причинить вред. Такой вред может касаться safety, discrimination, privacy, legal compliance, critical infrastructure, property, communities или environment.
Что такое human-in-the-loop control?
HITL, или human-in-the-loop, — это подход, при котором люди остаются вовлеченными в формирование, review, approval или улучшение outputs или decisions AI-системы. Он используется для сочетания machine efficiency с human judgment, особенно в higher-risk или context-sensitive tasks.
Что такое AI toxicity?
AI Toxicity — это harmful, offensive, false, biased или otherwise inappropriate output, созданный или усиленный AI-системой. Он может возникать из training data, system design, prompt context, misalignment или inadequate safeguards.
Почему post-market monitoring важен?
Post-market monitoring system состоит из действий провайдеров AI-систем по сбору и анализу опыта использования систем, размещенных на рынке или введенных в эксплуатацию. Его цель — определить, нужны ли corrective или preventive actions после deployment.
Что такое F1 score?
F1 score — это гармоническое среднее precision и recall, используемое для оценки качества классификации и извлечения информации. Значение находится в диапазоне от 0 до 1: чем оно выше, тем лучше баланс между правильно найденными положительными случаями и пропущенными положительными случаями.
Чем false positives отличаются от false negatives?
Используйте False Positive для ошибочного положительного флага; используйте False Negative для ошибочного непризнания реально существующего положительного условия.
Что такое classification threshold?
Classification threshold — это выбранное пороговое значение, используемое для преобразования score или probability модели в prediction класса. Изменение threshold может менять баланс между false positives и false negatives, поэтому выбор threshold является важным governance- и performance-решением.
Что такое validation data?
Validation data — это данные, используемые для оценки модели во время разработки и настройки таких решений, как hyperparameters, thresholds или learning processes. Они должны быть отделены от training и test data, чтобы помогать выявлять underfitting, overfitting и проблемы generalization.
Что такое test set?
Test set — это зарезервированный dataset, используемый для независимой оценки обученной модели или AI-системы. Он должен быть отделен от training и validation data, чтобы performance estimates лучше отражали поведение на unseen data до deployment или release.
Что такое model monitoring?
Model monitoring — это непрерывное наблюдение за performance, inputs, outputs, drift, errors, latency и operational health deployed model. Оно помогает обнаруживать degradation, misuse, bias, security issues и условия, требующие retraining или intervention.
Что такое AI orchestration?
AI Orchestration — это координация и маршрутизация AI tasks, workflows, model calls, tools и agents внутри системы. Она помогает разбивать сложные процессы на управляемые шаги и назначать их подходящим models, sub-agents или automation components.
Что такое function calling в AI agents?
Function calling — это capability, позволяющая language model вызывать external tools, APIs или predefined functions. Она расширяет model behavior за пределы text generation, позволяя structured actions, retrieval, computation или system integration.
Что такое Model Context Protocol?
Model Context Protocol (MCP) — это протокол для подключения AI-моделей или ассистентов к внешним инструментам, источникам данных и сервисам через стандартизированный интерфейс. Он помогает отделить поведение модели от tool integration и может улучшить portability, governance и context management.
Что такое action space в agentic AI?
Action Space — это набор tools, operations, permissions или moves, доступных agent при выполнении task. Хорошо ограниченный action space должен быть достаточным для задачи, но не давать лишних capabilities, которые увеличивают errors или governance risk.
Почему permissions важны для AI agents?
IAM, или Identity and Access Management permissions, — это granular access controls, которые определяют, какие principals могут выполнять какие actions над какими resources. Они обычно назначаются через roles пользователям, группам, service accounts или applications для enforcement least-privilege access.
Что такое router agent?
Router agent — это agent, который классифицирует user request или task и направляет его к наиболее подходящему specialized agent, tool или workflow. Он используется в multi-agent systems для coordination responsibilities и улучшения task handling.
Что такое remote biometric identification system?
Remote biometric identification system — это AI-система, используемая для идентификации физических лиц без их активного участия, обычно на расстоянии. Она сравнивает biometric data человека с biometric data, хранящимися в reference database.
Что такое real-time remote biometric identification?
Real-time remote biometric identification system — это система, в которой biometric data capture, comparison и identification происходят без significant delay. Эта категория включает мгновенную identification, а также короткие delays, предназначенные для предотвращения circumvention.
Что такое emotion recognition system?
Emotion recognition system — это AI-система, предназначенная для identification или inference emotions или intentions физических лиц, часто на основе biometric data. Поскольку такие системы могут влиять на privacy, autonomy и fairness, они подлежат повышенному scrutiny в governance и regulatory contexts.
Что такое biometric categorisation?
Biometric categorisation system — это AI-система, которая относит физических лиц к определенным категориям на основе biometric data.
Почему распознавание лиц считается высокорисковым?
Facial Recognition Technology (FRT) — это автоматизированные системы, которые идентифицируют, верифицируют или категоризируют людей путем анализа черт лица на цифровых изображениях или видео. Это биометрическая технология, которая в зависимости от применения может вызывать concerns в отношении приватности, точности и дискриминации.
Что такое deepfakes в Biometric AI?
Deepfakes — это AI-сгенерированные или AI-модифицированные изображения, аудио или видео, которые делают людей, объекты, места, entities или события подлинными на вид, хотя они таковыми не являются.
Что такое self-supervised learning?
Self-supervised learning — это подход machine learning, который создает training signals из самих unlabeled data. Он превращает аспекты unsupervised problem в supervised learning путем генерации surrogate labels, что полезно, когда labeled data мало, а unlabeled data много.
Что такое semi-supervised learning?
Semi-supervised learning — это подход machine learning, который использует и labeled, и unlabeled data во время обучения. Он полезен, когда labeled examples дороги или ограничены, но большие объемы unlabeled data могут помочь улучшить representation, classification или prediction.
Что такое training data?
Training data — это dataset, используемый для обучения или fitting machine learning модели путем настройки ее learnable parameters. Его качество, объем, разнообразие, labeling и provenance сильно влияют на performance, reliability и compliance posture итоговой модели.
Что такое overfitting?
Overfitting возникает, когда модель слишком точно выучивает training data, включая noise или idiosyncratic details, и плохо работает на новых данных. Обычно он проявляется высокой performance на training data, но более слабой performance на validation или test data.
Что такое underfitting?
Underfitting возникает, когда модель слишком проста или недостаточно обучена, чтобы уловить meaningful patterns в данных. Underfit model плохо работает и на training data, и на новых данных, потому что не выучила underlying relationships, необходимые для задачи.
Что такое decision tree?
Decision tree — это interpretable supervised learning model, которая представляет decision rules в древовидной структуре. Inference проходит путь от root node через feature-based conditions к leaf node, который дает predicted class или value.
Что такое generative adversarial network?
Generative Adversarial Network (GAN) — это machine learning architecture, в которой generator и discriminator обучаются в opposition. Generator учится создавать realistic samples, а discriminator учится отличать generated samples от real data.
Что такое deepfake?
Deepfakes — это AI-сгенерированные или AI-модифицированные изображения, аудио или видео, которые делают людей, объекты, места, entities или события подлинными на вид, хотя они таковыми не являются.
Что такое synthetic media?
Synthetic media — это медиаконтент, полностью или частично сгенерированный либо измененный AI. Он может включать текст, изображения, аудио, видео, аватары, голоса и другие цифровые артефакты.
Что такое prompt engineering?
Prompt engineering — это практика проектирования, тестирования и уточнения inputs для generative AI models, чтобы они надежнее производили desired outputs. Она может включать roles, constraints, examples, context, format и evaluation criteria без изменения underlying weights модели.
Что такое temperature в generative AI?
Temperature — это model-generation parameter, который контролирует randomness output AI-системы. Более низкие значения обычно дают более focused и deterministic responses, а более высокие повышают variety, creativity и риск менее coherent или менее reliable output.
Что такое AI watermarking?
AI Watermarking — это встраивание видимых или скрытых identifiers в AI-generated или AI-modified content, чтобы указать origin, provenance или generation status. Watermarks могут добавляться during generation или after generation и могут требовать specialized tools для detection.
Продвинутый
Кто осуществляет надзор за AI-системами в ЕС?
AI Office — это функция Европейской комиссии, созданная для поддержки внедрения, мониторинга и надзора за AI-системами, моделями AI общего назначения и AI governance в рамках регулирования AI в ЕС.
Что такое серьезный инцидент в AI governance?
Серьезный инцидент — это инцидент или сбой AI-системы, который прямо или косвенно вызывает серьезный вред, например смерть, серьезный вред здоровью, нарушение критической инфраструктуры, нарушение основных прав или серьезный ущерб имуществу либо окружающей среде.
Что такое data poisoning в AI-системах?
Data poisoning — это adversarial attack, при которой злоумышленник вмешивается в данные или процесс обучения, используемые для создания модели. Вставляя, изменяя или повреждая обучающие примеры, атакующий стремится манипулировать поведением модели, ухудшить ее производительность или создать целевые сбои.
Что такое модерация контента для AI-выводов?
Content moderation и safety filters — это controls, предназначенные для обнаружения, блокировки, снижения или эскалации вредного, незаконного или запрещенного политикой контента. В AI-системах они часто сочетаются с policy rules, model-based classifiers, логированием и human review для более рискованных случаев.
Что такое AI model card?
AI Model Card — это краткий документ, сопровождающий обученную модель или AI-сервис. Обычно он описывает intended use, ограничения, результаты оценки, релевантные риски, контекст данных или обучения и другую информацию, которая поддерживает прозрачность и ответственное внедрение.
Что такое прозрачность в AI governance?
Прозрачность — это степень, в которой назначение AI-системы, использование данных, работа, ограничения и выходные данные могут быть поняты или проверены релевантными заинтересованными сторонами.
Что такое privacy risk training data?
Training data — это dataset, используемый для обучения или настройки machine learning модели путем изменения ее обучаемых параметров. Его качество, объем, разнообразие, разметка и provenance сильно влияют на performance, reliability и compliance posture итоговой модели.
Что такое encryption в AI data governance?
Data encryption — это преобразование читаемых данных в закодированную форму, непонятную без авторизованного ключа или процесса decryption. Она используется для защиты sensitive information от несанкционированного доступа при хранении, передаче или обработке.
Что такое anomaly detection в AI monitoring?
Anomaly detection — это процесс выявления observations, events или patterns, которые значительно отличаются от ожидаемого поведения. В AI и data analysis он используется для flagging outliers, которые могут указывать на errors, fraud, security incidents, system faults или другие unusual conditions.
Что такое security by design для AI-систем?
Security by design — это подход, при котором security requirements и safeguards интегрируются с самого начала разработки системы. Для AI-систем он включает anticipation of misuse, protection of data and models и embedding access controls, monitoring и resilience на протяжении всего lifecycle.
Что такое groundedness в LLM evaluation?
Groundedness — это свойство model output быть поддержанным конкретным source material или provided context. В генеративном AI groundedness помогает оценить, является ли ответ traceable to evidence, а не просто unsupported model generation.
Что такое unsupported-claim rate?
UCR (unsupported-claim rate) — это процент утверждений в model response, которые не grounded in supporting evidence. Высокий UCR указывает, что система может производить слишком много unsupported или hallucinated assertions.
Что такое multi-agent system?
Multi-agent systems — это системы, состоящие из нескольких interacting agents, которые могут perceive, decide, communicate и act within an environment. Они используются для моделирования distributed problem solving, coordination, negotiation, competition и collective behavior.
Как следует управлять agentic AI?
AI Governance — это framework policies, processes, roles, controls и oversight, используемый для управления разработкой и использованием AI на протяжении lifecycle. Его цель — обеспечить responsible, lawful, secure, transparent и accountable AI practice внутри организации или юрисдикции.
Что такое synthetic media?
Synthetic media — это медиаконтент, полностью или частично сгенерированный либо измененный AI. Он может включать текст, изображения, аудио, видео, аватары, голоса и другие цифровые артефакты.
Как Biometric AI может вредить fairness?
Fairness в AI — это принцип, согласно которому AI-системы должны справедливо относиться к людям и группам и избегать необоснованной дискриминации или вредной bias. Он включает выявление и снижение bias в данных, моделях, контекстах deployment и decision processes.
Что такое deep learning?
Deep learning — это подраздел machine learning, который использует neural networks с несколькими layers для изучения representations и patterns из данных.
Чем classification отличается от regression?
Используйте classification, когда target — это category; используйте regression, когда target — continuous или numerical value.
Что такое content provenance?
Provenance и watermarking — это signals, которые помогают определить, как был создан content, откуда он появился или был ли он AI-generated либо modified. Эти mechanisms поддерживают authenticity, trust, moderation, auditability и responsible content governance.
Почему generated content нуждается в human review?
Human evaluation — это процесс, в котором люди оценивают quality, safety, usefulness или correctness model outputs. Он особенно важен для задач, где нет одного правильного ответа, например translation quality, summarization, dialogue или creative generation.