Средний
Когда AI-система считается размещенной на рынке?
Размещение на рынке означает первое предоставление AI-системы или модели AI общего назначения на рынке ЕС. Этот термин важен, потому что определенные регуляторные обязанности возникают в этот момент или до него.
Что такое предполагаемое назначение AI-системы?
Предполагаемое назначение — это использование, для которого AI-система разработана, продвигается на рынке или развертывается ее провайдером. Оно определяет ожидаемый контекст, пользователей, функции, выходные данные и ограничения, а также является центральным для классификации риска, комплаенса и подотчетности.
Что такое разумно предсказуемое неправильное использование?
Разумно предсказуемое неправильное использование — это использование AI-системы за пределами ее предполагаемого назначения, которое все же можно предвидеть исходя из поведения человека или взаимодействия с другими системами.
Что такое маркировка CE для AI-систем?
Маркировка CE — это знак соответствия, указывающий, что продукт или AI-система соответствует применимым требованиям соответствующего права Европейского союза. Для AI-систем она показывает, что провайдер оценил соответствие юридическим обязанностям, применимым к системе.
Что такое AI общего назначения?
AI общего назначения (GPAI) относится к AI-моделям или системам, которые можно адаптировать к широкому спектру задач и приложений. Распространенный пример — foundation models, в отличие от узких AI-систем, созданных для конкретной задачи.
Что такое системный риск в GPAI?
Системный риск — это риск, связанный с высокоэффективными возможностями моделей AI общего назначения, которые могут создавать значительные последствия для рынков, общества, общественного здоровья, безопасности, защищенности или основных прав.
Почему RAG может создавать риски для приватности и безопасности?
Retrieval Augmented Generation (RAG) — это метод, который сочетает генеративный AI с извлечением данных из внешних источников. Модель использует найденные документы, фрагменты или записи как контекст для формирования более актуальных, конкретных и проверяемых ответов.
Что такое guardrails в LLM-системе?
Guardrails — это технические, процедурные или политические меры контроля, предназначенные для удержания AI-систем в приемлемых границах. Они могут снижать такие риски, как вредные выходные данные, утечка данных, несанкционированный доступ, нарушения политики или небезопасное поведение.
Что такое grounding в генеративном AI?
Grounding — это процесс привязки выходных данных AI-модели к надежным и проверяемым источникам информации во время inference. В генеративном AI он помогает повысить фактическую надежность, предоставляя релевантный контекст без изменения базовых весов модели.
Что такое hallucination в AI-системе?
Hallucination — это сгенерированный AI результат, который выглядит правдоподобным или уверенным, но является ложным, неподтвержденным, вводящим в заблуждение или вымышленным. В генеративном AI hallucinations могут включать неверные факты, вымышленные источники, ложные цитаты или рассуждения, не основанные на надежных доказательствах.
Чем системный промпт отличается от пользовательского промпта?
Используйте системный промпт для устойчивых инструкций и ограничений приложения; используйте пользовательский промпт для текущего запроса пользователя, контекста и желаемого результата.
Что такое red teaming для LLM?
Red teaming — это структурированный процесс adversarial testing, используемый для выявления слабых мест, небезопасного поведения или вредных выходных данных в AI-системе. Он включает намеренное тестирование системы сложными, вредоносными или пограничными входными данными, чтобы разработчики могли оценить и улучшить защитные меры.
Чем AI risk assessment отличается от AI audit?
Используйте AI Risk Assessment для выявления и управления рисками; используйте AI Audit для оценки доказательств, controls или утверждений по заданным критериям.
Что такое AI assurance?
AI Assurance — это набор практик, которые дают обоснованную уверенность в том, что AI-система работает как задумано в своем операционном контексте.
Что такое shadow AI?
Shadow AI — это использование AI-инструментов или систем без формального одобрения, надзора или governance со стороны организации. Это создает риски утечки данных, комплаенса, безопасности и непоследовательного принятия решений и обычно управляется через политики, одобренные альтернативы, обучение и мониторинг.
Что такое AI use policy?
AI Use Policy — это внутренний governance-документ, который определяет, как AI-инструменты и системы могут использоваться внутри организации. Обычно он охватывает допустимое и запрещенное использование, роли и обязанности, обработку данных, требования к approval, мониторинг и escalation incidents.
Что такое vendor due diligence для AI?
AI vendor due diligence — это оценка сторонних AI-продуктов или провайдеров на предмет рисков безопасности, приватности, надежности, governance и комплаенса. Она помогает организациям решить, можно ли безопасно одобрить, закупать, мониторить или ограничивать конкретного vendor.
Что такое algorithmic accountability?
Algorithmic accountability — это ответственность за проектирование, работу, решения и последствия алгоритмических систем. Она включает прозрачность, прослеживаемость, надзор и механизмы объяснения, оспаривания или исправления вредных последствий.
Чем pseudonymisation отличается от anonymisation?
Используйте anonymisation / de-identification, когда речь идет о сниженной или удаленной идентифицируемости; используйте pseudonymisation, когда персональные данные все еще могут быть отнесены к человеку с помощью защищенной дополнительной информации.
Что такое differential privacy?
Используйте data anonymisation, когда изменяете данные для снижения идентифицируемости; используйте differential privacy, когда ограничиваете выводы об отдельных людях из outputs через privacy framework.
Может ли synthetic data все еще создавать privacy risk?
Synthetic data — это искусственно сгенерированные данные, созданные так, чтобы напоминать выбранные patterns, structures или statistical properties реальных данных.
Что такое data provenance?
Data provenance — это записанная история данных, включая их происхождение, создание, преобразования, перемещения и изменения во времени. В AI governance provenance помогает проверять lineage датасетов, оценивать надежность, поддерживать audits и понимать, как были произведены digital content или model inputs.
Что такое data residency в AI?
Data residency и sovereignty касаются того, где данные хранятся, обрабатываются и регулируются, а также какие правовые режимы к ним применяются. Для регулируемого использования AI эти понятия влияют на выбор cloud region, cross-border transfers, contractual controls и соблюдение отраслевых или национальных требований.
Как пересекаются GDPR и EU AI Act?
Используйте GDPR, когда вопрос касается обработки personal data; используйте EU AI Act, когда вопрос касается risk category AI-системы, safety, transparency, governance или conformity obligations.
Чем data drift отличается от concept drift?
Используйте data drift, когда меняется распределение входных данных; используйте concept drift, когда меняется связь между inputs и целевым outcome.
Что такое alignment в AI safety?
Alignment — это практика проектирования, обучения и управления AI-системой так, чтобы ее цели, outputs и поведение оставались согласованными с человеческими намерениями, ценностями и acceptable use constraints.
Что такое serious AI incident?
AI Incident — это событие или серия событий, при которых разработка, deployment, использование или malfunction AI-системы причиняет или может причинить вред. Такой вред может касаться safety, discrimination, privacy, legal compliance, critical infrastructure, property, communities или environment.
Что такое human-in-the-loop control?
HITL, или human-in-the-loop, — это подход, при котором люди остаются вовлеченными в формирование, review, approval или улучшение outputs или decisions AI-системы. Он используется для сочетания machine efficiency с human judgment, особенно в higher-risk или context-sensitive tasks.
Что такое AI toxicity?
AI Toxicity — это harmful, offensive, false, biased или otherwise inappropriate output, созданный или усиленный AI-системой. Он может возникать из training data, system design, prompt context, misalignment или inadequate safeguards.
Почему post-market monitoring важен?
Post-market monitoring system состоит из действий провайдеров AI-систем по сбору и анализу опыта использования систем, размещенных на рынке или введенных в эксплуатацию. Его цель — определить, нужны ли corrective или preventive actions после deployment.
Что такое F1 score?
F1 score — это гармоническое среднее precision и recall, используемое для оценки качества классификации и извлечения информации. Значение находится в диапазоне от 0 до 1: чем оно выше, тем лучше баланс между правильно найденными положительными случаями и пропущенными положительными случаями.
Чем false positives отличаются от false negatives?
Используйте False Positive для ошибочного положительного флага; используйте False Negative для ошибочного непризнания реально существующего положительного условия.
Что такое classification threshold?
Classification threshold — это выбранное пороговое значение, используемое для преобразования score или probability модели в prediction класса. Изменение threshold может менять баланс между false positives и false negatives, поэтому выбор threshold является важным governance- и performance-решением.
Что такое validation data?
Validation data — это данные, используемые для оценки модели во время разработки и настройки таких решений, как hyperparameters, thresholds или learning processes. Они должны быть отделены от training и test data, чтобы помогать выявлять underfitting, overfitting и проблемы generalization.
Что такое test set?
Test set — это зарезервированный dataset, используемый для независимой оценки обученной модели или AI-системы. Он должен быть отделен от training и validation data, чтобы performance estimates лучше отражали поведение на unseen data до deployment или release.
Что такое model monitoring?
Model monitoring — это непрерывное наблюдение за performance, inputs, outputs, drift, errors, latency и operational health deployed model. Оно помогает обнаруживать degradation, misuse, bias, security issues и условия, требующие retraining или intervention.
Что такое AI orchestration?
AI Orchestration — это координация и маршрутизация AI tasks, workflows, model calls, tools и agents внутри системы. Она помогает разбивать сложные процессы на управляемые шаги и назначать их подходящим models, sub-agents или automation components.
Что такое function calling в AI agents?
Function calling — это capability, позволяющая language model вызывать external tools, APIs или predefined functions. Она расширяет model behavior за пределы text generation, позволяя structured actions, retrieval, computation или system integration.
Что такое Model Context Protocol?
Model Context Protocol (MCP) — это протокол для подключения AI-моделей или ассистентов к внешним инструментам, источникам данных и сервисам через стандартизированный интерфейс. Он помогает отделить поведение модели от tool integration и может улучшить portability, governance и context management.
Что такое action space в agentic AI?
Action Space — это набор tools, operations, permissions или moves, доступных agent при выполнении task. Хорошо ограниченный action space должен быть достаточным для задачи, но не давать лишних capabilities, которые увеличивают errors или governance risk.
Почему permissions важны для AI agents?
IAM, или Identity and Access Management permissions, — это granular access controls, которые определяют, какие principals могут выполнять какие actions над какими resources. Они обычно назначаются через roles пользователям, группам, service accounts или applications для enforcement least-privilege access.
Что такое router agent?
Router agent — это agent, который классифицирует user request или task и направляет его к наиболее подходящему specialized agent, tool или workflow. Он используется в multi-agent systems для coordination responsibilities и улучшения task handling.
Что такое remote biometric identification system?
Remote biometric identification system — это AI-система, используемая для идентификации физических лиц без их активного участия, обычно на расстоянии. Она сравнивает biometric data человека с biometric data, хранящимися в reference database.
Что такое real-time remote biometric identification?
Real-time remote biometric identification system — это система, в которой biometric data capture, comparison и identification происходят без significant delay. Эта категория включает мгновенную identification, а также короткие delays, предназначенные для предотвращения circumvention.
Что такое emotion recognition system?
Emotion recognition system — это AI-система, предназначенная для identification или inference emotions или intentions физических лиц, часто на основе biometric data. Поскольку такие системы могут влиять на privacy, autonomy и fairness, они подлежат повышенному scrutiny в governance и regulatory contexts.
Что такое biometric categorisation?
Biometric categorisation system — это AI-система, которая относит физических лиц к определенным категориям на основе biometric data.
Почему распознавание лиц считается высокорисковым?
Facial Recognition Technology (FRT) — это автоматизированные системы, которые идентифицируют, верифицируют или категоризируют людей путем анализа черт лица на цифровых изображениях или видео. Это биометрическая технология, которая в зависимости от применения может вызывать concerns в отношении приватности, точности и дискриминации.
Что такое deepfakes в Biometric AI?
Deepfakes — это AI-сгенерированные или AI-модифицированные изображения, аудио или видео, которые делают людей, объекты, места, entities или события подлинными на вид, хотя они таковыми не являются.
Что такое self-supervised learning?
Self-supervised learning — это подход machine learning, который создает training signals из самих unlabeled data. Он превращает аспекты unsupervised problem в supervised learning путем генерации surrogate labels, что полезно, когда labeled data мало, а unlabeled data много.
Что такое semi-supervised learning?
Semi-supervised learning — это подход machine learning, который использует и labeled, и unlabeled data во время обучения. Он полезен, когда labeled examples дороги или ограничены, но большие объемы unlabeled data могут помочь улучшить representation, classification или prediction.
Что такое training data?
Training data — это dataset, используемый для обучения или fitting machine learning модели путем настройки ее learnable parameters. Его качество, объем, разнообразие, labeling и provenance сильно влияют на performance, reliability и compliance posture итоговой модели.
Что такое overfitting?
Overfitting возникает, когда модель слишком точно выучивает training data, включая noise или idiosyncratic details, и плохо работает на новых данных. Обычно он проявляется высокой performance на training data, но более слабой performance на validation или test data.
Что такое underfitting?
Underfitting возникает, когда модель слишком проста или недостаточно обучена, чтобы уловить meaningful patterns в данных. Underfit model плохо работает и на training data, и на новых данных, потому что не выучила underlying relationships, необходимые для задачи.
Что такое decision tree?
Decision tree — это interpretable supervised learning model, которая представляет decision rules в древовидной структуре. Inference проходит путь от root node через feature-based conditions к leaf node, который дает predicted class или value.
Что такое generative adversarial network?
Generative Adversarial Network (GAN) — это machine learning architecture, в которой generator и discriminator обучаются в opposition. Generator учится создавать realistic samples, а discriminator учится отличать generated samples от real data.
Что такое deepfake?
Deepfakes — это AI-сгенерированные или AI-модифицированные изображения, аудио или видео, которые делают людей, объекты, места, entities или события подлинными на вид, хотя они таковыми не являются.
Что такое synthetic media?
Synthetic media — это медиаконтент, полностью или частично сгенерированный либо измененный AI. Он может включать текст, изображения, аудио, видео, аватары, голоса и другие цифровые артефакты.
Что такое prompt engineering?
Prompt engineering — это практика проектирования, тестирования и уточнения inputs для generative AI models, чтобы они надежнее производили desired outputs. Она может включать roles, constraints, examples, context, format и evaluation criteria без изменения underlying weights модели.
Что такое temperature в generative AI?
Temperature — это model-generation parameter, который контролирует randomness output AI-системы. Более низкие значения обычно дают более focused и deterministic responses, а более высокие повышают variety, creativity и риск менее coherent или менее reliable output.
Что такое AI watermarking?
AI Watermarking — это встраивание видимых или скрытых identifiers в AI-generated или AI-modified content, чтобы указать origin, provenance или generation status. Watermarks могут добавляться during generation или after generation и могут требовать specialized tools для detection.
Продвинутый
Кто осуществляет надзор за AI-системами в ЕС?
AI Office — это функция Европейской комиссии, созданная для поддержки внедрения, мониторинга и надзора за AI-системами, моделями AI общего назначения и AI governance в рамках регулирования AI в ЕС.
Что такое серьезный инцидент в AI governance?
Серьезный инцидент — это инцидент или сбой AI-системы, который прямо или косвенно вызывает серьезный вред, например смерть, серьезный вред здоровью, нарушение критической инфраструктуры, нарушение основных прав или серьезный ущерб имуществу либо окружающей среде.
Что такое data poisoning в AI-системах?
Data poisoning — это adversarial attack, при которой злоумышленник вмешивается в данные или процесс обучения, используемые для создания модели. Вставляя, изменяя или повреждая обучающие примеры, атакующий стремится манипулировать поведением модели, ухудшить ее производительность или создать целевые сбои.
Что такое модерация контента для AI-выводов?
Content moderation и safety filters — это controls, предназначенные для обнаружения, блокировки, снижения или эскалации вредного, незаконного или запрещенного политикой контента. В AI-системах они часто сочетаются с policy rules, model-based classifiers, логированием и human review для более рискованных случаев.
Что такое AI model card?
AI Model Card — это краткий документ, сопровождающий обученную модель или AI-сервис. Обычно он описывает intended use, ограничения, результаты оценки, релевантные риски, контекст данных или обучения и другую информацию, которая поддерживает прозрачность и ответственное внедрение.
Что такое прозрачность в AI governance?
Прозрачность — это степень, в которой назначение AI-системы, использование данных, работа, ограничения и выходные данные могут быть поняты или проверены релевантными заинтересованными сторонами.
Что такое privacy risk training data?
Training data — это dataset, используемый для обучения или настройки machine learning модели путем изменения ее обучаемых параметров. Его качество, объем, разнообразие, разметка и provenance сильно влияют на performance, reliability и compliance posture итоговой модели.
Что такое encryption в AI data governance?
Data encryption — это преобразование читаемых данных в закодированную форму, непонятную без авторизованного ключа или процесса decryption. Она используется для защиты sensitive information от несанкционированного доступа при хранении, передаче или обработке.
Что такое anomaly detection в AI monitoring?
Anomaly detection — это процесс выявления observations, events или patterns, которые значительно отличаются от ожидаемого поведения. В AI и data analysis он используется для flagging outliers, которые могут указывать на errors, fraud, security incidents, system faults или другие unusual conditions.
Что такое security by design для AI-систем?
Security by design — это подход, при котором security requirements и safeguards интегрируются с самого начала разработки системы. Для AI-систем он включает anticipation of misuse, protection of data and models и embedding access controls, monitoring и resilience на протяжении всего lifecycle.
Что такое groundedness в LLM evaluation?
Groundedness — это свойство model output быть поддержанным конкретным source material или provided context. В генеративном AI groundedness помогает оценить, является ли ответ traceable to evidence, а не просто unsupported model generation.
Что такое unsupported-claim rate?
UCR (unsupported-claim rate) — это процент утверждений в model response, которые не grounded in supporting evidence. Высокий UCR указывает, что система может производить слишком много unsupported или hallucinated assertions.
Что такое multi-agent system?
Multi-agent systems — это системы, состоящие из нескольких interacting agents, которые могут perceive, decide, communicate и act within an environment. Они используются для моделирования distributed problem solving, coordination, negotiation, competition и collective behavior.
Как следует управлять agentic AI?
AI Governance — это framework policies, processes, roles, controls и oversight, используемый для управления разработкой и использованием AI на протяжении lifecycle. Его цель — обеспечить responsible, lawful, secure, transparent и accountable AI practice внутри организации или юрисдикции.
Что такое synthetic media?
Synthetic media — это медиаконтент, полностью или частично сгенерированный либо измененный AI. Он может включать текст, изображения, аудио, видео, аватары, голоса и другие цифровые артефакты.
Как Biometric AI может вредить fairness?
Fairness в AI — это принцип, согласно которому AI-системы должны справедливо относиться к людям и группам и избегать необоснованной дискриминации или вредной bias. Он включает выявление и снижение bias в данных, моделях, контекстах deployment и decision processes.
Что такое deep learning?
Deep learning — это подраздел machine learning, который использует neural networks с несколькими layers для изучения representations и patterns из данных.
Чем classification отличается от regression?
Используйте classification, когда target — это category; используйте regression, когда target — continuous или numerical value.
Что такое content provenance?
Provenance и watermarking — это signals, которые помогают определить, как был создан content, откуда он появился или был ли он AI-generated либо modified. Эти mechanisms поддерживают authenticity, trust, moderation, auditability и responsible content governance.
Почему generated content нуждается в human review?
Human evaluation — это процесс, в котором люди оценивают quality, safety, usefulness или correctness model outputs. Он особенно важен для задач, где нет одного правильного ответа, например translation quality, summarization, dialogue или creative generation.