Параллельное сравнение промпт injection и данные poisoning. Помогает понять, как во время выполнения instruction manipulation differs из атаки на обучающие данные или процесс обучения.
Краткий вердикт: Используйте промпт injection для вредоносный instructions processed посредством язык модель в во время выполнения; используйте данные poisoning для атаки что corrupt обучающие данные или процесс обучения.
Prompt Injection summarizes adversarial technique that manipulates a language model by placing malicious or unintended instructions in user input, documents, web pages, or other content.
Контекст: Наиболее уместно для LLM-приложения что процесс недоверенный текст, retrieved документирует, web контент, илинструмент-related instructions.
Data Poisoning summarizes adversarial attack in which a malicious actor interferes with the data or training process used to build a model.
Контекст: Наиболее уместно когда assessing модель пайплайн обученияs, обучение-происхождение данных, dataset качество, и adversarial manipulation риски.
| Аспект | Prompt Injection | Data Poisoning |
|---|---|---|
| Модель угроз | Prompt injection targets модель's instruction-following поведение через контент it процессы. | Data poisoning targets модель-building процесс посредством corrupting данные или обучение входные данные. |
| Путь атаки | Атакаer размещает вредоносный или conflicting instructions в промпты, документирует, web pages, или другие во время выполнения контент. | Атакаer inserts, modifies, или corrupts обучение примеры или interferes с процесс обучения. |
| Воздействие | Impacts может включают ignoring prior instructions, leaking restricted information, changing выводы, или triggering unauthorized действия. | Impacts может включают degraded производительность, manipulated поведение, или targeted модель failures. |
| Контроли | Controls включают изоляция входов, иерархия инструкций, инструмент управление разрешениями, валидация вывода, фильтрация поиска, и логирование. | Controls включают происхождение данных, валидация датасета, пайплайн обучения безопасность, обнаружение аномалий, и контрольled данные изменения. |
| Доказательства обнаружения | Evidence может включают логи промптов, извлечённый контент, трассы вызовов инструментов, нарушения политики, и результаты red-team. | Evidence может включают различия датасета, происхождение данных записи, логи обучения, аномалии производительности, и валидация results. |
| Тайминг | Prompt injection обычно appears во время выведение или application во время выполнения. | Data poisoning обычно occurs до или во время обучение, although its эффекты может appear later в развёртывание. |
В practice, команды often defend промпты а ignoring происхождение данных, или secure datasets а allowing модели для процесс недоверенный документирует как instructions. Mature AI безопасность treats both как separate контроль families.
Рассматривать промпт injection как обучение-данные problem.
Предполагать данные poisoning только affects модель accuracy и не targeted поведение.
Relying только на система промпты для stop injection атаки.
Skipping dataset provenance потому что модель appears для perform well в normal tests.
Используйте промпт injection когда язык модель является manipulated через instructions embedded в входные данные или внешний контент. term является особенно важный для LLM apps с поиск, browsing, document анализ, агенты, илинструмент использовать.
Используйте данные poisoning когда атака concerns corrupted или manipulated данные используется для build модель. It belongs в dataset governance, модель обучение контроли, provenance checks, и adversarial ML риск анализ.
AI безопасность governance в рамках ISO/IEC 42001 и NIST AI RMF должна distinguish во время выполнения LLM атакиз обучение-данные атаки потому что доказательства, контроли, и владельцы differ. для высокорисковый AI-системы, EU AI Act also делает robust управление рисками техническая документация важный для безопасность-related риски.
Нет. Prompt injection manipulates модель через контент processed в во время выполнения, а данные poisoning manipulates данные или процесс обучения используется для build модель.
Prompt injection является often центральный для RAG системы потому что retrieved документирует может contain вредоносный instructions. Data poisoning может also matter если поиск corpus или обучающие данные является corrupted.
Prompt injection investigations rely на промпты, извлечённый контент, инструмент traces, и выводы. Data poisoning investigations rely более на dataset lineage, различия датасета, логи обучения, и валидация anomalies.
No recently viewed comparisons yet.