Ein direkter Vergleich von Prompt Injection und Data Poisoning. Verstehen Sie, wie sich Manipulation von Anweisungen zur Laufzeit von Angriffen auf Trainingsdaten oder den Trainingsprozess unterscheidet.
Kurzes Urteil: Verwenden Sie Prompt Injection für bösartige Anweisungen, die von einem Sprachmodell zur Laufzeit verarbeitet werden; verwenden Sie Data Poisoning für Angriffe, die Trainingsdaten oder den Trainingsprozess korrumpieren.
Prompt Injection summarizes adversarial technique that manipulates a language model by placing malicious or unintended instructions in user input, documents, web pages, or other content.
Kontext: Am relevantesten für LLM-Anwendungen, die nicht vertrauenswürdigen Text, abgerufene Dokumente, Webinhalte oder toolbezogene Anweisungen verarbeiten.
Data Poisoning summarizes adversarial attack in which a malicious actor interferes with the data or training process used to build a model.
Kontext: Am relevantesten bei der Bewertung von Modelltrainingspipelines, Trainingsdatenherkunft, Datensatzqualität und Risiken adversarialer Manipulation.
| Aspekt | Prompt Injection | Data Poisoning |
|---|---|---|
| Bedrohungsmodell | Prompt Injection zielt auf das Anweisungsfolge-Verhalten des Modells durch Inhalte, die es verarbeitet. | Data Poisoning zielt auf den Modellbildungsprozess durch Korrumpierung von Daten oder Trainingseingaben. |
| Angriffspfad | Der Angreifer platziert bösartige oder widersprüchliche Anweisungen in Prompts, Dokumenten, Webseiten oder anderen Laufzeitinhalten. | Der Angreifer fügt Trainingsbeispiele ein, verändert oder korrumpiert sie oder greift in den Trainingsprozess ein. |
| Auswirkung | Auswirkungen können das Ignorieren früherer Anweisungen, Leaken eingeschränkter Informationen, veränderte Ausgaben oder das Auslösen unautorisierter Handlungen umfassen. | Auswirkungen können verschlechterte Leistung, manipuliertes Verhalten oder gezielte Modellfehler umfassen. |
| Kontrollen | Kontrollen umfassen Eingabeisolation, Anweisungshierarchie, Tool-Berechtigungen, Ausgabevalidierung, Retrieval-Filterung und Protokollierung. | Kontrollen umfassen Datenherkunft, Datensatzvalidierung, Sicherheit der Trainingspipeline, Anomalieerkennung und kontrollierte Datenänderungen. |
| Erkennungsnachweise | Nachweise können Prompt-Protokolle, abgerufene Inhalte, Tool-Call-Traces, Policy-Verstöße und Red-Team-Ergebnisse umfassen. | Nachweise können Datensatz-Diffs, Datenabstammungsaufzeichnungen, Trainingslogs, Leistungsanomalien und Validierungsergebnisse umfassen. |
| Timing | Prompt Injection tritt normalerweise während Inferenz oder Anwendungslaufzeit auf. | Data Poisoning erfolgt normalerweise vor oder während des Trainings, auch wenn seine Wirkungen später in der Bereitstellung sichtbar werden. |
In der Praxis verteidigen Teams oft Prompts und ignorieren Datenabstammung, oder sichern Datensätze, lassen Modelle aber nicht vertrauenswürdige Dokumente als Anweisungen verarbeiten. Reife KI-Sicherheit behandelt beides als getrennte Kontrollfamilien.
Prompt Injection als Trainingsdatenproblem zu behandeln.
Anzunehmen, Data Poisoning betreffe nur Modellgenauigkeit und nicht gezieltes Verhalten.
Sich nur auf Systemprompts zu verlassen, um Injection-Angriffe zu stoppen.
Datensatzherkunft zu überspringen, weil das Modell in normalen Tests gut zu funktionieren scheint.
Verwenden Sie Prompt Injection, wenn ein Sprachmodell durch Anweisungen manipuliert wird, die in Eingaben oder externen Inhalten eingebettet sind. Der Begriff ist besonders wichtig für LLM-Apps mit Retrieval, Browsing, Dokumentenanalyse, Agenten oder Tool-Nutzung.
Verwenden Sie Data Poisoning, wenn der Angriff korrumpierte oder manipulierte Daten betrifft, die zum Aufbau des Modells verwendet werden. Der Begriff gehört in Datensatz-Governance, Modelltrainingskontrollen, Herkunftsprüfungen und adversariale ML-Risikoanalyse.
KI-Sicherheits-Governance nach ISO/IEC 42001 und NIST AI RMF sollte Laufzeitangriffe auf LLMs von Trainingsdatenangriffen unterscheiden, weil Nachweise, Kontrollen und Verantwortliche unterschiedlich sind. Für Hochrisiko-KI-Systeme macht der EU AI Act robustes Risikomanagement und technische Dokumentation auch für sicherheitsbezogene Risiken wichtig.
Nein. Prompt Injection manipuliert das Modell durch Inhalte, die zur Laufzeit verarbeitet werden, während Data Poisoning die Daten oder den Trainingsprozess manipuliert, mit denen das Modell gebaut wird.
Prompt Injection ist für RAG-Systeme häufig zentral, weil abgerufene Dokumente bösartige Anweisungen enthalten können. Data Poisoning kann ebenfalls relevant sein, wenn der Retrieval-Korpus oder Trainingsdaten korrumpiert sind.
Prompt-Injection-Untersuchungen stützen sich auf Prompts, abgerufene Inhalte, Tool-Traces und Ausgaben. Data-Poisoning-Untersuchungen stützen sich stärker auf Datensatzabstammung, Datensatz-Diffs, Trainingslogs und Validierungsanomalien.
No recently viewed comparisons yet.