Prompt Injection ist eine adversarische Technik, die ein Sprachmodell manipuliert, indem schädliche oder unbeabsichtigte Anweisungen in Nutzereingaben, Dokumente, Webseiten oder andere Inhalte eingebracht werden, die das Modell verarbeitet. Sie kann dazu führen, dass das Modell frühere Anweisungen ignoriert, eingeschränkte Informationen offenlegt, Ausgaben verändert oder unbefugte Aktionen auslöst.
Prompt injection manipulates an LLM's behaviour (for example to alter response style, retrieve hidden or restricted data, or disrupt interactions) by embedding specific instructions within a prompt. This approach exploits the model's tendency to follow instructions within the prompt sequence, even if instructions are unintended or malicious.
Distinguish between Prompt Injection (hijacking model behavior via malicious input) and Jailbreaking (bypassing safety guardrails to produce restricted content). Both are LLM security threats but differ in mechanism and goal.
A side-by-side comparison of Prompt Injection and Data Poisoning. Understand how runtime instruction manipulation differs from attacks on training data or the training process.