Ein Risiko- und Sicherheits-Hub zum Verständnis, wie KI-Systeme versagen, wie Schäden entstehen und wie Kontrollen unsicheres Verhalten reduzieren.
30
Begriffe
7
Vergleiche
8
Fragen
KI-Sicherheit und Risiko konzentrieren sich auf die Verhinderung, Erkennung und Reaktion auf Fehler, die Menschen, Organisationen oder öffentliches Vertrauen schädigen können. Das Thema umfasst technische Zuverlässigkeit, organisatorische Kontrollen, vorhersehbare Fehlverwendung, Monitoring und Incident-Eskalation.
Sicherheitsfehler treten oft erst nach der Bereitstellung auf, wenn reale Nutzerinnen und Nutzer, sich ändernde Daten und unerwartete Kontexte Schwächen sichtbar machen, die in einem Benchmark nicht erkennbar waren.
Nützlich für Safety Cases, KI-Risikobewertungen, Incident-Playbooks, Post-Market-Monitoring, KI-Prüfungen im Gesundheitswesen und öffentlichen Sektor sowie Governance für Hochrisiko-Deployments.
Zentrale Konzepte zur Unterscheidung von Sicherheit, Ethik, Risiko, Schaden und Alignment-Problemen.
Begriffe, die beschreiben, wie Systeme sich verschlechtern, unzuverlässig werden oder sich nach der Bereitstellung anders verhalten.
Methoden zum Testen, Überwachen und Reagieren auf Sicherheitsprobleme über den gesamten KI-Lebenszyklus.
Ein direkter Vergleich von [KI-]Sicherheit und [KI-]Ethik. Verstehen Sie, wie Praktiken zur Schadensvermeidung mit breiteren Fragen menschlicher Werte, Rechte und verantwortungsvollen Designs zusammenhängen.
Ein direkter Vergleich von Risiko und Schaden. Er erklärt, wie sich die Kombination aus Eintrittswahrscheinlichkeit eines nachteiligen Ereignisses und Schwere eines möglichen Schadens von eine nachteilige Auswirkung auf Personen, Gruppen, Organisationen oder Systeme unterscheidet und welche Folgen dies für Governance, Systemdesign und Nachweise hat.
Ein direkter Vergleich von Data Drift und Model Drift. Verstehen Sie, wie sich Änderungen in der Eingabedatenverteilung von Änderungen oder Verschlechterungen der Modellleistung über die Zeit unterscheiden.
Ein direkter Vergleich von Data Drift und Concept Drift. Verstehen Sie, ob ein Modellproblem aus veränderten Eingabeverteilungen oder veränderten Beziehungen zwischen Eingaben und Ergebnissen entsteht.
Ein direkter Vergleich von Model Drift und Concept Drift. Er erklärt, wie sich eine Veränderung oder Verschlechterung der Modellleistung im Zeitverlauf von eine Änderung der statistischen Beziehung zwischen Eingaben und Zielergebnis unterscheidet und welche Folgen dies für Governance, Systemdesign und Nachweise hat.
Ein direkter Vergleich von Safety Case und KI-Risikobewertung. Er erklärt, wie sich eine evidenzgestützte Sicherheitsargumentation von einem strukturierten Prozess zur Risikoidentifikation und -minderung unterscheidet.
Unterscheiden Sie zwischen Prompt Injection, also dem Kapern des Modellverhaltens durch bösartige Eingaben, und Jailbreaking, also dem Umgehen von Sicherheitsleitplanken zur Erzeugung eingeschränkter Inhalte. Beide sind LLM-Sicherheitsbedrohungen, unterscheiden sich jedoch in Mechanismus und Ziel.
Verwende Data Drift, wenn sich die Verteilung der Eingabedaten ändert; verwende Concept Drift, wenn sich die Beziehung zwischen Eingaben und Zielergebnis ändert.
Alignment ist die Praxis, ein KI-System so zu entwerfen, zu trainieren und zu steuern, dass seine Ziele, Ausgaben und sein Verhalten mit menschlichen Absichten, Werten und zulässigen Nutzungsgrenzen übereinstimmen.
Ein KI-Vorfall ist ein Ereignis oder eine Reihe von Ereignissen, bei denen Entwicklung, Einsatz, Nutzung oder Fehlfunktion eines KI-Systems Schaden verursacht oder verursachen könnte. Solcher Schaden kann Sicherheit, Diskriminierung, Datenschutz, rechtliche Compliance, kritische Infrastruktur, Eigentum, Gemeinschaften oder Umwelt betreffen.
HITL, oder Human-in-the-Loop, ist ein Ansatz, bei dem Menschen weiterhin daran beteiligt sind, Ausgaben oder Entscheidungen von KI-Systemen zu gestalten, zu prüfen, zu genehmigen oder zu verbessern. Er wird genutzt, um maschinelle Effizienz mit menschlichem Urteilsvermögen zu verbinden, besonders bei risikoreicheren oder kontextsensitiven Aufgaben.
KI-Toxizität sind schädliche, beleidigende, falsche, voreingenommene oder anderweitig unangemessene Ausgaben, die von einem KI-System erzeugt oder verstärkt werden. Sie kann aus Trainingsdaten, Systemdesign, Prompt-Kontext, mangelndem Alignment oder unzureichenden Schutzmaßnahmen entstehen.
Ein Post-Market-Monitoring-System besteht aus Aktivitäten von Anbietern von KI-Systemen, um Erfahrungen aus Systemen zu sammeln und zu prüfen, die in Verkehr gebracht oder in Betrieb genommen wurden. Ziel ist es festzustellen, ob nach dem Einsatz Korrektur- oder Präventionsmaßnahmen erforderlich sind.
Anomalieerkennung ist der Prozess, Beobachtungen, Ereignisse oder Muster zu identifizieren, die deutlich vom erwarteten Verhalten abweichen. In KI und Datenanalyse wird sie genutzt, um Ausreißer zu markieren, die auf Fehler, Betrug, Sicherheitsvorfälle, Systemstörungen oder andere ungewöhnliche Bedingungen hinweisen können.
Security by Design ist ein Ansatz, bei dem Sicherheitsanforderungen und Schutzmaßnahmen von Beginn der Systementwicklung an integriert werden. Für KI-Systeme umfasst dies die Antizipation von Fehlanwendung, den Schutz von Daten und Modellen sowie die Einbettung von Zugriffskontrollen, Monitoring und Resilienz über den gesamten Lebenszyklus.