Der Nutzer möchte Model Drift im Kontext von AI Safety & Risk verstehen und auf praktische Arbeit in KI-Governance oder Compliance anwenden.
Model Drift ist die Verschlechterung oder Veränderung der Modellleistung im Zeitverlauf, wenn reale Daten, Nutzerverhalten oder Betriebsbedingungen von den Daten abweichen, die beim Training oder bei der Evaluation verwendet wurden. Drift zu erkennen ist wichtig, um zu entscheiden, wann ein Modell neu trainiert, neu kalibriert oder ersetzt werden muss.
Model Drift ist eine Veränderung der Modellleistung oder des Modellverhaltens im Zeitverlauf, weil reale Daten, Nutzerverhalten, Betriebsbedingungen oder die Beziehung zwischen Eingaben und Ergebnissen nicht mehr den Bedingungen entsprechen, die beim Training oder bei der Evaluation verwendet wurden. Es handelt sich um ein Lebenszyklusrisiko, nicht nur um eine technische Kennzahl. Drift kann ein KI-System weniger genau, weniger fair, weniger sicher oder weniger compliant machen, selbst wenn es beim Launch gut funktioniert hat.
Model Drift bedeutet, dass die Welt sich weiterbewegt hat, das Modell aber nicht Schritt gehalten hat. Ein Betrugsmodell, das auf alten Transaktionsmustern trainiert wurde, kann neue Betrugstaktiken übersehen. Eine Nachfrageprognose kann versagen, wenn sich Marktverhalten ändert. Ein Moderationsmodell kann schlechter werden, wenn Nutzer neuen Slang erfinden. Drift-Monitoring hilft Teams zu entscheiden, wann sie untersuchen, neu kalibrieren, neu trainieren, einschränken oder ein Modell außer Betrieb nehmen müssen.
Analogie
Eine Karte kann beim Druck genau sein und dennoch unzuverlässig werden, wenn sich Straßen, Verkehr und Ziele ändern.
Model Drift ist wichtig, weil viele KI-Kontrollen zu einem bestimmten Zeitpunkt validiert werden, während sich Einsatzumgebungen laufend ändern. Wenn Drift nicht überwacht wird, können Organisationen weiterhin auf ein System vertrauen, dessen Annahmen nicht mehr stimmen. Das kann Fehler, Bias, unsichere Empfehlungen, Kundenschäden, regulatorische Risiken und schlechte Geschäftsentscheidungen verursachen. Für Compliance-Teams ist Drift-Monitoring Teil der Governance nach dem Einsatz: Es unterstützt Prüfbarkeit, Vorfallserkennung, Entscheidungen über Retraining, Kontrolle von Modelländerungen und Nachweise, dass das System weiterhin für seinen vorgesehenen Zweck geeignet ist.
Dringlichkeit
Modelle, die in dynamischen, High-Impact-, regulierten oder kundennahen Umgebungen eingesetzt werden, sollten vor produktiver Abhängigkeit über Drift-Monitoring verfügen.
Ein praktisches Drift-Programm definiert Basisdaten, Leistungsmetriken, Fairness-Metriken, Monitoring-Frequenz, Alarmschwellen, Verantwortliche und Reaktions-Playbooks. Teams sollten Data Drift, bei dem sich die Verteilung der Eingabedaten ändert, von Concept Drift unterscheiden, bei dem sich die Beziehung zwischen Eingaben und Ergebnissen verändert. Monitoring sollte mit operativen Entscheidungen verknüpft sein: untersuchen, Schwellenwerte anpassen, neu kalibrieren, neu trainieren, zurückrollen, aussetzen oder eskalieren. Drift-Aufzeichnungen sollten Signal, Auswirkungsanalyse, Ursache, Minderung, Freigabe und Validierung nach der Änderung dokumentieren. Bei regulierten oder Hochrisiko-Systemen sollten diese Aufzeichnungen mit KI-Inventar, Risikobewertung und Safety Case verbunden sein.
Der häufigste Fehler besteht darin anzunehmen, dass ein beim Launch freigegebenes Modell für immer freigegeben bleibt. Ein weiterer Fehler ist, nur die Gesamtgenauigkeit zu überwachen und Subgruppenleistung, Kalibrierung, Fairness, Konfidenz, Datenqualität und Änderungen von Geschäftsprozessen zu ignorieren. Teams verwechseln außerdem Data Drift mit Concept Drift, oder sie erkennen Drift, haben aber keinen Verantwortlichen oder kein Playbook für die Reaktion. Ein letzter Governance-Fehler besteht darin, automatisch neu zu trainieren, ohne zu prüfen, ob die neuen Daten rechtmäßig, repräsentativ, sicher und am vorgesehenen Zweck ausgerichtet sind.
Fehler 1: Ein Modell nach einem Leistungsabfall neu zu trainieren, ohne zu untersuchen, ob die neuen Daten Betrug, Bias, Saisonalität oder Prozessänderungen widerspiegeln.
Fehler 2: Aggregierte Leistung zu überwachen und dabei zu übersehen, dass das Modell für eine kleinere geschützte oder vulnerable Gruppe schlechter geworden ist.
Diese Seite sollte auf data-drift und concept-drift verlinken, weil diese Begriffe die zwei wichtigsten Drift-Muster erklären. Sie sollte außerdem auf ai-safety, ai-risk-assessment, Monitoring- und safety-case-Konzepte verlinken, weil Drift ein Assurance-Thema nach dem Einsatz ist. Die stärksten Vergleiche sind model-drift-vs-concept-drift und data-drift-vs-model-drift. Verwandte Fragen umfassen what-is-a-safety-case-for-ai, how-is-data-drift-different-from-concept-drift und what-is-ai-safety. Der Vorfallslink CASE-0575 kann als Lernanker für Leistungsverschlechterung und Monitoring-Versagen genutzt werden.