Anfänger
Was ist der EU AI Act?
Der EU AI Act ist eine Verordnung der Europäischen Union, die einen risikobasierten Rahmen für KI-Systeme und in bestimmten Fällen für KI-Modelle mit allgemeinem Verwendungszweck schafft. Er definiert Kategorien der KI-Nutzung und weist je nach Risikoniveau Pflichten zu Sicherheit, Transparenz, Governance und Compliance zu.
Wer ist ein Anbieter nach dem EU AI Act?
Ein Anbieter ist eine Person, Organisation, Behörde, Agentur oder sonstige Stelle, die ein KI-System oder ein KI-Modell mit allgemeinem Verwendungszweck entwickelt oder entwickeln lässt und es unter eigenem Namen oder eigener Marke auf den Markt bringt oder in Betrieb nimmt.
Wie unterscheidet sich ein Anbieter von einem Betreiber?
Verwenden Sie Anbieter für den Akteur, der ein KI-System oder GPAI-Modell unter eigenem Namen entwickelt, auf den Markt bringt oder in Betrieb nimmt; Betreiber ist der Akteur, der ein KI-System unter seiner Verantwortung nutzt.
Was ist eine Konformitätsbewertung für ein KI-System?
Eine Konformitätsbewertung ist das Verfahren zur Feststellung, ob ein System, Produkt oder Prozess festgelegte rechtliche oder technische Anforderungen erfüllt.
Was ist LLM-Sicherheit?
LLM-Sicherheit ist die Disziplin, Anwendungen mit großen Sprachmodellen vor Angriffen, Missbrauch, Datenabfluss, unsicheren Ausgaben und unbeabsichtigten Handlungen zu schützen.
Was ist Prompt Injection?
Prompt Injection ist eine adversariale Technik, bei der ein Sprachmodell durch bösartige oder unbeabsichtigte Anweisungen in Nutzereingaben, Dokumenten, Webseiten oder anderen verarbeiteten Inhalten manipuliert wird.
Was ist ein Jailbreak in einem LLM-System?
Prompt Injection oder Jailbreak bezeichnet adversariale Eingaben, die darauf abzielen, Anweisungen, Sicherheitsrichtlinien oder operative Kontrollen eines Modells zu umgehen. Gegenmaßnahmen umfassen Eingabefilterung, Retrieval-Isolation, Tool-Zugriff nach dem Least-Privilege-Prinzip, Richtliniendurchsetzung und mehrschichtige Guardrails.
Wie unterscheidet sich RAG von Fine-Tuning?
Verwenden Sie RAG, wenn das Modell aktuelle, quellenbasierte Informationen benötigt; verwenden Sie Fine-Tuning, wenn das Modell spezialisiertes Verhalten, Aufgabenleistung, Domänenanpassung oder einen aus Daten erlernten Stil benötigt.
Was ist KI-Governance?
KI-Governance ist der Rahmen aus Richtlinien, Prozessen, Rollen, Kontrollen und Aufsicht, mit dem Entwicklung und Nutzung von KI über ihren Lebenszyklus gesteuert werden. Sie soll verantwortungsvolle, rechtmäßige, sichere, transparente und rechenschaftspflichtige KI-Praxis innerhalb einer Organisation oder Rechtsordnung sicherstellen.
Was ist ein KI-Managementsystem?
Ein KI-Managementsystem ist eine organisatorische Plattform oder ein strukturierter Satz von Prozessen zur Verwaltung von KI-Projekten und KI-Systemen über ihren gesamten Lebenszyklus. Es koordiniert Governance, Datenflüsse, Modellentwicklung, Einsatz, Monitoring, Compliance und Verantwortlichkeit.
Was ist ISO/IEC 42001?
ISO/IEC 42001 ist ein internationaler Standard für die Einrichtung, Umsetzung, Aufrechterhaltung und Verbesserung eines KI-Managementsystems. Er hilft Organisationen, KI-Entwicklung und KI-Nutzung durch Richtlinien, Rollen, Risikomanagement, Aufsicht und kontinuierliche Verbesserung zu steuern.
Was ist ein KI-Inventar oder Systemregister?
Ein KI-Inventar oder Systemregister ist ein geordneter Katalog von KI-Systemen und Anwendungsfällen innerhalb einer Organisation. Es erfasst typischerweise Verantwortliche, Zwecke, Datenquellen, Einsatzstatus, Risiken, Kontrollen und weitere Informationen, die für Governance, Audit und Rechenschaftspflicht benötigt werden.
Was sind personenbezogene Daten in KI?
Personenbezogene Daten sind Informationen, die sich nach Datenschutzrecht auf eine identifizierte oder identifizierbare natürliche Person beziehen. Im EU-Kontext ist die Bedeutung an Artikel 4 Absatz 1 der Verordnung (EU) 2016/679 und die dazugehörige rechtliche Auslegung geknüpft.
Was sind besondere Kategorien personenbezogener Daten in KI?
Besondere Kategorien personenbezogener Daten sind besonders sensible Arten personenbezogener Daten, die im EU-Datenschutzrecht festgelegt sind.
Sind biometrische Daten personenbezogene Daten?
Biometrische Daten sind personenbezogene Daten, die durch spezielle technische Verarbeitung physischer, physiologischer oder verhaltensbezogener Merkmale einer Person entstehen. Beispiele sind Gesichtsbilder, Fingerabdrücke, Stimmprofile, Gangbild und andere Identifikatoren, die Erkennung oder Identifizierung unterstützen können.
Was ist Anonymisierung in der KI-Daten-Governance?
Anonymisierung und De-Identifizierung sind Techniken, mit denen das Risiko reduziert wird, dass Personen aus einem Datensatz identifiziert werden können. In der Praxis kann irreversible Anonymisierung schwierig sein, insbesondere wenn Datensätze mit anderen Informationen verknüpft werden können.
Was ist KI-Sicherheit?
KI-Sicherheit ist das interdisziplinäre Feld und die Gesamtheit von Praktiken, die darauf ausgerichtet sind, Schäden durch KI-Systeme zu verhindern. Sie umfasst Zuverlässigkeit, Missbrauchsprävention, Minderung von Bias und Fehlern, Ausrichtung an menschlichen Werten sowie die Analyse kurz- und langfristiger Risiken.
Wie unterscheidet sich Risiko von Schaden?
Verwenden Sie Risiko für potenziell nachteilige Ergebnisse vor oder während einer Bewertung; verwenden Sie Schaden für die nachteilige Auswirkung, die eingetreten ist oder konkret beschrieben werden kann.
Was ist ein Safety Case für KI?
Ein KI-Safety-Case ist ein dokumentiertes und durch Nachweise gestütztes Argument, dass ein KI-System für eine definierte Nutzung und einen definierten Betriebskontext hinreichend sicher ist. Er ist besonders relevant für risikoreichere Sektoren, in denen Assurance ausdrücklich, überprüfbar und über die Zeit aufrechterhalten werden muss.
Was ist Model Drift?
Model Drift ist die Verschlechterung oder Veränderung der Modellleistung im Zeitverlauf, wenn reale Daten, Nutzerverhalten oder Betriebsbedingungen von den Daten abweichen, die beim Training oder bei der Evaluation verwendet wurden. Drift zu erkennen ist wichtig, um zu entscheiden, wann ein Modell neu trainiert, neu kalibriert oder ersetzt werden muss.
Was ist Modellevaluation?
Evaluation ist der Prozess, die Qualität, das Verhalten oder die Leistung eines Modells, Systems oder einer Änderung anhand definierter Kriterien zu messen. Im Machine Learning kann sie Validierungs- und Testdaten verwenden, während LLM-Evaluation auch Sicherheit, Faktentreue, Robustheit und Auswirkungen auf Nutzer einbeziehen kann.
Was ist ein Benchmark in der KI-Evaluation?
Ein Benchmark ist ein standardisierter Test, Datensatz, eine Aufgabe oder ein Evaluationsverfahren, mit dem die Leistung von KI-Systemen gemessen und verglichen wird.
Wie unterscheiden sich Precision und Recall?
Verwenden Sie Precision, wenn False Positives teuer sind; verwenden Sie Recall, wenn verpasste Positives teuer sind.
Warum kann Accuracy irreführend sein?
Accuracy ist eine Klassifikationsmetrik, die dem Anteil korrekter Vorhersagen an allen getroffenen Vorhersagen entspricht. Sie ist in manchen Evaluationssituationen nützlich, kann aber bei unausgewogenen Klassen irreführend sein, wenn Precision, Recall oder andere Metriken die Modellleistung besser abbilden.
Was ist agentische KI?
Agentische KI bezeichnet KI-Systeme, die Ziele verfolgen können, indem sie Kontext wahrnehmen, Entscheidungen treffen, Schritte planen und mit einem gewissen Maß an Autonomie Handlungen ausführen.
Was ist ein KI-Agent?
Ein KI-Agent ist eine Entität oder ein Softwaresystem, das eine Umgebung wahrnimmt, Eingaben interpretiert und Handlungen ausführt, um Ziele zu erreichen.
Was ist ein agentischer Workflow?
Ein agentischer Workflow ist ein Prozess, in dem ein KI-Agent mehrere Schritte zu einem definierten Ziel plant und ausführt. Er kann Schlussfolgern, Tool-Aufrufe, Interaktion mit externen Systemen, Monitoring und Selbstkorrektur umfassen, wenn sich Bedingungen ändern.
Was ist eine agentische Schleife?
Eine agentische Schleife ist der wiederholte Zyklus, durch den ein KI-Agent eine Situation beobachtet, über das weitere Vorgehen schlussfolgert, handelt und Feedback nutzt, um fortzufahren oder zu stoppen. Die Schleife läuft weiter, bis ein Ziel erreicht ist, eine Fehlerbedingung eintritt oder eine andere Beendigungsregel erfüllt ist.
Was ist biometrische KI?
Biometrische Technologie bezeichnet Systeme, die biometrische Daten verwenden, um die Identität einer Person zu erkennen, zu verifizieren oder zu identifizieren. Beispiele sind Gesichtserkennung, Fingerabdruck-Scanning, Iriserkennung, Stimmerkennung und verwandte Tools zur Identitätssicherung.
Was sind biometrische Daten?
Biometrische Daten sind personenbezogene Daten, die durch spezifische technische Verarbeitung physischer, physiologischer oder verhaltensbezogener Merkmale einer Person entstehen. Beispiele sind Gesichtsbilder, Fingerabdrücke, Stimmprofile, Gangbild und andere Identifikatoren, die Erkennung oder Identifizierung unterstützen können.
Was ist biometrische Identifizierung?
Biometrische Identifizierung ist die automatisierte Erkennung der Identität einer natürlichen Person durch den Vergleich der biometrischen Daten dieser Person mit biometrischen Daten, die in einer Datenbank gespeichert sind. Typischerweise handelt es sich um einen 1:n-Abgleich, mit dem festgestellt wird, wer die Person ist.
Wie unterscheidet sich biometrische Verifizierung von biometrischer Identifizierung?
Verwenden Sie biometrische Identifizierung, wenn es um die automatisierte Erkennung der Identität einer natürlichen Person durch Vergleich ihrer biometrischen Daten mit in einer Datenbank gespeicherten biometrischen Daten geht; verwenden Sie biometrische Verifizierung, wenn es um die automatisierte 1:1-Bestätigung der Identität einer Person durch Vergleich ihrer biometrischen Daten geht.
Was ist Machine Learning?
Machine Learning (ML) ist ein Teilgebiet der künstlichen Intelligenz, in dem Systeme Muster aus Daten oder Erfahrung lernen, um Vorhersagen, Klassifikationen, Empfehlungen oder Entscheidungen zu treffen, ohne für jeden Einzelfall ausdrücklich programmiert zu sein.
Was ist supervised learning?
Supervised Learning ist ein Machine-Learning-Ansatz, bei dem ein Modell aus Beispielen lernt, die Eingaben mit bekannten Zielausgaben oder Labels paaren. Das Modell nutzt diese gelabelten Beispiele, um Abbildungen zu lernen, die Vorhersage, Klassifikation oder Regression auf neuen Daten unterstützen können.
Wie unterscheidet sich Unsupervised Learning von Supervised Learning?
Verwenden Sie Supervised Learning, wenn gelabelte Eingabe-Ausgabe-Beispiele vorliegen; verwenden Sie Unsupervised Learning, wenn das Ziel darin besteht, Struktur ohne Labels zu entdecken.
Was ist Reinforcement Learning?
Reinforcement Learning (RL) ist ein Machine-Learning-Paradigma, bei dem ein Agent lernt, in einer Umgebung zu handeln, indem er Belohnungen oder Strafen für seine Handlungen erhält. Ziel ist es, eine Policy zu lernen, die die erwartete kumulative Belohnung über die Zeit maximiert.
Was ist generative KI?
Generative KI (GenAI) bezeichnet KI-Systeme, die als Reaktion auf Prompts oder Kontext neue Inhalte erzeugen, etwa Text, Bilder, Audio, Video, Code oder andere Medien. Diese Systeme lernen Muster aus Trainingsdaten und erzeugen Ausgaben, die den Arten von Inhalten ähneln oder sie transformieren, auf denen sie trainiert wurden.
Wie unterscheidet sich generative KI von künstlicher Intelligenz?
Verwenden Sie künstliche Intelligenz für das breite Feld und die Systemkategorie; verwenden Sie generative KI, wenn das System aus Prompts oder Kontext neue Inhalte erzeugt.
Was ist ein Large Language Model?
Ein LLM, also Large Language Model, ist ein Sprachmodell mit einer großen Anzahl von Parametern, das auf umfangreichen Text- oder multimodalen Daten trainiert wurde, um Sprache zu verstehen und zu erzeugen.
Was ist ein Diffusion Model?
Ein Diffusion Model ist ein generatives Modell, das darauf trainiert wird, einen Prozess umzukehren, bei dem Daten schrittweise verrauscht werden. Indem es lernt, von zufälligem Rauschen zu einer Ziel-Datenverteilung zu entrauschen, kann es realistische Bilder, Audio, Textrepräsentationen oder andere Ausgaben erzeugen.
Fortgeschritten
Wann wird ein KI-System in Verkehr gebracht?
Inverkehrbringen bedeutet die erstmalige Bereitstellung eines KI-Systems oder eines KI-Modells mit allgemeinem Verwendungszweck auf dem EU-Markt. Der Begriff ist wichtig, weil bestimmte regulatorische Pflichten zu diesem Zeitpunkt oder bereits davor greifen.
Was ist die Zweckbestimmung eines KI-Systems?
Die Zweckbestimmung ist die Nutzung, für die ein KI-System von seinem Anbieter entworfen, vermarktet oder bereitgestellt wird. Sie definiert den erwarteten Kontext, die Nutzer, Funktionen, Ausgaben und Grenzen und ist zentral für Risikoklassifizierung, Compliance und Verantwortlichkeit.
Was ist vernünftigerweise vorhersehbare Fehlanwendung?
Vernünftigerweise vorhersehbare Fehlanwendung ist die Nutzung eines KI-Systems außerhalb seiner Zweckbestimmung in einer Weise, die sich aus menschlichem Verhalten oder der Interaktion mit anderen Systemen dennoch erwarten lässt.
Was ist die CE-Kennzeichnung für KI-Systeme?
Die CE-Kennzeichnung ist ein Konformitätszeichen, das anzeigt, dass ein Produkt oder KI-System die geltenden Anforderungen des einschlägigen Rechts der Europäischen Union erfüllt. Für KI-Systeme signalisiert sie, dass der Anbieter die Einhaltung der rechtlichen Pflichten bewertet hat, die für das System gelten.
Was ist KI mit allgemeinem Verwendungszweck?
KI mit allgemeinem Verwendungszweck (GPAI) bezeichnet KI-Modelle oder -Systeme, die an eine breite Palette von Aufgaben und Anwendungen angepasst werden können. Foundation Models sind ein häufiges Beispiel, im Gegensatz zu engen KI-Systemen, die für eine bestimmte Aufgabe entwickelt wurden.
Was ist systemisches Risiko bei GPAI?
Systemisches Risiko ist ein Risiko, das mit hochwirksamen Fähigkeiten von KI-Modellen mit allgemeinem Verwendungszweck verbunden ist und erhebliche Auswirkungen auf Märkte, Gesellschaft, öffentliche Gesundheit, Sicherheit oder Grundrechte haben kann.
Warum kann RAG Datenschutz- und Sicherheitsrisiken schaffen?
Retrieval Augmented Generation (RAG) ist eine Technik, die generative KI mit dem Abruf aus externen Datenquellen kombiniert. Das Modell nutzt abgerufene Dokumente, Textpassagen oder Datensätze als Kontextgrundlage, um aktuellere, spezifischere und überprüfbarere Antworten zu erzeugen.
Was sind Guardrails in einem LLM-System?
Guardrails sind technische, prozedurale oder richtlinienbasierte Kontrollen, die KI-Systeme innerhalb akzeptabler Grenzen halten sollen. Sie können Risiken wie schädliche Ausgaben, Datenlecks, unbefugten Zugriff, Richtlinienverstöße oder unsicheres Verhalten reduzieren.
Was ist Grounding in generativer KI?
Grounding ist der Prozess, bei dem die Ausgabe eines KI-Modells zur Inferenzzeit mit vertrauenswürdigen, überprüfbaren Informationsquellen verbunden wird. In generativer KI hilft es, die faktische Zuverlässigkeit zu verbessern, indem relevanter Kontext bereitgestellt wird, ohne die zugrunde liegenden Gewichte des Modells zu verändern.
Was ist eine Halluzination in einem KI-System?
Eine Halluzination ist eine von KI erzeugte Ausgabe, die plausibel oder selbstsicher wirkt, aber falsch, unbelegt, irreführend oder erfunden ist. In generativer KI können Halluzinationen falsche Fakten, erfundene Quellen, falsche Zitate oder Schlussfolgerungen umfassen, die nicht auf verlässlichen Nachweisen beruhen.
Wie unterscheidet sich ein System-Prompt von einem Nutzer-Prompt?
Verwende einen System-Prompt für dauerhafte Anwendungsanweisungen und Einschränkungen; verwende einen Nutzer-Prompt für die unmittelbare Anfrage, den Kontext und das gewünschte Ergebnis des Nutzers.
Was ist Red Teaming für LLMs?
Red Teaming ist ein strukturierter adversarialer Testprozess, der dazu dient, Schwachstellen, unsicheres Verhalten oder schädliche Ausgaben in einem KI-System zu identifizieren. Dabei wird das System gezielt mit schwierigen, bösartigen oder Grenzfall-Eingaben geprüft, damit Entwickler Schutzmaßnahmen bewerten und verbessern können.
Wie unterscheidet sich eine KI-Risikobewertung von einem KI-Audit?
Verwende KI-Risikobewertung, um Risiken zu identifizieren und zu steuern; verwende KI-Audit, um Nachweise, Kontrollen oder Aussagen anhand definierter Kriterien zu bewerten.
Was ist KI-Assurance?
KI-Assurance umfasst die Praktiken, die begründetes Vertrauen schaffen, dass ein KI-System in seinem operativen Kontext wie vorgesehen funktioniert.
Was ist Shadow AI?
Shadow AI ist die Nutzung von KI-Tools oder -Systemen ohne formale Genehmigung, Aufsicht oder Governance durch eine Organisation. Sie schafft Risiken in Bezug auf Datenabfluss, Compliance, Sicherheit und uneinheitliche Entscheidungsfindung und wird typischerweise durch Richtlinien, genehmigte Alternativen, Schulungen und Monitoring gesteuert.
Was ist eine KI-Nutzungsrichtlinie?
Eine KI-Nutzungsrichtlinie ist ein internes Governance-Dokument, das festlegt, wie KI-Tools und -Systeme innerhalb einer Organisation verwendet werden dürfen. Sie deckt typischerweise zulässige und verbotene Nutzungen, Rollen und Verantwortlichkeiten, Datenhandhabung, Genehmigungsanforderungen, Monitoring und Eskalation von Vorfällen ab.
Was ist Vendor Due Diligence für KI?
KI-Vendor-Due-Diligence ist die Bewertung von Drittanbieter-KI-Produkten oder -Anbietern im Hinblick auf Sicherheits-, Datenschutz-, Zuverlässigkeits-, Governance- und Compliance-Risiken. Sie hilft Organisationen zu entscheiden, ob und wie ein Anbieter sicher genehmigt, beschafft, überwacht oder eingeschränkt werden kann.
Was ist algorithmische Verantwortlichkeit?
Algorithmische Verantwortlichkeit bedeutet Verantwortung für Design, Betrieb, Entscheidungen und Auswirkungen algorithmischer Systeme. Sie umfasst Transparenz, Nachvollziehbarkeit, Aufsicht und Mechanismen, um schädliche Ergebnisse zu erklären, anzufechten oder zu beheben.
Wie unterscheidet sich Pseudonymisierung von Anonymisierung?
Verwende Anonymisierung oder De-Identifizierung, wenn es um verringerte oder entfernte Identifizierbarkeit geht; verwende Pseudonymisierung, wenn personenbezogene Daten mit geschützten Zusatzinformationen weiterhin einer Person zugeordnet werden können.
Was ist Differential Privacy?
Verwende Datenanonymisierung, wenn Daten verändert werden, um Identifizierbarkeit zu reduzieren; verwende Differential Privacy, wenn individuelle Rückschlüsse aus Ausgaben durch ein Datenschutz-Framework begrenzt werden sollen.
Können synthetische Daten dennoch Datenschutzrisiken schaffen?
Synthetische Daten sind künstlich erzeugte Daten, die ausgewählten Mustern, Strukturen oder statistischen Eigenschaften realer Daten ähneln sollen.
Was ist Datenprovenienz?
Datenprovenienz ist die aufgezeichnete Geschichte von Daten, einschließlich Herkunft, Erstellung, Transformationen, Bewegungen und Änderungen im Zeitverlauf. In der KI-Governance hilft Provenienz, die Datensatzherkunft zu überprüfen, Vertrauenswürdigkeit zu bewerten, Audits zu unterstützen und zu verstehen, wie digitale Inhalte oder Modelleingaben entstanden sind.
Was bedeutet Data Residency in KI?
Data Residency und Datensouveränität betreffen, wo Daten gespeichert, verarbeitet und rechtlich gesteuert werden und welche Rechtsordnungen auf sie anwendbar sind. Bei regulierter KI-Nutzung beeinflussen diese Konzepte die Wahl von Cloud-Regionen, grenzüberschreitende Übermittlungen, vertragliche Kontrollen und die Einhaltung sektoraler oder nationaler Anforderungen.
Wie überschneiden sich DSGVO und EU-KI-Verordnung?
Verwende die DSGVO, wenn es um die Verarbeitung personenbezogener Daten geht; verwende die EU-KI-Verordnung, wenn es um Risikokategorie, Sicherheit, Transparenz, Governance oder Konformitätspflichten eines KI-Systems geht.
Wie unterscheidet sich Data Drift von Concept Drift?
Verwende Data Drift, wenn sich die Verteilung der Eingabedaten ändert; verwende Concept Drift, wenn sich die Beziehung zwischen Eingaben und Zielergebnis ändert.
Was ist Alignment in der KI-Sicherheit?
Alignment ist die Praxis, ein KI-System so zu entwerfen, zu trainieren und zu steuern, dass seine Ziele, Ausgaben und sein Verhalten mit menschlichen Absichten, Werten und zulässigen Nutzungsgrenzen übereinstimmen.
Was ist ein schwerwiegender KI-Vorfall?
Ein KI-Vorfall ist ein Ereignis oder eine Reihe von Ereignissen, bei denen Entwicklung, Einsatz, Nutzung oder Fehlfunktion eines KI-Systems Schaden verursacht oder verursachen könnte. Solcher Schaden kann Sicherheit, Diskriminierung, Datenschutz, rechtliche Compliance, kritische Infrastruktur, Eigentum, Gemeinschaften oder Umwelt betreffen.
Was ist Human-in-the-Loop-Kontrolle?
HITL, oder Human-in-the-Loop, ist ein Ansatz, bei dem Menschen weiterhin daran beteiligt sind, Ausgaben oder Entscheidungen von KI-Systemen zu gestalten, zu prüfen, zu genehmigen oder zu verbessern. Er wird genutzt, um maschinelle Effizienz mit menschlichem Urteilsvermögen zu verbinden, besonders bei risikoreicheren oder kontextsensitiven Aufgaben.
Was ist KI-Toxizität?
KI-Toxizität sind schädliche, beleidigende, falsche, voreingenommene oder anderweitig unangemessene Ausgaben, die von einem KI-System erzeugt oder verstärkt werden. Sie kann aus Trainingsdaten, Systemdesign, Prompt-Kontext, mangelndem Alignment oder unzureichenden Schutzmaßnahmen entstehen.
Warum ist Post-Market-Monitoring wichtig?
Ein Post-Market-Monitoring-System besteht aus Aktivitäten von Anbietern von KI-Systemen, um Erfahrungen aus Systemen zu sammeln und zu prüfen, die in Verkehr gebracht oder in Betrieb genommen wurden. Ziel ist es festzustellen, ob nach dem Einsatz Korrektur- oder Präventionsmaßnahmen erforderlich sind.
Was ist ein F1-Score?
Der F1-Score ist das harmonische Mittel aus Precision und Recall und wird verwendet, um die Leistung bei Klassifikation und Informationsextraktion zu bewerten. Er reicht von 0 bis 1; höhere Werte zeigen ein besseres Gleichgewicht zwischen korrekt erkannten positiven Fällen und übersehenen positiven Fällen an.
Wie unterscheiden sich False Positives und False Negatives?
Verwende False Positive für eine falsche positive Markierung; verwende False Negative für das falsche Nicht-Erkennen eines tatsächlich positiven Zustands.
Was ist ein Klassifikationsschwellenwert?
Ein Klassifikationsschwellenwert ist ein gewählter Grenzwert, mit dem ein Modellscore oder eine Wahrscheinlichkeit in eine Klassenvorhersage umgewandelt wird. Eine Änderung des Schwellenwerts kann das Verhältnis zwischen False Positives und False Negatives verändern und macht die Schwellenwertwahl zu einer wichtigen Governance- und Leistungsentscheidung.
Was sind Validierungsdaten?
Validierungsdaten sind Daten, die während der Modellentwicklung verwendet werden, um ein Modell zu bewerten und Entscheidungen wie Hyperparameter, Schwellenwerte oder Lernprozesse abzustimmen. Sie sollten von Trainings- und Testdaten getrennt sein, um Underfitting, Overfitting und Generalisierungsprobleme besser zu erkennen.
Was ist ein Testdatensatz?
Ein Testdatensatz ist ein zurückgehaltener Datensatz, der eine unabhängige Bewertung eines trainierten Modells oder KI-Systems ermöglichen soll. Er sollte von Trainings- und Validierungsdaten getrennt sein, damit Leistungsschätzungen das Verhalten auf unbekannten Daten vor Einsatz oder Veröffentlichung besser widerspiegeln.
Was ist Modellmonitoring?
Modellmonitoring ist die kontinuierliche Beobachtung der Leistung, Eingaben, Ausgaben, Drift, Fehler, Latenz und operativen Gesundheit eines eingesetzten Modells. Es hilft, Leistungsabfall, Fehlanwendung, Bias, Sicherheitsprobleme und Bedingungen zu erkennen, die Retraining oder Intervention erfordern.
Was ist KI-Orchestrierung?
KI-Orchestrierung ist die Koordination und Weiterleitung von KI-Aufgaben, Workflows, Modellaufrufen, Tools und Agenten innerhalb eines Systems. Sie hilft, komplexe Prozesse in handhabbare Schritte zu zerlegen und sie den passenden Modellen, Sub-Agenten oder Automatisierungskomponenten zuzuweisen.
Was ist Function Calling in KI-Agenten?
Function Calling ist eine Fähigkeit, mit der ein Sprachmodell externe Tools, APIs oder vordefinierte Funktionen aufrufen kann. Sie erweitert das Modellverhalten über Textgenerierung hinaus, indem strukturierte Aktionen, Retrieval, Berechnungen oder Systemintegration ermöglicht werden.
Was ist das Model Context Protocol?
Das Model Context Protocol (MCP) ist ein Protokoll, um KI-Modelle oder Assistenten über eine standardisierte Schnittstelle mit externen Tools, Datenquellen und Diensten zu verbinden. Es hilft, Modellverhalten von Tool-Integration zu trennen, und kann Portabilität, Governance und Kontextmanagement verbessern.
Was ist Action Space in agentischer KI?
Action Space ist die Menge der Tools, Operationen, Berechtigungen oder Handlungsmöglichkeiten, die einem Agenten bei der Ausführung einer Aufgabe zur Verfügung stehen. Ein gut begrenzter Action Space sollte für die Aufgabe ausreichen und zugleich unnötige Fähigkeiten begrenzen, die Fehler oder Governance-Risiken erhöhen können.
Warum sind Berechtigungen für KI-Agenten wichtig?
IAM-Berechtigungen, also Berechtigungen im Identitäts- und Zugriffsmanagement, sind granulare Zugriffskontrollen, die festlegen, welche Akteure welche Aktionen auf welchen Ressourcen ausführen dürfen. Sie werden häufig über Rollen an Nutzer, Gruppen, Servicekonten oder Anwendungen vergeben, um Least-Privilege-Zugriff durchzusetzen.
Was ist ein Router-Agent?
Ein Router-Agent ist ein Agent, der eine Nutzeranfrage oder Aufgabe klassifiziert und sie an den am besten geeigneten spezialisierten Agenten, das passende Tool oder den passenden Workflow weiterleitet. Er wird in Multi-Agenten-Systemen eingesetzt, um Verantwortlichkeiten zu koordinieren und Aufgaben besser zu bearbeiten.
Was ist ein System zur biometrischen Fernidentifizierung?
Ein System zur biometrischen Fernidentifizierung ist ein KI-System, das verwendet wird, um natürliche Personen ohne deren aktive Beteiligung zu identifizieren, typischerweise aus der Entfernung. Es vergleicht die biometrischen Daten einer Person mit biometrischen Daten, die in einer Referenzdatenbank gespeichert sind.
Was ist biometrische Echtzeit-Fernidentifizierung?
Ein System zur biometrischen Echtzeit-Fernidentifizierung ist ein System, bei dem Erfassung, Vergleich und Identifizierung biometrischer Daten ohne erhebliche Verzögerung erfolgen. Die Kategorie umfasst sofortige Identifizierung sowie kurze Verzögerungen, die eine Umgehung verhindern sollen.
Was ist ein Emotionserkennungssystem?
Ein Emotionserkennungssystem ist ein KI-System, das dazu bestimmt ist, Emotionen oder Absichten natürlicher Personen zu identifizieren oder abzuleiten, häufig aus biometrischen Daten. Da solche Systeme Datenschutz, Autonomie und Fairness beeinflussen können, unterliegen sie in Governance- und Regulierungskontexten erhöhter Prüfung.
Was ist biometrische Kategorisierung?
Ein System zur biometrischen Kategorisierung ist ein KI-System, das natürliche Personen auf Grundlage biometrischer Daten bestimmten Kategorien zuordnet.
Warum ist Gesichtserkennung hochriskant?
Gesichtserkennungstechnologie (FRT) bezeichnet automatisierte Systeme, die Menschen durch Analyse von Gesichtsmerkmalen aus digitalen Bildern oder Videos identifizieren, verifizieren oder kategorisieren. Sie ist eine biometrische Technologie und kann je nach Nutzung Datenschutz-, Genauigkeits- und Diskriminierungsbedenken auslösen.
Was sind Deepfakes in biometrischer KI?
Deepfakes sind KI-generierte oder KI-manipulierte Bilder, Audios oder Videos, die Personen, Objekte, Orte, Entitäten oder Ereignisse authentisch erscheinen lassen, obwohl sie es nicht sind.
Was ist selbstüberwachtes Lernen?
Selbstüberwachtes Lernen ist ein Machine-Learning-Ansatz, der Trainingssignale aus unbeschrifteten Daten selbst erzeugt. Er wandelt Aspekte eines unüberwachten Problems durch Erzeugung von Ersatzlabels in überwachtes Lernen um und ist nützlich, wenn beschriftete Daten knapp, aber unbeschriftete Daten reichlich vorhanden sind.
Was ist semi-überwachtes Lernen?
Semi-überwachtes Lernen ist ein Machine-Learning-Ansatz, der beim Training sowohl beschriftete als auch unbeschriftete Daten verwendet. Er ist nützlich, wenn beschriftete Beispiele teuer oder begrenzt sind, aber größere Mengen unbeschrifteter Daten helfen können, Repräsentation, Klassifikation oder Vorhersage zu verbessern.
Was sind Trainingsdaten?
Trainingsdaten sind der Datensatz, mit dem ein Machine-Learning-Modell durch Anpassung seiner lernbaren Parameter trainiert oder angepasst wird. Qualität, Menge, Vielfalt, Labeling und Provenienz beeinflussen stark die Leistung, Zuverlässigkeit und Compliance-Position des entstehenden Modells.
Was ist Overfitting?
Overfitting tritt auf, wenn ein Modell die Trainingsdaten zu genau lernt, einschließlich Rauschen oder idiosynkratischer Details, und auf neuen Daten schlecht abschneidet. Es zeigt sich häufig durch hohe Trainingsleistung, aber schwächere Validierungs- oder Testleistung.
Was ist Underfitting?
Underfitting tritt auf, wenn ein Modell zu einfach oder unzureichend trainiert ist, um sinnvolle Muster in den Daten zu erfassen. Ein underfittetes Modell schneidet sowohl auf Trainingsdaten als auch auf neuen Daten schlecht ab, weil es die für die Aufgabe erforderlichen zugrunde liegenden Beziehungen nicht gelernt hat.
Was ist ein Entscheidungsbaum?
Ein Entscheidungsbaum ist ein interpretierbares überwachtes Lernmodell, das Entscheidungsregeln in einer baumartigen Struktur darstellt. Die Inferenz folgt einem Pfad vom Wurzelknoten über merkmalbasierte Bedingungen zu einem Blattknoten, der die vorhergesagte Klasse oder den vorhergesagten Wert liefert.
Was ist ein Generative Adversarial Network?
Ein Generative Adversarial Network (GAN) ist eine Machine-Learning-Architektur, bei der ein Generator und ein Diskriminator gegeneinander trainiert werden. Der Generator lernt, realistische Beispiele zu erzeugen, während der Diskriminator lernt, generierte Beispiele von echten Daten zu unterscheiden.
Was ist ein Deepfake?
Deepfakes sind KI-generierte oder KI-manipulierte Bilder, Audios oder Videos, die Personen, Objekte, Orte, Entitäten oder Ereignisse authentisch erscheinen lassen, obwohl sie es nicht sind.
Was sind synthetische Medien?
Synthetische Medien sind Medieninhalte, die vollständig oder teilweise von KI erzeugt oder manipuliert wurden. Dazu können Text, Bilder, Audio, Video, Avatare, Stimmen und andere digitale Artefakte gehören.
Was ist Prompt Engineering?
Prompt Engineering ist die Praxis, Eingaben für generative KI-Modelle zu entwerfen, zu testen und zu verfeinern, damit sie gewünschte Ausgaben zuverlässiger erzeugen. Es kann Rollen, Einschränkungen, Beispiele, Kontext, Format und Bewertungskriterien festlegen, ohne die zugrunde liegenden Modellgewichte zu ändern.
Was ist Temperature in generativer KI?
Temperature ist ein Modellgenerierungsparameter, der die Zufälligkeit der Ausgabe eines KI-Systems steuert. Niedrigere Werte führen tendenziell zu fokussierteren und deterministischeren Antworten, während höhere Werte Vielfalt, Kreativität und das Risiko weniger kohärenter oder weniger zuverlässiger Ausgaben erhöhen.
Was ist KI-Wasserzeichen?
KI-Wasserzeichen ist das Einbetten sichtbarer oder verborgener Kennzeichen in KI-generierte oder KI-veränderte Inhalte, um Ursprung, Provenienz oder Generierungsstatus anzuzeigen. Wasserzeichen können während oder nach der Generierung hinzugefügt werden und erfordern möglicherweise spezielle Tools zur Erkennung.
Experte
Wer beaufsichtigt KI-Systeme in der EU?
Das KI-Büro ist die Funktion der Europäischen Kommission, die eingerichtet wurde, um Umsetzung, Überwachung und Aufsicht über KI-Systeme, KI-Modelle mit allgemeinem Verwendungszweck und KI-Governance im Rahmen des EU-KI-Rechts zu unterstützen.
Was ist ein schwerwiegender Vorfall unter KI-Governance?
Ein schwerwiegender Vorfall ist ein Vorfall oder eine Fehlfunktion eines KI-Systems, der oder die direkt oder indirekt schwere Schäden verursacht, etwa Tod, erhebliche Gesundheitsschäden, Störung kritischer Infrastruktur, Verletzung von Grundrechten oder erhebliche Sach- oder Umweltschäden.
Was ist Data Poisoning in KI-Systemen?
Data Poisoning ist ein adversarialer Angriff, bei dem ein böswilliger Akteur in die Daten oder den Trainingsprozess eingreift, die zum Aufbau eines Modells verwendet werden. Durch Einfügen, Verändern oder Verfälschen von Trainingsbeispielen versucht der Angreifer, Modellverhalten zu manipulieren, Leistung zu verschlechtern oder gezielte Fehler zu erzeugen.
Was ist Inhaltsmoderation für KI-Ausgaben?
Inhaltsmoderation und Sicherheitsfilter sind Kontrollen, die darauf ausgelegt sind, schädliche, illegale oder durch Richtlinien untersagte Inhalte zu erkennen, zu blockieren, zu verringern oder zu eskalieren. In KI-Systemen werden sie häufig mit Richtlinienregeln, modellbasierten Klassifikatoren, Protokollierung und menschlicher Prüfung für Fälle mit höherem Risiko kombiniert.
Was ist eine KI-Model Card?
Eine KI-Model Card ist ein kompaktes Dokumentationsartefakt, das ein trainiertes Modell oder einen KI-Dienst begleitet. Sie beschreibt typischerweise Zweckbestimmung, Grenzen, Bewertungsergebnisse, relevante Risiken, Daten- oder Trainingskontext und weitere Informationen, die Transparenz und verantwortungsvollen Einsatz unterstützen.
Was bedeutet Transparenz in der KI-Governance?
Transparenz ist der Grad, in dem Zweck, Datennutzung, Funktionsweise, Grenzen und Ausgaben eines KI-Systems von relevanten Stakeholdern verstanden oder geprüft werden können.
Was ist Datenschutzrisiko bei Trainingsdaten?
Trainingsdaten sind der Datensatz, mit dem ein Machine-Learning-Modell durch Anpassung seiner lernbaren Parameter trainiert oder angepasst wird. Qualität, Menge, Vielfalt, Labeling und Provenienz beeinflussen stark die Leistung, Zuverlässigkeit und Compliance-Position des entstehenden Modells.
Was ist Verschlüsselung in der KI-Daten-Governance?
Datenverschlüsselung ist die Umwandlung lesbarer Daten in eine kodierte Form, die ohne autorisierten Schlüssel oder Entschlüsselungsverfahren unverständlich ist. Sie wird verwendet, um sensible Informationen bei Speicherung, Übertragung oder Verarbeitung vor unbefugtem Zugriff zu schützen.
Was ist Anomalieerkennung im KI-Monitoring?
Anomalieerkennung ist der Prozess, Beobachtungen, Ereignisse oder Muster zu identifizieren, die deutlich vom erwarteten Verhalten abweichen. In KI und Datenanalyse wird sie genutzt, um Ausreißer zu markieren, die auf Fehler, Betrug, Sicherheitsvorfälle, Systemstörungen oder andere ungewöhnliche Bedingungen hinweisen können.
Was bedeutet Security by Design für KI-Systeme?
Security by Design ist ein Ansatz, bei dem Sicherheitsanforderungen und Schutzmaßnahmen von Beginn der Systementwicklung an integriert werden. Für KI-Systeme umfasst dies die Antizipation von Fehlanwendung, den Schutz von Daten und Modellen sowie die Einbettung von Zugriffskontrollen, Monitoring und Resilienz über den gesamten Lebenszyklus.
Was ist Groundedness in der LLM-Bewertung?
Groundedness ist die Eigenschaft einer Modellausgabe, durch konkretes Quellenmaterial oder bereitgestellten Kontext gestützt zu sein. In generativer KI hilft Groundedness zu bewerten, ob eine Antwort auf Nachweise zurückführbar ist statt auf unbelegte Modellgenerierung.
Was ist die Unsupported-Claim-Rate?
UCR (Unsupported-Claim-Rate) ist der Prozentsatz der Behauptungen in einer Modellantwort, die nicht durch unterstützende Nachweise gedeckt sind. Eine hohe UCR zeigt an, dass das System möglicherweise zu viele unbelegte oder halluzinierte Aussagen erzeugt.
Was ist ein Multi-Agenten-System?
Multi-Agenten-Systeme bestehen aus mehreren interagierenden Agenten, die in einer Umgebung wahrnehmen, entscheiden, kommunizieren und handeln können. Sie werden genutzt, um verteilte Problemlösung, Koordination, Verhandlung, Wettbewerb und kollektives Verhalten zu modellieren.
Wie sollte agentische KI gesteuert werden?
KI-Governance ist der Rahmen aus Richtlinien, Prozessen, Rollen, Kontrollen und Aufsicht, mit dem KI-Entwicklung und KI-Nutzung über ihren Lebenszyklus gesteuert werden. Ziel ist eine verantwortungsvolle, rechtmäßige, sichere, transparente und rechenschaftspflichtige KI-Praxis innerhalb einer Organisation oder Rechtsordnung.
Was sind synthetische Medien?
Synthetische Medien sind Medieninhalte, die vollständig oder teilweise von KI erzeugt oder manipuliert wurden. Dazu können Text, Bilder, Audio, Video, Avatare, Stimmen und andere digitale Artefakte gehören.
Wie kann biometrische KI Fairness schädigen?
Fairness in KI bezeichnet das Prinzip, dass KI-Systeme Einzelpersonen und Gruppen gerecht behandeln und ungerechtfertigte Diskriminierung oder schädlichen Bias vermeiden sollten. Dazu gehört, Bias in Daten, Modellen, Einsatzkontexten und Entscheidungsprozessen zu erkennen und zu mindern.
Was ist Deep Learning?
Deep Learning ist ein Teilgebiet des maschinellen Lernens, das neuronale Netze mit mehreren Schichten verwendet, um Repräsentationen und Muster aus Daten zu lernen.
Wie unterscheiden sich Klassifikation und Regression?
Verwende Klassifikation, wenn das Ziel eine Kategorie ist; verwende Regression, wenn das Ziel ein kontinuierlicher oder numerischer Wert ist.
Was ist Inhaltsprovenienz?
Provenienz und Wasserzeichen bezeichnen Signale, die helfen zu erkennen, wie Inhalte erstellt wurden, woher sie stammen oder ob sie KI-generiert oder verändert wurden. Diese Mechanismen unterstützen Authentizität, Vertrauen, Moderation, Auditierbarkeit und verantwortungsvolle Inhalts-Governance.
Warum brauchen generierte Inhalte menschliche Prüfung?
Menschliche Bewertung ist der Prozess, bei dem Menschen Qualität, Sicherheit, Nützlichkeit oder Korrektheit von Modellausgaben beurteilen. Sie ist besonders wichtig für Aufgaben ohne eine einzige richtige Antwort, etwa Übersetzungsqualität, Zusammenfassung, Dialog oder kreative Generierung.