KI-Glossar

Der Einsatz bösartiger Eingaben oder Techniken, um KI-Modelle zu täuschen, zu manipulieren oder auszunutzen. In der Cybersicherheit kann adversariale KI Schutzmaßnahmen umgehen, Fehlklassifizierungen verursachen oder die Systemleistung beeinträchtigen.

Die Plugins, die KI-Agenten echte Ausführungsfähigkeiten verleihen. Agent Skills sind wiederverwendbare Pakete aus Logik, Kontext und Anweisungen, die Agenten durch komplexe Workflows führen. Sie machen aus KI mehr als nur ein Gespräch – sie befähigen sie zum Handeln.

Ein KI-System, das eigenständig Entscheidungen treffen und Maßnahmen ergreifen kann, um definierte Ziele ohne ständige menschliche Eingriffe zu erreichen. In der Cybersicherheit kann Agentic AI komplexe Verteidigungs- oder Angriffsstrategien automatisieren.

Ein Softwareentwicklungsparadigma, bei dem KI-Agenten mithilfe von Tools, Daten und Workflows Entwicklungsaufgaben mit minimalem menschlichem Eingreifen autonom planen, ausführen und abschließen.

Mehrstufige, zielorientierte Prozesse, die von KI-Agenten ausgeführt werden und Tools sowie Aktionen entlang des SDLC und in neuen Workflows für KI-Builder orchestrieren.

Ein Regelwerk, das Grundsätze zum Schutz von Menschen vor schädlichem KI-Einsatz festlegt. Es behandelt Datenschutz, Diskriminierung, Transparenz und Rechenschaftspflicht bei KI-Systemen.

Die Integration von KI in Sicherheitsprozesse, um Bedrohungserkennung, Reaktion auf Sicherheitsvorfälle und SOC-Workflows zu automatisieren. Verbessert die Geschwindigkeit und Genauigkeit der Cyberabwehr.

Abkürzung für Trust, Risk, and Security Management in AI. Ein Governance-Ansatz, der sicherstellt, dass KI-Systeme sicher, zuverlässig und regelkonform sind.

Die Zeitspanne zwischen dem ersten Zugriff eines Angreifers auf ein System und dem Zeitpunkt, an dem er beginnt, dieses aktiv auszunutzen. Da Angreifer zunehmend KI einsetzen, um Aufklärung und Ausnutzung zu automatisieren, haben sich die Breakout-Zeiten drastisch verkürzt. Dadurch bleibt Verteidigern weniger Zeit, Angriffe zu erkennen und darauf zu reagieren.

Der Schutz von KI-Workloads, -Modellen und -Daten, die in Cloud-Umgebungen gehostet werden. Er verbindet Cloud-Sicherheitspraktiken mit KI-spezifischen Schutzmaßnahmen gegen Datenlecks, Modell-Diebstahl und adversariale Angriffe.

Eine Methode, um die Sicherheitsbeschränkungen eines KI-Systems zu umgehen und es dazu zu bringen, eingeschränkte oder schädliche Ausgaben zu erzeugen. Ein zentrales Thema bei Sicherheitstests für KI.

Eine proaktive Sicherheitsübung, bei der Angriffe auf KI-Systeme simuliert werden, um Schwachstellen zu erkennen und die Widerstandsfähigkeit zu verbessern.

KI-Stücklisten. Eine detaillierte Bestandsaufnahme von KI-Komponenten, Datensätzen und Abhängigkeiten. Sie hilft dabei, die Herkunft nachzuverfolgen und Risiken in der KI-Lieferkette zu managen.

Die kontinuierliche Bewertung und Verbesserung des KI-bezogenen Sicherheitsstatus einer Organisation, einschließlich Modell-Governance und Bedrohungsüberwachung.

Die Integration von KI-Funktionen in alle Bereiche der Abläufe, Tools und Infrastruktur einer Organisation. In der Cybersicherheit ermöglicht allgegenwärtige KI eine kontinuierliche, automatisierte Abwehr in großem Maßstab.

Die Technik, mehrere Schwachstellen mit geringerem Schweregrad oder Logikfehler zu einem einzigen Exploit-Pfad mit schwerwiegenden Auswirkungen zu kombinieren – zum Beispiel eine Autorisierungslücke mit einer Schwachstelle zur Rechteausweitung zu verknüpfen, um ein kritisches Ergebnis zu erzielen, das keine der beiden Schwachstellen allein ermöglichen würde.

Tools und Frameworks von Amazon Web Services zum Schutz von KI-Workloads, -Modellen und -Daten. Dazu gehören Bedrohungserkennung, Compliance-Kontrollen und der Schutz von KI-Services.

Einzelne Anweisungen oder Aktionen, die ein Agent innerhalb eines Systems oder Tools ausführen kann. Befehle stehen für die konkreten Operationen, die der Agent durchführt (z. B. ein Skript ausführen oder einen Dienst abfragen). Häufig werden sie zu mehrstufigen Workflows kombiniert und können mit internen oder externen Systemen interagieren.

Ein Machine-Learning-Ansatz, bei dem ein Agent durch Versuch und Irrtum lernt, indem er Belohnungen oder Bestrafungen erhält. Sein Ziel ist es, ohne explizite Anweisungen oder gekennzeichnete Daten eine Strategie zu entwickeln, mit der er seine kumulative Belohnung im Laufe der Zeit maximiert.

Eine Schwachstelle, bei der eine Anwendung nicht überprüft, ob ein Benutzer zum Zugriff auf ein bestimmtes Objekt oder einen Datensatz berechtigt ist. Angreifer können dadurch Daten anderer Benutzer einsehen oder ändern, indem sie eine Kennung manipulieren (z. B. einen URL-Parameter oder eine ID in einer API-Anfrage). BOLA steht an erster Stelle der OWASP API Security Top 10.

Eine Technik, bei der ein Angreifer oder Nutzer den gespeicherten Gesprächsverlauf eines KI-Systems verändert, um künftige Antworten oder Verhaltensweisen zu beeinflussen. Sie kann ausgenutzt werden, um Schutzmaßnahmen zu umgehen, schädliche Anweisungen einzuschleusen oder die Entscheidungsfindung eines KI-Agenten zu verzerren.

Eine KI-gestützte dialogbasierte Schnittstelle, über die Nutzer per Text oder Sprache interagieren. In der Cybersicherheit können Chatbots den Support und die Erstbewertung von Sicherheitsvorfällen automatisieren.

Nicht-traditionelle Softwareentwickler, die KI-Tools und -Agenten nutzen, um Anwendungen zu erstellen oder zu verändern – ohne über eine formale Ausbildung in Softwareentwicklung zu verfügen. Durch ihren Aufstieg können mehr Menschen Software entwickeln. Das erhöht sowohl die Entwicklungsgeschwindigkeit als auch die Sicherheitsrisiken.

Ein Ansatz für Sicherheitstests, bei dem Anwendungen kontinuierlich auf ausnutzbare Risiken geprüft werden. Dabei werden automatisierte Testmethoden wie dynamische Anwendungssicherheitstests (DAST) mit umfassenderen, KI-gestützten Penetrationstests kombiniert, die bei Bedarf zum Einsatz kommen – statt sich auf punktuelle Prüfungen zu verlassen, die nur ein- oder zweimal im Jahr stattfinden.

Die unbefugte Nutzung der Ressourcen eines Systems zum Schürfen von Kryptowährungen, häufig durch Malware oder Browser-Exploits. KI kann solche Angriffe sowohl erkennen als auch für sie missbraucht werden.

Böswilliger oder unethischer Einsatz von KI für Cyberkriminalität, Spionage oder Desinformationskampagnen. In der Bedrohungsanalyse gewinnt dieses Thema zunehmend an Bedeutung.

Der Prozess, Muster und Erkenntnisse in großen Datensätzen zu entdecken. In der Cybersicherheit kann Data Mining verborgene Bedrohungen oder Anomalien im Nutzerverhalten aufdecken.

Unbefugte Übertragung von Daten aus einem System, häufig durch böswillige Insider oder externe Angreifer. KI kann Anomalien erkennen, die auf Exfiltrationsversuche hindeuten.

Der Schutz von Daten, die in KI-Systemen über ihren gesamten Lebenszyklus hinweg verwendet werden – einschließlich Erfassung, Speicherung, Training und Inferenz. Schützt vor Sicherheitsverletzungen, Datenlecks und Data-Poisoning-Angriffen.

Eine Cyberangriffsstrategie, die die Leistung eines KI-Modells beeinträchtigt, indem sie Datensätze gezielt durch das Einschleusen bösartiger Daten, falsche Kennzeichnungen oder andere Methoden verfälscht.

Eine Teilmenge des maschinellen Lernens, bei der neuronale Netze mit vielen Schichten komplexe Datenmuster modellieren. Sie bildet die Grundlage vieler KI-gestützter Cybersicherheitstools.

Die unbefugte Extraktion oder Replikation eines proprietären KI-Modells, häufig zu Wettbewerbszwecken oder für böswillige Absichten.

Der Prozess der kontinuierlichen Überwachung und Verbesserung der Sicherheitslage sensibler Daten in verschiedenen Systemen und KI-Workloads.

KI-Verarbeitung, die lokal auf Geräten statt in der Cloud stattfindet. Das reduziert die Latenz und verbessert den Datenschutz bei Cybersicherheitsanwendungen.

Die Fähigkeit, nachzuvollziehen und zu verstehen, wie ein KI-Modell Entscheidungen trifft. Unverzichtbar für Vertrauen, Compliance und Debugging in Sicherheitssystemen.

Die Fähigkeit, zu interpretieren und zu verstehen, wie ein KI-Modell Entscheidungen trifft. Unverzichtbar für Vertrauen, Compliance und die Fehlerbehebung in Sicherheitssystemen.

Ein Datenintegrationsprozess, der Daten erfasst, bereinigt und in Speicher- oder Analysesysteme überführt. Unverzichtbar für die Vorbereitung von Datensätzen für die KI-Sicherheit.

Kurz für Evaluierungen: Dabei handelt es sich um systematische Tests, mit denen Leistung, Sicherheit und Zuverlässigkeit von KI-Systemen in unterschiedlichen Szenarien gemessen werden.

Der Grundsatz, sicherzustellen, dass KI-Systeme für alle Nutzergruppen unvoreingenommene und gerechte Ergebnisse liefern. In der Cybersicherheit verringert Fairness bei KI das Risiko diskriminierender Bedrohungsbewertungen oder Zugriffskontrollen und unterstützt so die Einhaltung von Vorschriften sowie den ethischen Einsatz von KI.

Der Prozess, ein vortrainiertes KI-Modell an eine bestimmte Aufgabe oder Domäne anzupassen. Im Bereich Sicherheit verbessert Fine-Tuning die Erkennungsgenauigkeit bei gezielten Bedrohungen.

KI-Modelle, die neue Inhalte wie Texte, Code oder Bilder erstellen. Zu den Einsatzbereichen in der Cybersicherheit zählen die Bedrohungssimulation und die automatisierte Generierung von Phishing-Inhalten.

Ein Rahmenwerk für das Management von Governance, Risikomanagement und regulatorischer Compliance eines Unternehmens, das inzwischen auch auf KI-Systeme ausgeweitet wurde.

Wenn ein KI-Modell falsche oder irreführende Ausgaben erzeugt, die plausibel erscheinen. Im Sicherheitskontext können Halluzinationen zu Fehlinformationen oder fehlerhafter Automatisierung führen.

Vordefinierte Auslöser, die an bestimmten Punkten im Workflow eines Agents eine bestimmte Logik ausführen. Hooks werden vor, während oder nach einer Aktion automatisch ausgeführt und laufen oft unbemerkt im Hintergrund der Agentenausführung ab. Sie können dazu dienen, Validierungs-, Transformations- oder Durchsetzungslogik einzubinden.

Dieser Begriff bezeichnet die Einbindung von Menschen in Machine-Learning-Prozesse und KI-Workflows. Menschliche Fachleute bringen Erkenntnisse, Fachwissen und Urteilsvermögen ein, um

Kombiniert verschiedene KI-Ansätze – etwa symbolisches Schlussfolgern und maschinelles Lernen – für mehr Genauigkeit und Anpassungsfähigkeit in der Cybersicherheit.

Eine zentrale Anlaufstelle, über die Entwicklerinnen und Entwickler auf Tools, Dokumentation und Services zugreifen können. Im Bereich Security gewährleistet sie den kontrollierten Zugriff auf Ressourcen für die KI-Entwicklung.

Eine von künstlicher Intelligenz gesteuerte Softwareeinheit, die Aufgaben im Auftrag einer Person oder eines Systems ausführt. KI-Agenten können in Sicherheitskontexten Bedrohungen überwachen, auf Sicherheitsvorfälle reagieren oder automatisierte Workflows ausführen.

Das Ökosystem aus Tools, Integrationen, Komponenten und Eingaben, auf das KI-Agenten zur Ausführung von Aufgaben angewiesen sind. Dazu gehören MCP-Server, APIs, externe Dienste, Skills und weitere Abhängigkeiten, die das Verhalten der Agenten und ihre Ergebnisse beeinflussen.

Cyberangriffe, die durch KI verstärkt oder automatisiert werden, um Tempo, Umfang und Raffinesse zu steigern. Dazu zählen adaptives Phishing, automatisierte Ausnutzung von Schwachstellen und Umgehungstechniken.

Die automatisierte Erstellung von Quellcode mithilfe von KI-Modellen wie LLMs. In der Cybersicherheit beschleunigt sie die Entwicklung, erfordert aber auch Sicherheitsprüfungen, um Schwachstellen zu verhindern.

KI-Coding-Assistenten (z. B. Cursor, GitHub Copilot, Claude) sind eine gängige und weit verbreitete Form von KI-Agenten. Sie integrieren Agentenfunktionen direkt in Entwickler-Workflows und ermöglichen die Codegenerierung, die Nutzung von Tools sowie die automatisierte Ausführung von Aufgaben in der Entwicklungsumgebung. Fortgeschrittenere Agenten gehen über Coding-Assistenten hinaus: Sie arbeiten eigenständig systemübergreifend, orchestrieren Workflows und interagieren ohne direkte menschliche Anweisungen mit mehreren Tools.

Die Einhaltung einschlägiger Gesetze, Vorschriften und Branchenstandards durch KI-Systeme. Im Bereich Cybersicherheit umfasst dies Datenschutz, Prüfbarkeit und Governance-Rahmenwerke für den verantwortungsvollen Einsatz von KI.

Der Einsatz von KI-Tools, um Netzwerke und Systeme proaktiv nach verborgenen Cyberbedrohungen zu durchsuchen und dabei häufig Muster zu erkennen, die menschlichen Analysten entgehen. Der Einsatz von KI-Tools, um Netzwerke und Systeme proaktiv nach verborgenen Cyberbedrohungen zu durchsuchen und dabei häufig Muster zu erkennen, die menschlichen Analysten entgehen.

Der Prozess, bei dem ein trainiertes KI-Modell anhand neuer Eingabedaten Vorhersagen, Klassifizierungen oder Antworten generiert. In der Cybersicherheit ermöglicht die Inferenz die Bedrohungserkennung in Echtzeit, das Erkennen von Anomalien und automatisierte Entscheidungen, ohne das Modell neu zu trainieren.

Unbefugter Zugriff auf KI-Systeme, -Modelle oder Datenpipelines sowie deren Manipulation oder Störung. Dies kann zu manipulierten Ausgaben, Dienstausfällen oder zur Offenlegung sensibler Informationen führen.

Die algorithmische Struktur, die anhand von Daten trainiert wird, um Aufgaben wie Erkennung, Klassifizierung oder Generierung auszuführen. Sicherheitsexperten bewerten Modelle hinsichtlich ihrer Robustheit und Widerstandsfähigkeit gegen Angriffe.

Der Einsatz von KI-Systemen, um autonom Aufklärung zu betreiben, Hypothesen zu generieren und Exploits gegen eine Anwendung zu validieren. Dabei bilden sie den Denkprozess eines menschlichen Penetrationstesters nach, statt Muster mit einem festen Katalog bekannter Schwachstellensignaturen abzugleichen.

Der Prozess, Risiken im Zusammenhang mit KI-Systemen zu identifizieren, zu bewerten und zu mindern. In der Cybersicherheit umfasst er die Robustheit von Modellen, Schwachstellen in der Supply Chain und Compliance-Risiken.

Die Praxis, die Funktionsweise, Entscheidungsprozesse und Einschränkungen von KI-Systemen für Stakeholder nachvollziehbar zu machen. In der Cybersicherheit fördert Transparenz das Vertrauen, unterstützt Audits und hilft bei der Einhaltung gesetzlicher Vorschriften.

Der Prozess, den Kontext für KI-Systeme zu entwerfen und zu strukturieren, um ihre Ergebnisse zu optimieren. Entscheidend für eine präzise Automatisierung in der Cybersicherheit.

Eine Schwachstellenklasse, die sich nur erkennen lässt, wenn man das beabsichtigte Verhalten einer Anwendung versteht – etwa die Autorisierungslogik oder Datengrenzen zwischen Mandanten. Im Gegensatz dazu weisen andere Schwachstellen eine feste technische Signatur auf, die automatisierte Scanner direkt per Mustererkennung finden können.

Ein KI-Framework zum Entwickeln von Anwendungen auf Basis großer Sprachmodelle mit Funktionen für Speicher, Verkettung und Kontextsteuerung.

Vordefinierte Sicherheits- und Compliance-Grenzen, die verhindern, dass KI unsichere oder nicht autorisierte Inhalte generiert. Sie sind bei KI-Implementierungen in Unternehmen unverzichtbar.

Ein Machine-Learning-Modell, das mit riesigen Datensätzen trainiert wurde, um menschenähnliche Texte zu verstehen und zu generieren. Es wird für die Codegenerierung, Analysen und Chatbots eingesetzt.

Die unbefugte Übernahme oder Ausnutzung großer Sprachmodelle, oft um bösartige Prompts einzuschleusen, geistiges Eigentum zu stehlen oder Ausgaben für Cyberangriffe zu manipulieren.

Die operative Disziplin, große Sprachmodelle in Produktionsumgebungen bereitzustellen, zu überwachen und zu warten.

Das Model Context Protocol ist ein offener Standard, mit dem Entwickler sichere bidirektionale Verbindungen zwischen KI-gestützten Tools und ihren Datenquellen herstellen können.

Die MITRE Adversarial Threat Landscape for Artificial-Intelligence Systems ist eine Wissensdatenbank mit Angriffstaktiken, -techniken und Fallstudien zu KI-Systemen. Sie unterstützt Sicherheitsteams bei der Verteidigung von KI-Assets.

Ein Teilgebiet der KI, das Algorithmen nutzt, um aus Daten zu lernen und ohne explizite Programmierung Vorhersagen zu treffen oder Entscheidungen zu fällen.

Praktiken zur Verwaltung des Lebenszyklus von Machine-Learning-Modellen – vom Training bis zur Bereitstellung –, die Zuverlässigkeit und Skalierbarkeit gewährleisten.

Die Integration von maschinellem Lernen, Sicherheits- und Betriebspraktiken, um KI-Systeme während ihres gesamten Lebenszyklus zu schützen.

Ein vom menschlichen Gehirn inspiriertes Rechenmodell, das im Deep Learning zur Verarbeitung komplexer Datenbeziehungen eingesetzt wird.

KI-Systeme, deren Ergebnisse aufgrund probabilistischer Prozesse bei gleicher Eingabe variieren können und die daher in Sicherheitskontexten eine besondere Behandlung erfordern.

KI-Techniken, mit denen Computer menschliche Sprache verstehen, interpretieren und generieren können. Sie kommen in Chatbots, bei der Bedrohungserkennung und bei der Informationsbeschaffung zum Einsatz.

Wenn ein KI-System die Existenz von Softwarepaketen oder Komponenten erfindet und dadurch potenzielle Supply-Chain-Risiken entstehen.

KI-Systeme, die anhand historischer Datenmuster Ergebnisse oder Verhaltensweisen vorhersagen. Sie werden zur Bedrohungsprognose und Risikobewertung eingesetzt.

Die Praxis, effektive Prompts zu formulieren, um die Ausgaben von KI-Modellen zu steuern und ihre Leistung für Sicherheitsanwendungsfälle zu optimieren.

Der Versuch, das Verhalten eines KI-Systems zu manipulieren, indem schädliche Anweisungen in Eingabe-Prompts eingebettet werden.

Ein KI-Ansatz, der Sprachgenerierung mit dem Abruf externen Wissens kombiniert, um genauere Antworten mit mehr Kontext zu liefern.

Festgelegte Einschränkungen oder Richtlinien, die für Agenten-Workflows gelten und das Verhalten eines Agenten bei der Ausführung von Aufgaben steuern. Regeln können erlaubte oder verbotene Verhaltensweisen festlegen sowie Sicherheits-, Compliance- oder betriebliche Anforderungen durchsetzen.

Ein Fehler im vorgesehenen Workflow einer Anwendung, der missbraucht werden kann – etwa, um auf die Daten anderer Nutzer zuzugreifen oder einen Genehmigungsschritt zu umgehen. Anders als bei Fehlern im Code selbst hängt diese Schwachstelle davon ab, was eine Anwendung tun soll. Daher hat sie keine feste Signatur und ist für automatisierte Scanner ohne kontextbezogene Analyse schwer zu erkennen.

Die nicht genehmigte Nutzung von KI-Tools und -Modellen innerhalb einer Organisation, die Compliance- und Sicherheitsrisiken mit sich bringt.

Die böswillige Registrierung von Paketen mit Namen, die legitimen Paketen ähneln, um Entwickler dazu zu verleiten, sie zu installieren.

Spezialisierte Agenten, denen im Rahmen eines umfassenderen Workflows bestimmte Aufgaben übertragen werden. Subagenten arbeiten mit einem festgelegten Aufgabenbereich oder einer definierten Funktion und kooperieren häufig mit anderen Agenten, um komplexe Prozesse abzuschließen. Dabei übernehmen sie den Zugriff auf Tools, Daten und Berechtigungen.

Das Risiko, das entsteht, wenn KI-Agenten nicht vertrauenswürdige oder unsichere Tools, Integrationen oder Eingaben nutzen. Dies kann zu Datenlecks, unbeabsichtigten Aktionen oder zur Einführung von Schwachstellen während der Softwareentwicklung führen.

Eine Art von Daten- oder Modellangriff, bei dem bösartige Eingaben in KI-Tools oder Datensätze eingeschleust werden, um Verhalten oder Ergebnisse zu manipulieren. Dadurch wird die Zuverlässigkeit von KI-Systemen mit der Zeit beeinträchtigt.

Der Datensatz, mit dem ein KI-Modell lernt, eine Aufgabe auszuführen. Im Bereich Sicherheit wirkt sich die Qualität direkt auf die Erkennungsgenauigkeit aus.

Die Entwicklung und Bereitstellung ethischer, fairer, transparenter und sicherer KI-Systeme. In der Cybersicherheit tragen verantwortungsvolle KI-Praktiken dazu bei, Verzerrungen zu reduzieren, die Compliance sicherzustellen und das Risiko des Missbrauchs zu minimieren.

Das Vertrauen, das Stakeholder in die Zuverlässigkeit, Fairness und Sicherheit eines KI-Systems haben. Es entsteht durch Transparenz, Tests und verantwortungsvolle Nutzung.

In der KI bezeichnet Bias systematische Fehler, die zu unfairen Ergebnissen führen. Fairness bedeutet, diese Verzerrungen zu mindern, um eine gerechte und ethisch vertretbare KI-Leistung sicherzustellen.

Ein neuer Ansatz für die Softwareentwicklung, bei dem Entwickler über KI-gestützte Plattformen Code erstellen, indem sie die gewünschten Ergebnisse einfach in natürlicher Sprache beschreiben – ohne manuell programmieren oder bereits Programmierkenntnisse mitbringen zu müssen.

Das Prinzip, sicherzustellen, dass von Agenten generierte Ergebnisse während des agentischen Entwicklungsprozesses sicher sind. Dies wird durch integrierte Sicherheitsintelligenz und Leitplanken in Agenten-Workflows erreicht und verringert die Abhängigkeit von menschlichem Eingreifen bei der Validierung neu generierten Codes.

Integrierte KI-Architekturen, die mehrere Modelle oder Agenten kombinieren, um komplexe Aufgaben zu erfüllen. In der Cybersicherheit ermöglichen sie mehrschichtige Verteidigungsstrategien.