OWASP AI Exchange: ein praktischer „One-Stop“-Leitfaden zur Absicherung von KI (nicht nur GenAI)

Wenn Sie KI-Systeme absichern möchten und es leid sind, sich Empfehlungen aus Dutzenden PDFs, Blogbeiträgen und Whitepapers von Anbietern zusammenzusuchen, ist der OWASP AI Exchange genau dafür da.

Dabei handelt es sich um ein fortlaufend weiterentwickeltes Open-Source-Projekt, das von der Community gepflegt wird und KI-Sicherheit und Datenschutz an einem zentralen Ort zusammenführt. Wichtig ist: Es beschränkt sich nicht auf generative KI. Der Exchange behandelt analytische, diskriminative, generative und heuristische KI-Systeme – und sogar datenzentrierte Systeme ohne Modelle, etwa Data Warehouses, BI-Pipelines und Reporting-Stacks.

Der Exchange versteht sich als zentrale Anlaufstelle, denn er bietet nicht nur Lernmaterialien. Er ist auch aktiv auf internationale Standardisierungsbemühungen abgestimmt. Dazu gehören Beiträge zu Diskussionen über die EU-KI-Regulierung und zu ISO/IEC-Arbeitsgruppen. Das verleiht ihm mehr Gewicht als einem typischen Dokument mit Best Practices.

Was der Exchange konkret bietet

In der Praxis bietet der AI Exchange:

• Bedrohungsübersichten auf hoher Ebene, einschließlich einer matrixbasierten Navigation durch die KI-Bedrohungslandschaft.

• Kontrollen für Governance, Engineering und Laufzeit.

• Einen strukturierten Ansatz zur Risikobewertung, der Bedrohungsidentifizierung, Bewertung, Behandlung und laufende Überprüfung umfasst.

• Anleitungen zu Tests und Datenschutz, die berücksichtigen, dass KI-Risiken über klassische Sicherheitsvorfälle hinausgehen.

• Referenzen und Links zu verwandten OWASP-Initiativen und externen Standards.

Insgesamt soll der Exchange Teams als Arbeitsgrundlage dienen – und nicht nur einmal gelesen und dann beiseitegelegt werden.

Das Kernmodell: KI-Sicherheit = KI-spezifische Bedrohungen + Ihr bestehendes Sicherheitsprogramm

Einer der wichtigsten Gedanken im Exchange ist einfach: KI-Systeme sind weiterhin IT-Systeme.

Wenn KI ins Spiel kommt, ersetzen Sie nicht AppSec, Infrastruktur- oder Cloud-Sicherheit. Sie erweitern diese Programme um neue KI-spezifische Assets und Angriffsflächen.

Deshalb konzentriert sich der Exchange auf Bedrohungen für Assets wie:

• Trainingsdaten und Daten zur Augmentierung

• Modellparameter

• Prompts und andere Eingaben

• Ausgaben, einschließlich Fällen, in denen die Verarbeitung der Ausgaben nachgelagerte Risiken verursacht

Diese Sichtweise ist hilfreich, weil sie KI nicht als separaten, abstrakten Bereich behandelt. Stattdessen verankert sie KI-Sicherheit in etablierten Sicherheitsgrundlagen und macht zugleich deutlich, was anders ist.

So ordnet der Exchange KI-Bedrohungen:

1. Bedrohungen während der Entwicklung: Risiken, die bei der Datenerfassung, beim Modelltraining, bei der Integration oder Bereitstellung entstehen, etwa Datenvergiftung, Kompromittierung der Modell-Supply-Chain und Schwachstellen in der Umgebung.

2. Bedrohungen bei der Nutzung: Angriffe zur Inferenzzeit wie Prompt-Injection, Umgehung, Extraktion und der Missbrauch von Systemfunktionen.

3. Weitere Laufzeitbedrohungen: Risiken im Zusammenhang mit der Offenlegung von Eingaben, der Verarbeitung von Ausgaben und der Kompromittierung der umgebenden Infrastruktur.

Diese Struktur hilft Teams zu überlegen, wann Kontrollen greifen müssen – und nicht nur, was die Bedrohung ist.

Was an KI-Sicherheit tatsächlich „neu“ ist

Im Vergleich zur klassischen Anwendungssicherheit hebt der Exchange mehrere Risikokategorien hervor, die in KI-Systemen neu, verstärkt oder grundlegend anders sind:

• Prompt-Injection und indirekte Prompt-Injection, bei denen Modelle durch natürlichsprachliche Eingaben beeinflusst werden.

• Umgehungsangriffe und adversariale Beispiele, insbesondere bei Klassifizierungs- und Erkennungsaufgaben.

• Daten- und Modellvergiftung, einschließlich Supply-Chain-Risiken für Modelle oder Datensätze.

• Extraktionsrisiken, etwa das Durchsickern von Trainingsdaten, Membership Inference und die Replikation von Modellen durch Abfragen.

• Ausgabebezogene Risiken, bei denen Modellausgaben nachgelagerte Sicherheitsprobleme verursachen können, wenn sie nicht sicher verarbeitet werden.

• Risiken durch übermäßiges Vertrauen, wenn Menschen KI-Systemen zu sehr vertrauen, obwohl diese manipuliert werden oder falsche Ergebnisse liefern können.

Diese Risiken ersetzen herkömmliche Schwachstellen nicht, sondern verstärken sie.

Agentische KI: Warum die Risikokurve steiler wird

Der Exchange betrachtet agentische Systeme als KI-gestützte Softwaresysteme, erkennt aber an, dass zusätzliche Merkmale das Risiko erhöhen:

• Aktionen: Agents können Funktionen oder Workflows auslösen. Daher ist das Prinzip der geringsten Berechtigung entscheidend.

• Autonomie: Zustand und Speicher schaffen neue Angriffsflächen.

• Multi-System-Verhalten: Implizit implementierte Logik (zum Beispiel durch Prompts) kann anfällig und leicht manipulierbar sein.

• Emergentes Verhalten: Die zunehmende Komplexität führt zu weniger vorhersehbaren Interaktionen und Fehlerbildern.

Mit zunehmender Autonomie können kleine Schwächen im Design größere Auswirkungen haben.

Kontrollen: Defense-in-Depth und Begrenzung des Schadensradius

Statt eine einzelne Lösung vorzuschreiben, setzt der Exchange auf mehrschichtige Kontrollen und die Begrenzung möglicher Auswirkungen.

1. Governance-Kontrollen: KI-Sicherheit wird als organisatorische Fähigkeit verstanden, nicht als einmalige Tool-Entscheidung. Inventarisierung, Verantwortlichkeiten, Aufsicht, Richtlinien, Schulungen und die Abstimmung auf Compliance-Anforderungen sind grundlegend, um nicht verwaltete oder „Shadow“-KI zu verhindern.

2. Herkömmliche Sicherheitskontrollen sind weiterhin wichtig: Sichere Infrastruktur, Zugriffskontrolle, Monitoring, Rate-Limiting und SDLC-Kontrollen gelten für das gesamte KI-System, einschließlich KI-spezifischer Assets.

3. KI-Engineering-Kontrollen: Für die Bereiche, in denen sich KI unterscheidet, zeigt der Exchange Abwehrmaßnahmen im Daten- und Modell-Engineering gegen Vergiftung und Robustheitsprobleme auf. Hinzu kommen die Verarbeitung von Eingaben und Ausgaben zur Laufzeit, um verdächtiges oder unsicheres Verhalten zu erkennen.

4. Begrenzung der Auswirkungen und Annahmen geringer Vertrauenswürdigkeit: Der Exchange empfiehlt, die Offenlegung sensibler Daten zu minimieren, Berechtigungen einzuschränken, Schutzvorkehrungen einzubauen und davon auszugehen, dass sich KI-Komponenten unerwartet verhalten oder manipuliert werden können.

Der G.U.A.R.D.-Einstiegsplan

Um das Ganze konkret zu machen, schlägt der Exchange ein einfaches Organisationsmodell mit fünf Schritten vor:

• Govern: Weisen Sie Verantwortlichkeiten zu, legen Sie Richtlinien fest, schulen Sie Teams und stimmen Sie sich auf Compliance-Anforderungen ab.

• Understand: Schulen Sie Entwickler und Sicherheitsteams zu KI-spezifischen Bedrohungen und Kontrollen.

• Adapt: Aktualisieren Sie Threat Modeling, Tests, SDLC-Praktiken, Supply-Chain-Prüfungen und Asset-Inventare.

• Reduce: Minimieren Sie die Offenlegung sensibler Daten, schränken Sie das Modellverhalten ein und begrenzen Sie den Schadensradius.

• Demonstrate: Erstellen Sie Nachweise, Dokumentationen und Transparenz für Stakeholder und Aufsichtsbehörden.

Der Ansatz ist bewusst pragmatisch und soll Teams den Einstieg erleichtern, ohne gleich alles auf einmal angehen zu müssen.

So nutzen Sie den Exchange in einem konkreten Projekt

In der Praxis können Teams den Exchange folgendermaßen einsetzen:

1. Beginnen Sie mit dem Entscheidungsbaum zur Risikoanalyse, um festzustellen, welche Bedrohungskategorien zutreffen (zum Beispiel: GenAI oder Nicht-GenAI, RAG-Nutzung, gehostete oder selbstverwaltete Modelle, sensible Eingaben und Ausgaben, die Aktionen auslösen).

2. Ordnen Sie relevante Bedrohungen mithilfe der KI-Sicherheitsmatrix oder der Navigation im Periodensystem den Kontrollen zu.

3. Entscheiden Sie über die Risikobehandlung – mindern, übertragen, vermeiden oder akzeptieren – und dokumentieren Sie die Verantwortlichkeiten in einem Risikoregister.

4. Prüfen Sie die geteilte Verantwortung mit Anbietern (Modellanbieter, Hosting-Plattformen, Plugins und Tools).

5. Testen und überwachen Sie kontinuierlich und berücksichtigen Sie dabei, dass sich Modelle, Bedrohungen und Nutzungsmuster weiterentwickeln.

Agentic Security Engineering mit Snyk

KI-Sicherheit ersetzt Anwendungssicherheit nicht – sie baut darauf auf. Der OWASP AI Exchange bekräftigt, dass KI-Systeme weiterhin Softwaresysteme sind und wirksame KI-Sicherheit auf denselben Grundlagen beruht: Transparenz, Priorisierung, Prävention und Behebung, verankert im SDLC.

Die AI-Security-Plattform von Snyk basiert auf einer ausgereiften AppSec-Grundlage und vereint KI-gestützte Codeanalyse, kontextbezogene Behebung und eine branchenführende Schwachstellendatenbank. Diese Grundlage ermöglicht es Unternehmen, bestehende AppSec-Programme auf die KI-native Entwicklung auszuweiten, statt KI-Risiken als separates oder nachgelagertes Thema zu behandeln.

Grundlegende Aspekte des AI Security Engineering:

• Von definierten Risiken zu koordiniertem Handeln (Evo by Snyk): Mit zunehmender Agentik und Autonomie von KI-Systemen müssen sich auch Sicherheits-Workflows weiterentwickeln. Evo by Snyk bietet agentische Sicherheitsorchestrierung für KI-native Anwendungen. Dabei werden KI-Bedrohungsmodelle und übergeordnete Sicherheitsziele – etwa Erkennung, Tests, Durchsetzung von Richtlinien und Reaktion – in koordinierte Aktionen übersetzt, die tool-, pipeline- und umgebungsübergreifend ausgeführt werden. Dieser Ansatz entspricht unmittelbar dem Fokus des OWASP Exchange auf Defense-in-Depth, die Begrenzung des Schadensradius und kontinuierliches Monitoring in Systemen, in denen Kontrollen mit menschlicher Beteiligung nicht mehr skalieren.

• Prävention von Anfang an in der KI-gestützten Entwicklung (Snyk Studio): Viele KI-Risiken entstehen bereits bei der Entwicklung, wenn Entwickler KI-generierten Code übernehmen oder Agents in Workflows einbinden. Snyk Studio integriert Schutzvorkehrungen in Echtzeit direkt in die KI-gestützte Entwicklung und fängt unsichere Muster ab, bevor sie in die Codebasis gelangen. Das unterstützt das Kernprinzip des OWASP Exchange, dass KI-Sicherheit bestehende AppSec-Praktiken erweitert: Prävention wird weiter nach vorne verlagert, statt sich auf eine nachgelagerte Erkennung zu verlassen.

• Transparenz, Governance und Tests in der gesamten KI-Landschaft: Der Exchange betont, dass Teams nichts absichern können, was sie nicht sehen. Snyk erweitert die Asset-Erkennung und Governance auf den KI-Bereich und hilft Unternehmen, KI-Komponenten wie Modelle, Server und Integrationen als Teil ihres umfassenderen Softwareinventars zu identifizieren und nachzuverfolgen. Funktionen aus Snyk Labs, etwa AI-BOM und MCP-basiertes Scanning, unterstützen den Fokus des Exchange auf Supply-Chain-Risiken, geteilte Verantwortung und evidenzbasierte Governance. Diese Signale fließen in kontinuierliche Tests, Priorisierung und Richtliniendurchsetzung ein – anstatt nur einmalige Bewertungen zu ermöglichen.

Kurz gesagt: Der OWASP AI Exchange liefert die Landkarte, Snyk das Betriebssystem, mit dem Teams ihr kontinuierlich, im großen Maßstab und mit Maschinengeschwindigkeit folgen können.

Referenzen (Links und URLs)

• OWASP AI-Hauptwebsite

• Übersicht zur KI-Sicherheit

• OWASP-Leitfaden zu KI-Sicherheit und Datenschutz

• Startseite des OWASP-GenAI-Projekts

• OWASP Top 10 für LLM-Anwendungen

• OWASP-Projektseite (Top 10 für LLM-Apps)

• 10 Best Practices für die sichere Entwicklung mit KI

Möchten Sie KI-Sicherheitsempfehlungen in ein konkretes Risikomanagement umsetzen? Laden Sie Wenn KI aus dem Ruder läuft: Umgang mit nicht-deterministischen Risiken herunter und erfahren Sie, wie Sie Frameworks wie den OWASP AI Exchange in KI-Programmen in der Praxis einsetzen.