Grundlagen und Zertifikat für AI-Sicherheitsingenieur:innen

Entwickeln Sie ein praxisnahes Verständnis der wichtigsten Sicherheitsrisiken, die durch agentische KI-Anwendungen entstehen. Dieses Modul erläutert, wie sich Risiken verändern, wenn KI-Systeme schlussfolgern, planen, Tools verwenden, auf Speicher zugreifen, mit anderen Agenten interagieren und Aktionen über Geschäftsabläufe hinweg ausführen können.

Am Ende dieses Moduls können Sie:

• erklären, warum das OWASP Top 10 for Agentic Applications existiert und wie es sich vom OWASP Top 10 for Web Applications und dem OWASP Top 10 for LLM Applications unterscheidet.

• beschreiben, wie agentische KI das Sicherheitsmodell durch Ziele, Tools, Speicher, Identität, Berechtigungen, Orchestrierung und nachgelagerte Aktionen verändert.

• die zehn agentischen Risiken definieren: Agent Goal Hijacking, Tool Misuse, Identity and Privilege Abuse, Agentic Supply Chain Vulnerabilities, Unexpected Code Execution, Memory and Context Poisoning, Insecure Inter-Agent Communication, Cascading Failures, Human-Agent Trust Exploitation und Rogue Agents.

• zwischen Risiken auf Modell- und Anwendungsebene, Risiken der Tool-Schicht, Identitätsrisiken, Speicher- und Kontext-Risiken sowie Risiken in nachgelagerten Systemen unterscheiden.

• jedes Risiko praktischen Kontrollen zuordnen, etwa dem Prinzip der geringsten Berechtigungen, eingeschränkten Identitäten, der Zulassungsliste für Tools, Genehmigungsschranken, der Isolierung von Speicher, der Kontextvalidierung, der Überprüfung der Lieferkette, der Laufzeitüberwachung und der Audit-Protokollierung.

• erklären, wie sich eine einzelne Schwachstelle in einem agentischen System zu einer umfassenderen Angriffskette ausweiten kann, etwa wenn Goal Hijacking zu Tool Misuse, Missbrauch von Berechtigungen, Datenoffenlegung oder unsicherer Automatisierung führt.

• zwischen KI-Systemen, die lediglich Aktionen empfehlen, und agentischen Systemen, die Aktionen ausführen können, unterscheiden und erklären, warum die Ausführung die Governance und Verantwortlichkeit verändert.

• das OWASP Top 10 for Agentic Applications als gemeinsame Taxonomie für Threat Modeling, Red Teaming, Architekturprüfungen, sicheres Design, Kontrollzuordnung und die Planung der Reaktion auf Sicherheitsvorfälle verwenden.

• bewerten, ob ein Agent innerhalb sicherer Grenzen arbeitet: was er tun kann, wessen Autorität er nutzt, auf welche Daten er zugreifen kann, welche Tools er aufrufen kann und wie seine Aktionen protokolliert und genehmigt werden.

Schlüpfen Sie in die Rolle eines AI-Security-Engineers und navigieren Sie durch die „unerwarteten Dinge“, die auftauchen, wenn Sie die Hintergründe Ihrer AI-Sicherheitslage untersuchen.

• Verstehen Sie, wie ein AI-Security-Engineer startet und an der Schnittstelle von Plattformsicherheit, ML-Engineering und Threat Intelligence arbeitet.

• Lernen Sie die erforderlichen Tools kennen, um „Shadow AI“ aufzudecken, und erfahren Sie, wie sich Sicherheitsgespräche in Unternehmen jetzt verändern.

• Erfahren Sie, wie Sie Erkenntnisse und die Durchsetzung von Richtlinien für autonome KI bereitstellen, ohne Innovationen zu bremsen.

Am Ende dieses Moduls können Sie:

• Shadow AI definieren und die Merkmale erläutern, die sie von Shadow IT unterscheiden.

• Die zentralen Datenpunkte für 2025–2026 zur Verbreitung und zu den Kosten von Shadow AI nennen.

• Die vier Eigenschaften erkennen, die Shadow AI strukturell schwieriger zu verwalten machen als ihre Vorgänger.

• Die vier häufigsten Shadow-AI-Risikoszenarien in Unternehmensumgebungen identifizieren.

• Eine AIBOM definieren und die drei Funktionen beschreiben, die sie in einem AI-Governance-Programm erfüllt.

• AIBOM und SBOM hinsichtlich Umfang, Verhalten, Risikoklassen, Aktualisierungsrhythmus, Standards und Lieferkette vergleichen.

• Die vier Anti-Patterns identifizieren, die in Shadow-AI-Programmen am häufigsten beobachtet werden, und erklären, warum jedes davon scheitert.

• Mit der Snyk CLI eine AIBOM für ein Beispielprojekt generieren und das Ergebnis innerhalb der Evo-Plattform untersuchen.

Dieses Modul führt Sie in KI-Threat-Modeling ein: die strukturierte Praxis, Bedrohungen zu identifizieren, zu analysieren, zu priorisieren und zu entschärfen, die spezifisch für KI-gestützte Systeme sind. Aufbauend auf den Grundlagen des traditionellen Threat-Modelings (STRIDE, DREAD, Angriffsbäume) untersucht das Modul, warum herkömmliche Ansätze bei der Anwendung auf probabilistische, nichtdeterministische KI-Systeme an ihre Grenzen stoßen, und führt durch einen praxisorientierten Workflow zur Modellierung von Bedrohungen entlang des gesamten KI/ML-Lebenszyklus – von der Datenaufnahme über die Inferenz bis zum Aufruf agentischer Tools.

Am Ende dieses Moduls können Sie:

• Threat-Modeling definieren und seine Rolle in einer modernen DevSecOps-Pipeline erläutern.

• Traditionelle Threat-Modeling-Frameworks (STRIDE, DREAD, Angriffsbäume) auf die Systemarchitektur anwenden.

• Die einzigartige Angriffsfläche von KI/ML-Systemen einschließlich agentischer KI identifizieren.

• Neue, für KI-Systeme spezifische Asset-Klassen und Vertrauensgrenzen erkennen.

• Einen praxisorientierten KI-Threat-Modeling-Workflow durchführen, der Discovery, Enumeration, Priorisierung und Risikominderung abdeckt.

• KI-Threat-Modeling in eine kontinuierliche, adaptive DevSecOps-Pipeline integrieren.

Wie SKILL.md Malware eingeführt hat

Im ersten Teil dieser Session tauchen wir in die „ToxicSkills“-Forschung ein und analysieren die ersten großen Supply-Chain-Bedrohungen, die auf Ökosysteme von KI-Agenten abzielen.

Im zweiten Teil dieser Session demonstrieren wir aktive Ausnutzungstechniken gegen MCP-Deployments: wie eine einzige bösartige Tool-Beschreibung Zugangsdaten exfiltrieren kann und wie Angreifer unsichere MCP-Server ausnutzen, um beliebigen Code auszuführen.

Am Ende dieses Moduls werden Sie in der Lage sein:

• zu erklären, was das Model Context Protocol ist, warum es notwendig wurde und was ein MCP-Server aus sicherheitstechnischer Sicht grundsätzlich ist.

• die drei strukturellen Gründe zu erläutern, aus denen MCP-Sicherheit im Jahr 2026 dringend erforderlich ist: die Downloadzahlen der SDKs, die Verbreitung agentischer IDEs und die Position von MCP im privilegiertesten Kontext des Entwicklers.

• zu definieren, was Tool Poisoning ist, und zu erkennen, wie versteckte Anweisungen in Tool-Beschreibungen einen Agenten zu unsicheren Aktionen bewegen können.

• zwischen zwei kategorial unterschiedlichen MCP-Fehlermodi zu unterscheiden: bösartigen MCP-Servern (der Protokollebene) und vulnerable MCP-Server-Code (der Implementierungsebene), und zu erkennen, welche defensive Kontrolle jeweils greift.

• die kanonischen MCP-Angriffsmuster – Tool Poisoning, Command Injection und Path Traversal – anhand ihrer Code-Struktur zu erkennen und die Standardmaßnahmen zur Behebung auf jedes davon anzuwenden.

• MCP-Scan gegen eine lokale MCP-Konfiguration auszuführen und die Ergebnisse zu interpretieren, einschließlich Warnungen zu Tool-Beschreibungen (W001/E001) und Toxic-Flow-Warnungen (TF001/TF002).

• Snyk Code gegen den Quellcode eines MCP-Servers auszuführen und die Ergebnisse zu interpretieren, einschließlich CWEs für Command Injection und Path Traversal mit KI-generierten Fixes.

• die Defense-in-Depth-Begründung dafür zu erläutern, sowohl MCP-Scan als auch Snyk Code in einem ausgereiften MCP-Sicherheitsprogramm einzusetzen.

In dieser Session erläutern wir die Sicherheitsimplikationen von Vibe Coding und teilen umsetzbare Strategien, um KI-generierten Code in großem Maßstab abzusichern.

• Erfahren Sie, wie Vibe Coding die Entwicklung verändert und welche Risiken damit einhergehen.

• Erhalten Sie praxisnahe Strategien, um KI-generierten Code in großem Maßstab abzusichern.

• Sehen Sie, wie Snyk Ihren KI-gestützten SDLC vom Code bis zur Bereitstellung mit Snyk Studio absichert.

Am Ende dieses Moduls können Sie:

• Vibe Coding definieren und seine Ursprünge erklären

• Das „Lobster-Ökosystem“ beschreiben – die Konstellation aus agentischen KI-Tools, Registern für Agentenfähigkeiten und Open-Source-Automatisierungs-Frameworks – und die dadurch entstehende Angriffsfläche der Lieferkette erklären, mit Bezug auf die Vergiftung von Agentenfähigkeiten und Slopsquatting.

• Das Secure-by-Design-Playbook mit fünf Ebenen auf ein Vibe-Coding-Projekt anwenden

• Die häufigsten Schwachstellenmuster in KI-generiertem Code identifizieren – deaktivierte Sicherheit auf Zeilenebene, fest codierte Secrets, fehlende Authentifizierung, clientseitige Sicherheitslogik, Slopsquatting und die Vergiftung von Regeldateien – und jedes davon den OWASP Top 10 für LLM-Anwendungen zuordnen

• Vibe Coding von Vibe Hacking unterscheiden

Entwickeln Sie ein praxisnahes Verständnis dafür, wie KI-gestützte und agentenbasierte Anwendungen auf Sicherheitslücken getestet werden. Dieses Modul erläutert, wie Penetrationstests für KI über herkömmliche Web- und API-Tests hinausgehen, indem Prompts, das Modellverhalten, der Umgang mit Kontext, der Toolzugriff, der Speicher, Berechtigungen und nachgelagerte Aktionen untersucht werden.

Am Ende dieses Moduls können die Lernenden:

• Erklären, wie sich Penetrationstests für KI von herkömmlichen Tests von Anwendungen, APIs und Infrastruktur unterscheiden.

• KI-spezifische Angriffsflächen wie Prompts, Systemanweisungen, RAG-Pipelines, Embeddings, Tools, Agenten, Speicher, Plugins und MCP-verbundene Dienste identifizieren.

• Auf häufige KI-Schwachstellen testen, darunter Prompt-Injection, Offenlegung vertraulicher Informationen, das Durchsickern von System-Prompts, übermäßige Eigenständigkeit, unsichere Verarbeitung von Ausgaben, Kontextvergiftung und der Missbrauch von Tools.

• Sichere und reproduzierbare Testfälle für KI-Anwendungen erstellen, ohne auf schädliche, unkontrollierte oder produktionsbeeinträchtigende Techniken zurückzugreifen.

• Bewerten, ob ein KI-System vertrauenswürdige Anweisungen ordnungsgemäß von nicht vertrauenswürdigen Benutzereingaben, abgerufenen Inhalten, Dokumenten, Tickets, Protokollen oder Webseiten trennt.

• Bewerten, wie ein KI-Agent Tools auswählt, Argumente übergibt, Berechtigungen handhabt und unsichere oder unbefugte Aktionen verhindert.

• Testen, ob vertrauliche Daten durch Modellantworten, Protokolle, Traces, Speicher, Vektorsuche, Toolausgaben oder verkettete Agenten-Workflows nach außen gelangen können.

• Ergebnisse von Penetrationstests für KI auf praxisnahe Maßnahmen zur Behebung abbilden, etwa Eingabe-/Ausgabevalidierung, Allowlisting von Tools, Berechtigungen mit begrenztem Geltungsbereich, Genehmigungsschritte durch Menschen, Speicherisolierung, Kontextfilterung und Audit-Protokollierung.

• KI-spezifische Tests mit standardmäßigen Sicherheitstests für APIs, Authentifizierung, Autorisierung, SSRF, Injection, Zugriffskontrolle, Abhängigkeitsrisiken und unsichere Konfiguration kombinieren.

• Besseres Verständnis von Evo COS (Continuous Offensive Security)