Die neue Bedrohungslandschaft: KI-native Apps und agentische Workflows

Unternehmen gehen über KI-Experimente und Machbarkeitsnachweise hinaus. Mit Blick auf die „KI-Wendepunktjahre“ 2025 und 2026, die IDC prognostiziert, setzen Organisationen Prioritäten, planen und schaffen die Voraussetzungen für eine skalierte Nutzung. Dazu gehören auch KI-Agenten – eigenständig agierende Tools zur Automatisierung von Aufgaben –, während Technologieanbieter Entwicklungs-Workflows vereinfachen möchten.

Unter der Oberfläche erweitern KI-Systeme die Bedrohungslandschaft über den gesamten Softwareentwicklungslebenszyklus (SDLC) hinweg. Die Entwicklung hin zu mehr Agenten ist spannend. Doch mangelnde Transparenz und automatisierte Workflows, einschließlich der Interaktion mit anderen Agenten, erhöhen das Risiko von Sicherheitslücken, wenn klare Einblicke und die Durchsetzung von Richtlinien fehlen.

Neue Bedrohungen nutzen einzigartige Verhaltensweisen von KI aus:

• Data-Poisoning – Eine Form von Cyberangriff, bei der die Trainingsdaten manipuliert werden, die zum Entwickeln von KI-Modellen dienen. Die Folgen reichen von Verzerrungen und Halluzinationen bis hin zu Hintertüren und kompromittierten Modellen.

• Prompt-Injection – Eine gefährliche Taktik, die das Modell dazu verleitet, Schutzmechanismen zu ignorieren oder Anweisungen falsch zu interpretieren. Häufig werden dadurch sensible Daten offengelegt. Open-Source-Schwachstellen, die wir bereits in einem früheren Beitrag behandelt haben, bleiben ein großes Risiko. LLMs und zugehörige Komponenten kommen beinahe täglich neu hinzu und bringen jeweils potenzielle Risiken mit sich. Wie bei herkömmlichen Open-Source-Komponenten ist es entscheidend, sie vor der Verwendung in Ihrem Build zu scannen und zu validieren, um die Angriffsfläche für mögliche Schwachstellen zu verkleinern.

• Lücken bei föderierten Identitäten – KI-Systeme haben häufig Schwierigkeiten, Authentifizierung, Autorisierung und Benutzeridentifizierung konsistent umzusetzen. Dadurch können versehentlich sensible Daten offengelegt oder unbefugte Zugriffe ermöglicht werden. Anthropic’s Model Context Protocol (MCP) wurde zwar nicht als Lösung für föderierte Identitäten entwickelt, trägt aber dazu bei, die Kommunikation zwischen KI-Agenten und Unternehmenssystemen zu standardisieren. Obwohl es noch neu ist, entwickelt es sich rasch zum Branchenstandard.

Auch Unternehmen ohne selbst trainierte Modelle setzen wahrscheinlich bereits KI in Produktionsumgebungen ein – oder werden dies bald tun. Laut Gartner werden bis 2026 mehr als 80 % der unabhängigen Softwareanbieter generative KI-Funktionen in ihre Unternehmensanwendungen integrieren. KI-Agenten folgen rasch und bringen zusätzliche Komplexität und Risiken mit sich. Bis 2028 werden laut Gartner 33 % der Unternehmenssoftware-Anwendungen agentische KI enthalten. Dieser von Anbietern getriebene Wettlauf um KI-Funktionen führt oft zu übereilten Releases mit unausgereiften Sicherheitskontrollen.

Die Einführung mit dem Ziel einer skalierten Nutzung sowie die Integration agentischer KI erfordern einen neuen Ansatz für das Risikomanagement und die Governance von KI-Anwendungen. Laut Gartner haben die meisten Unternehmen bislang noch keine technischen Kontrollen oder Richtlinien für AI TRiSM (Trust, Risk and Security Management) eingeführt.

Diese Verzögerung liegt in der Unberechenbarkeit von KI-Systemen begründet. Ihr Verhalten ändert sich je nach Eingabe, da Daten und Prompts das Verhalten und die Ergebnisse stark beeinflussen. Daher gibt es keine einheitliche Baseline, anhand derer sich Systeme überwachen lassen. KI-Systeme können Probleme zwar flexibler lösen, doch abnormales Verhalten, das auf eine Schwachstelle, eine Bedrohung oder einen Verstoß gegen Datenschutzbestimmungen hindeuten könnte, lässt sich dadurch schwerer erkennen. Die meisten Tools für Anwendungssicherheit und Governance reichen für bestehende Umgebungen möglicherweise aus, doch die Intransparenz von KI-Umgebungen kann ihre Wirksamkeit einschränken.

Unverändert wichtig ist es, Sicherheit nach links zu verlagern und frühzeitig in KI-Workflows zu integrieren. Snyks AI Trust Platform stärkt die entwicklerorientierte Sicherheit: Sie reduziert Risiken durch KI-Coding-Tools und ermöglicht sichere, skalierbare KI-native Anwendungen. Dazu gehören umfassende Einblicke in KI-Komponenten, einschließlich Ihrer AI-BOM und kritischer Abhängigkeiten, sowie sichere Integrations-Workflows über den Snyk MCP Server.

Möchten Sie tiefer in den Schutz KI-nativer Anwendungen einsteigen? Laden Sie das Whitepaper Building AI Trust: Securing Code in the Age of Autonomous Development herunter und erfahren Sie, wie Snyk Unternehmen dabei unterstützt, in einer KI-gestützten Welt schnell zu entwickeln und sicher zu bleiben.