Der neue Sicherheitskontrollpunkt: KI-Agenten innerhalb der Ausführungsschleife steuern

Wenn Unternehmen KI-Agenten für die Softwareentwicklung einsetzen, stehen Sicherheitsteams vor einer neuen Herausforderung: Risiken entstehen nicht mehr nur durch den produzierten Code. Sie ergeben sich fortlaufend aus den Tools, die Agenten verwenden, den Aktionen, die sie ausführen, und dem Code, den sie generieren. Genau dieses Problem soll Evo Agentic Development Security (ADS) lösen.

ADS sichert alle drei Ebenen des agentischen Entwicklungssystems ab: die Tools, die Agenten verwenden, ihre Handlungen und die Ergebnisse, die sie erzeugen. Dieser Beitrag konzentriert sich auf die zweite Ebene: die Steuerung des Agentenverhaltens innerhalb der Ausführungsschleife, in der Agenten Entscheidungen treffen, Tools aufrufen, auf Systeme zugreifen und im Auftrag von Nutzern handeln.

Die Steuerung des Agentenverhaltens ist ab sofort als Open Preview verfügbar und Teil von Evo Agentic Development Security (ADS). Unternehmen, die diese Funktion evaluieren möchten, können eine Demo vereinbaren und sich mit dem Team austauschen.

Warum KI-Agenten einen neuen Sicherheitskontrollpunkt benötigen

Jahrelang konzentrierte sich die Anwendungssicherheit auf die Ergebnisse der Softwareentwicklung: den geschriebenen Code, die hinzugefügten Abhängigkeiten und die Infrastruktur, auf der die Software letztendlich in der Produktionsumgebung ausgeführt wird.

KI-Agenten bringen eine neue Herausforderung mit sich: Sie generieren nicht nur Artefakte, sondern treffen auch Entscheidungen. Jedes Mal, wenn ein Agent ein Tool auswählt, auf ein System zugreift, eine API aufruft, einen Befehl ausführt oder Daten abruft, trifft er eine Entscheidung im Auftrag eines Nutzers. Mit zunehmender Autonomie der Agenten übersteigen Umfang und Geschwindigkeit ihrer Entscheidungen schnell die Möglichkeiten herkömmlicher Aufsicht.

Dadurch verändert sich die Art des Sicherheitsproblems: Risiken entstehen nicht mehr nur durch die Artefakte, die Software hervorbringt. Sie entstehen auch durch die Aktionen, die Agenten während der Softwareentwicklung ausführen. Die Frage lautet nicht mehr nur, ob der resultierende Code sicher ist, sondern auch, ob die Entscheidungen auf dem Weg dorthin angemessen, autorisiert und mit den Unternehmensrichtlinien vereinbar waren. Wenn die folgenreichsten Sicherheitsentscheidungen nun vor der Ausführung einer Aktion getroffen werden, muss Sicherheit näher an den Ort rücken, an dem diese Entscheidungen fallen.

Innerhalb der Agenten-Ausführungsschleife

Um zu verstehen, wie sich das Verhalten von Agenten steuern lässt, muss man zunächst wissen, wie Agenten arbeiten. Trotz der ausgefeilten Funktionen moderner KI-Agenten folgen die meisten einem ähnlichen Muster: Sie erhalten ein Ziel, planen dessen Umsetzung, wählen die benötigten Tools aus, führen Aktionen aus, bewerten die Ergebnisse und wiederholen den Vorgang, bis das Ziel erreicht ist.

Was für Nutzer wie eine einzelne Aufgabe aussieht – „Untersuche dieses Problem“, „Behebe diese Sicherheitslücke“ oder „Stelle diese Anwendung bereit“ – besteht oft aus Dutzenden oder sogar Hunderten einzelner Entscheidungen und Aktionen, die im Hintergrund ablaufen.

Ein Agent kann beschließen, ein Repository abzufragen, eine Konfigurationsdatei zu prüfen, ein externes Tool aufzurufen, einen Befehl auszuführen, Daten über eine API abzurufen oder eine Ressource zu ändern. Jede Aktion liefert neue Informationen, die die nächste Entscheidung des Agenten beeinflussen. Diesen fortlaufenden Prozess aus Schlussfolgerungen, Tool-Auswahl, Aktionsausführung und Rückmeldung bezeichnen wir als Agenten-Ausführungsschleife.

Wichtig ist: Genau hier entsteht Autonomie.

In der Ausführungsschleife setzen Agenten Absichten in Handlungen um: Sie entscheiden, auf welche Ressourcen sie zugreifen, welchen Tools sie vertrauen, welche Befehle sie ausführen und welche Informationen sie weitergeben. Jede relevante Aktion eines Agenten durchläuft diesen Prozess.

Damit unterscheidet sich die Ausführungsschleife grundlegend von herkömmlichen Sicherheitskontrollpunkten. Traditionell konzentrierte sich Sicherheit auf Eingaben, die in ein System gelangen, oder auf Artefakte, die es verlassen. Die Ausführungsschleife eröffnet eine neue Möglichkeit: Verhalten zu verstehen und zu bewerten, während Entscheidungen getroffen werden. Statt nach Abschluss einer Aktion zu fragen: „Was ist passiert?“, können Unternehmen nun andere Fragen stellen:

• Was versucht der Agent zu erreichen?

• Welche Aktion wird er als Nächstes ausführen?

• Welche Systeme, Tools oder Daten sind beteiligt?

• Entspricht das den Unternehmensrichtlinien?

• Sollte die Aktion erlaubt, geändert oder ganz verhindert werden?

Diese Fragen rücken die Sicherheit näher an die Entscheidung selbst. Genau deshalb ist die Ausführungsschleife ein so wichtiger Sicherheitskontrollpunkt im Zeitalter der KI-Agenten.

So steuert Evo ADS das Verhalten von Agenten

Die Herausforderung zu verstehen, ist nur der erste Schritt. Unternehmen brauchen außerdem eine praktische Möglichkeit, das Verhalten von Agenten während der Ausführung zu beobachten, zu bewerten und zu steuern. Darauf beruht die neue Funktion zur Steuerung des Agentenverhaltens in Evo ADS, die ab sofort als Open Preview verfügbar ist.

Das Verhalten von Agenten beobachten

Auf den ersten Blick scheint die Steuerung des Agentenverhaltens einfach: Eine Aktion beobachten, mit einer Richtlinie vergleichen und entscheiden, ob sie zulässig ist. In der Praxis ist es jedoch wesentlich komplexer, denn Agenten führen keine isolierten Aktionen aus. Sie arbeiten mit Aktionsfolgen, bei denen jede Aktion auf der vorherigen aufbaut. Um dieser Herausforderung zu begegnen, arbeitet ADS direkt innerhalb der Agenten-Ausführungsschleife.

Durch die Integration in Agentenlaufzeitumgebungen über die APIs PreToolUse und PostToolUse kann ADS Aktionen vor und nach ihrer Ausführung beobachten und so Einblick in die Entscheidungen von Agenten während der Aufgabenausführung geben. Diese Transparenz erstreckt sich auf zahlreiche Aktivitäten von Agenten, darunter Shell-Befehle ausführen, Dateien lesen und schreiben, Netzwerkanfragen stellen, MCP-Tools aufrufen und mit externen APIs interagieren.

Noch wichtiger ist, dass ADS den Sitzungsverlauf berücksichtigt. Statt einzelne Aktionen isoliert zu bewerten, beobachtet ADS das Verhalten während des gesamten Workflows. Die Lösung erfasst die ursprüngliche Anfrage des Nutzers, das Ziel des Agenten, die Abfolge der ausgeführten Aktionen und den Kontext jeder Entscheidung.

Stellen Sie sich einen Agenten vor, der ein Anwendungsproblem behebt. Bevor er Korrekturmaßnahmen ergreift, kann er den Quellcode untersuchen, Cloud-Ressourcen abfragen, auf Konfigurationsdateien zugreifen und Betriebsdaten sammeln. Zusammengenommen vermitteln diese Aktionen ein deutlich umfassenderes Bild davon, was der Agent erreichen möchte.

Dieser Unterschied ist entscheidend, denn viele Risiken entstehen nicht durch eine einzelne Aktion, sondern durch eine Abfolge von Aktionen. So können das Lesen einer vertraulichen Datei oder eine Netzwerkanfrage jeweils legitim sein. Treten beide Aktionen jedoch im selben Workflow auf, können sie auf den Versuch hindeuten, vertrauliche Informationen offenzulegen.

Wirksame Steuerung erfordert deshalb mehr als die Überwachung von Aktivitäten. Sie setzt Kontext und ein umfassenderes Verständnis der Absichten des Agenten voraus. Um beurteilen zu können, ob eine Aktion angemessen ist, benötigen Unternehmen Einblick in:

• die ursprüngliche Anfrage des Nutzers

• das erklärte Ziel des Agenten

• zuvor während der Sitzung ausgeführte Aktionen

• die verwendeten Tools und Ressourcen

• die Endpunkte, auf die der Agent zugreift

• die Befehle, die der Agent ausführt

• die abgerufenen oder übertragenen Daten

• die Abfolge der Entscheidungen, die zur aktuellen Aktion geführt haben

Es geht nicht nur darum zu wissen, was ein Agent tut, sondern auch darum, warum er es tut. Nur mit diesem Maß an Transparenz können Unternehmen über die Verhaltensüberwachung hinausgehen und das Verhalten tatsächlich sinnvoll steuern.

Riskantes Verhalten erkennen

Wer das Verhalten von Agenten innerhalb der Ausführungsschleife beobachtet, kann Risiken erkennen, die herkömmliche Sicherheitskontrollen häufig übersehen. Mit der Funktion zur Steuerung des Agentenverhaltens können Unternehmen Agentenaktivitäten während der Ausführung fortlaufend auf eine wachsende Zahl von Verhaltensrisiken überwachen.

Anders als herkömmliche Anwendungssicherheitsbefunde sind viele dieser Risiken nicht an eine bestimmte Sicherheitslücke oder ein Softwareartefakt gebunden. Sie entstehen vielmehr durch das Zusammenspiel von Agenten, Tools, Systemen und Daten. Diese Erkennungen laufen kontinuierlich innerhalb der Ausführungsschleife und ermöglichen es Unternehmen, Risiken im Verlauf von Agenten-Workflows zu identifizieren, statt erst nach der Erstellung von Artefakten.

Steuerung in Echtzeit anwenden

Mit der Funktion zur Steuerung des Agentenverhaltens können Unternehmen je nach Art des Befunds, Risikostufe und Unternehmensrichtlinien unterschiedliche Maßnahmen ergreifen.

Da Evo ADS direkt innerhalb der Agenten-Ausführungsschleife arbeitet, lassen sich Steuerungsentscheidungen vor der Ausführung von Aktionen umsetzen, statt erst danach. ADS verlässt sich nicht auf Protokolle, Warnmeldungen oder Netzwerkdatenverkehr, um das Verhalten nachträglich zu rekonstruieren. Stattdessen bewertet ADS geplante Aktionen im Kontext des gesamten Workflows. So können Unternehmen das Agentenverhalten direkt am Entscheidungspunkt steuern.

Um sich mit den Scannern vertraut zu machen, können Befunde protokolliert werden. So erhalten Sie Einblick in das Verhalten von Agenten, ohne Workflows zu unterbrechen. Dies ist auch eine gute Möglichkeit, Aktivitäten von Agenten mit geringem Risiko im Blick zu behalten. Verstößt ein Agent gegen Unternehmensrichtlinien oder stellt er ein inakzeptables Risiko dar, lässt sich seine Aktion zuverlässig blockieren.

ADS prüft aktiv alternative Steuerungsmechanismen, mit denen sich Agenten absichern lassen, ohne die Produktivität von Entwicklern zu beeinträchtigen. Unternehmen können das Verhalten lenken, indem sie Sicherheitshinweise direkt im Workflow bereitstellen. Statt den Agenten zu unterbrechen, erhält dieser beim nächsten Austausch zwischen der Funktion zur Steuerung des Agentenverhaltens und dem Harness eine Anweisung, die ihn zu sichereren Entscheidungen anregen und zugleich die Produktivität erhalten soll.

Bei Aktionen, die zusätzliche Aufsicht erfordern, können Agenten angewiesen werden, vor der Fortsetzung ausdrücklich die Zustimmung eines Nutzers einzuholen. So entsteht ein menschlicher Kontrollpunkt für Vorgänge, die sensibel, ungewöhnlich oder besonders folgenreich sein können.

Die passende Reaktion hängt von der Risikotoleranz des Unternehmens, den beteiligten Systemen und der Art der Aufgabe ab. Entscheidend ist, dass Unternehmen nicht mehr auf die binäre Wahl zwischen uneingeschränkter Autonomie und restriktiven Kontrollen beschränkt sind. Stattdessen können sie die Steuerung jeweils an die Situation anpassen und Agenten zügig arbeiten lassen, während diese innerhalb vertrauenswürdiger Grenzen bleiben. So entsteht ein praxisnäheres Modell für die Einführung von KI: Die Sicherheit passt sich dem Workflow an, anstatt den Workflow zu zwingen, sich der Sicherheit anzupassen.

Das gesamte System absichern, mit dem Software entsteht

Mit der zunehmenden Einführung von KI in Unternehmen wird eines immer deutlicher: Menschliche Überprüfungen lassen sich nicht im gleichen Maß wie Agentenaktivitäten skalieren. Die Herausforderung besteht nicht darin, ob Agenten autonom sein sollten. Entscheidend ist, wie sich ihr sicherer Betrieb in großem Maßstab gewährleisten lässt.

Die Steuerung des Agentenverhaltens adressiert einen wichtigen Teil dieser Herausforderung, indem sie Sicherheit direkt in die Agenten-Ausführungsschleife integriert. So erhalten Unternehmen Transparenz und Kontrolle dort, wo Agenten Entscheidungen treffen. Doch das Verhalten von Agenten ist nur ein Teil des umfassenderen Sicherheitsmodells. Unternehmen müssen auch die Tools verstehen, auf die sich Agenten stützen, und sicherstellen, dass dem generierten Code von Anfang an vertraut werden kann.

Deshalb sichert Evo ADS alle drei Bereiche ab, in denen bei der agentischen Entwicklung Risiken entstehen: die Tools, die Agenten verwenden, ihre Handlungen und die Ergebnisse, die sie erzeugen. Zusammengenommen helfen diese Funktionen Unternehmen dabei, KI-gestützte Entwicklung mit der nötigen Transparenz, Steuerung und Vertrauenswürdigkeit einzuführen – und schneller voranzukommen, ohne die Kontrolle zu verlieren.

Die Steuerung des Agentenverhaltens ist ab sofort als Open Preview verfügbar und Teil von Evo Agentic Development Security (ADS). Erfahren Sie mehr und melden Sie sich für unser bevorstehendes Webinar an zu Agentic Development Security oder vereinbaren Sie eine Demo mit dem Snyk-Team.