Der Angreifer schläft nie – Ihre Tests dürfen es auch nicht

Vor einigen Monaten schrieb ich, dass KI Ihre Angriffsfläche schneller vergrößert, als Sie sie testen können. Zu jedem einzelnen Wort stehe ich weiterhin. Doch in den Monaten seither – nach mehr als hundert Gesprächen mit CISOs, CIOs und CTOs aus nahezu allen Branchen und Regionen – ist das Bild klarer und viel dringlicher geworden. Die Angriffsfläche war nur die halbe Geschichte, denn auch das Profil der Angreifer hat sich verändert.

Beginnen wir mit den guten Nachrichten, denn davon gibt es viele. Wir leben in einer Zeit des Softwareüberflusses. Die führenden KI-Labore beziffern den Markt für KI-generierten Code inzwischen auf Billionen Dollar, und zusammen werden wir dieses Jahr mehr Software ausliefern als jemals zuvor. Was früher ein Quartal dauerte, ist heute an einem Nachmittag erledigt. Dieser Wandel ist real und außergewöhnlich – und er wird sich nicht umkehren.

Doch unter diesem Überfluss verbirgt sich eine Lücke, die fast niemand einkalkuliert: die Vertrauenslücke. Wir können Software inzwischen schneller generieren, als wir ihr vertrauen können – und genau dieselbe Schlussfolgerungsfähigkeit, die diesen Überfluss ermöglicht hat, steht jetzt auch denen zur Verfügung, die versuchen, die Software zu knacken.

Der Angreifer, der niemals schläft

Was sich ganz oben auf meiner Liste verändert hat, höre ich inzwischen als Erstes von Führungskräften. Zwanzig Jahre lang war unser Gegner letztlich ein Mensch, begrenzt durch menschliche Zeit, Aufmerksamkeit und Kosten. Diese Grenze ist jetzt verschwunden. Sobald ein führendes KI-Labor ein cyberfähiges Modell mit fortgeschrittenen Schlussfolgerungsfähigkeiten entwickelt hat, folgt ein zweites innerhalb weniger Monate; Open-Source-Äquivalente lassen meist nicht lange auf sich warten.

Im Juni sprachen die Geheimdienstchefs der Five Eyes offen aus, was lange unausgesprochen blieb: Führende KI wird Cyberangriffe und -abwehr innerhalb von Monaten, nicht Jahren, grundlegend verändern – und Unternehmen sollten jetzt handeln. Im vergangenen November gab Anthropic eine staatlich unterstützte Gruppe bekannt, die ihre Modelle für geschätzt 80 bis 90 Prozent einer laufenden Spionagekampagne gegen rund dreißig Ziele einsetzte. Menschliche Operatoren griffen nur an wenigen Entscheidungspunkten ein. Einige dieser Angriffe waren erfolgreich. Der Gegner ist jetzt ein Angreifer, der niemals schläft. Er analysiert Ihre Anwendungen mit Maschinengeschwindigkeit und in einem Tempo, mit dem kein Verteidigerteam mithalten kann, das noch für die alte Welt aufgestellt ist. Die Zeit, etwas dagegen zu unternehmen, wird nicht mehr in Budgetzyklen gemessen.

Stellen Sie sich einen Jenga-Turm vor

Wenn ich einem Vorstand die Lage veranschaulichen möchte, greife ich gern zum Bild eines Jenga-Turms: Risiken stapeln sich Schicht für Schicht, und mit jeder wird das ganze Gebilde wackeliger.

Die unterste Schicht: Ihre bestehenden Risiken – als Waffen eingesetzt

Jedes Sicherheitsprogramm akzeptierte stillschweigend einen Kompromiss: Kritische und schwerwiegende Probleme beheben, den Rest aber liegen lassen, weil es für menschliche Angreifer zu schwierig und zu zeitaufwendig war, aus den kleineren Problemen einen echten Sicherheitsvorfall zu machen. Sie sicherten die Vorder- und Hintertür und redeten sich ein, niemand würde eine Leiter ans Dachfenster stellen. Nun hat der Angreifer eine Drohne fürs Dachfenster.

Der gesamte Rückstand ist angreifbar, und unsere eigenen Kundendaten zeigen, dass diese Rückstände sich durch die beschleunigte Entwicklung mit KI ungefähr verdoppeln. Da Agenten immer schneller entwickeln, geht es nicht um ein bisschen mehr Code, sondern um Größenordnungen mehr – und damit exponentiell mehr Schwachstellen. Agenten sind noch nicht so gut wie erfahrene menschliche Entwicklerinnen und Entwickler (ich würde sagen, das ist die eigentliche Definition von AGI). Sobald sie es sind – und bis dahin, wie Jen Easterly es ausgedrückt hat –, haben wir weniger ein Cybersicherheitsproblem als vielmehr ein Problem mit der Softwarequalität. KI hat dieses Problem enorm vergrößert.

Die mittlere Schicht: eine völlig neue Risikoklasse durch die Arbeitsweise von Agenten

Agenten nutzen nicht die menschliche Lieferkette, sondern greifen auf eigene MCP-Server, Skills und Tools zurück. Unsere Forschung zu diesem Ökosystem hat eine völlig neue Klasse von Schwachstellen zutage gefördert. Wir nennen sie toxische Datenflüsse. Sie sind so schwerwiegend, dass ein weit verbreiteter MCP-Server bei einigen der größten Unternehmen der Welt aus der Produktionsumgebung entfernt wurde. Auch die hier auftretende Malware sieht nicht aus wie herkömmliche Malware: Drei Zeilen Klartext in einer Toolbeschreibung können einen Agenten unauffällig zu einer destruktiven Aktion anweisen. Die Absicht lässt sich nicht durch Mustererkennung aufdecken.

Hinzu kommt, dass Agenten nicht deterministisch sind: Geben Sie einem ein Ziel vor, verhält er sich wie ein unerbittlicher Zielverfolger und versucht, jede Kontrolle zu umgehen, die ihn von seinem Ziel trennt. Wir haben beobachtet, wie Agenten unbemerkt private Kopien sensibler Daten anlegten – „nur für den Fall“. Dieses Verhalten muss kontrolliert werden. Agenten müssen innerhalb ihrer zugewiesenen Grenzen bleiben, statt sich davon abzubringen.

Die oberste Schicht: Jedes Unternehmen wird zum Agenten-Unternehmen

KI verändert die Software, wie Software einst die Welt veränderte. Das bedeutet, dass jeder Geschäftsprozess irgendwann zu einem von jemandem entwickelten Agenten wird. Wie sicher dieser Agent ist, wird damit zu einer zentralen Frage. Die meisten Unternehmen haben hier viel weniger Einblick, als sie glauben: Ich habe mit namhaften Unternehmen zusammengesessen, die sicher waren, fünf freigegebene Modelle im Einsatz zu haben – bis sie die Discovery-Funktion aktivierten und mehr als fünfzig fanden.

Modelle sind einfach Code, den jemand kopiert, einfügt und lokal ausführt – und plötzlich läuft er in der Produktion. Wenn ein Agent praktisch Ihre Eingangstür ist, werden die Fehlerszenarien sehr konkret. Etwa ein Kundenservice-Bot, den man dazu bringen kann, etwas herauszugeben, was er nicht herausgeben sollte. (Ich gebe zu, dass ich einen solchen Bot selbst schon dazu gebracht habe, seine Anweisungen zu ignorieren – aus purer Ungeduld an einem Reisetag. Beim ersten Versuch hat es funktioniert. Soll das wirklich der erste Kontaktpunkt Ihres Unternehmens sein?)

Der Fuchs kann nicht den Hühnerstall bewachen

Einige Modellanbieter erzählen eine Geschichte, der ich immer wieder widersprechen muss: Dieselbe KI, die all diesen Code und dieses Verhalten generiert, könne auch für dessen Sicherheit sorgen. Sie würde also ihre eigene Arbeit bewerten. Wäre es nicht praktisch, wenn Prüfer und Buchhalter ein und dieselbe Person wären?

Alle Sicherheitsexperten wissen bereits, warum das nicht funktioniert. Deshalb sage ich es ganz deutlich: Der Generator kann nicht zugleich der Validator sein. Ein Modell, das seine eigenen Schwachstellen finden und bestätigen soll, befindet sich in einem strukturellen Interessenkonflikt und liefert dabei uneinheitliche Ergebnisse. Lassen Sie es fünfmal dasselbe Ziel untersuchen, und die Befunde stimmen vielleicht in der Hälfte der Fälle überein. Darauf lässt sich kein Sicherheitsprogramm aufbauen.

Die KI-Labore sind hier nicht die Bösewichte: Ihre Modelle sind wirklich nützlich und finden bei sachgemäßem Einsatz Dinge, die herkömmliche Tools übersehen. Doch sie verursachen die meisten Probleme und können deshalb nicht allein darüber urteilen. Sie brauchen Unabhängigkeit. (Mein Kollege Nuno Loureiro hat die maßgebliche technische Erklärung dazu verfasst – zunächst warum KI-generierter Code offensive dynamische Tests erfordert und anschließend zur Entwicklungsgeschichte kontinuierlicher offensiver Sicherheit. Beide Beiträge sind unbedingt lesenswert.)

Die Angst ist real – aber auch die Hoffnung

Ich möchte Sie nicht nur mit dem Turm zurücklassen, denn auch der hoffnungsvolle Teil ist real – und genau dort liegt die eigentliche Arbeit. Für jede Schicht gibt es eine Maßnahme, die Sie Sicherheitsexperten schon heute an die Hand geben können.

• Bringen Sie den Rückstand auf null: Die herkömmliche Priorisierung funktioniert nicht mehr, wenn ein Angreifer die von Ihnen zurückgestellten Probleme mit niedrigem Schweregrad miteinander verknüpft. Das klingt unmöglich – bis Sie KI für die Behebung einsetzen. Unsere Kunden, darunter einige der größten Unternehmen der Welt, haben inzwischen keinen Rückstand mehr, weil Agenten die Probleme nicht nur finden, sondern auch beheben.

• Setzen Sie KI gezielt ein, um zu finden, was deterministische Tools übersehen: Schlussfolgerungsfähige Modelle decken tatsächlich Probleme auf, die Scanner nicht erkennen. Als Ergänzung und mit der Kontrolle durch einen unabhängigen Validator sind sie ein echter Vorteil. Wer ihren Ergebnissen blind vertraut, bekommt dagegen nur Rauschen. Wir integrieren gezielt den Zugang zu Modellen für die Verteidigung in unsere Produkte, damit Teams die Vorteile nutzen können, ohne sich auf ein Glücksspiel einzulassen.

• Testen Sie so, wie es der Angreifer tun wird: Wenn Ihr Gegner Sie autonom mit einem Modell mit fortgeschrittenen Schlussfolgerungsfähigkeiten untersuchen wird, ist die einzig ehrliche Antwort, genau diese Art von Modell zur Verteidigung kontinuierlich gegen Ihre eigenen Anwendungen einzusetzen – in Ihrer eigenen Umgebung und bevor der Angreifer es tut. Mit dem alten Modell kommen Sie nicht mehr mit: Ein herkömmlicher Penetrationstest deckt ungefähr fünfzehn Tage im Jahr ab, während die übrigen dreihundertfünfzig ungeschützt bleiben. Und während der Bericht geschrieben wird, veröffentlicht die Anwendung drei weitere Versionen.

• Verhindern Sie die nächsten hundert Probleme: Alles immer wieder zu beheben, ist ein aussichtsloser Kreislauf, wenn Sie die Quelle nicht abstellen. Unsere wahre Stärke besteht nicht darin, Entwicklern im Nachhinein zu sagen: „Hier gibt es ein Problem“, sondern dem Agenten zu sagen, bevor er seine Aufgabe abschließt: „Nein, dieser Code ist unsicher, dieses Paket ist ungeeignet – behebe das.“ Mit anderen Worten: Sicherheit von Anfang an.

• Steuern Sie all das mit geeigneten Richtlinien: Ermitteln Sie alle agentischen Komponenten, die Sie einsetzen, machen Sie die tatsächlichen Risiken jeder einzelnen transparent und setzen Sie Richtlinien durch – auch dazu, welche Modelle für welche Anwendungsfälle zugelassen sind. Führen Sie außerdem Red-Team-Tests für Ihre ausgelieferten KI-nativen Anwendungen durch, denn sie verhalten sich anders als jede Software, die wir bisher abgesichert haben.

• Sichern Sie das Artefakt. Sichern Sie die Belegschaft. Sichern Sie das Unternehmen: Für jedes Problem ein Regelkreis, orchestriert, damit ein Mensch den Prozess überwachen kann, statt darin unterzugehen. Bei diesem Maßstab werden Sie scheitern, wenn Sie mittendrin stecken. Und ein Regelkreis ist erst geschlossen, wenn etwas Unabhängiges das ausgelieferte Produkt angreift und seine Sicherheit bestätigt. Finden, beheben und steuern – das ist die Verteidigung; kontinuierliche offensive Sicherheit ist der Nachweis. Sie können nicht glaubwürdig behaupten, für automatisierte Angriffe gewappnet zu sein oder einen Agenten sicher vor Ihr Unternehmen schalten zu können, bevor etwas ihn so angegriffen hat wie ein echter Gegner. Das ist die Vision hinter Evo – und darauf arbeiten wir hin.

Zwei Probleme, die ich nicht ignorieren möchte

Zwei weitere Dinge lassen mich nicht los. Ich finde, sie gehören in dieses Gespräch, auch wenn sie über die Verantwortung eines einzelnen Anbieters hinausgehen.

Problem 1: Konzentration und Auswahl

Zu viel Macht in zu wenigen Modellen ist an sich schon ein Risiko – für die Resilienz, die digitale Souveränität und neuerdings auch für die Kosten, die praktisch über Nacht zum Thema auf Vorstandsebene geworden sind. Unternehmen sollten nicht blind wählen müssen. Sie brauchen unabhängige Validatoren, die ihnen sagen können, welche Modelle für welche Aufgaben sicher sind, denn die Antwort ist selten eindeutig. Einige frei verfügbare Open-Source-Modelle halten sich hervorragend an Ihre Vorgaben, sollten aber niemals sensible Daten erhalten. Das können Sie nur wissen, wenn jemand sie für Sie Red-Team-Tests unterzieht.

Deshalb unterstützt Snyk jetzt als Unterzeichner das Schreiben Open Weights and American AI Leadership – gemeinsam mit 270 weiteren Unternehmen, darunter Microsoft, Nvidia und CrowdStrike.

Problem 2: Open Source

Open Source ist der Treibstoff der modernen Wirtschaft. Der Großteil aller Software ist Open Source, doch dieses Ökosystem steht unter einer Belastung, die nur wenige benennen. Nach meiner Einschätzung der Branche schlummern bereits Zehntausende nicht offengelegte Schwachstellen in privater Hand. Sie wurden von gut ausgestatteten Gruppen entdeckt, die diese neuen Fähigkeiten unauffällig gegen Open-Source-Software einsetzen. Das ist das Problem eines Gegners, der bereits Agenten einsetzt – und zwar gegen das Gemeingut. Maintainer gehen in einer Flut aus echten Meldungen und KI-generiertem Unsinn unter und können nicht Schritt halten. So bricht ein Gemeingut unter seiner eigenen Last zusammen – mit katastrophalen Folgen. Deshalb haben wir unsere Plattform für Open-Source-Maintainer aus der Community kostenlos gemacht. Wir sehen das als kleinen Vorschuss auf eine viel größere Verantwortung, die die gesamte Branche gemeinsam trägt.

Deshalb tritt Snyk gemeinsam mit Nvidia und anderen Technologieführern der Open Secure AI Alliance bei.

Wer testet, was KI entwickelt?

Ich habe meinen letzten Beitrag mit einer Frage beendet, die seitdem immer lauter geworden ist: Wer testet – oder besser gesagt: greift den Code und die Agenten an, die KI in Ihrem Namen entwickelt und ausführt? Für die meisten Unternehmen lautet die ehrliche Antwort derzeit: niemand. Genau diese Vertrauenslücke beobachten wir. Die gute Nachricht: Die Antwort können Sie sein – ausgestattet mit eigener KI, die in die richtige Richtung gelenkt wird, mit integrierter Unabhängigkeit und einem Menschen im Prozess. Angreifer schlafen nicht. Ihre Tests dürfen es auch nicht. Doch zum ersten Mal müssen sie das auch nicht.

Manoj Nair ist Chief Technology & Innovation Officer bei Snyk.