Warum das Harness zählt: Erste Erkenntnisse aus der Preview von Evo Code Scanning Agent
19. November 2026
12 Min. LesezeitEvo Code Scanning Agent befindet sich bei ausgewählten Snyk-Kunden in der experimentellen Preview. Wir entwickeln ihn, um KI-gestütztes Reasoning, spezialisierte Modelle, deterministische Analyse, Security-Know-how und eine Kontextebene zusammenzuführen, die Erkenntnisse aus verschiedenen Snyk-Produkten nutzt. So soll er Schwachstellen finden, die mit keinem einzelnen Ansatz allein leicht zu erkennen sind. In dieses System fließt vieles ein. Wir nehmen nun einen seiner Bausteine genauer unter die Lupe: das Security-Harness, das vorgibt, wie ein KI-Modell Code untersucht, potenzielle Schwachstellen analysiert und Ergebnisse meldet.
Um herauszufinden, welchen Beitrag das Harness allein leistet, haben wir es mit denselben Standardmodellen kombiniert, die auch Claude Security und Codex Security verwenden. Bei gleichem Compute-Budget fand Evo Code Scanning Agent mehr bekannte Schwachstellen als beide Tools, allerdings erreichten sie eine höhere Präzision. Dies sind erste Ergebnisse, und der Agent wird kontinuierlich weiterentwickelt. Wenn Sie Snyk-Kunde sind und ihn ausprobieren möchten, nehmen Sie an der Preview teil / sprechen Sie mit Ihrem Snyk-Account-Team.
Für diesen Test haben wir zwei Paare untersucht, jeweils mit einem einzelnen Modell:
Evo Code Scanning Agent und Claude Security, beide mit Claude Sonnet 5.5
Evo Code Scanning Agent und Codex Security im Deep-Modus, beide mit GPT-6.1 Sol
Jeder Scanner wurde mindestens dreimal auf denselben 14 Anwendungen ausgeführt und anhand von 1.426 bekannten Schwachstellen bewertet.

Anteil der bei gleichem Compute-Budget gefundenen bekannten Schwachstellen, gemittelt über 14 Anwendungen.
Mehr Funde bei gleichem Compute-Budget
Wie vollständig die Ergebnisse eines KI-Scanners sind, hängt vom verfügbaren Compute-Budget ab. Für einen direkten Vergleich haben wir Evo Code Scanning Agent im Durchschnitt über die 14 Anwendungen dasselbe Compute-Budget wie jedem Lab-Tool zugewiesen. Gegenüber Claude Security fand er 57 % der bekannten Schwachstellen, gegenüber 32 %. Gegenüber Codex Security fand er 66 %, gegenüber 43 %. Bei jeder der 14 Anwendungen fand er mehr als das jeweilige Lab-Tool.
Mehr Schwachstellen finden und ihre Auswirkungen verstehen
Beide Lab-Tools waren präziser als Evo Code Scanning Agent. Claude Security prüft jeden Kandidaten mit einem Verifizierungsgremium, das Erreichbarkeit, Schutzmaßnahmen und Auswirkungen bewertet. Codex Security führt im Deep-Modus vor der Ausgabe mehrere Überprüfungsrunden durch. Wir verbessern derzeit die Präzision unseres Harness und verfeinern die Ground Truths, die wir für die Messung verwenden.
Modell | Evo Code Scanning Agent | Lab-Security-Tool |
|---|---|---|
Claude Sonnet 5.5 | 65 % | 94 % (Claude Security) |
GPT-6.1 Sol | 90 % | 97,5 % (Codex Security deep) |
Präzision bei gleichem Compute-Budget: unterschiedliche gefundene Schwachstellen ÷ (unterschiedliche gefundene Schwachstellen + unterschiedliche False Positives).
Bei gleichem Compute fand Evo Code Scanning Agent mehr bekannte Schwachstellen als beide Lab-Tools, wobei sich die Präzision bei den beiden Modellen unterschiedlich entwickelte. Mit GPT-6.1 Sol fand er 66 % der bekannten Schwachstellen gegenüber 43 % bei Codex Security – bei einer Präzision von 90 % gegenüber 97,5 %. Mit Claude Sonnet 5.5 fand er 57 % gegenüber 32 % bei Claude Security, allerdings mit einem größeren Präzisionsabstand: 65 % gegenüber 94 %. Wir setzen bewusst auf eine breitere Schwachstellenerkennung und arbeiten gleichzeitig weiter daran, die Präzision zu verbessern.
Außerdem untersuchen wir, wie Kontext aus verschiedenen Snyk-Produkten Teams dabei helfen kann, die Bedeutung einzelner Funde zu verstehen – etwa ob Schwachstellen, die für sich genommen weniger dringlich erscheinen, sich zu einem schwerwiegenderen Angriff kombinieren lassen. Da KI die Art und Weise verändert, wie Angreifer Schwachstellen untersuchen und miteinander verknüpfen, wird der breitere Kontext immer wertvoller.
Dasselbe Modell, unterschiedliche Ergebnisse
Wenn das Modell gleich bleibt, lässt sich der Einfluss des Harness gut erkennen. Bei gleichem Compute-Budget fand Evo Code Scanning Agent mit Claude Sonnet 5.5 etwa drei Viertel der Schwachstellen, die Claude Security fand, sowie rund 470 weitere in den 14 Anwendungen. Mit GPT-6.1 Sol fand er etwa sechs Siebtel der Schwachstellen, die Codex Security deep fand, sowie rund 420 weitere. Jedes Lab-Tool fand weiterhin Schwachstellen, die Evo Code Scanning Agent entgingen: 111 bei Claude Security und 84 bei Codex Security deep.

Von den Tools mit Claude Sonnet 5.5 bei gleichem Compute-Budget gefundene bekannte Schwachstellen, gemittelt über mehrere Durchläufe und summiert über 14 Anwendungen. Die 314 von beiden gefundenen Schwachstellen zählen zum Gesamtwert jedes Tools. Zusammen fanden sie also 893 der 1.426 Schwachstellen. Die jeweils anderen 533 fand keines der beiden Tools.

Von den Tools mit GPT-6.1 Sol bei gleichem Compute-Budget gefundene bekannte Schwachstellen, gemittelt über mehrere Durchläufe und summiert über 14 Anwendungen. Die 478 von beiden gefundenen Schwachstellen zählen zum Gesamtwert jedes Tools. Zusammen fanden sie also 982 der 1.426 Schwachstellen. Die jeweils anderen 444 fand keines der beiden Tools.
Da innerhalb jedes Paars dasselbe Modell verwendet wurde, ist der Unterschied auf alles zurückzuführen, was darum herum geschieht: wie das Harness die Arbeit plant, den Code aufteilt, Kandidaten untersucht und entscheidet, welche Ergebnisse übernommen werden.
Ein universell einsetzbarer Coding-Agent reicht nicht aus
Als Baseline haben wir OpenHands, einen weitverbreiteten Open-Source-Coding-Agent, mit dem Open-Weights-Modell GLM-5.3 und einem einzelnen Prompt ausgeführt, der eine Liste von Security-Funden anforderte. Er fand 13 % der bekannten Schwachstellen, und nur etwa drei von fünf seiner ersten Versuche lieferten ein brauchbares Ergebnis. Bei diesem Vergleich ändern sich sowohl das Modell als auch das Harness, weshalb sich der Einfluss keines der beiden isolieren lässt. Er liefert jedoch einen Ausgangspunkt: Ein leistungsfähiger Coding-Agent findet mit einem vernünftigen Prompt nur einen Bruchteil dessen, was speziell entwickelte Tools fanden.
Umfang und Grenzen dieser Ergebnisse
Dies sind erste Ergebnisse aus einem Benchmark, den Snyk intern entwickelt und durchgeführt hat. Die 14 Anwendungen umfassen Open-Source-Projekte und eigens entwickelte Benchmark-Apps; die Ergebnisse werden nur aggregiert veröffentlicht. Evo Code Scanning Agent befindet sich in der Experimental Preview und wird weiterentwickelt. In diesem Test wurde nur ein Teil davon untersucht: das KI-Harness.
Keines der getesteten Tools fand alle bekannten Schwachstellen. Selbst das beste Ergebnis – 66 % mit GPT-6.1 Sol – ließ etwa ein Drittel unentdeckt. Deshalb betrachten wir KI-Security-Agents als eine Ebene eines AppSec-Programms. Sie ergänzen SAST, SCA und Code-Reviews, die jeweils Probleme erkennen, die den anderen entgehen können.
Methodik
Alle Ergebnisse stammen aus dem internen Snyk-Benchmark mit 14 Anwendungen – einer Mischung aus Open-Source-Projekten und eigens entwickelten Benchmark-Apps –, die anhand von 1.426 bekannten Schwachstellen bewertet wurden. Jeder Scanner untersuchte den Quellcode jeder Anwendung mindestens dreimal; auch unvollständige Durchläufe wurden mitgezählt.
Scanner | Modell | Einstellungen |
|---|---|---|
Evo Code Scanning Agent (Preview-Build) | Claude Sonnet 5.5; GPT-6.1 Sol | Reasoning-Aufwand: hoch |
Claude-Security-Plugin 0.12.0 für Claude Code | Claude Sonnet 5.5 | Session-Aufwand: hoch, headless ausgeführt |
Codex Security CLI 0.9.1 (Deep-Modus) | GPT-6.1 Sol | Reasoning-Aufwand: hoch; Websuche und Netzwerkzugriff deaktiviert |
OpenHands CLI 1.16 (Baseline) | GLM-5.3 | Ein einzelner Prompt mit der Aufforderung, Security-Funde zu melden; keine Security-Tools |
So haben wir gemessen
Recall: Anteil der bekannten Schwachstellen einer Anwendung, die ein Ergebnis findet, gemittelt über die 14 Anwendungen. Mehrere Meldungen derselben Schwachstelle zählen einmal.
Gleiches Compute-Budget: Wir ließen Evo Code Scanning Agent laufen, bis seine Compute-Kosten den durchschnittlichen Preis eines Scans des Lab-Tools mit demselben Modell erreichten, ohne ihn zu überschreiten. Lab-Tools werden anhand ihres durchschnittlichen Scans bewertet.
Präzision: unterschiedliche gefundene Schwachstellen ÷ (unterschiedliche gefundene Schwachstellen + unterschiedliche False Positives), gemessen anhand derselben Ergebnisse wie der Recall und bei gleichem Compute-Budget. Der Wert von Evo Code Scanning Agent mit Claude Sonnet 5.5 ist eine Untergrenze, da einige doppelte False Positives nicht zusammengeführt werden konnten.
So haben wir die Funde bewertet
Labels: Zwei unabhängige KI-Prüfer bewerteten jeden Fund anhand der bekannten Schwachstellen. Bei Uneinigkeit entschied ein dritter Prüfer. Kein Fund wurde von einem Menschen überprüft. Funde, bei denen die Prüfer zu keiner Entscheidung kamen, fließen weder in den Recall noch in die Präzision ein.
Antwortschlüssel: Die 1.426 bekannten Schwachstellen umfassen alle Schwachstellen, die anhand der Funde eines beliebigen Scanners bestätigt wurden. Jeder Scan wurde erneut anhand sämtlicher Einträge geprüft.
Über das Harness hinaus
Indem wir das Modell konstant hielten, konnten wir sehen, wie stark allein das Harness die Ergebnisse eines KI-Scanners beeinflusst. Das Harness ist ein Baustein von Evo Code Scanning Agent. In kommenden Beiträgen behandeln wir die weiteren Bausteine: wie wir Funde von einem Durchlauf zum nächsten konsistent machen, wie statische Analyse und KI-Analyse zusammenarbeiten, wie wir Modelle für Security trainieren wollen und wie der Kontext aus verschiedenen Snyk-Produkten Teams dabei hilft, die Funde des Agents zu verstehen und zu priorisieren.
Möchten Sie sehen, was der Agent in einer Ihrer geschäftskritischen Anwendungen findet? Fragen Sie Ihr Snyk-Account-Team, wie Sie an der Experimental Preview teilnehmen können.
Evo Code Scanning Agent befindet sich bei ausgewählten Kunden in der experimentellen Preview. Wenn Sie sehen möchten, was er in einer Ihrer geschäftskritischen Anwendungen findet, nehmen Sie an der Preview teil / sprechen Sie mit Ihrem Snyk-Account-Team.
EVO IN AKTION ERLEBEN
Sichern Sie die KI-Einführung im großen Maßstab mit Evo
Mit einer Suite agentenbasierter Sicherheitslösungen sichern, schützen und steuern Sie die KI-gestützte Entwicklung in drei Bereichen: Code-Artefakte, KI-Agenten und KI-Anwendungen, die Ihre Teams entwickeln.



