Skip to main content
Jetzt registrierenLive-Demo buchen

Warum das Harness zählt: Erste Erkenntnisse aus der Preview von Evo Code Scanning Agent

blog feature ai

19. November 2026

12 Min. Lesezeit

Evo Code Scanning Agent befindet sich bei ausgewählten Snyk-Kunden in der experimentellen Preview. Wir entwickeln ihn, um KI-gestütztes Reasoning, spezialisierte Modelle, deterministische Analyse, Security-Know-how und eine Kontextebene zusammenzuführen, die Erkenntnisse aus verschiedenen Snyk-Produkten nutzt. So soll er Schwachstellen finden, die mit keinem einzelnen Ansatz allein leicht zu erkennen sind. In dieses System fließt vieles ein. Wir nehmen nun einen seiner Bausteine genauer unter die Lupe: das Security-Harness, das vorgibt, wie ein KI-Modell Code untersucht, potenzielle Schwachstellen analysiert und Ergebnisse meldet.

Um herauszufinden, welchen Beitrag das Harness allein leistet, haben wir es mit denselben Standardmodellen kombiniert, die auch Claude Security und Codex Security verwenden. Bei gleichem Compute-Budget fand Evo Code Scanning Agent mehr bekannte Schwachstellen als beide Tools, allerdings erreichten sie eine höhere Präzision. Dies sind erste Ergebnisse, und der Agent wird kontinuierlich weiterentwickelt. Wenn Sie Snyk-Kunde sind und ihn ausprobieren möchten, nehmen Sie an der Preview teil / sprechen Sie mit Ihrem Snyk-Account-Team.

Für diesen Test haben wir zwei Paare untersucht, jeweils mit einem einzelnen Modell:

  • Evo Code Scanning Agent und Claude Security, beide mit Claude Sonnet 5.5

  • Evo Code Scanning Agent und Codex Security im Deep-Modus, beide mit GPT-6.1 Sol

Jeder Scanner wurde mindestens dreimal auf denselben 14 Anwendungen ausgeführt und anhand von 1.426 bekannten Schwachstellen bewertet.

Balkendiagramm. Bei gleichem Rechenbudget auf Claude Sonnet 5.5 fand der Evo Code Scanning Agent 57 % der bekannten Schwachstellen gegenüber 32 % bei Claude Security. Auf GPT-6.1 Sol fand er 66 % gegenüber 43 % bei Codex Security deep.

Anteil der bei gleichem Compute-Budget gefundenen bekannten Schwachstellen, gemittelt über 14 Anwendungen.

Mehr Funde bei gleichem Compute-Budget

Wie vollständig die Ergebnisse eines KI-Scanners sind, hängt vom verfügbaren Compute-Budget ab. Für einen direkten Vergleich haben wir Evo Code Scanning Agent im Durchschnitt über die 14 Anwendungen dasselbe Compute-Budget wie jedem Lab-Tool zugewiesen. Gegenüber Claude Security fand er 57 % der bekannten Schwachstellen, gegenüber 32 %. Gegenüber Codex Security fand er 66 %, gegenüber 43 %. Bei jeder der 14 Anwendungen fand er mehr als das jeweilige Lab-Tool.

Mehr Schwachstellen finden und ihre Auswirkungen verstehen

Beide Lab-Tools waren präziser als Evo Code Scanning Agent. Claude Security prüft jeden Kandidaten mit einem Verifizierungsgremium, das Erreichbarkeit, Schutzmaßnahmen und Auswirkungen bewertet. Codex Security führt im Deep-Modus vor der Ausgabe mehrere Überprüfungsrunden durch. Wir verbessern derzeit die Präzision unseres Harness und verfeinern die Ground Truths, die wir für die Messung verwenden.

Modell

Evo Code Scanning Agent

Lab-Security-Tool

Claude Sonnet 5.5

65 %

94 % (Claude Security)

GPT-6.1 Sol

90 %

97,5 % (Codex Security deep)

Präzision bei gleichem Compute-Budget: unterschiedliche gefundene Schwachstellen ÷ (unterschiedliche gefundene Schwachstellen + unterschiedliche False Positives).

Bei gleichem Compute fand Evo Code Scanning Agent mehr bekannte Schwachstellen als beide Lab-Tools, wobei sich die Präzision bei den beiden Modellen unterschiedlich entwickelte. Mit GPT-6.1 Sol fand er 66 % der bekannten Schwachstellen gegenüber 43 % bei Codex Security – bei einer Präzision von 90 % gegenüber 97,5 %. Mit Claude Sonnet 5.5 fand er 57 % gegenüber 32 % bei Claude Security, allerdings mit einem größeren Präzisionsabstand: 65 % gegenüber 94 %. Wir setzen bewusst auf eine breitere Schwachstellenerkennung und arbeiten gleichzeitig weiter daran, die Präzision zu verbessern.

Außerdem untersuchen wir, wie Kontext aus verschiedenen Snyk-Produkten Teams dabei helfen kann, die Bedeutung einzelner Funde zu verstehen – etwa ob Schwachstellen, die für sich genommen weniger dringlich erscheinen, sich zu einem schwerwiegenderen Angriff kombinieren lassen. Da KI die Art und Weise verändert, wie Angreifer Schwachstellen untersuchen und miteinander verknüpfen, wird der breitere Kontext immer wertvoller.

Dasselbe Modell, unterschiedliche Ergebnisse

Wenn das Modell gleich bleibt, lässt sich der Einfluss des Harness gut erkennen. Bei gleichem Compute-Budget fand Evo Code Scanning Agent mit Claude Sonnet 5.5 etwa drei Viertel der Schwachstellen, die Claude Security fand, sowie rund 470 weitere in den 14 Anwendungen. Mit GPT-6.1 Sol fand er etwa sechs Siebtel der Schwachstellen, die Codex Security deep fand, sowie rund 420 weitere. Jedes Lab-Tool fand weiterhin Schwachstellen, die Evo Code Scanning Agent entgingen: 111 bei Claude Security und 84 bei Codex Security deep.

Venn-Diagramm. Bei gleichem Rechenbudget auf Claude Sonnet 5.5 fand Evo Code Scanning Agent 782 bekannte Sicherheitslücken, Claude Security hingegen 425. 314 wurden von beiden gefunden, 468 nur von Evo Code Scanning Agent und 111 nur von Claude Security.

Von den Tools mit Claude Sonnet 5.5 bei gleichem Compute-Budget gefundene bekannte Schwachstellen, gemittelt über mehrere Durchläufe und summiert über 14 Anwendungen. Die 314 von beiden gefundenen Schwachstellen zählen zum Gesamtwert jedes Tools. Zusammen fanden sie also 893 der 1.426 Schwachstellen. Die jeweils anderen 533 fand keines der beiden Tools.

Venn-Diagramm. Beim gleichen Rechenbudget auf GPT-6.1 Sol fand Evo Code Scanning Agent 898 bekannte Schwachstellen und Codex Security deep 562. 478 wurden von beiden gefunden, 420 nur von Evo Code Scanning Agent und 84 nur von Codex Security deep.

Von den Tools mit GPT-6.1 Sol bei gleichem Compute-Budget gefundene bekannte Schwachstellen, gemittelt über mehrere Durchläufe und summiert über 14 Anwendungen. Die 478 von beiden gefundenen Schwachstellen zählen zum Gesamtwert jedes Tools. Zusammen fanden sie also 982 der 1.426 Schwachstellen. Die jeweils anderen 444 fand keines der beiden Tools.

Da innerhalb jedes Paars dasselbe Modell verwendet wurde, ist der Unterschied auf alles zurückzuführen, was darum herum geschieht: wie das Harness die Arbeit plant, den Code aufteilt, Kandidaten untersucht und entscheidet, welche Ergebnisse übernommen werden.

Ein universell einsetzbarer Coding-Agent reicht nicht aus

Als Baseline haben wir OpenHands, einen weitverbreiteten Open-Source-Coding-Agent, mit dem Open-Weights-Modell GLM-5.3 und einem einzelnen Prompt ausgeführt, der eine Liste von Security-Funden anforderte. Er fand 13 % der bekannten Schwachstellen, und nur etwa drei von fünf seiner ersten Versuche lieferten ein brauchbares Ergebnis. Bei diesem Vergleich ändern sich sowohl das Modell als auch das Harness, weshalb sich der Einfluss keines der beiden isolieren lässt. Er liefert jedoch einen Ausgangspunkt: Ein leistungsfähiger Coding-Agent findet mit einem vernünftigen Prompt nur einen Bruchteil dessen, was speziell entwickelte Tools fanden.

Umfang und Grenzen dieser Ergebnisse

Dies sind erste Ergebnisse aus einem Benchmark, den Snyk intern entwickelt und durchgeführt hat. Die 14 Anwendungen umfassen Open-Source-Projekte und eigens entwickelte Benchmark-Apps; die Ergebnisse werden nur aggregiert veröffentlicht. Evo Code Scanning Agent befindet sich in der Experimental Preview und wird weiterentwickelt. In diesem Test wurde nur ein Teil davon untersucht: das KI-Harness.

Keines der getesteten Tools fand alle bekannten Schwachstellen. Selbst das beste Ergebnis – 66 % mit GPT-6.1 Sol – ließ etwa ein Drittel unentdeckt. Deshalb betrachten wir KI-Security-Agents als eine Ebene eines AppSec-Programms. Sie ergänzen SAST, SCA und Code-Reviews, die jeweils Probleme erkennen, die den anderen entgehen können.

Methodik

Alle Ergebnisse stammen aus dem internen Snyk-Benchmark mit 14 Anwendungen – einer Mischung aus Open-Source-Projekten und eigens entwickelten Benchmark-Apps –, die anhand von 1.426 bekannten Schwachstellen bewertet wurden. Jeder Scanner untersuchte den Quellcode jeder Anwendung mindestens dreimal; auch unvollständige Durchläufe wurden mitgezählt.

Scanner

Modell

Einstellungen

Evo Code Scanning Agent (Preview-Build)

Claude Sonnet 5.5; GPT-6.1 Sol

Reasoning-Aufwand: hoch

Claude-Security-Plugin 0.12.0 für Claude Code

Claude Sonnet 5.5

Session-Aufwand: hoch, headless ausgeführt

Codex Security CLI 0.9.1 (Deep-Modus)

GPT-6.1 Sol

Reasoning-Aufwand: hoch; Websuche und Netzwerkzugriff deaktiviert

OpenHands CLI 1.16 (Baseline)

GLM-5.3

Ein einzelner Prompt mit der Aufforderung, Security-Funde zu melden; keine Security-Tools

So haben wir gemessen

  • Recall: Anteil der bekannten Schwachstellen einer Anwendung, die ein Ergebnis findet, gemittelt über die 14 Anwendungen. Mehrere Meldungen derselben Schwachstelle zählen einmal.

  • Gleiches Compute-Budget: Wir ließen Evo Code Scanning Agent laufen, bis seine Compute-Kosten den durchschnittlichen Preis eines Scans des Lab-Tools mit demselben Modell erreichten, ohne ihn zu überschreiten. Lab-Tools werden anhand ihres durchschnittlichen Scans bewertet.

  • Präzision: unterschiedliche gefundene Schwachstellen ÷ (unterschiedliche gefundene Schwachstellen + unterschiedliche False Positives), gemessen anhand derselben Ergebnisse wie der Recall und bei gleichem Compute-Budget. Der Wert von Evo Code Scanning Agent mit Claude Sonnet 5.5 ist eine Untergrenze, da einige doppelte False Positives nicht zusammengeführt werden konnten.

So haben wir die Funde bewertet

  • Labels: Zwei unabhängige KI-Prüfer bewerteten jeden Fund anhand der bekannten Schwachstellen. Bei Uneinigkeit entschied ein dritter Prüfer. Kein Fund wurde von einem Menschen überprüft. Funde, bei denen die Prüfer zu keiner Entscheidung kamen, fließen weder in den Recall noch in die Präzision ein.

  • Antwortschlüssel: Die 1.426 bekannten Schwachstellen umfassen alle Schwachstellen, die anhand der Funde eines beliebigen Scanners bestätigt wurden. Jeder Scan wurde erneut anhand sämtlicher Einträge geprüft.

Über das Harness hinaus

Indem wir das Modell konstant hielten, konnten wir sehen, wie stark allein das Harness die Ergebnisse eines KI-Scanners beeinflusst. Das Harness ist ein Baustein von Evo Code Scanning Agent. In kommenden Beiträgen behandeln wir die weiteren Bausteine: wie wir Funde von einem Durchlauf zum nächsten konsistent machen, wie statische Analyse und KI-Analyse zusammenarbeiten, wie wir Modelle für Security trainieren wollen und wie der Kontext aus verschiedenen Snyk-Produkten Teams dabei hilft, die Funde des Agents zu verstehen und zu priorisieren.

Möchten Sie sehen, was der Agent in einer Ihrer geschäftskritischen Anwendungen findet? Fragen Sie Ihr Snyk-Account-Team, wie Sie an der Experimental Preview teilnehmen können.

Evo Code Scanning Agent befindet sich bei ausgewählten Kunden in der experimentellen Preview. Wenn Sie sehen möchten, was er in einer Ihrer geschäftskritischen Anwendungen findet, nehmen Sie an der Preview teil / sprechen Sie mit Ihrem Snyk-Account-Team.

EVO IN AKTION ERLEBEN

Sichern Sie die KI-Einführung im großen Maßstab mit Evo

Mit einer Suite agentenbasierter Sicherheitslösungen sichern, schützen und steuern Sie die KI-gestützte Entwicklung in drei Bereichen: Code-Artefakte, KI-Agenten und KI-Anwendungen, die Ihre Teams entwickeln.

Weiterlesen