Pourquoi le harness est essentiel : premiers enseignements de l’aperçu d’Evo Code Scanning Agent
19 novembre 2026
11 minutes de lectureEvo Code Scanning Agent est disponible en aperçu expérimental auprès d’un nombre restreint de clients Snyk. Nous le développons pour réunir le raisonnement de l’IA, des modèles spécialisés, l’analyse déterministe, l’expertise en sécurité et une couche contextuelle qui s’appuie sur les enseignements tirés des produits Snyk. L’objectif : détecter des vulnérabilités difficiles à repérer avec une seule approche. Ce système repose sur de nombreux éléments. Nous allons nous pencher sur l’un d’eux : le harness de sécurité, qui guide la manière dont un modèle d’IA explore le code, examine les vulnérabilités potentielles et présente ses résultats.
Pour évaluer la contribution du harness à lui seul, nous l’avons associé aux mêmes modèles prêts à l’emploi que ceux utilisés par Claude Security et Codex Security. À budget de calcul égal, Evo Code Scanning Agent a détecté davantage de vulnérabilités connues que ces deux outils, mais ceux-ci ont tous deux obtenu une meilleure précision. Ces résultats sont préliminaires et l’agent continue d’évoluer. Si vous êtes client Snyk et souhaitez l’essayer, rejoignez l’aperçu ou contactez votre équipe de compte Snyk.
Pour ce test, nous avons comparé deux paires, chacune utilisant un seul modèle :
Evo Code Scanning Agent et Claude Security, tous deux avec Claude Sonnet 5.5
Evo Code Scanning Agent et Codex Security en mode deep, tous deux avec GPT-6.1 Sol
Chaque scanner a analysé les mêmes 14 applications, au moins trois fois par application, et a été évalué sur la base de 1 426 vulnérabilités connues.

Part des vulnérabilités connues détectées à budget de calcul égal, en moyenne sur 14 applications.
Davantage de résultats à budget de calcul égal
L’exhaustivité des résultats d’un scanner IA dépend du budget de calcul qui lui est alloué. Pour comparer des outils sur une base équivalente, nous avons accordé à Evo Code Scanning Agent le même budget de calcul qu’à chaque outil de laboratoire, en moyenne sur les 14 applications. Face à Claude Security, il a détecté 57 % des vulnérabilités connues, contre 32 %. Face à Codex Security, il en a détecté 66 %, contre 43 %. Il a surpassé l’outil de laboratoire correspondant sur chacune des 14 applications.
Détecter plus de vulnérabilités et comprendre leur impact
Les deux outils de laboratoire ont obtenu une meilleure précision qu’Evo Code Scanning Agent. Claude Security vérifie chaque résultat potentiel à l’aide d’un panel qui évalue l’accessibilité, les protections et l’impact. De son côté, le mode deep de Codex Security effectue plusieurs cycles de révision avant de présenter ses résultats. Nous améliorons actuellement la précision de notre harness et affinons les références de vérité terrain que nous utilisons pour les mesures.
Modèle | Evo Code Scanning Agent | Outil de sécurité de laboratoire |
|---|---|---|
Claude Sonnet 5.5 | 65 % | 94 % (Claude Security) |
GPT-6.1 Sol | 90 % | 97,5 % (Codex Security deep) |
Précision à budget de calcul égal : nombre de vulnérabilités distinctes détectées ÷ (nombre de vulnérabilités distinctes détectées + nombre de faux positifs distincts).
À budget de calcul égal, Evo Code Scanning Agent a détecté davantage de vulnérabilités connues que chacun des outils de laboratoire, avec des compromis différents en matière de précision selon les deux modèles. Avec GPT-6.1 Sol, il a détecté 66 % des vulnérabilités connues, contre 43 % pour Codex Security, avec une précision de 90 % contre 97,5 %. Avec Claude Sonnet 5.5, il en a détecté 57 %, contre 32 % pour Claude Security, avec un écart de précision plus important : 65 % contre 94 %. Nous privilégions délibérément une détection plus large des vulnérabilités, tout en continuant d’améliorer la précision.
Nous étudions également comment le contexte issu des produits Snyk peut aider les équipes à comprendre la portée de chaque résultat, notamment si des faiblesses qui semblent peu urgentes lorsqu’elles sont prises séparément peuvent se combiner pour former une attaque plus grave. À mesure que l’IA transforme la manière dont les attaquants recherchent et relient les vulnérabilités, ce contexte global gagnera en valeur.
Même modèle, résultats différents
En maintenant le modèle identique, on voit clairement l’effet du harness. À budget de calcul égal avec Claude Sonnet 5.5, Evo Code Scanning Agent a détecté environ trois quarts des vulnérabilités repérées par Claude Security, ainsi qu’environ 470 autres sur les 14 applications. Avec GPT-6.1 Sol, il a détecté environ six septièmes des vulnérabilités trouvées par Codex Security deep, ainsi qu’environ 420 autres. Chaque outil de laboratoire a néanmoins détecté des vulnérabilités manquées par Evo Code Scanning Agent : 111 pour Claude Security et 84 pour Codex Security deep.

Vulnérabilités connues détectées par chaque outil avec Claude Sonnet 5.5 à budget de calcul égal, moyenne des exécutions et total sur 14 applications. Les 314 vulnérabilités détectées par les deux outils sont comptabilisées dans le total de chacun : ensemble, ils en ont donc détecté 893 sur 1 426. Ils ont manqué les 533 autres.

Vulnérabilités connues détectées par chaque outil avec GPT-6.1 Sol à budget de calcul égal, moyenne des exécutions et total sur 14 applications. Les 478 vulnérabilités détectées par les deux outils sont comptabilisées dans le total de chacun : ensemble, ils en ont donc détecté 982 sur 1 426. Ils ont manqué les 444 autres.
Comme chaque paire utilisait le même modèle, la différence tient à tout ce qui l’entoure : la façon dont le harness planifie le travail, répartit le code, examine les résultats potentiels et décide lesquels retenir.
Un agent de programmation généraliste ne suffit pas
À titre de référence, nous avons exécuté OpenHands, un agent de programmation open source très utilisé, avec le modèle à poids ouverts GLM-5.3 et une seule consigne lui demandant de dresser une liste de problèmes de sécurité. Il a détecté 13 % des vulnérabilités connues, et seules trois premières tentatives sur cinq environ ont produit un résultat exploitable. Cette comparaison fait varier à la fois le modèle et le harness : elle ne permet donc pas d’isoler l’effet de l’un ou de l’autre. Elle établit toutefois un point de départ : même avec une consigne raisonnable, un agent de programmation performant ne détecte qu’une fraction de ce que trouvent les outils conçus pour cet usage.
Portée et limites de ces résultats
Ces résultats préliminaires proviennent d’un benchmark conçu et exécuté en interne par Snyk. Les 14 applications associent des projets open source à des applications créées spécialement pour le benchmark, et nous présentons uniquement les résultats agrégés. Evo Code Scanning Agent est en aperçu expérimental et continue d’évoluer. Ce test portait uniquement sur l’un de ses composants : le harness d’IA.
Aucun outil testé n’a détecté toutes les vulnérabilités connues. Même le meilleur résultat, 66 % avec GPT-6.1 Sol, laisse environ un tiers des vulnérabilités sans détection. C’est pourquoi nous considérons les agents de sécurité IA comme une couche parmi d’autres d’un programme AppSec. Ils complètent le SAST, le SCA et la revue de code, qui détectent chacun des problèmes susceptibles d’échapper aux autres.
Méthodologie
Tous les résultats proviennent du benchmark interne de Snyk, portant sur 14 applications — des projets open source et des applications créées spécialement pour le benchmark — évaluées sur la base de 1 426 vulnérabilités connues. Chaque scanner a analysé le même arbre source pour chaque application au moins trois fois, et les exécutions partielles sont comptabilisées.
Scanner | Modèle | Paramètres |
|---|---|---|
Evo Code Scanning Agent (version d’aperçu) | Claude Sonnet 5.5 ; GPT-6.1 Sol | Niveau de raisonnement élevé |
Extension Claude Security 0.12.0 pour Claude Code | Claude Sonnet 5.5 | Niveau d’effort de session élevé, exécution sans interface |
Codex Security CLI 0.9.1 (mode deep) | GPT-6.1 Sol | Niveau de raisonnement élevé ; recherche Web et accès réseau désactivés |
OpenHands CLI 1.16 (référence) | GLM-5.3 | Une consigne demandant des résultats de sécurité ; aucun outil de sécurité |
Comment nous avons effectué les mesures
Rappel : part des vulnérabilités connues d’une application détectées par un résultat, en moyenne sur les 14 applications. Plusieurs signalements d’une même vulnérabilité ne comptent qu’une fois.
Calcul équivalent : nous avons laissé Evo Code Scanning Agent s’exécuter jusqu’à ce que ses dépenses de calcul atteignent, sans dépasser, le coût moyen d’une analyse de l’outil de laboratoire utilisant le même modèle. Les outils de laboratoire sont évalués sur la base du coût moyen de leurs analyses.
Précision : nombre de vulnérabilités distinctes détectées ÷ (nombre de vulnérabilités distinctes détectées + nombre de faux positifs distincts), mesuré sur les mêmes résultats que le rappel et à budget de calcul égal. La valeur d’Evo Code Scanning Agent avec Claude Sonnet 5.5 est une borne inférieure, car certains faux positifs en double n’ont pas pu être regroupés.
Comment nous avons évalué les résultats
Étiquettes : deux évaluateurs IA indépendants ont comparé chaque résultat aux vulnérabilités connues. Un troisième évaluateur a tranché en cas de désaccord. Aucun résultat n’a été examiné par un humain. Les résultats que les évaluateurs n’ont pas pu départager ne sont comptabilisés ni dans le rappel ni dans la précision.
Référentiel : les 1 426 vulnérabilités connues comprennent toutes celles confirmées à partir des résultats de n’importe quel scanner, et chaque analyse a été vérifiée à nouveau par rapport à chaque entrée.
Au-delà du harness
En maintenant le modèle constant, nous avons pu mesurer à quel point le harness, à lui seul, façonne les résultats d’un scanner IA. Le harness est l’un des composants d’Evo Code Scanning Agent. Dans de prochains articles, nous aborderons les autres : comment nous rendons les résultats cohérents d’une exécution à l’autre, comment l’analyse statique et l’analyse par IA fonctionnent ensemble, comment nous comptons entraîner des modèles pour la sécurité, et comment le contexte issu des produits Snyk aide les équipes à comprendre et à hiérarchiser les résultats de l’agent.
Vous souhaitez voir ce qu’il détecte dans l’une de vos applications stratégiques ? Demandez à votre équipe de compte Snyk comment rejoindre l’aperçu expérimental.
Evo Code Scanning Agent est disponible en aperçu expérimental auprès d’un nombre restreint de clients. Si vous souhaitez voir ce qu’il détecte dans l’une de vos applications stratégiques, rejoignez l’aperçu ou contactez votre équipe de compte Snyk.
DÉCOUVREZ EVO EN ACTION
Sécurisez l’adoption de l’IA à grande échelle avec Evo
Bénéficiez d’une suite de solutions de sécurité natives pour les agents, qui sécurisent, protègent et gouvernent le développement piloté par l’IA sur trois fronts : les artefacts de code, les agents IA et les applications d’IA développées par vos équipes.



