Por qué importa el harness: primeras lecciones de la vista previa de Evo Code Scanning Agent
19 de noviembre de 2026
11 minutos de lecturaEvo Code Scanning Agent está en vista previa experimental para algunos clientes de Snyk. Lo estamos desarrollando para combinar razonamiento con IA, modelos especializados, análisis determinista, conocimientos de seguridad y una capa de contexto que aprovecha información de todos los productos de Snyk para encontrar vulnerabilidades que son difíciles de detectar con un solo enfoque. Este sistema incluye muchos componentes; aquí analizamos más de cerca uno de ellos: el harness de seguridad que guía la forma en que un modelo de IA explora el código, investiga posibles vulnerabilidades y reporta sus hallazgos.
Para ver qué aporta el harness por sí solo, lo combinamos con los mismos modelos disponibles comercialmente que usan Claude Security y Codex Security. Con el mismo presupuesto de cómputo, Evo Code Scanning Agent encontró más vulnerabilidades conocidas que cualquiera de los dos, aunque ambas herramientas lograron mayor precisión. Estos son resultados iniciales y el agente sigue evolucionando. Si eres cliente de Snyk y quieres probarlo, únete a la vista previa / habla con tu equipo de cuenta de Snyk.
Para esta prueba, ejecutamos dos pares, cada uno con un solo modelo:
Evo Code Scanning Agent y Claude Security, ambos con Claude Sonnet 5.5
Evo Code Scanning Agent y Codex Security en modo deep, ambos con GPT-6.1 Sol
Cada analizador examinó las mismas 14 aplicaciones, al menos tres veces por aplicación, y se evaluó con base en 1,426 vulnerabilidades conocidas.

Porcentaje de vulnerabilidades conocidas detectadas con el mismo presupuesto de cómputo, promedio de 14 aplicaciones.
Más hallazgos con el mismo presupuesto de cómputo
La exhaustividad de los resultados de un analizador con IA depende del presupuesto de cómputo que se le asigna. Para comparar en igualdad de condiciones, asignamos a Evo Code Scanning Agent el mismo presupuesto de cómputo que a cada herramienta de laboratorio, en promedio entre las 14 aplicaciones. Frente a Claude Security, detectó el 57 % de las vulnerabilidades conocidas, frente al 32 %. Frente a Codex Security, detectó el 66 %, frente al 43 %. Superó a la herramienta de laboratorio correspondiente en cada una de las 14 aplicaciones.
Detectar más vulnerabilidades y entender su impacto
Ambas herramientas de laboratorio fueron más precisas que Evo Code Scanning Agent. Claude Security verifica cada candidato con un panel que analiza reachability, las defensas y el impacto, mientras que el modo deep de Codex Security ejecuta rondas de revisión antes de reportar. Estamos mejorando la precisión de nuestro harness y perfeccionando las referencias de verdad que usamos para medir.
Modelo | Evo Code Scanning Agent | Herramienta de seguridad de laboratorio |
|---|---|---|
Claude Sonnet 5.5 | 65 % | 94 % (Claude Security) |
GPT-6.1 Sol | 90 % | 97.5 % (Codex Security deep) |
Precisión con el mismo presupuesto de cómputo: vulnerabilidades distintas detectadas ÷ (vulnerabilidades distintas detectadas + falsos positivos distintos).
Con el mismo presupuesto de cómputo, Evo Code Scanning Agent detectó más vulnerabilidades conocidas que cualquiera de las dos herramientas de laboratorio, con distintos compromisos de precisión según el modelo. Con GPT-6.1 Sol, detectó el 66 % de las vulnerabilidades conocidas, frente al 43 % de Codex Security, con una precisión del 90 % frente al 97.5 %. Con Claude Sonnet 5.5, detectó el 57 %, frente al 32 % de Claude Security, con una diferencia de precisión mayor: 65 % frente al 94 %. Estamos priorizando deliberadamente una detección más amplia de vulnerabilidades mientras seguimos mejorando la precisión.
También estamos explorando cómo el contexto de todos los productos de Snyk puede ayudar a los equipos a entender la importancia de cada hallazgo, por ejemplo, si debilidades que parecen menos urgentes por separado podrían combinarse y dar lugar a un ataque más grave. A medida que la IA cambia la forma en que los atacantes investigan y conectan vulnerabilidades, este contexto más amplio será cada vez más valioso.
El mismo modelo, distintos hallazgos
Al mantener fijo el modelo, resulta fácil ver el efecto del harness. Con el mismo presupuesto de cómputo y Claude Sonnet 5.5, Evo Code Scanning Agent detectó cerca de tres de cada cuatro vulnerabilidades que encontró Claude Security, además de unas 470 más en las 14 aplicaciones. Con GPT-6.1 Sol, detectó cerca de seis de cada siete de las que encontró Codex Security deep, además de unas 420 más. Cada herramienta de laboratorio también encontró vulnerabilidades que Evo Code Scanning Agent no detectó: 111 en el caso de Claude Security y 84 en el de Codex Security deep.

Vulnerabilidades conocidas detectadas por cada herramienta con Claude Sonnet 5.5 y el mismo presupuesto de cómputo, promediadas entre ejecuciones y sumadas en las 14 aplicaciones. Las 314 detectadas por ambas cuentan para el total de cada herramienta; en conjunto, las dos detectaron 893 de las 1,426. Ninguna detectó las otras 533.

Vulnerabilidades conocidas detectadas por cada herramienta con GPT-6.1 Sol y el mismo presupuesto de cómputo, promediadas entre ejecuciones y sumadas en las 14 aplicaciones. Las 478 detectadas por ambas cuentan para el total de cada herramienta; en conjunto, las dos detectaron 982 de las 1,426. Ninguna detectó las otras 444.
Como el modelo era idéntico en cada par, la diferencia proviene de todo lo que lo rodea: cómo el harness planifica el trabajo, divide el código, investiga los posibles hallazgos y decide cuáles conservar.
Un agente de programación de propósito general no es suficiente
Como referencia, ejecutamos OpenHands, un agente de programación de código abierto muy usado, con el modelo de pesos abiertos GLM-5.3 y una sola instrucción para que generara una lista de hallazgos de seguridad. Detectó el 13 % de las vulnerabilidades conocidas y solo cerca de tres de cada cinco de sus primeros intentos produjeron un resultado útil. Esta comparación cambia tanto el modelo como el harness, así que no permite aislar el efecto de ninguno de los dos. Pero sí establece un punto de partida: un agente de programación capaz, con una instrucción razonable, detecta solo una fracción de lo que encontraron las herramientas diseñadas específicamente para este fin.
Alcance y limitaciones de estos resultados
Estos son resultados iniciales de un benchmark que Snyk diseñó y ejecutó internamente. Las 14 aplicaciones combinan proyectos de código abierto con aplicaciones de benchmark diseñadas para este propósito, y solo reportamos los resultados agregados. Evo Code Scanning Agent está en vista previa experimental y sigue evolucionando; esta prueba midió por sí solo uno de sus componentes, el harness de IA.
Ninguna herramienta de la prueba detectó todas las vulnerabilidades conocidas. El mejor resultado, el 66 % con GPT-6.1 Sol, aún dejó cerca de un tercio sin detectar. Por eso consideramos que los agentes de seguridad con IA son una capa más de un programa de AppSec. Funcionan junto con SAST, SCA y la revisión de código, y cada uno de estos puede detectar problemas que los demás pasan por alto.
Metodología
Todos los resultados provienen del benchmark interno de Snyk, realizado con 14 aplicaciones —una combinación de proyectos de código abierto y aplicaciones diseñadas específicamente para el benchmark— y evaluado con base en 1,426 vulnerabilidades conocidas. Cada analizador examinó el mismo árbol de código fuente de cada aplicación al menos tres veces; las ejecuciones parciales también cuentan como ejecuciones.
Analizador | Modelo | Configuración |
|---|---|---|
Evo Code Scanning Agent (versión de vista previa) | Claude Sonnet 5.5; GPT-6.1 Sol | Esfuerzo de razonamiento alto |
Plugin Claude Security 0.12.0 para Claude Code | Claude Sonnet 5.5 | Esfuerzo de sesión alto, ejecución sin interfaz |
CLI de Codex Security 0.9.1 (modo deep) | GPT-6.1 Sol | Esfuerzo de razonamiento alto; búsqueda web y acceso a la red desactivados |
CLI de OpenHands 1.16 (referencia) | GLM-5.3 | Una instrucción para buscar hallazgos de seguridad; sin herramientas de seguridad |
Cómo medimos
Recall: proporción de las vulnerabilidades conocidas de una aplicación que detecta un resultado, promediada entre las 14 aplicaciones. Dos reportes de la misma vulnerabilidad cuentan como uno.
Igualdad de cómputo: dejamos que Evo Code Scanning Agent se ejecutara hasta alcanzar, sin exceder, el costo promedio de un análisis de la herramienta de laboratorio que usaba el mismo modelo. Las herramientas de laboratorio se evalúan según el promedio de sus análisis.
Precisión: vulnerabilidades distintas detectadas ÷ (vulnerabilidades distintas detectadas + falsos positivos distintos), medida con los mismos resultados que el recall y el mismo presupuesto de cómputo. La cifra de Evo Code Scanning Agent con Claude Sonnet 5.5 es un límite inferior, porque no fue posible combinar algunos falsos positivos duplicados.
Cómo evaluamos los hallazgos
Etiquetas: dos revisores independientes con IA evaluaron cada hallazgo frente a las vulnerabilidades conocidas, y un tercero decidió cuando no estaban de acuerdo. Ningún hallazgo fue revisado por una persona. Los hallazgos que los revisores no pudieron resolver no cuentan ni para el recall ni para la precisión.
Clave de respuestas: las 1,426 vulnerabilidades conocidas incluyen todas las que se confirmaron a partir de los hallazgos de cualquier analizador, y cada análisis se volvió a verificar frente a todas las entradas.
Más allá del harness
Al mantener constante el modelo, vimos cuánto influye el harness por sí solo en lo que detecta un analizador con IA. El harness es uno de los componentes de Evo Code Scanning Agent, y en próximas publicaciones abordaremos los demás: cómo hacemos que los hallazgos sean consistentes entre ejecuciones, cómo trabajan en conjunto el análisis estático y el análisis con IA, cómo planeamos entrenar modelos para seguridad y cómo el contexto de todos los productos de Snyk ayuda a los equipos a entender y priorizar lo que encuentra el agente.
¿Quieres ver qué detecta en una de tus aplicaciones críticas para el negocio? Pregúntale a tu equipo de cuenta de Snyk cómo puedes unirte a la vista previa experimental.
Evo Code Scanning Agent está en vista previa experimental para algunos clientes. Si quieres ver qué detecta en una de tus aplicaciones críticas para el negocio, únete a la vista previa / habla con tu equipo de cuenta de Snyk.
DESCUBRE EVO EN ACCIÓN
Adopta la IA de forma segura y a escala con Evo
Obtén un conjunto de soluciones de seguridad nativas para agentes que protegen y gobiernan el desarrollo impulsado por IA en tres ciclos: el artefacto de código, la fuerza laboral de IA y las aplicaciones de IA que crean los equipos.



