Skip to main content
RegístrateAgenda una demostración en vivo

Por qué importa el harness: primeras lecciones de la vista previa de Evo Code Scanning Agent

blog feature ai

19 de noviembre de 2026

11 minutos de lectura

Evo Code Scanning Agent está en vista previa experimental para algunos clientes de Snyk. Lo estamos desarrollando para combinar razonamiento con IA, modelos especializados, análisis determinista, conocimientos de seguridad y una capa de contexto que aprovecha información de todos los productos de Snyk para encontrar vulnerabilidades que son difíciles de detectar con un solo enfoque. Este sistema incluye muchos componentes; aquí analizamos más de cerca uno de ellos: el harness de seguridad que guía la forma en que un modelo de IA explora el código, investiga posibles vulnerabilidades y reporta sus hallazgos.

Para ver qué aporta el harness por sí solo, lo combinamos con los mismos modelos disponibles comercialmente que usan Claude Security y Codex Security. Con el mismo presupuesto de cómputo, Evo Code Scanning Agent encontró más vulnerabilidades conocidas que cualquiera de los dos, aunque ambas herramientas lograron mayor precisión. Estos son resultados iniciales y el agente sigue evolucionando. Si eres cliente de Snyk y quieres probarlo, únete a la vista previa / habla con tu equipo de cuenta de Snyk.

Para esta prueba, ejecutamos dos pares, cada uno con un solo modelo:

  • Evo Code Scanning Agent y Claude Security, ambos con Claude Sonnet 5.5

  • Evo Code Scanning Agent y Codex Security en modo deep, ambos con GPT-6.1 Sol

Cada analizador examinó las mismas 14 aplicaciones, al menos tres veces por aplicación, y se evaluó con base en 1,426 vulnerabilidades conocidas.

Gráfico de barras: con el mismo presupuesto de cómputo, Evo Code Scanning Agent encontró el 57 % de las vulnerabilidades conocidas en Claude Sonnet 5.5 (Claude Security: 32 %) y el 66 % en GPT-6.1 Sol (Codex Security deep: 43 %).

Porcentaje de vulnerabilidades conocidas detectadas con el mismo presupuesto de cómputo, promedio de 14 aplicaciones.

Más hallazgos con el mismo presupuesto de cómputo

La exhaustividad de los resultados de un analizador con IA depende del presupuesto de cómputo que se le asigna. Para comparar en igualdad de condiciones, asignamos a Evo Code Scanning Agent el mismo presupuesto de cómputo que a cada herramienta de laboratorio, en promedio entre las 14 aplicaciones. Frente a Claude Security, detectó el 57 % de las vulnerabilidades conocidas, frente al 32 %. Frente a Codex Security, detectó el 66 %, frente al 43 %. Superó a la herramienta de laboratorio correspondiente en cada una de las 14 aplicaciones.

Detectar más vulnerabilidades y entender su impacto

Ambas herramientas de laboratorio fueron más precisas que Evo Code Scanning Agent. Claude Security verifica cada candidato con un panel que analiza reachability, las defensas y el impacto, mientras que el modo deep de Codex Security ejecuta rondas de revisión antes de reportar. Estamos mejorando la precisión de nuestro harness y perfeccionando las referencias de verdad que usamos para medir.

Modelo

Evo Code Scanning Agent

Herramienta de seguridad de laboratorio

Claude Sonnet 5.5

65 %

94 % (Claude Security)

GPT-6.1 Sol

90 %

97.5 % (Codex Security deep)

Precisión con el mismo presupuesto de cómputo: vulnerabilidades distintas detectadas ÷ (vulnerabilidades distintas detectadas + falsos positivos distintos).

Con el mismo presupuesto de cómputo, Evo Code Scanning Agent detectó más vulnerabilidades conocidas que cualquiera de las dos herramientas de laboratorio, con distintos compromisos de precisión según el modelo. Con GPT-6.1 Sol, detectó el 66 % de las vulnerabilidades conocidas, frente al 43 % de Codex Security, con una precisión del 90 % frente al 97.5 %. Con Claude Sonnet 5.5, detectó el 57 %, frente al 32 % de Claude Security, con una diferencia de precisión mayor: 65 % frente al 94 %. Estamos priorizando deliberadamente una detección más amplia de vulnerabilidades mientras seguimos mejorando la precisión.

También estamos explorando cómo el contexto de todos los productos de Snyk puede ayudar a los equipos a entender la importancia de cada hallazgo, por ejemplo, si debilidades que parecen menos urgentes por separado podrían combinarse y dar lugar a un ataque más grave. A medida que la IA cambia la forma en que los atacantes investigan y conectan vulnerabilidades, este contexto más amplio será cada vez más valioso.

El mismo modelo, distintos hallazgos

Al mantener fijo el modelo, resulta fácil ver el efecto del harness. Con el mismo presupuesto de cómputo y Claude Sonnet 5.5, Evo Code Scanning Agent detectó cerca de tres de cada cuatro vulnerabilidades que encontró Claude Security, además de unas 470 más en las 14 aplicaciones. Con GPT-6.1 Sol, detectó cerca de seis de cada siete de las que encontró Codex Security deep, además de unas 420 más. Cada herramienta de laboratorio también encontró vulnerabilidades que Evo Code Scanning Agent no detectó: 111 en el caso de Claude Security y 84 en el de Codex Security deep.

Diagrama de Venn: con el mismo presupuesto de cómputo en Claude Sonnet 5.5, Evo Code Scanning Agent detectó 782 vulnerabilidades conocidas y Claude Security, 425. Ambos detectaron 314; solo Evo Code Scanning Agent, 468; solo Claude Security, 111.

Vulnerabilidades conocidas detectadas por cada herramienta con Claude Sonnet 5.5 y el mismo presupuesto de cómputo, promediadas entre ejecuciones y sumadas en las 14 aplicaciones. Las 314 detectadas por ambas cuentan para el total de cada herramienta; en conjunto, las dos detectaron 893 de las 1,426. Ninguna detectó las otras 533.

Diagrama de Venn. Con el mismo presupuesto de cómputo en GPT-6.1 Sol, Evo Code Scanning Agent encontró 898 vulnerabilidades conocidas y Codex Security deep, 562: 478 en común, 420 solo Evo y 84 solo Codex.

Vulnerabilidades conocidas detectadas por cada herramienta con GPT-6.1 Sol y el mismo presupuesto de cómputo, promediadas entre ejecuciones y sumadas en las 14 aplicaciones. Las 478 detectadas por ambas cuentan para el total de cada herramienta; en conjunto, las dos detectaron 982 de las 1,426. Ninguna detectó las otras 444.

Como el modelo era idéntico en cada par, la diferencia proviene de todo lo que lo rodea: cómo el harness planifica el trabajo, divide el código, investiga los posibles hallazgos y decide cuáles conservar.

Un agente de programación de propósito general no es suficiente

Como referencia, ejecutamos OpenHands, un agente de programación de código abierto muy usado, con el modelo de pesos abiertos GLM-5.3 y una sola instrucción para que generara una lista de hallazgos de seguridad. Detectó el 13 % de las vulnerabilidades conocidas y solo cerca de tres de cada cinco de sus primeros intentos produjeron un resultado útil. Esta comparación cambia tanto el modelo como el harness, así que no permite aislar el efecto de ninguno de los dos. Pero sí establece un punto de partida: un agente de programación capaz, con una instrucción razonable, detecta solo una fracción de lo que encontraron las herramientas diseñadas específicamente para este fin.

Alcance y limitaciones de estos resultados

Estos son resultados iniciales de un benchmark que Snyk diseñó y ejecutó internamente. Las 14 aplicaciones combinan proyectos de código abierto con aplicaciones de benchmark diseñadas para este propósito, y solo reportamos los resultados agregados. Evo Code Scanning Agent está en vista previa experimental y sigue evolucionando; esta prueba midió por sí solo uno de sus componentes, el harness de IA.

Ninguna herramienta de la prueba detectó todas las vulnerabilidades conocidas. El mejor resultado, el 66 % con GPT-6.1 Sol, aún dejó cerca de un tercio sin detectar. Por eso consideramos que los agentes de seguridad con IA son una capa más de un programa de AppSec. Funcionan junto con SAST, SCA y la revisión de código, y cada uno de estos puede detectar problemas que los demás pasan por alto.

Metodología

Todos los resultados provienen del benchmark interno de Snyk, realizado con 14 aplicaciones —una combinación de proyectos de código abierto y aplicaciones diseñadas específicamente para el benchmark— y evaluado con base en 1,426 vulnerabilidades conocidas. Cada analizador examinó el mismo árbol de código fuente de cada aplicación al menos tres veces; las ejecuciones parciales también cuentan como ejecuciones.

Analizador

Modelo

Configuración

Evo Code Scanning Agent (versión de vista previa)

Claude Sonnet 5.5; GPT-6.1 Sol

Esfuerzo de razonamiento alto

Plugin Claude Security 0.12.0 para Claude Code

Claude Sonnet 5.5

Esfuerzo de sesión alto, ejecución sin interfaz

CLI de Codex Security 0.9.1 (modo deep)

GPT-6.1 Sol

Esfuerzo de razonamiento alto; búsqueda web y acceso a la red desactivados

CLI de OpenHands 1.16 (referencia)

GLM-5.3

Una instrucción para buscar hallazgos de seguridad; sin herramientas de seguridad

Cómo medimos

  • Recall: proporción de las vulnerabilidades conocidas de una aplicación que detecta un resultado, promediada entre las 14 aplicaciones. Dos reportes de la misma vulnerabilidad cuentan como uno.

  • Igualdad de cómputo: dejamos que Evo Code Scanning Agent se ejecutara hasta alcanzar, sin exceder, el costo promedio de un análisis de la herramienta de laboratorio que usaba el mismo modelo. Las herramientas de laboratorio se evalúan según el promedio de sus análisis.

  • Precisión: vulnerabilidades distintas detectadas ÷ (vulnerabilidades distintas detectadas + falsos positivos distintos), medida con los mismos resultados que el recall y el mismo presupuesto de cómputo. La cifra de Evo Code Scanning Agent con Claude Sonnet 5.5 es un límite inferior, porque no fue posible combinar algunos falsos positivos duplicados.

Cómo evaluamos los hallazgos

  • Etiquetas: dos revisores independientes con IA evaluaron cada hallazgo frente a las vulnerabilidades conocidas, y un tercero decidió cuando no estaban de acuerdo. Ningún hallazgo fue revisado por una persona. Los hallazgos que los revisores no pudieron resolver no cuentan ni para el recall ni para la precisión.

  • Clave de respuestas: las 1,426 vulnerabilidades conocidas incluyen todas las que se confirmaron a partir de los hallazgos de cualquier analizador, y cada análisis se volvió a verificar frente a todas las entradas.

Más allá del harness

Al mantener constante el modelo, vimos cuánto influye el harness por sí solo en lo que detecta un analizador con IA. El harness es uno de los componentes de Evo Code Scanning Agent, y en próximas publicaciones abordaremos los demás: cómo hacemos que los hallazgos sean consistentes entre ejecuciones, cómo trabajan en conjunto el análisis estático y el análisis con IA, cómo planeamos entrenar modelos para seguridad y cómo el contexto de todos los productos de Snyk ayuda a los equipos a entender y priorizar lo que encuentra el agente.

¿Quieres ver qué detecta en una de tus aplicaciones críticas para el negocio? Pregúntale a tu equipo de cuenta de Snyk cómo puedes unirte a la vista previa experimental.

Evo Code Scanning Agent está en vista previa experimental para algunos clientes. Si quieres ver qué detecta en una de tus aplicaciones críticas para el negocio, únete a la vista previa / habla con tu equipo de cuenta de Snyk.

DESCUBRE EVO EN ACCIÓN

Adopta la IA de forma segura y a escala con Evo

Obtén un conjunto de soluciones de seguridad nativas para agentes que protegen y gobiernan el desarrollo impulsado por IA en tres ciclos: el artefacto de código, la fuerza laboral de IA y las aplicaciones de IA que crean los equipos.

Leer más