Por que o harness importa: primeiras lições da prévia do Evo Code Scanning Agent
19 de novembro de 2026
12 minutos de leituraO Evo Code Scanning Agent está em prévia experimental para alguns clientes da Snyk. Estamos desenvolvendo a solução para combinar raciocínio de IA, modelos especializados, análise determinística, conhecimento de segurança e uma camada de contexto baseada em insights de vários produtos da Snyk — tudo para encontrar vulnerabilidades difíceis de detectar com uma única abordagem. Esse sistema envolve muitos componentes. Vamos analisar mais de perto um deles: o harness de segurança, que orienta como um modelo de IA explora o código, investiga possíveis vulnerabilidades e apresenta os resultados.
Para entender a contribuição do harness por si só, usamos com ele os mesmos modelos prontos disponíveis usados pelo Claude Security e pelo Codex Security. Com o mesmo orçamento computacional, o Evo Code Scanning Agent encontrou mais vulnerabilidades conhecidas que as duas ferramentas, embora ambas tenham alcançado maior precisão. Estes são resultados iniciais, e o agente continua evoluindo. Se você é cliente da Snyk e quer experimentar, participe da prévia / fale com a equipe de contas da Snyk.
Neste teste, executamos dois pares, cada um com um único modelo:
Evo Code Scanning Agent e Claude Security, ambos com Claude Sonnet 5.5
Evo Code Scanning Agent e Codex Security no modo deep, ambos com GPT-6.1 Sol
Cada scanner foi executado nas mesmas 14 aplicações, pelo menos três vezes em cada uma, e avaliado com base em 1.426 vulnerabilidades conhecidas.

Percentual de vulnerabilidades conhecidas encontradas com o mesmo orçamento computacional, em média nas 14 aplicações.
Mais resultados com o mesmo orçamento computacional
A abrangência dos resultados de um scanner de IA depende do orçamento computacional disponível. Para comparar ferramentas em condições equivalentes, demos ao Evo Code Scanning Agent o mesmo orçamento computacional médio das ferramentas dos laboratórios nas 14 aplicações. Em comparação com o Claude Security, ele encontrou 57% das vulnerabilidades conhecidas, contra 32%. Em comparação com o Codex Security, encontrou 66%, contra 43%. Ele encontrou mais vulnerabilidades que a respectiva ferramenta dos laboratórios em cada uma das 14 aplicações.
Encontrar mais vulnerabilidades e entender seu impacto
As duas ferramentas dos laboratórios tiveram maior precisão que o Evo Code Scanning Agent. O Claude Security verifica cada candidato com um painel de validação que analisa a explorabilidade, as defesas e o impacto; já o modo deep do Codex Security realiza várias rodadas de revisão antes de apresentar os resultados. Estamos aprimorando a precisão do nosso harness e refinando as referências que usamos nas medições.
Modelo | Evo Code Scanning Agent | Ferramenta de segurança dos laboratórios |
|---|---|---|
Claude Sonnet 5.5 | 65% | 94% (Claude Security) |
GPT-6.1 Sol | 90% | 97,5% (Codex Security deep) |
Precisão com o mesmo orçamento computacional: vulnerabilidades distintas encontradas ÷ (vulnerabilidades distintas encontradas + falsos positivos distintos).
Com o mesmo orçamento computacional, o Evo Code Scanning Agent encontrou mais vulnerabilidades conhecidas que as duas ferramentas dos laboratórios, mas a precisão variou entre os modelos. Com GPT-6.1 Sol, encontrou 66% das vulnerabilidades conhecidas, contra 43% do Codex Security, com precisão de 90%, contra 97,5%. Com Claude Sonnet 5.5, encontrou 57%, contra 32% do Claude Security, com uma diferença maior de precisão: 65%, contra 94%. Estamos priorizando deliberadamente uma descoberta mais abrangente de vulnerabilidades, enquanto continuamos aprimorando a precisão.
Também estamos explorando como o contexto dos vários produtos da Snyk pode ajudar as equipes a entender a relevância de cada resultado, inclusive se pontos fracos que parecem menos urgentes quando analisados isoladamente podem se combinar e levar a um ataque mais grave. À medida que a IA transforma a maneira como os atacantes investigam e conectam vulnerabilidades, esse contexto mais amplo se torna cada vez mais valioso.
Mesmo modelo, resultados diferentes
Manter o modelo fixo deixa claro o efeito do harness. Com o mesmo orçamento computacional e Claude Sonnet 5.5, o Evo Code Scanning Agent encontrou cerca de três quartos das vulnerabilidades detectadas pelo Claude Security, além de aproximadamente 470 vulnerabilidades a mais nas 14 aplicações. Com GPT-6.1 Sol, encontrou cerca de seis sétimos do que o Codex Security deep encontrou, além de aproximadamente 420 vulnerabilidades a mais. Cada ferramenta dos laboratórios ainda encontrou vulnerabilidades que passaram despercebidas pelo Evo Code Scanning Agent: 111 no caso do Claude Security e 84 no do Codex Security deep.

Vulnerabilidades conhecidas encontradas por cada ferramenta com Claude Sonnet 5.5 e o mesmo orçamento computacional, em média nas execuções e somadas nas 14 aplicações. As 314 encontradas por ambas contam para o total de cada ferramenta. Portanto, juntas, elas encontraram 893 das 1.426 vulnerabilidades. Nenhuma das duas encontrou as outras 533.

Vulnerabilidades conhecidas encontradas por cada ferramenta com GPT-6.1 Sol e o mesmo orçamento computacional, em média nas execuções e somadas nas 14 aplicações. As 478 encontradas por ambas contam para o total de cada ferramenta. Portanto, juntas, elas encontraram 982 das 1.426 vulnerabilidades. Nenhuma das duas encontrou as outras 444.
Como o modelo era idêntico em cada par, a diferença vem de tudo o que o envolve: como o harness planeja o trabalho, divide o código, investiga os possíveis problemas e decide o que manter.
Um agente de programação de propósito geral não basta
Como referência, executamos o OpenHands, um agente de programação de código aberto bastante usado, com o modelo de pesos abertos GLM-5.3 e um único prompt pedindo uma lista de problemas de segurança. Ele encontrou 13% das vulnerabilidades conhecidas, e apenas cerca de três em cada cinco tentativas iniciais produziram um resultado útil. Essa comparação muda tanto o modelo quanto o harness, então não permite avaliar nenhum dos dois isoladamente. Mas estabelece um ponto de partida: um agente de programação competente, com um prompt razoável, encontra apenas uma fração do que as ferramentas criadas especificamente para isso encontraram.
Escopo e limitações dos resultados
Estes são resultados iniciais de um benchmark desenvolvido e executado internamente pela Snyk. As 14 aplicações combinam projetos de código aberto e aplicações de benchmark criadas especificamente para o teste. Os resultados são apresentados apenas em conjunto. O Evo Code Scanning Agent está em prévia experimental e continua evoluindo. Neste teste, avaliamos isoladamente apenas um dos seus componentes: o harness de IA.
Nenhuma ferramenta do teste encontrou todas as vulnerabilidades conhecidas. O melhor resultado, 66% com GPT-6.1 Sol, ainda deixou cerca de um terço sem identificar. Por isso, consideramos os agentes de segurança com IA uma camada de um programa de AppSec. Eles atuam em conjunto com SAST, SCA e revisão de código, e cada um desses recursos detecta problemas que os outros podem deixar passar.
Metodologia
Todos os resultados vêm do benchmark interno da Snyk, com 14 aplicações — uma combinação de projetos de código aberto e aplicações de benchmark criadas especificamente para o teste —, avaliadas com base em 1.426 vulnerabilidades conhecidas. Cada scanner analisou a mesma árvore de código-fonte de cada aplicação pelo menos três vezes, e as execuções parciais também foram contabilizadas.
Scanner | Modelo | Configurações |
|---|---|---|
Evo Code Scanning Agent (versão de prévia) | Claude Sonnet 5.5; GPT-6.1 Sol | Nível de raciocínio alto |
Plugin Claude Security 0.12.0 para Claude Code | Claude Sonnet 5.5 | Nível de esforço da sessão alto; execução sem interface |
Codex Security CLI 0.9.1 (modo deep) | GPT-6.1 Sol | Nível de raciocínio alto; pesquisa na Web e acesso à rede desativados |
OpenHands CLI 1.16 (referência) | GLM-5.3 | Um prompt solicitando problemas de segurança; sem ferramentas de segurança |
Como fizemos as medições
Recall: percentual das vulnerabilidades conhecidas de uma aplicação encontrado por uma execução, em média nas 14 aplicações. Duas ocorrências da mesma vulnerabilidade contam uma vez.
Mesmo orçamento computacional: deixamos o Evo Code Scanning Agent executar até que seu gasto computacional atingisse, sem ultrapassar, o custo médio de uma análise da ferramenta dos laboratórios que usa o mesmo modelo. As ferramentas dos laboratórios são avaliadas pela média de suas análises.
Precisão: vulnerabilidades distintas encontradas ÷ (vulnerabilidades distintas encontradas + falsos positivos distintos), medida com os mesmos resultados usados para calcular o recall e com o mesmo orçamento computacional. O valor do Evo Code Scanning Agent com Claude Sonnet 5.5 é um limite inferior, pois não foi possível agrupar alguns falsos positivos duplicados.
Como avaliamos os resultados
Classificações: dois revisores independentes de IA avaliaram cada resultado em relação às vulnerabilidades conhecidas; um terceiro decidiu nos casos de discordância. Nenhum resultado foi revisado por uma pessoa. Os resultados sem uma decisão dos revisores não entram no cálculo de recall nem de precisão.
Gabarito: as 1.426 vulnerabilidades conhecidas incluem todas as vulnerabilidades confirmadas a partir dos resultados de qualquer scanner, e cada análise foi conferida novamente com base em todas as entradas.
Além do harness
Manter o modelo constante mostrou o quanto o harness, por si só, influencia o que um scanner de IA encontra. O harness é um dos componentes do Evo Code Scanning Agent, e em próximas publicações vamos abordar os outros: como estamos tornando os resultados consistentes entre execuções, como a análise estática e a análise com IA trabalham juntas, como planejamos treinar modelos para segurança e como o contexto dos vários produtos da Snyk ajuda as equipes a entender e priorizar o que o agente encontra.
Quer ver o que ele encontra em uma das aplicações essenciais para o seu negócio? Fale com sua equipe de contas da Snyk para saber como participar da prévia experimental.
O Evo Code Scanning Agent está em prévia experimental para alguns clientes. Se você quer ver o que ele encontra em uma das aplicações essenciais para o seu negócio, participe da prévia / fale com sua equipe de contas da Snyk.
VEJA O EVO EM AÇÃO
Adote IA com segurança em escala com o Evo
Tenha acesso a um conjunto de soluções de segurança nativas para agentes que protegem e governam o desenvolvimento com IA em três frentes: os artefatos de código, os agentes de IA e os aplicativos de IA criados pelas equipes.



