Snyk Code agora protege builds de IA com suporte a fontes de LLM

Com a chegada da era da IA, vimos a primeira onda de adoção da IA no desenvolvimento de software na forma de assistentes de programação. Agora, estamos vendo a próxima fase dessa adoção: as organizações estão usando LLMs cada vez mais acessíveis para criar softwares com recursos de IA. Naturalmente, à medida que aumenta a adoção de plataformas de LLM, como OpenAI e Gemini, também crescem os riscos de segurança associados ao seu uso. 

Por ser uma tecnologia recente, as sérias implicações de segurança do uso de dados gerados por LLMs costumam ser subestimadas. O uso desses dados pode levar a problemas como injeções de prompt, que podem resultar em vulnerabilidades no código-fonte. 

O Snyk protege seus aplicativos com IA

Como o Snyk busca tornar a adoção da IA segura e simples, temos orgulho de anunciar que o Snyk Code agora protege o uso de bibliotecas de LLM no código-fonte. Ampliamos nossos recursos de análise de vulnerabilidades para que o Snyk Code rastreie os fluxos de dados provenientes de código importado de bibliotecas de LLM compatíveis, incluindo as da OpenAI, HuggingFace, Anthropic e Google. Assim, ele detecta possíveis problemas de segurança e alerta você sobre eles. 

O que isso significa?

Em outras palavras, atualizamos nossas bibliotecas de código-fonte em todas as linguagens de programação compatíveis para incluir fontes de LLM. Agora, quando a DeepCode AI, a inteligência artificial que alimenta o Snyk Code, usa aprendizado de máquina para detectar fontes, sanitizadores e destinos de acordo com nossas regras de taint de última geração, ela identifica e alerta você sobre:

• Dados provenientes de fontes ou bibliotecas de LLM que chegam a uma função ou um armazenamento de dados sensível, ou que não são sanitizados.

• Dados que passam por fontes ou bibliotecas de LLM e chegam a uma função ou um armazenamento de dados sensível, ou que não são sanitizados.

Em termos simples, se um desenvolvedor usa uma das bibliotecas de LLM compatíveis em sua base de código, o Snyk Code agora analisa a propagação de dados não confiáveis, detecta dados não confiáveis — ou seja, dados que se enquadram nas categorias acima — e gera um alerta de taint para aquela fonte específica, notificando você. Para deixar claro, todos os dados retornados por uma biblioteca de LLM serão tratados como uma fonte, independentemente de o prompt estar “codificado diretamente” ou ser fornecido por um usuário. Isso significa que você receberá alertas sobre possíveis problemas mesmo se usar o Snyk Code em projetos com frameworks ou bibliotecas de LLM que ainda não oferecemos suporte oficial.

Play Video: Snyk DeepCode AI detects vulnerable LLM used as prompt source that introduction an SQL injection

Exemplo de como o Snyk Code detectou e sinalizou uma fonte de LLM vulnerável, usada como fonte de prompt, que introduziu uma injeção de SQL.

Play Video: Snyk DeepCode AI detects XSS vulnerability introduced from OpenAI API as LLM prompt injection

Exemplo de como o Snyk Code detectou e sinalizou uma vulnerabilidade de XSS proveniente da API da OpenAI como uma injeção de LLM.

E agora?

O desenvolvimento de software com IA está crescendo rapidamente e evoluindo o tempo todo. Por isso, nossos analistas de segurança pesquisam continuamente o tema e publicam novas descobertas periodicamente em nosso blog. A ampliação significativa da cobertura do Snyk Code demonstra o compromisso do Snyk em tornar a IA segura e confiável. Além de proteger códigos próprios criados por IA e por pessoas, o Snyk Code também protege as organizações contra problemas em código de LLMs de terceiros, diretamente no nível do código-fonte. Assim, os desenvolvedores podem incorporar recursos de IA aos aplicativos com confiança.