SAS e Snyk discutem o futuro da IA para equipes de desenvolvimento e segurança

Compor letras de músicas, escrever código, proteger redes — às vezes parece que a IA é capaz de fazer tudo. Com a ascensão de mecanismos baseados em LLMs, como o ChatGPT e o Google Bard, o que antes parecia ficção científica agora está ao alcance de qualquer pessoa com conexão à internet. Esses avanços em IA estão no centro das atenções da maioria das empresas e levantam muitas questões:

• Como podemos aproveitar essas ferramentas de IA para aumentar a produtividade?

• Como podemos incorporar esses mecanismos de IA aos nossos próprios produtos?

• Essas ferramentas vão trazer mais benefícios ou prejuízos para os negócios?

• Como podemos nos preparar da melhor forma para o futuro da tecnologia de IA?

Em uma conversa recente, Jared Peterson, vice-presidente sênior de Engenharia da SAS, e Ravi Maira, vice-presidente de Marketing de Produto da Snyk, discutiram o futuro da IA para equipes de segurança e desenvolvimento. A equipe de Jared na SAS se dedica a transformar dados em inteligência com IA, aumentando a produtividade das equipes de desenvolvimento e segurança sem introduzir novos riscos. Ao longo da conversa, Jared e Ravi compartilharam quatro previsões sobre o uso da IA no desenvolvimento seguro de software:

1. A IA será ainda mais importante para a produtividade de quem desenvolve.

2. As equipes devem priorizar a prevenção de alucinações.

3. A engenharia de prompts continuará sendo uma ameaça significativa.

4. A detecção de vieses em IA será cada vez mais comum.

A IA será ainda mais importante para a produtividade de quem desenvolve 

Segundo Jared, as organizações que usarem IA para aumentar a produtividade de quem desenvolve terão vantagem nos próximos anos. As equipes de desenvolvimento podem usar IA em diversos casos, como automatizar tarefas repetitivas (por exemplo, gerar código boilerplate). Esses pequenos passos podem levar a resultados ainda melhores no futuro. Nas palavras de Jared: “Meu conselho para qualquer pessoa que trabalhe com desenvolvimento de software é: ‘Entendo por que você pode ter cautela… Mas recomendo que explore a IA e descubra os prós e contras dela no seu domínio específico’.” 

As equipes devem priorizar a prevenção de alucinações 

Embora a IA possa beneficiar as equipes de desenvolvimento, seus LLMs estão sujeitos a alucinações: a geração de informações falsas, mas muitas vezes bastante convincentes. Para integrar a IA aos pipelines com sucesso ao longo do tempo, as equipes de desenvolvimento precisam ajustar seus modelos para que funcionem corretamente. Jared recomenda treiná-los com conjuntos de dados menores, relacionados aos casos de uso específicos da equipe.

Jared também sugere usar engenharia de prompts no back-end ao desenvolver funcionalidades para usuários. Ele afirmou: “O texto inserido pelo usuário raramente será exatamente o que você envia ao modelo de linguagem grande. Esse texto vai fazer parte de um template, por assim dizer, que é o prompt que você realmente envia ao modelo de linguagem grande. E é aí que todo o universo da engenharia de prompts fica muito interessante. Você pode limitar as alucinações ajustando o prompt para direcionar o modelo de linguagem grande a uma área bem específica.”

A engenharia de prompts continuará sendo uma ameaça significativa

No entanto, a engenharia de prompts feita por agentes mal-intencionados pode representar uma séria ameaça ao seu software. Como os prompts são, essencialmente, arquivos de configuração padronizados, um invasor pode adulterá-los usando um ataque man-in-the-middle. 

Jared explicou: “Existe um novo vetor de ameaça interessante: obter acesso ao prompt e alterar seus valores, que, por definição, vão mudar a saída de um modelo de linguagem grande. Em seguida, essa saída vai voltar para o sistema de software.”

Como os LLMs estão sujeitos a ameaças como a engenharia de prompts mal-intencionada, as equipes que usam IA precisam avançar com cautela. As organizações devem estabelecer controles e contrapesos, como revisões regulares de código e outras medidas de garantia de qualidade.

A detecção de vieses em IA será cada vez mais comum

À medida que começam a usar IA, as organizações também devem ficar atentas aos vieses implícitos perpetuados por essas novas ferramentas. Como a IA é treinada com dados do passado, ela pode levar problemas históricos, como o racismo, para o futuro. 

Felizmente, estão surgindo cada vez mais ferramentas para eliminar esses problemas. Muitas empresas e comunidades acadêmicas trabalham com detecção de vieses e tecnologias de IA confiável. Mas, para evitar vieses, é preciso primeiro reconhecer o problema e assumir a responsabilidade por ele. Jared explicou: “Há várias maneiras de ajudar os clientes a perceber: ‘Será que há algum tipo de distorção nos seus dados que deveria preocupar você?’... quando você recebe aquele resultado mágico, é fácil se deixar levar pela magia e não perceber que está perpetuando coisas lamentáveis no futuro.”

Assista à conversa completa entre Jared e Ravi

Para se manter à frente, cada vez mais equipes de desenvolvimento de software precisarão explorar o universo da IA. Mas adotar a tecnologia de IA com segurança exige tempo, estratégia e cautela — é preciso testar as ferramentas gradualmente e estabelecer medidas de segurança de forma proativa. Para saber mais sobre o futuro da IA no desenvolvimento seguro, confira abaixo a conversa completa entre Ravi e Jared. Além disso, descubra como o DeepCode AI da Snyk ajuda as equipes de desenvolvimento a encontrar e corrigir vulnerabilidades em suas aplicações.

Play Video: Snyk and SaS: AI Fireside Chat