Sessão da Infosec Europe: 4 dicas para adotar IA com mais segurança
Gerald Crescione
1 de agosto de 2024
0 minutos de leitura
A adoção de IA pelas empresas em todo o mundo continua avançando em ritmo acelerado, como mostra um relatório da Coatue que compara a adoção da IA à dos primórdios da internet e conclui que o crescimento da IA ocorre duas vezes mais rápido.
À medida que as empresas avançam com soluções de desenvolvimento de software impulsionadas por IA, as equipes de segurança enfrentam o desafio de promover a inovação e, ao mesmo tempo, “pisar no freio” quando necessário para evitar os riscos associados às ferramentas de IA, como sugestões de código inseguro e alucinações sobre bibliotecas.
Liqian Lim, gerente sênior de marketing de produto da Snyk, conversou com Kevin Fielder, cliente da Snyk e CISO da NatWest Boxed & Mettle, na Infosecurity Europe 2024. Eles discutiram muitos dos riscos e das oportunidades associados à IA e deram conselhos a CISOs que querem adotar essas tecnologias poderosas com segurança. Confira algumas das principais recomendações:
1. Classifique o uso da IA de acordo com o impacto e a criticidade para os negócios
Cada área da sua empresa tem um nível diferente de risco e criticidade. Adotar IA em uma área não crítica talvez não afete os níveis de segurança. Mas, se a adoção ocorrer em uma área essencial do negócio, ela poderá mudar todo o seu perfil de risco e comprometer ativos confidenciais. Ao gerenciar a segurança em questões relacionadas à IA, CISOs podem economizar tempo e recursos concentrando-se nas áreas que apresentam os maiores riscos potenciais.
Segundo Fielder: “Por exemplo, [vamos pensar no uso da IA] para melhorar o atendimento ao cliente. Na verdade, o risco de danos relacionados à segurança de aplicações é bem baixo nesse caso… mas, dependendo do seu setor, haverá áreas de maior risco. Em situações assim, avance bem devagar e tenha muito cuidado.”
Não confie apenas nos LLMs para dizer se o código é seguro — use guardrails de IA
Como os grandes modelos de linguagem (LLMs) aprendem com prompts anteriores, eles têm uma capacidade impressionante de identificar o que as pessoas querem ver e gerar informações semelhantes. O mais surpreendente é que já houve casos em que a IA apresentou justificativas enganosas para explicar como chegou a determinada conclusão, porque nossos prompts ensinaram a ela o que queremos ouvir. Por isso, as empresas não podem confiar nos próprios LLMs para informar o nível de segurança, justificar determinada decisão e assim por diante.
Em vez disso, você precisa usar outros recursos para avaliar a segurança e a qualidade do código gerado por IA. Para ilustrar esse ponto, Fielder destacou a importância de testar as informações geradas por IA da maneira adequada e incluir uma pessoa no processo nas áreas de alto risco. Embora testar código gerado por IA seja parecido com testar outros tipos de código, há diferenças importantes, como a necessidade de acompanhar a velocidade e o volume de código gerado por IA. Fielder explicou: “Quando a IA gera o código, garanta que haja guardrails adequados, como você já deveria ter. Assim, o resultado é devidamente testado e protegido.”
Ele dividiu esses guardrails essenciais em três etapas:
Faça revisões de código
Inclua uma validação por pares
Faça uma análise do código e testes unitários
Uma ferramenta SAST tão rápida quanto a IA e precisa como especialistas, como o Snyk Code, ajuda você a detectar e corrigir automaticamente, em tempo real, tanto o código criado por pessoas quanto o gerado por IA — tudo no IDE que os desenvolvedores já usam, minimizando a troca de contexto e as interrupções no fluxo de trabalho.
Preste atenção ao modelo de treinamento e proteja-o contra ataques.
Os palestrantes também destacaram a importância de saber quais modelos de treinamento suas ferramentas de IA usam para gerar resultados e de incentivar as equipes responsáveis pelo treinamento a adotar precauções. Ter cuidado com os modelos de treinamento das suas ferramentas de IA é essencial, pois atacantes podem explorar seu sistema com métodos como a injeção de prompt se você não selecionar os dados de treinamento com atenção. Esses ataques podem ocorrer quando pessoas mal-intencionadas criam prompts estrategicamente para levar os LLMs a executar tarefas fora do escopo previsto. Você pode proteger seu modelo de treinamento contra a ingestão e o uso de prompts maliciosos mantendo uma pessoa qualificada no processo e usando validação de entrada para bloquear prompts com sinais evidentes de atividade maliciosa.
Nas palavras de Fielder: “As equipes de segurança não participam necessariamente do treinamento, mas podem orientar as pessoas sobre como realizá-lo e o que considerar: o que acontece se alguém fizer a pergunta errada? E se informações incorretas forem incluídas? Como gerenciamos isso? Como fazemos o modelo desaprender informações se ele tiver aprendido algo errado?”
Além disso, essas recomendações podem ajudar você a fazer perguntas sobre as soluções de IA de fornecedores terceirizados e investigar melhor os modelos de treinamento que eles usam. De modo geral, uma abordagem de “caixa-preta” para o treinamento de modelos de IA é um sinal de alerta.
Saiba onde a IA está presente na sua infraestrutura tecnológica atual.
Também é importante perceber que provavelmente já há muitas soluções de IA em uso na sua organização. No entanto, pode ser difícil identificar quais soluções com IA já estão presentes na empresa, pois muitos aplicativos de terceiros lançam recursos de IA sem informar adequadamente seus clientes.
Fielder afirmou: “A IA está se infiltrando nos aplicativos empresariais. Os fornecedores estão lançando esses recursos, e nem todos necessariamente dão a opção de não usá-los. Ou talvez você possa [optar por não usar]… mas precise passar por um processo complicado para não participar dos recursos de IA. Por exemplo, um dos nossos emuladores de terminal usava um LLM para oferecer prompts melhores… você pensaria que um emulador de terminal é uma das coisas menos arriscadas que usa e, de repente, ele tem IA.”
Por isso, um dos desafios contínuos das empresas será inventariar todos esses aplicativos de terceiros e entender como e onde a IA é usada neles. Mais uma vez, começar pelas áreas mais críticas para os negócios e avançar a partir daí pode ajudar.
Snyk: uma aliada de segurança para suas ferramentas de IA
Embora pareça que a tecnologia está avançando em uma competição para vencer a “corrida da IA”, vale a pena agir com cautela em nome da segurança. No entanto, você não precisa interromper a inovação nem atrapalhar as equipes de desenvolvimento para isso. Usar soluções de segurança que se integram aos fluxos de trabalho de desenvolvimento existentes e acompanham a velocidade da IA pode fazer toda a diferença.
A Snyk complementa os assistentes de programação com IA atuais com análises SAST na velocidade da IA e correções automáticas de vulnerabilidades com um clique. Também oferecemos:
Verificações de pull requests como uma camada adicional de proteção, para acompanhar a velocidade cada vez maior com que o código gerado por IA é criado e enviado;
Ações recomendadas e explicações quando uma vulnerabilidade é detectada, tudo nos IDEs que os desenvolvedores já usam;
Insights contextuais com base nas características específicas dos negócios e no perfil de risco da sua organização.
Para saber mais sobre como responder ao cenário de IA em rápida transformação, confira nosso guia rápido para desenvolver com segurança usando IA.
