Ataques de IA e IA adversarial em aprendizado de máquina

Hoje, é muito comum que desenvolvedores usem IA no trabalho diário. Na verdade, 92% dos desenvolvedores afirmam que já usam ferramentas de programação com IA no trabalho. Embora essas ferramentas tragam benefícios — principalmente agilidade —, elas também podem introduzir novas ameaças e vulnerabilidades. Assim como agentes mal-intencionados aprimoram constantemente suas técnicas para explorar o aprendizado de máquina e a IA, as organizações precisam evoluir sua cibersegurança.

Para proteger sua organização contra ataques de IA e IA adversarial, é importante entender o que é IA adversarial no aprendizado de máquina, como os ataques funcionam e como detectá-los nos seus sistemas.

O que é IA adversarial?

No contexto da exploração do aprendizado de máquina e da IA, IA adversarial, também chamada de aprendizado de máquina adversarial, ocorre quando agentes mal-intencionados tentam alterar sistemas de aprendizado de máquina e modelos de IA ao manipulá-los ou enganá-los por meio de dados ou entradas. Em geral, os ataques de IA adversarial exploram a lógica e os processos de tomada de decisão da IA para gerar resultados maliciosos.

Como a IA adversarial é projetada para ser sutil e difícil de detectar, muitas vezes os usuários não percebem quando o modelo foi explorado ou comprometido.

Por que a IA adversarial no aprendizado de máquina é perigosa?

A IA adversarial no aprendizado de máquina é perigosa porque afeta a confiabilidade e a segurança dos sistemas de IA. À medida que a IA passa a fazer parte de mais fluxos de trabalho, o alcance e o impacto das explorações aumentam. Por exemplo, um ataque de IA adversarial contra um setor crítico, como o de serviços financeiros, pode levar a crimes financeiros, como fraudes, que afetam organizações e usuários.

Como funcionam os ataques de IA adversarial?

Os ataques adversariais exploram modelos de aprendizado de máquina por meio de entradas maliciosas ou manipuladoras. Ao manipular essas entradas, os invasores podem enganar e explorar o processo de tomada de decisão do sistema, afetando os resultados.

Em geral, os ataques acontecem em três etapas:

1. O invasor analisa o sistema ou modelo de IA para entendê-lo. Muitas vezes, isso envolve engenharia reversa para identificar pontos fracos, vulnerabilidades ou outras falhas de segurança e acessar os algoritmos e processos de tomada de decisão do sistema.

2. Depois de entender o modelo, o invasor pode começar a criar entradas, ou exemplos adversariais, para enganar ou explorar o sistema.

3. Depois de aperfeiçoar a entrada, os invasores começam a implantar os exemplos adversariais.

Quais são os diferentes tipos de IA adversarial?

Para entender a IA adversarial e proteger sua organização, é importante conhecer os tipos existentes:

• Ataques de evasão: O foco desses ataques é manipular os dados de entrada. Eles podem ser direcionados ou não direcionados. Nos ataques direcionados, o objetivo é fazer o modelo de IA produzir um resultado incorreto específico. Já os ataques não direcionados não têm um objetivo ou resultado específico, além de fazer a IA gerar algo incorreto.

• Ataques de envenenamento: Ocorrem quando os dados de treinamento são alterados. Como os modelos de aprendizado de máquina dependem desses dados para gerar ou prever resultados, os ataques de envenenamento podem afetar significativamente o comportamento ou a tomada de decisão do modelo.

• Transferência de modelo: Quando os invasores testam com sucesso exemplos adversariais em modelos de IA e sistemas de aprendizado de máquina, podem tentar atacar outros modelos. Como o ataque já funcionou antes, a transferência de modelo costuma ser muito mais rápida do que outros tipos de IA adversarial.

• Extração de modelo: Os invasores tentam roubar ou replicar um sistema ou modelo de aprendizado de máquina treinado depois de obter acesso. Quando entendem como o modelo funciona, podem criar uma cópia.

• Ataques de IA do tipo cavalo de Troia: Durante o treinamento de um modelo, os invasores podem inserir um gatilho malicioso. Muitas vezes, esses ataques passam despercebidos até que o gatilho seja ativado e o ataque entre em ação.

Ataques de caixa-preta e caixa-branca

No contexto dos ataques de IA adversarial, caixa-preta e caixa-branca se referem ao que o invasor sabe sobre o sistema de aprendizado de máquina.

• Ataques de caixa-branca ocorrem quando o invasor conhece ou entende completamente o modelo de IA ou o sistema de aprendizado de máquina. Isso inclui a arquitetura, os parâmetros e os dados de treinamento do modelo. Como entende a infraestrutura do modelo, o invasor pode realizar ataques adversariais de caixa-branca muito mais poderosos e eficazes.

• Ataques de caixa-preta ocorrem quando o invasor tem pouco ou nenhum conhecimento sobre o sistema de aprendizado de máquina. Sem conhecer a infraestrutura do modelo, os ataques adversariais costumam se limitar ao uso das entradas e saídas para tentar mapear seu comportamento. Se tiver sucesso, o invasor pode extrair o modelo ou atacar outro sistema. Esses ataques tendem a ser mais comuns, pois os ataques de caixa-branca exigem conhecimento interno sobre o modelo ou sistema.

Técnicas de aprendizado de máquina adversarial

As técnicas usadas por agentes mal-intencionados para lançar ataques de IA adversarial dependem de seus objetivos e da infraestrutura do modelo. Algumas das técnicas de ataque adversarial mais comuns são:

• Métodos baseados em gradientes: Os invasores usam os gradientes de um modelo de aprendizado de máquina para calcular as pequenas mudanças sutis necessárias para criar exemplos adversariais. Um exemplo é o Método do Sinal do Gradiente Rápido (FGSM).

• Métodos baseados em otimização: Os invasores usam técnicas matemáticas para determinar as mudanças mais eficazes e criar o melhor exemplo adversarial. Carlini & Wanger (C&W) é um exemplo conhecido dessa técnica.

• Métodos baseados em consultas: Em ataques de caixa-preta, os invasores consultam o modelo para entender seu comportamento. Ao aprender mais e analisar padrões de saída, eles podem identificar limites e vulnerabilidades para criar um exemplo adversarial. Pesquisadores descobriram recentemente que métodos baseados em consultas podem resultar em ataques adversariais universais e transferíveis.

Exemplos de ataques adversariais em IA generativa

Os ataques adversariais em IA generativa estão se tornando mais comuns. Na maioria dos casos, eles manipulam as saídas do modelo, inclusive as de geradores de imagens e de código. Entre os exemplos estão a geração de:

• Imagens incorretas ou inadequadas

• Informações incorretas, links maliciosos ou malware

• Código malicioso ou inseguro

• Áudio enganoso

Nos ataques adversariais contra IA generativa, o objetivo é que as alterações passem despercebidas. Se um desenvolvedor usa IA para gerar código, um ataque adversarial pode fazer pequenas alterações quando um determinado comando é usado. Se o desenvolvedor não revisar o código gerado antes de liberá-lo — acreditando que seja seguro —, toda a base de código pode ser afetada.

Da mesma forma, um ataque adversarial pode alterar imagens geradas por IA. Isso pode ser tão simples quanto mudar um pequeno detalhe da imagem ou gerar algo mais ofensivo ou inadequado.

Pesquisadores também descobriram várias formas de explorar a IA no futuro. Um exemplo é a manipulação de placas de trânsito ou fazer um veículo autônomo alucinar, causando acidentes ou situações perigosas. Outra possibilidade é manipular sistemas de reconhecimento facial para se passar por outras pessoas ou contornar medidas de segurança.

Como detectar ataques adversariais

Para se proteger contra ataques adversariais, as organizações precisam de uma estratégia de segurança robusta, com defesa proativa e em camadas.

Monitoramento contínuo

Para garantir que nenhuma ameaça passe despercebida, as organizações devem implementar o monitoramento contínuo dos sistemas de aprendizado de máquina. Uma forma de fazer isso é usar ferramentas de segurança que monitorem continuamente os ativos e a infraestrutura da organização.

Monitorar continuamente as entradas e saídas da IA também ajuda as organizações a detectar anomalias que podem indicar um ataque adversarial. Outras formas de implementar o monitoramento contínuo incluem ferramentas que analisam logs em busca de atividades suspeitas, protocolos de validação e sanitização de entradas e avaliações regulares do desempenho do modelo. Se uma equipe de AppSec usa IA nos fluxos de trabalho, também é essencial ter uma ferramenta de segurança capaz de detectar vulnerabilidades continuamente e identificar código malicioso ou inseguro.

Treinamento adversarial

Treinar seu modelo com exemplos adversariais pode torná-lo mais seguro. Ao incorporar esses exemplos aos dados de treinamento, o modelo aprende a reconhecer ameaças e se defender delas.

Educação e conscientização

Além de implementar as ferramentas certas e treinar o modelo, os usuários e as equipes da organização precisam conhecer os sinais de um ataque adversarial, as ameaças que ele representa e como denunciar atividades suspeitas. Como os ataques adversariais procuram passar despercebidos, a educação e a conscientização podem ajudar a identificar ameaças ou alertar sobre mudanças antes que causem problemas para a organização ou seus sistemas.

Defenda-se contra ataques de IA com a Snyk

Ter uma postura de segurança robusta é essencial para proteger sua organização contra ataques de IA. Uma plataforma como a Snyk pode proteger sua organização contra IA adversarial, proteger o SDLC e garantir que todos os ativos e aplicações estejam protegidos. Se sua equipe de desenvolvimento está integrando IA aos fluxos de trabalho, o Snyk Code pode proteger o código enquanto ele é escrito, analisando-o e recomendando correções em tempo real.