12 riscos de segurança de IA que você não pode ignorar

A IA generativa se popularizou em 2022 e 2023, com o lançamento público do ChatGPT pela OpenAI. Desde então, a IA foi adotada em diversos setores e passou a ser usada para tudo: de criar piadas de tio a traduzir código entre linguagens de programação.

Embora a IA ofereça benefícios significativos em economia de tempo, redução de custos e inovação, ela também traz novos riscos de segurança. Para as empresas, a questão não é “se”, mas “quando”, “onde” e “que tipo” de vulnerabilidade a IA está criando no ecossistema de TI. Muitas vezes, faltam supervisão e controle adequados sobre os dados que alimentam os modelos de linguagem (LLMs) e sobre sua implementação.

Mas nem tudo está perdido. Ao entender os diferentes tipos de riscos de segurança de IA, as vulnerabilidades e os vieses presentes nos conjuntos de dados e as boas práticas para mitigar esses problemas, você pode reduzir significativamente as ameaças à sua empresa.

12 riscos de segurança de IA

Assim como usamos a IA para tornar nossas empresas mais ágeis e eficientes, os agentes de ameaças também fazem isso. As ameaças de IA são mais variadas e avançadas, e podem ocorrer em um volume muito maior do que já vimos. Para proteger sua empresa, primeiro você precisa conhecer os diferentes tipos de riscos de segurança de IA.

#1 Ataques adversariais

Os ataques adversariais acontecem quando agentes de ameaças manipulam entradas para fazer com que sistemas de IA as interpretem ou classifiquem incorretamente. Essas pequenas alterações — muitas vezes imperceptíveis para as pessoas — podem enganar modelos de IA e levá-los a gerar resultados incorretos ou até prejudiciais. Por exemplo, adicionar ruído a uma imagem pode fazer um sistema de reconhecimento facial identificar alguém de forma errada.

#2 Envenenamento de dados

O envenenamento de dados ocorre quando agentes de ameaças corrompem os dados de treinamento usados para criar modelos de IA — sejam dados de usuários, conjuntos de dados de código aberto ou pesquisas de aprendizado de máquina — para alterar os resultados futuros do modelo.

#3 Ataques de inferência

Ataques de inferência usam prompts estratégicos para deduzir informações confidenciais sobre pessoas ou conjuntos de dados. Isso pode incluir descobrir atributos privados ou fazer engenharia reversa das características estatísticas dos dados de treinamento.

#4 Ataques de inversão de modelo

Ataques de inversão de modelo buscam reconstruir dados confidenciais por meio da análise dos resultados de um modelo. Com consultas suficientes, invasores podem extrair amostras representativas de pessoas do conjunto de treinamento — inclusive atributos potencialmente privados ou que permitam identificá-las.

#5 Roubo de modelos

Às vezes, o modelo de IA é tão valioso quanto os dados de treinamento — ou até mais. Em um ataque de roubo de modelo, agentes mal-intencionados tentam roubar propriedade intelectual (PI) invadindo repositórios de código proprietário ou fazendo engenharia reversa do modelo por meio de consultas sistemáticas.

#6 Falta de explicabilidade

Os modelos de IA costumam ter processos complexos e mecanismos de tomada de decisão difíceis de entender. Essa falta de explicabilidade dificulta rastrear a lógica do modelo e verificar a precisão dos resultados.

#7 IA clandestina

IA clandestina são ferramentas com IA adotadas por funcionários ou departamentos sem a supervisão da equipe de TI. Nesses casos, os funcionários tentam obter insights ou automatizar tarefas rotineiras sem saber que estão contornando controles de segurança e expondo dados confidenciais.

#8 Riscos na cadeia de suprimentos

Os riscos associados à IA também são comuns em cadeias de suprimentos de terceiros. Se uma organização trabalha com um fornecedor que usa um modelo de IA exposto a um ou mais dos riscos desta lista, qualquer consequência negativa pode acabar afetando a própria organização.

#9 Deepfakes e engenharia social com IA

Hoje, agentes de ameaças podem usar IA generativa para criar deepfakes, clones de voz e identidades sintéticas convincentes para manipular vítimas. Combinadas a táticas de phishing com IA, essas técnicas ampliam drasticamente a escala e a sofisticação dos ataques de engenharia social.

#10 Vazamento de dados

Vazamentos de dados costumam ocorrer quando dados confidenciais são expostos sem querer nos resultados, no comportamento, nas APIs ou nos logs do modelo. Esses vazamentos podem acontecer durante o treinamento, a implantação ou o uso, e são alvos prioritários para agentes de ameaças.

#11 Violações de privacidade

Violações de privacidade podem ocorrer quando um modelo de IA coleta, processa, armazena ou analisa dados confidenciais sem medidas de segurança suficientes. Muitos dos riscos acima podem resultar em uma violação de privacidade, conforme definido por normas e regulamentações do setor.

#12 Vulnerabilidades no código

No desenvolvimento de software ou aplicações, a IA pode acelerar o processo de desenvolvimento, identificar vulnerabilidades e sugerir melhorias de segurança. No entanto, trechos de código gerados por IA podem conter enumerações de fraquezas comuns (CWEs) provenientes de código aberto. Além disso, os modelos de IA muitas vezes não consideram nuances contextuais e interdependências, o que pode levar a erros e vulnerabilidades de segurança.

Desafios nos sistemas de IA

Apesar de seus recursos, as ferramentas de IA generativa não são infalíveis. Elas refletem as premissas, lacunas e vieses dos dados e das pessoas que as criaram.

Por exemplo, as alucinações de IA — quando um modelo gera informações ou dados que não estavam presentes explicitamente nos dados de treinamento — são um problema conhecido. Os modelos de IA são programados para fornecer uma resposta, mesmo que ela não esteja nos dados de treinamento, o que pode gerar informações imprecisas ou enganosas. A “falta de explicabilidade” mencionada acima agrava esse problema. É quase impossível refazer os passos do modelo para entender como ele chegou às conclusões, o que dificulta a verificação dos resultados.

Imagine uma instituição financeira que usa IA para automatizar a aprovação de financiamentos imobiliários. Se um cliente frustrado ligar para contestar a recusa, os funcionários terão pouca ou nenhuma condição de explicar ou justificar os motivos da decisão. Essa decisão pode impedir o cliente de comprar uma casa e levá-lo a buscar um empréstimo em outro lugar.

Questões de privacidade relacionadas à IA

Questões de privacidade e riscos de segurança de IA estão estreitamente relacionados. Os modelos de IA são treinados com grandes conjuntos de dados que contêm dados confidenciais de pessoas, dados proprietários, propriedade intelectual e dados de código aberto sem gerenciamento. A forma como esses dados foram coletados, para que são usados e como são armazenados tem implicações para a privacidade.

Além de ataques maliciosos, como ataques de inversão de modelo ou de roubo de modelo, a presença de IA clandestina traz sérias preocupações de privacidade. Pesquisas mostram que 15% dos funcionários colam dados da empresa no ChatGPT, e um quarto desses dados é classificado como confidencial.

Também há casos em que modelos de IA coletam, sem querer, dados de usuários individuais, que podem ser incorporados ao LLM e/ou armazenados em um local inseguro. Ou uma pessoa pode ter consentido em compartilhar seus dados para uma finalidade específica, mas, se o responsável pelo modelo de IA reutilizar esses dados para outra finalidade, poderá estar violando a privacidade do usuário.

Vieses e considerações éticas

Em essência, os modelos de IA são ferramentas de reconhecimento de padrões e previsão. Por isso, a qualidade dos dados de treinamento tem um impacto significativo nos resultados. Por exemplo, uma ferramenta de IA treinada com padrões de chuva da Nova Inglaterra não seria muito útil para um agricultor do Arizona que quisesse otimizar o calendário de plantio.

No entanto, as implicações dos dados de treinamento vão muito além da utilidade dos resultados. Quem os dados representam, como foram coletados, quando foram coletados e quais valores foram atribuídos a cada ponto de dados podem distorcer injustamente as previsões do LLM. Infelizmente, os vieses da sociedade costumam se refletir nos dados que geramos. Por exemplo, se um modelo de IA usado para diagnosticar uma condição específica for treinado apenas com dados de homens jovens, provavelmente não reconhecerá os sintomas em mulheres ou em pacientes acima de certa idade.

Se a ferramenta de aprovação de financiamentos imobiliários do exemplo acima fosse treinada com dados históricos de empréstimos, sem levar em conta fatores socioeconômicos ou legislativos, poderia associar bairros de baixa renda a maiores taxas de inadimplência. Como resultado, a ferramenta poderia rejeitar injustamente candidatos dessas áreas, independentemente da pontuação de crédito e da relação entre dívida e patrimônio.

Quem desenvolve e utiliza modelos de treinamento tem a responsabilidade ética de estar atento a esses vieses e fazer o possível para mitigá-los.

Medidas de segurança de IA e boas práticas

À medida que a IA se integra cada vez mais aos nossos fluxos de trabalho e à nossa infraestrutura, as empresas precisam agir proativamente para mitigar os riscos associados. Para criar implementações de IA seguras, resilientes e justas, você deve adotar estas práticas:

1. Segurança de dados e gestão de riscos: Garanta a integridade e a confidencialidade dos dados de treinamento e de entrada implementando controles de segurança que impeçam acessos, alterações ou usos não autorizados. Sempre que possível, limite a retenção de dados para reduzir o risco de exposição.

2. Criptografia e controle de acesso: Aplique controles de identidade e acesso, além de criptografia, aos dados de treinamento de IA, aos LLMs e aos resultados, assim como faria com outros aplicativos ou ferramentas que acessam os dados da sua empresa.

3. Governança e conformidade de IA: À medida que regulamentações e normas do setor evoluem para gerenciar os riscos relacionados à IA, as empresas precisarão integrar o uso de IA a seus frameworks, políticas e processos de comunicação de segurança.

4. Ética e governança de IA: As empresas também precisam documentar seu posicionamento sobre viés nos dados, igualdade, transparência e responsabilidade, além de implementar mecanismos para garantir o cumprimento desses padrões em toda a organização.

5. Auditorias de conformidade e segurança: As ferramentas de IA, seu uso e os dados precisam ser avaliados sistematicamente para garantir a conformidade com as políticas internas de segurança, as regulamentações aplicáveis e as boas práticas.

6. Estratégias de resposta a incidentes: Para minimizar o impacto de uma violação de dados, todos os processos que envolvem dados confidenciais e a criação ou o uso de ferramentas com IA devem fazer parte da estratégia de resposta a incidentes da organização. Isso inclui monitoramento regular para permitir respostas rápidas, controles para conter a violação, processos de recuperação e análise pós-incidente.

Métodos para identificar, avaliar e gerenciar riscos de segurança de IA

A detecção de ameaças de IA e a gestão de riscos vão muito além da identificação de possíveis ameaças. Também é preciso contextualizar os dados sobre ameaças de IA para entender o possível alcance do impacto e embasar as decisões de correção.

As ferramentas com IA podem ter um papel fundamental na detecção de ameaças e nas avaliações de risco, apesar das vulnerabilidades e dos riscos descritos acima.

• Implemente uma solução de análise de vulnerabilidades para monitorar vulnerabilidades comuns e agir de forma proativa para corrigi-las.

• Estabeleça um sistema de classificação e governança de dados para organizar e destacar seus ativos mais confidenciais, dando atenção especial aos usuários e aplicativos que podem acessá-los.

• Crie um framework estruturado para pontuar e priorizar riscos com base na probabilidade de ocorrência e no impacto potencial, a fim de priorizar as correções com mais eficiência.

• Realize auditorias regulares de segurança de IA em todas as ferramentas de IA e conjuntos de dados criados ou utilizados pela empresa, avaliando-os com base nas vulnerabilidades específicas de cada plataforma.

• Promova uma cultura de conscientização e treinamento em segurança de IA sobre os riscos associados à IA, como usá-la com segurança e quais são os canais adequados para avaliar e integrar novas soluções com IA aos fluxos de trabalho da empresa.

Como aproveitar a IA em DevSecOps

Hoje, a IA desempenha um papel promissor no desenvolvimento de software e aplicações, trazendo tanto possíveis vantagens competitivas quanto riscos de segurança. As ferramentas com IA podem acelerar o ciclo de vida do desenvolvimento de software (SDLC) ao automatizar tarefas repetitivas, sugerir trechos de código, monitorar vulnerabilidades continuamente e recomendar correções.

Para acompanhar esse cenário em rápida transformação, a segurança precisa evoluir para gerenciar os novos riscos introduzidos no SDLC. Uma forma de evitar adulterações maliciosas e preocupações éticas é hospedar e treinar seu próprio LLM de forma privada, usando dados ou código proprietários. No entanto, isso pode exigir muitos recursos e conhecimento especializado. Além disso, existe o risco de o LLM ampliar vulnerabilidades presentes na sua base de código.

Há ferramentas de segurança de IA projetadas para ajudar desenvolvedores de software, como ferramentas de teste estático de segurança de aplicações (SAST), que detectam padrões de código vulneráveis assim que os desenvolvedores os copiam para o IDE.

Proteja sua aplicação de IA com a Snyk 

Para acompanhar o ritmo da evolução da tecnologia e das ameaças, as ferramentas de segurança com IA estão rapidamente se tornando indispensáveis para as equipes de desenvolvimento e segurança de TI. A Snyk permite que desenvolvedores adotem com segurança soluções de codificação e testes com IA.

Snyk Code é uma ferramenta de segurança com IA que verifica seu código em tempo real para encontrar vulnerabilidades. Nosso DeepCode AI, hospedado por você e desenvolvido com base em mais de 25 milhões de casos de fluxo de dados, suporte a mais de 19 linguagens e vários modelos de IA, é a tecnologia por trás do Snyk Code e oferece sugestões imediatas de correção. 

Saiba como a Snyk capacita desenvolvedores a aumentar a produtividade enquanto protege o código gerado por IA.