OWASP AI Exchange: um guia prático e completo para proteger a IA (não apenas a IA generativa)
Escrito por
0 minutos de leitura
Se você está tentando proteger sistemas de IA e cansou de reunir orientações espalhadas por dezenas de PDFs, publicações em blogs e white papers de fornecedores, o OWASP AI Exchange existe para resolver esse problema.
É um material vivo, de código aberto e mantido pela comunidade, que reúne segurança e privacidade de IA em um único lugar coeso. E, importante: não se limita à IA generativa. O Exchange abrange sistemas de IA analítica, discriminativa, generativa e heurística — e até sistemas centrados em dados sem modelos, como data warehouses, pipelines de BI e estruturas de geração de relatórios.
O Exchange se apresenta como um recurso de referência porque vai além de orientações educativas. Também está alinhado a iniciativas internacionais de padronização, incluindo contribuições para discussões sobre a regulamentação de IA da União Europeia e grupos de trabalho da ISO/IEC. Isso lhe confere um peso que vai além do de um documento típico de boas práticas.
Você está começando no Capture the Flag (CTF)?
CTFs são desafios práticos de segurança nos quais você aprende resolvendo cenários reais de hacking. Assista sob demanda ao workshop CTF 101 e, em seguida, teste suas habilidades no Fetch the Flag, nos dias 12 e 13 de fevereiro de 2026 (das 12h às 12h ET).
O que o Exchange oferece na prática
Na prática, o AI Exchange oferece:
Visões gerais de ameaças em alto nível, incluindo uma navegação em formato de matriz para explorar o panorama de ameaças à IA.
Controles que abrangem governança, engenharia e considerações de execução.
Uma abordagem estruturada de avaliação de riscos, que contempla identificação, avaliação e tratamento de ameaças, além de revisão contínua.
Orientações sobre testes e privacidade, reconhecendo que os riscos de IA vão além das falhas de segurança tradicionais.
Referências e links para iniciativas relacionadas da OWASP e padrões externos.
Em conjunto, o material foi pensado para servir de base de trabalho para as equipes — não apenas para ser lido uma vez e deixado de lado.
O modelo central: segurança de IA = ameaças específicas de IA + seu programa de segurança existente
Uma das ideias mais importantes do Exchange é simples: sistemas de IA continuam sendo sistemas de TI.
A chegada da IA não significa substituir a segurança de aplicações, de infraestrutura ou de nuvem. Significa ampliar esses programas para contemplar novos ativos e superfícies de ataque específicos de IA.
Por isso, o Exchange se concentra em ameaças a ativos como:
Dados de treinamento e ampliação
Parâmetros do modelo
Prompts e outras entradas
Saídas, inclusive nos casos em que seu tratamento gera riscos subsequentes
Essa abordagem é útil porque evita tratar a IA como um domínio abstrato e isolado. Em vez disso, fundamenta a segurança de IA em princípios de segurança já consolidados e, ao mesmo tempo, deixa claro o que é diferente.
Como o Exchange organiza as ameaças à IA:
Ameaças durante o desenvolvimento: riscos introduzidos na coleta de dados, no treinamento e na integração de modelos ou na implantação, como envenenamento de dados, comprometimento da cadeia de suprimentos de modelos e vulnerabilidades no ambiente.
Ameaças durante o uso: ataques na inferência, como injeção de prompt, evasão, extração e uso indevido dos recursos do sistema.
Outras ameaças em tempo de execução: riscos relacionados à exposição de entradas, ao tratamento de saídas e ao comprometimento da infraestrutura ao redor.
Essa estrutura ajuda as equipes a entender quando os controles precisam ser aplicados, e não apenas qual é a ameaça.
O que há de realmente “novo” na segurança de IA
Em comparação com a segurança tradicional de aplicações, o Exchange destaca várias categorias de risco que são novas, mais intensas ou fundamentalmente diferentes nos sistemas de IA:
Injeção de prompt direta e indireta, que influencia os modelos por meio de entradas em linguagem natural.
Evasão e exemplos adversariais, especialmente em tarefas de classificação e detecção.
Envenenamento de dados e modelos, incluindo riscos da cadeia de suprimentos que afetam modelos ou conjuntos de dados.
Riscos de extração, como vazamento de dados de treinamento, inferência de participação e replicação de modelos por meio de consultas.
Riscos relacionados às saídas, quando a saída do modelo pode gerar problemas de segurança subsequentes se não for tratada com segurança.
Risco de confiança excessiva, quando as pessoas confiam demais em sistemas de IA que podem ser manipulados ou apresentar resultados incorretos.
Esses riscos não substituem as vulnerabilidades tradicionais: eles se somam a elas.
IA agentiva: por que a curva de risco se acentua
O Exchange trata sistemas agentivos como sistemas de software habilitados por IA, mas reconhece que algumas características adicionais aumentam os riscos:
Ação: agentes podem acionar funções ou fluxos de trabalho, o que torna essencial projetar com o princípio do menor privilégio.
Autonomia: estado e memória introduzem novas superfícies de ataque.
Comportamento entre vários sistemas: a lógica implementada implicitamente (por exemplo, por meio de prompts) pode ser frágil e fácil de manipular.
Comportamento emergente: o aumento da complexidade leva a interações e modos de falha menos previsíveis.
Quanto maior a autonomia, maior o impacto de pequenas falhas de projeto.
Controles: defesa em profundidade e mentalidade de contenção do raio de impacto
Em vez de prescrever uma solução única, o Exchange enfatiza controles em camadas e a limitação de impactos.
Controles de governança: a segurança de IA é tratada como uma capacidade organizacional, e não como uma decisão pontual sobre ferramentas. Inventário, responsabilidades, supervisão, políticas, capacitação e alinhamento com requisitos de conformidade são fundamentais para evitar o uso de IA sem gestão ou a IA “sombra”.
Os controles de segurança tradicionais continuam importantes: infraestrutura segura, controle de acesso, monitoramento, limitação de taxa e controles de SDLC se aplicam ao sistema de IA como um todo, incluindo os ativos específicos de IA.
Controles de engenharia de IA: nos pontos em que a IA é diferente, o Exchange destaca defesas de engenharia de dados e modelos contra envenenamento e problemas de robustez, além do tratamento de entradas e saídas em tempo de execução para detectar comportamentos suspeitos ou inseguros.
Limitação de impactos e pressupostos de baixa confiança: o Exchange incentiva a redução da exposição de dados confidenciais, a restrição de privilégios, a adoção de proteções e a consideração de que componentes de IA podem se comportar de forma inesperada ou ser manipulados.
O plano inicial G.U.A.R.D.
Para transformar isso em ações concretas, o Exchange propõe uma estrutura simples de cinco etapas:
Governar: atribua responsabilidades, defina políticas, capacite as equipes e alinhe-se às necessidades de conformidade.
Compreender: capacite engenheiros e equipes de segurança sobre ameaças e controles específicos de IA.
Adaptar: atualize a modelagem de ameaças, os testes, as práticas de SDLC, as análises da cadeia de suprimentos e os inventários de ativos.
Reduzir: minimize a exposição de dados confidenciais, restrinja o comportamento dos modelos e limite o raio de impacto.
Demonstrar: produza evidências, documentação e transparência para as partes interessadas e os órgãos reguladores.
A proposta é intencionalmente prática e foi criada para ajudar as equipes a começar sem tentar resolver tudo de uma vez.
Como usar o Exchange em um projeto real
Na prática, as equipes podem aplicar o Exchange da seguinte forma:
Comece pela árvore de decisão para análise de riscos e determine quais categorias de ameaça se aplicam (por exemplo: IA generativa ou não generativa, uso de RAG, modelos hospedados ou autogerenciados, entradas confidenciais e saídas que acionam ações).
Associe as ameaças relevantes aos controles usando a matriz de segurança de IA ou a navegação em formato de tabela periódica.
Decida como tratar os riscos — mitigar, transferir, evitar ou aceitar — e registre as responsabilidades em um registro de riscos.
Verifique a responsabilidade compartilhada com fornecedores (provedores de modelos, plataformas de hospedagem, plugins e ferramentas).
Faça testes e monitoramento contínuos, reconhecendo que modelos, ameaças e padrões de uso evoluem.
Engenharia de segurança agentiva com a Snyk
A segurança de IA não substitui a segurança de aplicações: ela se baseia nela. O OWASP AI Exchange reforça que sistemas de IA continuam sendo sistemas de software e que uma segurança de IA eficaz depende dos mesmos fundamentos: visibilidade, priorização, prevenção e correção incorporadas ao SDLC.
A AI Security Platform da Snyk se apoia em uma base sólida de segurança de aplicações, combinando análise de código com IA, correção contextual e um banco de dados de vulnerabilidades de referência. Essa base permite que as organizações ampliem os programas de segurança de aplicações existentes para o desenvolvimento nativo de IA, em vez de tratar os riscos de IA como uma preocupação separada ou posterior.
Fundamentos da engenharia de segurança de IA:
De riscos definidos à ação coordenada (Evo by Snyk): à medida que os sistemas de IA se tornam mais agentivos e autônomos, os próprios fluxos de trabalho de segurança precisam se adaptar. Evo by Snyk oferece orquestração de segurança agentiva para aplicações nativas de IA, convertendo modelos de ameaças de IA e objetivos de segurança de alto nível — como descoberta, testes, aplicação de políticas e resposta — em ações coordenadas executadas em ferramentas, pipelines e ambientes. Essa abordagem está diretamente alinhada à ênfase do OWASP Exchange em defesa em profundidade, redução do raio de impacto e monitoramento contínuo em sistemas nos quais os controles com intervenção humana já não são escaláveis.
Prevenção desde o início do desenvolvimento orientado por IA (Snyk Studio): muitos riscos de IA surgem no momento da criação, quando desenvolvedores aceitam código gerado por IA ou integram agentes a fluxos de trabalho. Snyk Studio incorpora proteções em tempo real diretamente ao desenvolvimento assistido por IA, interceptando padrões inseguros antes que cheguem à base de código. Isso reforça o princípio central do OWASP Exchange de que a segurança de IA amplia as práticas existentes de segurança de aplicações: a prevenção acontece mais cedo, em vez de depender da detecção posterior.
Visibilidade, governança e testes em toda a superfície de IA: o Exchange destaca que as equipes não podem proteger aquilo que não conseguem ver. A Snyk amplia a descoberta e a governança de ativos para o domínio da IA, ajudando as organizações a identificar e rastrear componentes de IA, incluindo modelos, servidores e integrações, como parte de seu inventário de software mais amplo. Recursos em desenvolvimento na Snyk Labs, como AI-BOM e varredura baseada em MCP, apoiam o foco do Exchange nos riscos da cadeia de suprimentos, na responsabilidade compartilhada e na governança baseada em evidências. Esses sinais alimentam testes contínuos, priorização e aplicação de políticas, em vez de avaliações pontuais.
Em resumo, se o OWASP AI Exchange fornece o mapa, a Snyk oferece o sistema operacional que ajuda as equipes a segui-lo continuamente, em grande escala e na velocidade das máquinas.
Referências (links e URLs)
Pronto para transformar orientações de segurança de IA em uma gestão de riscos prática? Baixe Quando a IA sai do roteiro: como gerenciar riscos não determinísticos e veja como colocar em prática estruturas como o OWASP AI Exchange em programas de IA do mundo real.
Participe do Fetch the Flag 2026!
Teste suas habilidades de segurança no nosso evento Capture the Flag, de 12 a 13 de fevereiro, das 12h às 12h (horário do leste dos EUA).