O que a Ordem Executiva de Biden sobre medidas de segurança de IA significa para as empresas?
2 de novembro de 2023
0 minutos de leituraEm 30 de outubro, o presidente dos EUA, Joseph Biden, emitiu uma ampla Ordem Executiva (“OE”) com foco em tornar a IA mais segura e responsável.
Resumo da Ordem Executiva sobre IA
A Ordem aborda diversos temas, do viés algorítmico à proteção da privacidade e às regulamentações sobre a segurança de modelos de IA de fronteira. Esses modelos são os maiores e mais avançados, como GPT-4, Bard e Llama 2. A Ordem determina que muitas agências governamentais criem áreas específicas de regulamentação de IA no próximo ano. A OE também inclui uma seção sobre o incentivo ao desenvolvimento aberto de tecnologias de IA, a promoção de inovações em segurança de IA e a criação de ferramentas com IA para aprimorar a segurança.
O setor de tecnologia ainda está assimilando a OE e avaliando seus possíveis impactos. Em algumas áreas importantes, a OE não se pronuncia. Por exemplo, não menciona o código aberto nem prevê exceções para projetos de código aberto que possam, por exemplo, estar criando novos modelos fundamentais. Em outros pontos, não está claro como interpretar o texto. A OE sugere que modelos que exigem mais do que uma determinada quantidade de recursos computacionais devem apresentar seus resultados, mas não explica claramente se isso se aplica a todos os modelos ou apenas àqueles que poderiam ser facilmente adaptados para fins maliciosos.
A OE também não é um conjunto de regras legalmente aplicáveis; foi criada para estabelecer a estrutura das próximas regulamentações. Por isso, provavelmente orientará as prioridades e a abordagem dos órgãos reguladores, além de influenciar futuras leis sobre IA. A grande questão, claro, é: como essa ordem afetará o desenvolvimento e a implementação de tecnologias em empresas e organizações que criam soluções com sistemas de IA ou baseadas neles? (Para este artigo, “sistema de IA” significa qualquer sistema de dados, software, hardware, aplicativo, ferramenta ou utilitário que opere total ou parcialmente com IA.) A IA evolui muito rapidamente, e sua organização talvez já esteja definindo práticas de IA que podem ser difíceis ou caras de reverter quando as regulamentações entrarem em vigor. O ideal é evitar essa situação e preparar proativamente suas operações de IA e seus produtos para o futuro, adotando as melhores práticas recomendadas pela Ordem Executiva.
Principais questões levantadas pela Ordem Executiva sobre IA
Confira um resumo das principais dúvidas que temos ouvido e do que acreditamos serem as respostas neste momento. (Observação: podemos atualizar esta publicação ao longo do tempo, conforme o cenário evoluir. As atualizações serão identificadas com a data.)
Questões abordadas
A Ordem Executiva fala em um registro de modelos de IA. Vou precisar registrar o meu?
O que aciona as exigências de comunicação previstas na Ordem Executiva?
Trabalho com dados biológicos. Como as disposições sobre armas biológicas afetam minha organização?
Estou trabalhando com modelos muito grandes, mas não os estou criando. Como essa OE me afetaria?
P: A Ordem Executiva fala em um registro de modelos de IA. Vou precisar registrar o meu?
R: Ainda não está claro, mas acreditamos que, na maioria dos casos, empresas que criam modelos menores de IA ou usam modelos já existentes não precisarão registrá-los.
P: O que aciona as exigências de comunicação previstas na Ordem Executiva?
R: A OE determina que os desenvolvedores de IA comuniquem qualquer treinamento de IA em grande escala que possa representar um risco significativo à segurança. Também exige que sejam comunicados os resultados de avaliações de segurança ou de exercícios de "red teaming". Os provedores de serviços de nuvem também devem notificar o governo se uma pessoa estrangeira tentar adquirir serviços computacionais capazes de treinar um modelo de IA de grande porte.
Pelo texto da OE, o limite para a comunicação será definido por modelos muito grandes — treinados com dezenas de milhões de horas de computação nas GPUs mais recentes. Em termos operacionais, isso significa modelos treinados em um cluster com capacidade computacional superior a 1026 operações de ponto fixo ou flutuante, ou qualquer cluster computacional com taxa de transferência de rede local superior a 100 Gbit/s. Fazendo os cálculos, isso corresponde ao treinamento de modelos com dezenas de trilhões de tokens. Segundo relatos, o GPT-4 foi treinado com 1,7 trilhão de tokens, uma ordem de grandeza a menos. Em outras palavras, no futuro próximo, os limites mencionados na OE provavelmente afetarão apenas os maiores criadores de modelos e os maiores clusters computacionais — provavelmente usados para treinar os maiores modelos, com custos de muitos milhões de dólares por treinamento. Vale observar, porém, que a OE afirma que o governo poderá alterar esses critérios no futuro. Isso significa que os limites podem aumentar ou diminuir, dependendo das decisões regulatórias.
P: A Ordem Executiva fala em padrões de comunicação para modelos de IA de “uso dual”. Como eles são definidos?
R: Em resumo, a Ordem não os define claramente. A intenção parece ser abranger modelos de IA que possam ser usados para fins maliciosos. Na prática, porém, quase qualquer IA pode ser treinada e usada para fins maliciosos, então essa definição é bastante vaga. Ainda assim, apresentamos algumas orientações básicas abaixo.
P: A Ordem Executiva não diz nada sobre software de código aberto. Como ela se aplicará a modelos de IA de código aberto?
R: Ainda não há orientações claras sobre modelos de código aberto e IA de código aberto. Em geral, é provável que as diretrizes da Ordem Executiva se apliquem à IA de código aberto e a quaisquer modelos desenvolvidos e disponibilizados como código aberto.
P: A Ordem Executiva fala especificamente de modelos fundamentais muito grandes. Modelos grandes de código aberto, como Llama 2, Falcon 70B ou Mistral, estão incluídos?
R: A Ordem observa especificamente que as disposições e regulamentações se aplicarão a modelos ainda não lançados. Portanto, é provável que esses modelos existentes sejam submetidos a diferentes níveis de análise. Se você estiver desenvolvendo soluções com base nesses modelos e modificando-os, há uma chance significativa de sua equipe precisar cumprir pelo menos parte da supervisão regulatória e das exigências de comunicação.
P: A Ordem Executiva fala bastante sobre segurança de IA. Há alguma orientação prática que você possa me dar?
R: Segurança é um conceito bastante subjetivo, mas aqui vai uma resposta rápida. A Ordem enfatiza a necessidade de sistemas de IA seguros e confiáveis. Ela exige avaliações robustas, confiáveis, repetíveis e padronizadas dos sistemas de IA, além de políticas e mecanismos para testar, compreender e mitigar os riscos desses sistemas antes que sejam usados. Portanto, se sua organização estiver treinando ou ajustando sistemas de IA para produtos voltados ao público ou aplicações em produção, considere implementar um conjunto de processos de segurança estruturados e auditáveis, especificamente voltados aos seus ativos de IA.
P: A Ordem Executiva tem uma seção sobre liberdades civis, privacidade e viés algorítmico. Como isso pode afetar minha organização?
R: A Ordem exige que a privacidade e as liberdades civis dos americanos sejam protegidas à medida que a IA avança. Ela não apresenta orientações específicas, mas, na prática, outras leis — estaduais, como as da Califórnia, ou nacionais, como as da União Europeia — já começaram a tratar do tema. Em resumo, aplicativos e modelos de IA devem receber as mesmas proteções e o mesmo nível de transparência e rastreabilidade que aplicações tradicionais sem IA. Um desafio específico pode surgir ao treinar sistemas de IA com conjuntos de dados que contenham vieses ocultos ou informações pessoais identificáveis (PII) anonimizadas, mas que possam ser extraídas com os comandos certos. Esses dois cenários podem resultar em violações da lei ou, potencialmente, processos judiciais.
P: Como a Ordem afeta o código gerado por IA?
R: A Ordem Executiva não contém disposições específicas nem menções ao código gerado por IA. Ainda assim, você deve esperar que o código gerado por IA tenha de cumprir regulamentações mais amplas sobre segurança de aplicações e de código e, mais especificamente, sobre segurança da cadeia de suprimentos. Acreditamos que toda empresa que desenvolve software e usa ferramentas de programação com IA deve considerar essas ferramentas parte da cadeia de suprimentos de software. Isso é especialmente importante para software de código aberto, que pode incluir muitas dependências transitórias, aninhadas, condicionais ou diretas de outras empresas de código aberto. Em outras palavras, é provável que você veja exigências semelhantes às que estão surgindo em torno da lista de materiais de software (SBOM).
P: Parece que talvez precisemos de um AIBOM!
R: De fato, é uma boa ideia criar algo como um AIBOM que reflita sua SBOM. No mínimo, documentar todos os usos de IA, os processos e os dados de treinamento, além de realizar uma auditoria simulada e uma verificação de conformidade com as regulamentações atuais de software e tecnologia, pode servir como um AIBOM e preparar sua organização para regulamentações que talvez sejam implementadas em curto ou médio prazo.
P: Trabalho com dados biológicos. Como as disposições sobre armas biológicas afetam minha organização?
R: O limite computacional para acionar as exigências de comunicação é um pouco menor para treinamentos. Modelos que usam capacidade computacional superior a 1023 operações de ponto fixo ou flutuante devem ter seus treinamentos comunicados. Ainda assim, esse limite é relativamente alto e, em geral, supera o de muitos modelos usados atualmente com dados biológicos.
P: Estou trabalhando com modelos muito grandes, mas não os estou criando. Como essa OE me afetaria?
R: Se você estiver treinando modelos muito grandes que se aproximem dos limites computacionais estabelecidos, talvez precise comunicar os treinamentos e os resultados de eventuais avaliações de segurança, mesmo que esteja usando modelos preexistentes. Mesmo sem realizar treinamentos no limite ou perto dele, talvez você ainda precise registrar sua aplicação. No entanto, provavelmente só terá certeza após o processo de elaboração das regulamentações que ocorrerá em breve.
P: Há uma disposição na ordem executiva (EO) sobre cibersegurança e ferramentas de IA. Preciso fazer algo por causa disso?
R: Não. Essa disposição trata principalmente de incentivar novas ferramentas e pesquisas em cibersegurança, tanto no uso de IA quanto no monitoramento e na proteção de modelos de IA, AIOps e desenvolvimento e implantação de aplicações com IA. É claro que, se você estiver criando novos recursos de cibersegurança com IA ou para se proteger contra riscos relacionados à IA, a DARPA provavelmente adoraria que você participasse do concurso!
P: Já uso muitos modelos e aplicações de IA de código aberto. O que devo fazer para garantir que sejam seguros?
R: Como a IA de código aberto agora faz parte da sua cadeia de suprimentos, você precisa tratá-la como tal e esperar que agentes mal-intencionados tentem contaminar a cadeia de suprimentos de IA de código aberto, assim como já tentaram contaminar a cadeia de suprimentos de software de código aberto. (Na realidade, há uma sobreposição considerável entre as duas cadeias de suprimentos.) É importante identificar quem controla os componentes e o código de IA de código aberto e verificar esse código com frequência em busca de vulnerabilidades. Você também deve monitorar os componentes para detectar mudanças de controle, alterações inexplicáveis no código ou nos dados e outros indícios de riscos.
P: A ordem executiva parece ter sido redigida de forma muito genérica e ambígua, o que dificulta saber se as futuras regulamentações decorrentes dessas diretrizes afetarão a mim ou minha empresa. Qual é o objetivo de diretrizes tão pouco claras?
R: Quando novas áreas passam a ser alvo de análise regulatória, é comum que órgãos reguladores redijam diretrizes e regulamentações de forma bastante ampla, pois não sabem como as coisas vão evoluir. Essa redação ambígua dá aos reguladores flexibilidade para abranger o maior número possível de cenários. Acreditamos que o mesmo esteja acontecendo com essa ordem executiva e que as regras se tornem mais específicas após a primeira onda de regulamentações, quando mais casos de uso e cenários começarem a tomar forma. Por isso, as organizações devem adotar uma postura cautelosa e implementar políticas e procedimentos mais restritivos para sistemas de IA, a fim de evitar serem pegas de surpresa por mudanças nas regulamentações.
P: Então, quais são os principais pontos para as equipes de cibersegurança, segurança de aplicações, conformidade e auditoria?
R: A ordem executiva define o termo “sistema de IA” como “…qualquer sistema de dados, software, hardware, aplicação, ferramenta ou utilitário que opere, total ou parcialmente, com IA”. Isso inclui
“Testes e avaliações, incluindo o monitoramento do desempenho após a implantação, ajudarão a garantir que os sistemas de IA funcionem como esperado, sejam resilientes ao uso indevido ou a modificações perigosas, sejam desenvolvidos e operados de forma ética e segura e estejam em conformidade com as leis e políticas federais aplicáveis.” Em outras palavras, você deve esperar proteger seus sistemas e sua infraestrutura de IA, assim como todos os elementos relacionados, incluindo o código gerado por IA, no mesmo nível de qualquer outro componente da sua base de código, infraestrutura ou superfície de ataque. O que isso significa para as equipes de segurança?
Primeiro, considere isso o sinal de largada para o que provavelmente será uma corrida por regulamentações de IA. Isso significa que você deve considerar a implementação de controles e medidas de segurança para proteger toda a sua infraestrutura de IA. Isso inclui seus dados, seus pipelines operacionais e o código das aplicações que você usa para desenvolver seus aplicativos de IA. Também significa estender, sempre que aplicável, todas as medidas de cibersegurança existentes às operações de IA. Por exemplo, mesmo que sua infraestrutura de IA esteja mudando e evoluindo rapidamente, submeter o código a ferramentas de análise e automatizar as práticas de segurança deixou de ser um diferencial e passou a ser indispensável.
Segundo, considere que sua infraestrutura e seus processos de IA serão auditados ou que auditorias serão exigidas para garantir a conformidade legal. Isso significa que você precisará criar um processo e um plano de conformidade para IA, incluindo a documentação de todas as medidas de cibersegurança relacionadas às aplicações de IA.
Por fim, no caso de código gerado por IA, garanta que todas as sugestões de código geradas por IA passem pelo mesmo nível de análise e auditoria que qualquer outro código. Há fortes evidências de que as organizações que usam sugestões de código geradas por IA aumentam sua produtividade e aceleram a entrega de código. Isso significa que as verificações automatizadas de segurança se tornam ainda mais importantes para acompanhar uma base de código que muda em ritmo cada vez mais acelerado.
Principal lição? Continue aplicando as melhores práticas.
A Snyk é referência em segurança para código gerado por IA. Somos 50 vezes mais rápidos que outras soluções e executamos verificações de forma discreta no IDE, em tempo real e com contexto completo da aplicação. E o melhor: integramos com qualquer ferramenta de programação com IA generativa de que sua empresa precise, hoje ou amanhã. Proteja sua infraestrutura de IA desde a base, começando pelo código gerado por IA, para manter tudo seguro e em conformidade.
Comece a proteger o código gerado por IA
Crie sua conta gratuita da Snyk e comece a proteger o código gerado por IA em minutos. Ou agende uma demonstração com um especialista para ver como a Snyk pode atender às necessidades de segurança dos seus desenvolvedores.