O que é LLMjacking? Como ataques de IA exploram credenciais de nuvem roubadas

À medida que as organizações adotam cada vez mais o potencial da IA e a integram aos fluxos de trabalho, novas considerações de segurança ganham destaque. Uma área importante à qual você deve estar atento é o LLMjacking. Esse tipo de ataque envolve pessoas não autorizadas que tentam manipular e explorar os Large Language Models (LLMs) da sua organização, especialmente quando esses modelos são hospedados em serviços de nuvem e acessados por meio de contas online.

Embora talvez não pareça imediatamente uma questão crítica, o LLMjacking pode trazer consequências reais para sua empresa e seus clientes, incluindo violações de dados de grandes proporções e exploração de vulnerabilidades.

Para proteger sua organização e seus dados, é importante entender como o LLMjacking funciona, quais são os riscos potenciais e que medidas você pode tomar para manter seu LLM e sua empresa seguros.

Como funcionam os ataques de LLMjacking?

O principal objetivo dos ataques de LLMjacking é obter acesso ao LLM de uma organização e sequestrá-lo. Muitas vezes, isso começa com nomes de usuário e senhas roubados. Essas credenciais podem ter sido obtidas de várias maneiras, inclusive por roubo direto ou compra em mercados criminosos online. Infelizmente, discussões sobre como realizar ataques de LLMjacking também estão se tornando mais comuns em comunidades online.

Quando esses cibercriminosos conseguem dados de acesso válidos, podem efetivamente “sequestrar” o LLM da sua organização e interagir com ele como se fossem usuários legítimos.

O que pode acontecer se um ataque de LLMjacking for bem-sucedido?

As possíveis consequências de um ataque de LLMjacking são diversas, mas as mais comuns são:

Custos de uso inesperadamente altos

Os serviços de LLM baseados em nuvem geralmente cobram de acordo com o uso. Se seu LLM for sequestrado, os invasores poderão usá-lo intensamente, gerando cobranças altas e inesperadas. Isso é parecido com o que acontece quando criminosos usam seu computador às escondidas para minerar criptomoedas, consumindo sua eletricidade e seus recursos. Estima-se que o LLMjacking possa custar às organizações de US$ 46 mil a mais de US$ 100 mil por dia, dependendo do LLM utilizado.

Violações de dados e vazamento de informações

Seus funcionários podem usar LLMs para processar diferentes tipos de dados, alguns deles confidenciais. Se um invasor assumir o controle do LLM, poderá acessar essas informações, causando incidentes de segurança de dados e vazamentos de informações confidenciais ou proprietárias. Isso pode prejudicar sua reputação e gerar problemas jurídicos ou regulatórios.

Exploração de vulnerabilidades

Os invasores podem usar um LLM sequestrado para tentar encontrar e explorar falhas nos sistemas de software da sua empresa, tanto as já conhecidas (vulnerabilidades one-day) quanto as recém-descobertas (vulnerabilidades zero-day). Um estudo constatou que o GPT-4 da OpenAI conseguia explorar de forma autônoma 87% das vulnerabilidades one-day usando apenas descrições de CVEs. Portanto, é totalmente possível que um agente mal-intencionado use o LLM de uma organização para gerar código malicioso e explorar vulnerabilidades.

Injeção de prompt e envenenamento de dados

Os invasores podem usar uma técnica chamada injeção de prompt para induzir seu LLM a se comportar de maneiras inesperadas. Ao fornecer entradas maliciosas específicas, podem fazer com que ele revele informações confidenciais, gere código nocivo ou realize outras ações prejudiciais. Além disso, podem tentar envenenar os dados de treinamento usados pelo LLM. Isso pode introduzir erros, vieses ou falhas no modelo, tornando-o menos confiável ou até mesmo vulnerável a exploração no futuro.

O impacto real do LLMjacking na sua empresa

As consequências que mencionamos podem se acumular e causar um impacto significativo na sua organização:

• Prejuízos financeiros: além dos custos diretos do aumento no uso, lidar com um incidente de LLMjacking pode gerar despesas com a investigação do ataque, a recuperação de dados perdidos, honorários advocatícios e o reparo de danos à reputação da sua empresa.

• Aumento dos riscos de segurança: a possibilidade de violações de dados, a introdução de vulnerabilidades nos seus sistemas e a manipulação da sua IA comprometem a segurança como um todo e aumentam o risco de ataques futuros.

• Interrupção das operações: se os invasores estiverem usando seu LLM de forma excessiva, isso poderá deixar seus sistemas lentos ou até sobrecarregá-los, prejudicando seu funcionamento. Além disso, se o LLM for comprometido para disseminar informações incorretas ou gerar conteúdo nocivo, as operações da sua empresa poderão ser seriamente afetadas, assim como a experiência dos clientes.

Como se proteger: estratégias para prevenir e detectar LLMjacking

Para prevenir o LLMjacking e reduzir os riscos, as organizações precisam implementar controles adequados. Como credenciais roubadas são uma forma comum de obter acesso, é fundamental adotar boas práticas de gerenciamento de identidade e acesso (IAM). Isso inclui seguir o princípio do menor privilégio, concedendo aos usuários apenas o acesso necessário para realizar suas tarefas. Também é preciso exigir autenticação multifator (MFA) em todas as contas com acesso aos serviços de LLM. Por fim, as organizações devem oferecer aos funcionários orientações claras, documentação e treinamento sobre o uso responsável e seguro da IA, incluindo os LLMs.

Os LLMs devem ser treinados continuamente com dados confiáveis, diversificados e de alta qualidade para reduzir a probabilidade de vulnerabilidades ou vieses. Considere usar técnicas como o treinamento adversarial para aumentar a resiliência dos modelos. Também é importante auditar e atualizar os LLMs regularmente para corrigir possíveis falhas de segurança.

Também é recomendável implementar processos rigorosos de validação e sanitização de entradas para prevenir ataques de injeção de prompt. Isso significa verificar se as entradas dos usuários atendem a determinados padrões e remover ou modificar qualquer conteúdo potencialmente nocivo antes de processá-lo com o LLM.

Táticas de detecção: como identificar possíveis ataques de LLMjacking

As equipes de segurança devem ficar atentas a sinais de um possível incidente de LLMjacking. Há táticas de detecção que reduzem os riscos, incluindo:

• Monitorar o LLM e as contas de usuário em busca de solicitações, atividades ou padrões de consulta incomuns.

• Implementar filtros para as entradas e saídas dos LLMs a fim de identificar atividades potencialmente maliciosas ou anomalias.

• Usar ferramentas e sistemas de segurança para monitorar logs, identificar tráfego de rede suspeito, bloquear conexões maliciosas e procurar credenciais comprometidas ou código malicioso ou vulnerável.

• Oriente e treine os usuários para que reconheçam e relatem atividades suspeitas ou incomuns que possam encontrar ao usar LLMs.

Ferramentas para prevenir ataques de LLMjacking (e outros ataques de sequestro de recursos)

Além das medidas gerais de segurança, existem tipos específicos de ferramentas que podem ajudar especialmente a prevenir o LLMjacking e ataques semelhantes. Como o LLMjacking costuma ter como alvo sistemas baseados em nuvem, é essencial contar com ferramentas que ofereçam boa visibilidade e segurança nesses ambientes.

As ferramentas de teste de segurança estático de aplicações (SAST) e de análise de composição de software (SCA) são muito relevantes nesse contexto. O ideal é usar uma plataforma abrangente, como o Snyk AppRisk, que ofereça uma visão clara dos riscos de segurança em todo o processo de desenvolvimento de software e em todos os seus ambientes. Ferramentas de SCA, como o Snyk Open Source, podem analisar o código do seu software para identificar componentes de código aberto e suas dependências. Assim, você garante que vulnerabilidades conhecidas e outros riscos associados a esses componentes sejam identificados, priorizados e corrigidos antes que possam ser explorados no ambiente do seu LLM ou em qualquer outra parte dos seus sistemas.

Da mesma forma, se seus desenvolvedores usam LLMs para ajudar a escrever código, as ferramentas SAST são essenciais para garantir a segurança desse código. Embora o código gerado por IA nem sempre seja seguro por si só, um ataque de LLMjacking pode aumentar ainda mais a probabilidade de introdução de código malicioso ou vulnerável. Uma ferramenta SAST que analisa o código em tempo real e diretamente no IDE, como o Snyk Code, ajuda a identificar e corrigir vulnerabilidades antes que causem problemas significativos. Usar um verificador de código gratuito de um provedor de segurança confiável também ajuda a impedir a disseminação de código inseguro.

Outras ferramentas incluem:

• Sistemas de gerenciamento de informações e eventos de segurança (SIEM) para analisar logs de diversas fontes e ajudar você a detectar padrões de atividade suspeitos.

• Novas ferramentas de segurança específicas para LLMs, desenvolvidas para moderar as entradas e saídas dos LLMs e proteger contra ameaças de segurança específicas desses modelos.

• Ferramentas de gerenciamento de segredos para armazenar e gerenciar com segurança informações confidenciais, como chaves de API, que podem ser alvo de um ataque de LLMjacking.

A cibersegurança está em constante evolução, e novas ameaças surgem o tempo todo. É importante que as organizações avaliem cuidadosamente suas necessidades específicas e implementem uma combinação de ferramentas e práticas para se proteger contra o LLMjacking e outros tipos de ataques.

O futuro do LLMjacking

À medida que a IA se populariza e passa a ser usada em mais setores, é provável que a ameaça do LLMjacking continue crescendo. E, com o aumento da adoção da IA, os casos de LLMjacking também continuam a crescer. Por exemplo, o DeepSeek foi alvo de LLMjacking poucas semanas após seu lançamento público.

Com o avanço da tecnologia de IA, o desenvolvimento de novos LLMs e a descoberta de novas vulnerabilidades, os invasores certamente adaptarão seus métodos para tentar obter acesso a essas ferramentas poderosas e explorá-las. Isso pode ter consequências significativas à medida que a IA se torna cada vez mais essencial no nosso dia a dia e em infraestruturas críticas.

Para prevenir o LLMjacking e violações em grande escala, medidas de segurança para IA são indispensáveis. Uma maneira de fazer isso é implementar uma plataforma de segurança de aplicações, como a Snyk, que oferece visibilidade e segurança em todo o seu programa de AppSec, incluindo a adoção da IA. Ao capacitar suas equipes a levar a segurança a sério, você pode proteger sua organização contra o LLMjacking e outras ameaças baseadas no uso de recursos.