Glossário de IA

Uma entidade de software baseada em inteligência artificial que executa tarefas em nome de um usuário ou sistema. Em contextos de segurança, os agentes de IA podem monitorar ameaças, responder a incidentes ou executar fluxos de trabalho automatizados.

A integração de IA às operações de segurança para automatizar a detecção de ameaças, a resposta a incidentes e os fluxos de trabalho do SOC. Aumenta a velocidade e a precisão da defesa cibernética.

Abreviação de Trust, Risk, and Security Management in AI (gestão de confiança, riscos e segurança em IA). Uma abordagem de governança para garantir que os sistemas de IA sejam seguros, confiáveis e estejam em conformidade.

Lista de materiais de IA. Um inventário detalhado de componentes de IA, conjuntos de dados e dependências. Ajuda a rastrear a procedência e gerenciar os riscos da cadeia de suprimentos de IA.

Avaliação e aprimoramento contínuos da postura de segurança de uma organização relacionada à IA, incluindo a governança de modelos e o monitoramento de ameaças.

Processo de adaptação de um modelo de IA pré-treinado a uma tarefa ou domínio específico. Em segurança, o ajuste fino melhora a precisão da detecção de ameaças direcionadas.

Quando um modelo de IA gera resultados falsos ou enganosos que parecem plausíveis. Em segurança, as alucinações podem levar à desinformação ou à automação incorreta.

Quando um sistema de IA inventa a existência de pacotes ou componentes de software, gerando possíveis riscos para a cadeia de suprimentos.

Um subconjunto da IA que usa algoritmos para aprender com dados e fazer previsões ou tomar decisões sem programação explícita.

Uma abordagem de aprendizado de máquina em que um agente aprende por tentativa e erro, recebendo recompensas ou penalidades. Seu objetivo é aprender uma estratégia que maximize a recompensa acumulada ao longo do tempo, sem instruções explícitas nem dados rotulados.

Um subcampo do aprendizado de máquina que usa redes neurais com muitas camadas para modelar padrões complexos em dados. É a base de muitas ferramentas de cibersegurança com IA.

Assistentes de programação com IA (por exemplo, Cursor, GitHub Copilot e Claude) são um tipo comum e amplamente adotado de agente de IA. Eles incorporam recursos agentivos diretamente aos fluxos de trabalho de desenvolvimento, permitindo gerar código, usar ferramentas e executar tarefas automaticamente no ambiente de desenvolvimento. Agentes mais avançados vão além dos assistentes de programação: operam de forma independente em diferentes sistemas, orquestram fluxos de trabalho e interagem com várias ferramentas sem receber instruções diretas de uma pessoa.

Ataques cibernéticos aprimorados ou automatizados por IA para aumentar a velocidade, a escala e a sofisticação, incluindo phishing adaptativo, exploração automatizada de vulnerabilidades e evasão de mecanismos de segurança.

O processo de identificar, avaliar e mitigar riscos relacionados a sistemas de IA. Em cibersegurança, abrange a robustez dos modelos, vulnerabilidades na cadeia de suprimentos e riscos de conformidade.

Abreviação de avaliações. São testes sistemáticos que medem o desempenho, a segurança e a confiabilidade de sistemas de IA em diferentes cenários.

Vulnerabilidade em que um aplicativo não verifica se um usuário tem autorização para acessar um objeto ou registro específico. Isso permite que invasores visualizem ou modifiquem dados de outros usuários ao manipular um identificador, como um parâmetro de URL ou o ID de uma solicitação de API. É o risco número um no OWASP API Security Top 10.

Uso de ferramentas de IA para buscar proativamente ameaças cibernéticas ocultas em redes e sistemas, muitas vezes detectando padrões que passam despercebidos por analistas humanos. O uso de ferramentas de IA para buscar proativamente ameaças cibernéticas ocultas em redes e sistemas, muitas vezes detectando padrões que passam despercebidos por analistas humanos.

O ecossistema de ferramentas, integrações, componentes e entradas de que os agentes de IA dependem para realizar tarefas. Isso inclui servidores MCP, APIs, serviços externos, habilidades e outras dependências que influenciam o comportamento dos agentes e os resultados que eles produzem.

Uma interface de conversação com tecnologia de IA que interage com as pessoas por texto ou voz. Em cibersegurança, chatbots podem automatizar o suporte e a triagem de incidentes.

Instruções ou ações específicas que um agente pode executar em um sistema ou ferramenta. Os comandos representam as operações realizadas pelo agente (por exemplo, executar um script ou consultar um serviço). Muitas vezes, eles são combinados em fluxos de trabalho com várias etapas e podem interagir com sistemas internos ou externos.

A confiança das partes interessadas na confiabilidade, imparcialidade e segurança de um sistema de IA. Construída por meio de transparência, testes e uso responsável.

A adesão dos sistemas de IA às leis, regulamentações e normas do setor pertinentes. Em cibersegurança, isso inclui proteção de dados, possibilidade de auditoria e estruturas de governança para o uso responsável da IA.

Limites predefinidos de segurança e conformidade que impedem a IA de gerar resultados inseguros ou não autorizados. São essenciais em implantações corporativas de IA.

Uso não autorizado dos recursos de um sistema para minerar criptomoedas, muitas vezes por meio de malware ou de vulnerabilidades em navegadores. A IA pode tanto detectar esses ataques quanto ser explorada para realizá-los.

O conjunto de dados usado para ensinar um modelo de IA a executar uma tarefa. Em segurança, sua qualidade afeta diretamente a precisão da detecção.

Uso malicioso ou antiético de IA para crimes cibernéticos, espionagem ou campanhas de desinformação. Cada vez mais relevante na inteligência de ameaças.

Uma estrutura de políticas que estabelece princípios para proteger as pessoas contra o uso prejudicial da IA. Ela aborda privacidade, discriminação, transparência e responsabilização em sistemas de IA.

Pessoas que desenvolvem software de forma não tradicional e usam ferramentas e agentes de IA para criar ou modificar aplicações sem conhecimento formal em engenharia de software. O crescimento desse grupo amplia o número de pessoas capazes de criar software, aumentando tanto a velocidade de desenvolvimento quanto os riscos de segurança.

Um paradigma de desenvolvimento de software em que agentes de IA planejam, executam e concluem tarefas de desenvolvimento de forma autônoma, usando ferramentas, dados e fluxos de trabalho com intervenção humana mínima.

O processo de monitorar e aprimorar continuamente a postura de segurança de dados confidenciais em sistemas e cargas de trabalho de IA.

Técnica que combina várias vulnerabilidades de menor gravidade ou falhas de lógica em um único caminho de exploração de alto impacto — por exemplo, combinar uma brecha de autorização com uma falha de escalonamento de privilégios para alcançar um resultado crítico que nenhum dos problemas permitiria isoladamente.

Processo de projetar e estruturar o contexto fornecido aos sistemas de IA para otimizar as respostas. Essencial para a automação precisa da cibersegurança.

A prática de criar prompts eficazes para orientar as respostas de modelos de IA e otimizar o desempenho em casos de uso de segurança.

Uma estratégia de ataque cibernético que prejudica o desempenho de modelos de IA ao corromper deliberadamente conjuntos de dados por meio da inserção de dados maliciosos, da rotulagem incorreta ou de outros métodos.

Tipo de ataque a dados ou modelos em que entradas maliciosas são inseridas em ferramentas de IA ou conjuntos de dados para manipular comportamentos ou resultados. Com o tempo, isso compromete a confiabilidade dos sistemas de IA.

O princípio de garantir que os sistemas de IA produzam resultados imparciais e equitativos para todos os grupos de usuários. Na cibersegurança, a equidade em IA reduz o risco de avaliações de ameaças ou controles de acesso discriminatórios, contribuindo para a conformidade e o uso ético da IA.

Um processo de integração de dados que coleta, limpa e transfere dados para sistemas de armazenamento ou análise. Essencial para preparar conjuntos de dados de segurança de IA.

Transferência não autorizada de dados de um sistema, muitas vezes realizada por pessoas mal-intencionadas dentro da organização ou por invasores externos. A IA pode detectar anomalias que indiquem tentativas de exfiltração.

A capacidade de interpretar e entender como um modelo de IA toma decisões. Essencial para garantir confiança, conformidade e depuração em sistemas de segurança.

A capacidade de interpretar e entender como um modelo de IA toma decisões. É essencial para garantir confiança, conformidade e depuração em sistemas de segurança.

Processos com várias etapas e orientados a objetivos, executados por agentes de IA que coordenam ferramentas e ações em todo o ciclo de vida de desenvolvimento de software (SDLC) e nos novos fluxos de trabalho de criação com IA.

Acionadores predefinidos que executam uma lógica específica em determinados pontos do fluxo de trabalho de um agente. Os ganchos são executados automaticamente antes, durante ou depois de uma ação, muitas vezes atuando de forma transparente durante a execução do agente. Podem ser usados para inserir lógica de validação, transformação ou aplicação de regras.

A criação automatizada de código-fonte usando modelos de IA, como LLMs. Na cibersegurança, ela acelera o desenvolvimento, mas também exige revisões de segurança para evitar vulnerabilidades.

Uma estrutura para gerenciar a governança, o gerenciamento de riscos e a conformidade regulatória de uma organização, agora ampliada para incluir sistemas de IA.

Os plugins que dão aos agentes de IA poder real de execução. As habilidades de agentes são pacotes reutilizáveis de lógica, contexto e instruções que orientam os agentes em fluxos de trabalho complexos. Elas transformam a IA, que deixa de apenas conversar e passa a agir.

Este termo se refere à participação humana em processos de machine learning e fluxos de trabalho de IA. Especialistas humanos contribuem com insights, conhecimento e discernimento para

Uso de entradas ou técnicas maliciosas para enganar, manipular ou explorar modelos de IA. Na cibersegurança, a IA adversarial pode contornar defesas, causar classificações incorretas ou prejudicar o desempenho do sistema.

Um sistema de IA capaz de tomar decisões de forma autônoma e realizar ações para alcançar objetivos definidos sem intervenção humana constante. Na cibersegurança, a IA agentiva pode automatizar estratégias complexas de defesa ou ataque.

Processamento de IA realizado localmente em dispositivos, em vez de na nuvem, que reduz a latência e aumenta a privacidade dos dados em aplicações de cibersegurança.

Modelos de IA que criam conteúdo novo, como textos, códigos ou imagens. Entre os usos em cibersegurança estão a simulação de ameaças e a geração automatizada de mensagens de phishing.

Combina várias abordagens de IA — como raciocínio simbólico e aprendizado de máquina — para aumentar a precisão e a adaptabilidade na cibersegurança.

Sistemas de IA cujas respostas podem variar para a mesma entrada devido a processos probabilísticos, o que exige cuidados especiais em contextos de segurança.

A integração de recursos de IA em todos os aspectos das operações, ferramentas e infraestrutura de uma organização. Na cibersegurança, a IA onipresente possibilita uma defesa contínua e automatizada em grande escala.

Sistemas de IA projetados para prever resultados ou comportamentos com base em padrões de dados históricos. Usados na previsão de ameaças e na avaliação de riscos.

O desenvolvimento e a implementação de sistemas de IA éticos, justos, transparentes e seguros. Na cibersegurança, práticas responsáveis de IA reduzem vieses, garantem a conformidade e minimizam os riscos de uso indevido.

Uso não aprovado de ferramentas e modelos de IA em uma organização, que gera riscos de conformidade e segurança.

Um hub centralizado onde desenvolvedores podem acessar ferramentas, documentação e serviços. Em segurança, ele garante acesso controlado aos recursos de desenvolvimento de IA.

O processo de usar um modelo de IA treinado para gerar previsões, classificações ou respostas com base em novos dados de entrada. Em cibersegurança, a inferência possibilita a detecção de ameaças em tempo real, a identificação de anomalias e a tomada de decisões automatizada, sem que seja necessário retreinar o modelo.

Uma tentativa maliciosa de manipular o comportamento de um sistema de IA inserindo instruções nocivas nos prompts de entrada.

Acesso, manipulação ou interrupção não autorizados de sistemas, modelos ou pipelines de dados de IA. Isso pode levar a resultados comprometidos, interrupções de serviço ou exposição de informações confidenciais.

Método para contornar as restrições de segurança de um sistema de IA e fazer com que ele gere conteúdo restrito ou nocivo. Uma preocupação fundamental nos testes de segurança de IA.

Uma estrutura de IA para criar aplicações com tecnologia de grandes modelos de linguagem, com recursos de memória, encadeamento e controle de contexto.

Um modelo de aprendizado de máquina treinado com grandes volumes de dados para compreender e gerar textos semelhantes aos escritos por pessoas. É usado na geração e análise de código e em chatbots.

O sequestro ou a exploração não autorizada de modelos de linguagem de grande porte, muitas vezes para inserir prompts maliciosos, roubar propriedade intelectual ou manipular resultados para realizar ataques cibernéticos.

A disciplina operacional de implantar, monitorar e manter modelos de linguagem de grande porte em ambientes de produção.

Técnica em que um invasor ou usuário altera o histórico de conversas armazenado por um sistema de IA para influenciar respostas ou comportamentos futuros. Ela pode ser explorada para contornar mecanismos de segurança, inserir instruções maliciosas ou distorcer a tomada de decisões de um agente de IA.

O Model Context Protocol é um padrão aberto que permite aos desenvolvedores criar conexões bidirecionais seguras entre ferramentas com tecnologia de IA e suas fontes de dados.

O processo de descobrir padrões e insights em grandes conjuntos de dados. Em cibersegurança, a mineração de dados pode revelar ameaças ocultas ou anomalias no comportamento dos usuários.

O MITRE Adversarial Threat Landscape for Artificial-Intelligence Systems é uma base de conhecimento sobre táticas, técnicas e estudos de caso de adversários voltados a sistemas de IA. Orienta as equipes de segurança na proteção de ativos de IA.

Práticas para gerenciar o ciclo de vida de modelos de machine learning, do treinamento à implantação, garantindo confiabilidade e escalabilidade.

A integração de práticas de machine learning, segurança e operações para proteger sistemas de IA ao longo de todo o ciclo de vida.

Estrutura algorítmica treinada com dados para realizar tarefas como detecção, classificação ou geração. Especialistas em segurança avaliam a robustez dos modelos e sua resistência a ataques.

Uso de sistemas de IA para realizar, de forma autônoma, o reconhecimento, a geração de hipóteses e a validação de exploits em uma aplicação, reproduzindo o processo de raciocínio de uma pessoa especialista em testes de invasão, em vez de identificar padrões em um catálogo fixo de assinaturas de vulnerabilidades conhecidas.

Técnicas de IA que permitem aos computadores entender, interpretar e gerar linguagem humana. Usadas em chatbots, detecção de ameaças e coleta de inteligência.

Uma nova abordagem de desenvolvimento de software em que desenvolvedores criam código em plataformas com tecnologia de IA simplesmente descrevendo os resultados desejados em linguagem natural, sem precisar programar manualmente nem ter conhecimentos prévios de programação.

Uma abordagem de IA que combina a geração de linguagem com a recuperação de conhecimento externo para fornecer respostas mais precisas e contextualizadas.

Um exercício proativo de segurança que simula ataques adversariais contra sistemas de IA para identificar vulnerabilidades e aumentar a resiliência.

Modelo computacional inspirado no cérebro humano, usado em deep learning para processar relações complexas entre dados.

Restrições ou políticas definidas que podem ser aplicadas em fluxos de trabalho agentivos e orientam como um agente deve se comportar ao executar tarefas. As regras podem especificar comportamentos permitidos ou proibidos e impor requisitos de segurança, conformidade ou operação.

O risco introduzido quando agentes de IA usam ferramentas, integrações ou entradas não confiáveis ou inseguras. Isso pode levar à exposição de dados, a ações não intencionais ou à introdução de vulnerabilidades durante o desenvolvimento de software.

A extração ou reprodução não autorizada de um modelo proprietário de IA, muitas vezes para fins competitivos ou maliciosos.

A proteção dos dados usados em sistemas de IA durante todo o seu ciclo de vida, incluindo coleta, armazenamento, treinamento e inferência. Ajuda a prevenir violações, vazamentos e ataques de envenenamento de dados.

Ferramentas e frameworks da Amazon Web Services para proteger cargas de trabalho, modelos e dados de IA. Inclui detecção de ameaças, controles de conformidade e proteção de serviços de IA.

A proteção de cargas de trabalho, modelos e dados de IA hospedados em ambientes de nuvem. Combina práticas de segurança na nuvem com proteções específicas para IA contra vazamento de dados, roubo de modelos e ataques adversariais.

O princípio de garantir que as saídas geradas por agentes sejam seguras como parte do processo de desenvolvimento agentivo, por meio da integração de inteligência de segurança e proteções nos fluxos de trabalho dos agentes, reduzindo a dependência da intervenção humana para validar códigos recém-gerados.

Uma abordagem de testes de segurança que avalia continuamente os riscos exploráveis das aplicações — combinando métodos automatizados, como o teste dinâmico de segurança de aplicações (DAST), com testes de invasão mais aprofundados, orientados por IA e acionados quando necessário — em vez de depender de avaliações pontuais realizadas uma ou duas vezes por ano.

Arquiteturas integradas de IA que combinam vários modelos ou agentes para realizar tarefas complexas. Na cibersegurança, elas viabilizam estratégias de defesa em várias camadas.

Registro malicioso de pacotes com nomes semelhantes aos de pacotes legítimos para induzir desenvolvedores a instalá-los.

Agentes especializados que recebem tarefas específicas como parte de um fluxo de trabalho mais amplo. Os subagentes atuam com um escopo ou uma função definidos e, muitas vezes, colaboram com outros agentes para concluir processos complexos, herdando acesso a ferramentas, dados e permissões.

O tempo decorrido entre o acesso inicial de um invasor a um sistema e o momento em que ele começa a explorá-lo ativamente. À medida que os invasores usam cada vez mais a IA para automatizar o reconhecimento e a exploração, esse tempo diminui drasticamente, reduzindo a janela que as equipes de defesa têm para detectar e responder.

A prática de tornar compreensíveis para as partes interessadas as operações, os processos de tomada de decisão e as limitações dos sistemas de IA. Na cibersegurança, a transparência promove a confiança, facilita auditorias e ajuda a garantir a conformidade regulatória.

Em IA, viés se refere a erros sistêmicos que produzem resultados injustos. A equidade consiste em reduzir esses vieses para garantir um desempenho justo e ético da IA.

Uma classe de vulnerabilidade que só pode ser identificada quando se entende o comportamento esperado de uma aplicação — como a lógica de autorização ou os limites de dados entre diferentes clientes — ao contrário das vulnerabilidades com uma assinatura técnica fixa, que os scanners automatizados conseguem detectar diretamente por meio de padrões.

Uma falha na forma como o fluxo de trabalho previsto de um aplicativo pode ser explorado, como acessar os dados de outro usuário ou ignorar uma etapa de aprovação, em vez de uma falha no próprio código. Como essas vulnerabilidades dependem do que o aplicativo deve fazer, elas não têm uma assinatura fixa e são difíceis de detectar com scanners automatizados sem uma análise contextual.