Glossaire de l’IA

Processus consistant à adapter un modèle d’IA pré-entraîné à une tâche ou à un domaine spécifique. En sécurité, l’affinage améliore la précision de détection des menaces ciblées.

Entité logicielle alimentée par l’intelligence artificielle qui exécute des tâches au nom d’un utilisateur ou d’un système. Dans le domaine de la sécurité, les agents d’IA peuvent surveiller les menaces, répondre aux incidents ou exécuter des workflows automatisés.

Intégration de l’IA aux opérations de sécurité pour automatiser la détection des menaces, la réponse aux incidents et les processus du SOC. Améliore la rapidité et la précision de la défense en cybersécurité.

Abréviation de « Trust, Risk, and Security Management in AI » (gestion de la confiance, des risques et de la sécurité de l’IA). Une approche de gouvernance visant à garantir que les systèmes d’IA sont sûrs, fiables et conformes.

Nomenclature des composants IA. Inventaire détaillé des composants, des jeux de données et des dépendances d’une IA. Permet d’en suivre la provenance et de gérer les risques liés à la chaîne d’approvisionnement de l’IA.

Évaluation et amélioration continues de la posture de sécurité d’une organisation liée à l’IA, notamment la gouvernance des modèles et la surveillance des menaces.

Approche d’apprentissage automatique dans laquelle un agent apprend par essais et erreurs en recevant des récompenses ou des pénalités. Son objectif est d’apprendre une stratégie qui maximise les récompenses cumulées au fil du temps, sans instructions explicites ni données étiquetées.

Une branche de l’apprentissage automatique qui utilise des réseaux neuronaux comportant de nombreuses couches pour modéliser des schémas complexes dans les données. Cette technologie est à la base de nombreux outils de cybersécurité fondés sur l’IA.

Les assistants de programmation basés sur l’IA (par exemple Cursor, GitHub Copilot et Claude) sont une forme d’agent IA courante et largement adoptée. Ils intègrent des capacités d’agent directement aux flux de travail des développeurs, permettant de générer du code, d’utiliser des outils et d’exécuter automatiquement des tâches dans l’environnement de développement. Les agents plus avancés vont au-delà des assistants de programmation : ils fonctionnent de manière autonome sur différents systèmes, orchestrent des flux de travail et interagissent avec plusieurs outils sans sollicitation directe de la part d’un humain.

Cyberattaques accélérées ou automatisées par l’IA pour gagner en vitesse, en ampleur et en sophistication, notamment le phishing adaptatif, l’exploitation automatisée de vulnérabilités et les techniques d’évasion.

Dans le domaine de l’IA, les biais désignent des erreurs systémiques qui entraînent des résultats injustes. L’équité consiste à atténuer ces biais afin de garantir des performances de l’IA équitables et éthiques.

Vulnérabilité qui survient lorsqu’une application ne vérifie pas qu’un utilisateur est autorisé à accéder à un objet ou à un enregistrement spécifique. Des attaquants peuvent alors consulter ou modifier les données d’autres utilisateurs en manipulant un identifiant (par exemple, un paramètre d’URL ou un ID de requête API). Il s’agit du risque numéro un du classement OWASP API Security Top 10.

Technique consistant à combiner plusieurs vulnérabilités de faible gravité ou failles logiques pour créer un chemin d’exploitation à fort impact — par exemple, associer une faille de contrôle des autorisations à une faille d’élévation des privilèges afin d’obtenir un résultat critique qu’aucune de ces failles ne permettrait à elle seule.

L’écosystème d’outils, d’intégrations, de composants et de ressources sur lesquels les agents IA s’appuient pour accomplir leurs tâches. Il comprend les serveurs MCP, les API, les services externes, les compétences et les autres dépendances qui influencent le comportement des agents et leurs résultats.

Un cadre stratégique qui énonce des principes visant à protéger les personnes contre les usages préjudiciables de l’IA. Il traite de la vie privée, de la discrimination, de la transparence et de la responsabilité dans les systèmes d’IA.

Une interface conversationnelle basée sur l’IA qui interagit avec les utilisateurs par texte ou par voix. En cybersécurité, les chatbots peuvent automatiser l’assistance et le triage des incidents.

Instructions ou actions distinctes qu’un agent peut exécuter dans un système ou un outil. Les commandes correspondent aux opérations réellement effectuées par l’agent (par exemple, exécuter un script ou interroger un service). Elles sont souvent regroupées en workflows en plusieurs étapes et peuvent interagir avec des systèmes internes ou externes.

Les extensions qui donnent aux agents IA un véritable pouvoir d’action. Les Agent Skills sont des packages réutilisables de logique, de contexte et d’instructions qui guident les agents dans des workflows complexes. Elles font passer l’IA de la conversation à l’action.

La confiance des parties prenantes dans la fiabilité, l’équité et la sécurité d’un système d’IA. Elle se construit grâce à la transparence, aux tests et à une utilisation responsable.

Respect des lois, réglementations et normes sectorielles applicables aux systèmes d’IA. En cybersécurité, cela englobe la protection des données, l’auditabilité et les cadres de gouvernance garantissant une utilisation responsable de l’IA.

Utilisation non autorisée des ressources d’un système pour miner des cryptomonnaies, souvent au moyen de logiciels malveillants ou d’exploits de navigateur. L’IA peut à la fois détecter ces attaques et être exploitée pour les mener.

Utilisation malveillante ou contraire à l’éthique de l’IA à des fins de cybercriminalité, d’espionnage ou de campagnes de désinformation. Un phénomène de plus en plus important en renseignement sur les menaces.

Temps écoulé entre le premier accès d’un attaquant à un système et le moment où il commence à l’exploiter activement. À mesure que les attaquants utilisent davantage l’IA pour automatiser la reconnaissance et l’exploitation, ce délai s’est fortement réduit, raccourcissant la fenêtre dont disposent les défenseurs pour détecter les attaques et y répondre.

Paradigme de développement logiciel dans lequel des agents d’IA planifient, exécutent et mènent à bien des tâches de développement de façon autonome, à l’aide d’outils, de données et de flux de travail, avec une intervention humaine minimale.

Créateurs de logiciels non traditionnels qui s’appuient sur des outils et des agents d’IA pour créer ou modifier des applications sans expertise formelle en ingénierie logicielle. Leur essor élargit le cercle des personnes capables de créer des logiciels, ce qui accélère le développement tout en augmentant les risques de sécurité.

Ensemble de données utilisé pour apprendre à un modèle d’IA à effectuer une tâche. En sécurité, sa qualité a une incidence directe sur la précision de la détection.

Processus de surveillance et d’amélioration continues de la posture de sécurité des données sensibles dans les systèmes et les charges de travail d’IA.

Stratégie de cyberattaque qui dégrade les performances d’un modèle d’IA en corrompant délibérément les jeux de données par l’injection de données malveillantes, l’attribution d’étiquettes erronées ou d’autres méthodes.

Type d’attaque contre les données ou les modèles, consistant à insérer des entrées malveillantes dans des outils ou des jeux de données d’IA afin de manipuler leur comportement ou leurs résultats. Elle compromet la fiabilité des systèmes d’IA au fil du temps.

Principe visant à garantir que les systèmes d’IA produisent des résultats impartiaux et équitables pour tous les groupes d’utilisateurs. En cybersécurité, l’équité de l’IA réduit le risque d’évaluations des menaces ou de contrôles d’accès discriminatoires, favorisant ainsi la conformité et le déploiement éthique de l’IA.

Processus d’intégration des données qui consiste à les collecter, les nettoyer et les transférer vers des systèmes de stockage ou d’analyse. Essentiel pour préparer les jeux de données de sécurité de l’IA.

Processus qui consiste à identifier, évaluer et atténuer les risques liés aux systèmes d’IA. En cybersécurité, il couvre la robustesse des modèles, les vulnérabilités de la chaîne d’approvisionnement et les risques liés à la conformité.

Abréviation d’« évaluations », il s’agit de tests systématiques qui mesurent les performances, la sécurité et la fiabilité des systèmes d’IA dans différents scénarios.

Transfert non autorisé de données depuis un système, souvent effectué par des initiés malveillants ou des attaquants externes. L’IA peut détecter les anomalies révélant des tentatives d’exfiltration.

Capacité à interpréter et à comprendre comment un modèle d’IA prend ses décisions. Indispensable pour instaurer la confiance, assurer la conformité et déboguer les systèmes de sécurité.

Capacité à interpréter et à comprendre comment un modèle d’IA prend ses décisions. Essentielle pour instaurer la confiance, assurer la conformité et faciliter le débogage des systèmes de sécurité.

Processus de découverte de tendances et d’informations à partir de grands ensembles de données. En cybersécurité, l’exploration de données peut révéler des menaces cachées ou des anomalies dans le comportement des utilisateurs.

Limites prédéfinies en matière de sécurité et de conformité qui empêchent l’IA de générer des résultats dangereux ou non autorisés. Indispensables au déploiement de l’IA en entreprise.

Création automatisée de code source à l’aide de modèles d’IA comme les grands modèles de langage (LLM). En cybersécurité, elle accélère le développement, mais nécessite aussi des revues de sécurité pour prévenir les vulnérabilités.

Un cadre permettant de gérer la gouvernance, la gestion des risques et la conformité réglementaire d’une organisation, désormais étendu aux systèmes d’IA.

Lorsqu’un modèle d’IA génère des résultats faux ou trompeurs qui semblent plausibles. En matière de sécurité, les hallucinations peuvent entraîner de la désinformation ou des automatisations erronées.

Lorsqu’un système d’IA invente l’existence de packages ou de composants logiciels, ce qui peut entraîner des risques pour la chaîne d’approvisionnement logicielle.

Déclencheurs prédéfinis qui exécutent une logique spécifique à certains moments du flux de travail d’un agent. Les hooks s’exécutent automatiquement avant, pendant ou après une action, souvent de manière transparente, lors de l’exécution de l’agent. Ils peuvent servir à intégrer une logique de validation, de transformation ou d’application de règles.

Ce terme désigne l’intervention humaine dans les processus d’apprentissage automatique et les workflows d’IA. Des experts humains apportent leurs connaissances, leur expertise et leur jugement pour

Utilisation d’entrées ou de techniques malveillantes pour tromper, manipuler ou exploiter des modèles d’IA. En cybersécurité, l’IA adversariale peut contourner les défenses, provoquer des erreurs de classification ou dégrader les performances du système.

Système d’IA capable de prendre des décisions de manière autonome et d’agir pour atteindre des objectifs définis sans intervention humaine constante. En cybersécurité, l’IA agentique peut automatiser des stratégies complexes de défense ou d’attaque.

Traitement de l’IA effectué localement sur les appareils plutôt que dans le cloud, ce qui réduit la latence et renforce la confidentialité des données dans les applications de cybersécurité.

Utilisation non approuvée d’outils et de modèles d’IA au sein d’une organisation, qui crée des risques en matière de conformité et de sécurité.

Modèles d’IA qui créent de nouveaux contenus, comme du texte, du code ou des images. En cybersécurité, ils servent notamment à simuler des menaces et à générer automatiquement des e-mails d’hameçonnage.

Combine plusieurs approches de l’IA, telles que le raisonnement symbolique et l’apprentissage automatique, pour améliorer la précision et l’adaptabilité en cybersécurité.

Systèmes d’IA dont les résultats peuvent varier pour une même entrée en raison de processus probabilistes, ce qui nécessite une approche spécifique en matière de sécurité.

Intégration des capacités de l’IA à tous les aspects des opérations, des outils et de l’infrastructure d’une organisation. En cybersécurité, l’IA omniprésente permet une défense continue et automatisée à grande échelle.

Systèmes d’IA conçus pour prévoir des résultats ou des comportements à partir de tendances observées dans des données historiques. Utilisés pour prédire les menaces et évaluer les risques.

Développement et déploiement de systèmes d’IA éthiques, équitables, transparents et sécurisés. En cybersécurité, les pratiques d’IA responsable réduisent les biais, garantissent la conformité et limitent les risques d’utilisation abusive.

Un hub centralisé permettant aux développeurs d’accéder aux outils, à la documentation et aux services. En matière de sécurité, il garantit un accès contrôlé aux ressources de développement de l’IA.

Processus qui consiste à utiliser un modèle d’IA entraîné pour générer des prédictions, des classifications ou des réponses à partir de nouvelles données d’entrée. En cybersécurité, l’inférence permet de détecter les menaces en temps réel, d’identifier les anomalies et de prendre des décisions automatisées sans réentraîner le modèle.

Pratique consistant à concevoir des prompts efficaces pour orienter les réponses des modèles d’IA et optimiser leurs performances dans des cas d’usage liés à la sécurité.

Processus de conception et de structuration du contexte fourni aux systèmes d’IA afin d’optimiser leurs résultats. Un élément essentiel pour automatiser la cybersécurité avec précision.

Tentative malveillante visant à manipuler le comportement d’un système d’IA en intégrant des instructions nuisibles dans les prompts d’entrée.

Accès non autorisé à des systèmes, modèles ou pipelines de données d’IA, ou manipulation ou perturbation de ceux-ci. Cela peut entraîner des résultats compromis, des interruptions de service ou l’exposition d’informations sensibles.

Méthode permettant de contourner les contraintes de sécurité d’un système d’IA afin de lui faire générer des contenus interdits ou dangereux. Un enjeu majeur des tests de sécurité de l’IA.

Un framework d’IA permettant de créer des applications basées sur de grands modèles de langage, dotées de capacités de mémoire, d’enchaînement et de gestion du contexte.

Modèle d’apprentissage automatique entraîné sur de vastes ensembles de données pour comprendre et générer du texte semblable à celui d’un humain. Utilisé pour la génération de code, l’analyse et les chatbots.

Détournement ou exploitation non autorisés de grands modèles de langage, souvent dans le but d’injecter des prompts malveillants, de voler de la propriété intellectuelle ou de manipuler les résultats à des fins de cyberattaque.

Discipline opérationnelle qui consiste à déployer, surveiller et maintenir de grands modèles de langage en environnement de production.

Technique par laquelle un attaquant ou un utilisateur modifie l’historique des conversations mémorisé par un système d’IA afin d’influencer ses réponses ou comportements futurs. Elle peut être exploitée pour contourner les mécanismes de protection, injecter des instructions malveillantes ou fausser la prise de décision d’un agent d’IA

Le Model Context Protocol est une norme ouverte qui permet aux développeurs de créer des connexions bidirectionnelles sécurisées entre des outils propulsés par l’IA et leurs sources de données.

Le MITRE Adversarial Threat Landscape for Artificial-Intelligence Systems est une base de connaissances sur les tactiques et techniques des adversaires, ainsi que sur des études de cas concernant les systèmes d’IA. Elle aide les équipes de sécurité à protéger les ressources d’IA.

Sous-domaine de l’IA qui utilise des algorithmes pour apprendre à partir de données et formuler des prédictions ou prendre des décisions sans programmation explicite.

Pratiques de gestion du cycle de vie des modèles d’apprentissage automatique, de leur entraînement à leur déploiement, afin d’en garantir la fiabilité et l’évolutivité.

L’intégration du machine learning, des pratiques de sécurité et des opérations afin de protéger les systèmes d’IA tout au long de leur cycle de vie.

Structure algorithmique entraînée sur des données pour effectuer des tâches telles que la détection, la classification ou la génération. Les experts en sécurité évaluent la robustesse des modèles et leur résistance aux attaques.

Techniques d’IA qui permettent aux ordinateurs de comprendre, d’interpréter et de générer le langage humain. Elles sont utilisées dans les chatbots, la détection des menaces et la collecte de renseignements.

Une approche de l’IA qui combine la génération de langage et la récupération de connaissances externes pour fournir des réponses plus exactes et riches en contexte.

Utilisation d’outils d’IA pour rechercher de manière proactive les cybermenaces dissimulées dans les réseaux et les systèmes, et détecter ainsi des schémas que les analystes humains peuvent manquer.Utilisation d’outils d’IA pour rechercher de manière proactive les cybermenaces dissimulées dans les réseaux et les systèmes, et détecter ainsi des schémas que les analystes humains peuvent manquer.

Exercice de sécurité proactif qui simule des attaques adverses contre des systèmes d’IA afin d’identifier les vulnérabilités et de renforcer leur résilience.

Contraintes ou politiques définies qui peuvent s’appliquer à différents workflows d’agents et guider leur comportement dans l’exécution de tâches. Les règles peuvent préciser les comportements autorisés ou interdits et imposer des exigences de sécurité, de conformité ou opérationnelles.

Un modèle informatique inspiré du cerveau humain, utilisé en apprentissage profond pour traiter des relations complexes entre les données.

Risque introduit lorsque des agents d’IA utilisent des outils, des intégrations ou des données d’entrée non fiables ou non sécurisés. Cela peut entraîner une exposition des données, des actions involontaires ou l’introduction de vulnérabilités pendant le développement logiciel.

Principe qui consiste à sécuriser les résultats générés par des agents tout au long du processus de développement agentique, grâce à l’intégration d’informations de sécurité et de garde-fous dans les workflows des agents, afin de réduire le besoin d’une intervention humaine pour valider le code nouvellement généré.

Outils et frameworks d’Amazon Web Services pour sécuriser les charges de travail, les modèles et les données liés à l’IA. Ils comprennent la détection des menaces, des contrôles de conformité et la protection des services d’IA.

La protection des données utilisées dans les systèmes d’IA tout au long de leur cycle de vie, notamment lors de leur collecte, de leur stockage, de l’entraînement des modèles et de l’inférence. Elle protège contre les violations de données, les fuites et les attaques par empoisonnement des données.

Protection des charges de travail, des modèles et des données d’IA hébergés dans des environnements cloud. Elle associe les pratiques de sécurité du cloud à des mesures de protection spécifiques à l’IA contre les fuites de données, le vol de modèles et les attaques adversariales.

Une approche de test de sécurité qui évalue en continu les applications afin de détecter les risques exploitables. Elle combine des méthodes de test automatisées, comme les tests dynamiques de sécurité des applications (DAST), à des tests d’intrusion plus approfondis, pilotés par l’IA et déclenchés lorsque cela est nécessaire, plutôt que de s’appuyer sur des évaluations ponctuelles réalisées une ou deux fois par an.

Enregistrement malveillant de packages dont le nom ressemble à celui de packages légitimes, afin d’inciter les développeurs à les installer.

Agents spécialisés auxquels sont déléguées des tâches spécifiques dans le cadre d’un workflow plus vaste. Les sous-agents interviennent dans un périmètre ou une fonction définis et collaborent souvent avec d’autres agents pour mener à bien des processus complexes. Ils héritent des accès aux outils, aux données et aux autorisations.

Architectures d’IA intégrées qui combinent plusieurs modèles ou agents pour accomplir des tâches complexes. En cybersécurité, elles permettent de mettre en place des stratégies de défense à plusieurs niveaux.

Utilisation de systèmes d’IA pour effectuer de manière autonome la reconnaissance, la formulation d’hypothèses et la validation d’exploits sur une application. Ces systèmes reproduisent le raisonnement d’un testeur d’intrusion humain, au lieu de rechercher des correspondances dans un catalogue fixe de signatures de vulnérabilités connues.

Pratique consistant à rendre compréhensibles pour les parties prenantes le fonctionnement des systèmes d’IA, leurs processus décisionnels et leurs limites. En cybersécurité, la transparence favorise la confiance, l’audit et la conformité réglementaire.

Nouvelle approche du développement logiciel qui permet aux développeurs de créer du code à l’aide de plateformes basées sur l’IA, simplement en décrivant le résultat souhaité en langage naturel, sans avoir à coder manuellement ni à posséder de connaissances préalables en programmation.

Extraction ou reproduction non autorisée d’un modèle d’IA propriétaire, souvent à des fins concurrentielles ou malveillantes.

Une faille dans le fonctionnement prévu d’une application, qui peut être exploitée, par exemple pour accéder aux données d’un autre utilisateur ou contourner une étape d’approbation, plutôt qu’une faille dans le code lui-même. Comme ces vulnérabilités dépendent de ce qu’une application est censée faire, elles n’ont pas de signature fixe et sont difficiles à détecter pour les scanners automatisés sans raisonnement contextuel.

Catégorie de vulnérabilité qui ne peut être identifiée qu’en comprenant le comportement attendu d’une application — par exemple sa logique d’autorisation ou les limites entre les données de différents locataires — contrairement aux vulnérabilités présentant une signature technique fixe que les scanners automatisés peuvent détecter directement par correspondance de motifs.

Processus en plusieurs étapes, orientés vers un objectif et exécutés par des agents d’IA, qui orchestrent des outils et des actions tout au long du cycle de vie du développement logiciel (SDLC) et des nouveaux workflows de création avec l’IA.