Le nouveau point de contrôle de sécurité : gouverner les agents IA dans leur boucle d’exécution

À mesure que les organisations adoptent des agents IA pour développer des logiciels, les équipes de sécurité font face à un nouveau défi : les risques ne sont plus uniquement introduits par le code produit. Ils émergent en continu des outils utilisés par les agents, des actions qu’ils exécutent et du code qu’ils génèrent. C’est le problème que Evo Agentic Development Security (ADS) a été conçu pour résoudre.

ADS sécurise les trois couches du système de développement agentique : ce que les agents utilisent, ce qu’ils font et ce qu’ils génèrent. Cet article se concentre sur la deuxième couche : la gouvernance du comportement des agents dans leur boucle d’exécution, là où ils prennent des décisions, utilisent des outils, accèdent à des systèmes et agissent au nom des utilisateurs.

La gouvernance du comportement des agents est disponible dès aujourd’hui en aperçu ouvert dans le cadre d’Evo Agentic Development Security (ADS). Les organisations qui souhaitent évaluer cette fonctionnalité peuvent planifier une démo avec l’équipe.

Pourquoi les agents IA ont besoin d’un nouveau point de contrôle de sécurité

Depuis des années, la sécurité des applications se concentre sur les résultats du développement logiciel : le code écrit, les dépendances ajoutées et l’infrastructure qui finit par être exécutée en production.

Les agents IA introduisent un défi différent : ils ne se contentent pas de générer des artefacts, ils prennent des décisions. Chaque fois qu’un agent sélectionne un outil, accède à un système, appelle une API, exécute une commande ou récupère des données, il prend une décision au nom d’un utilisateur. À mesure que les agents gagnent en autonomie, le volume et la rapidité de leurs décisions dépassent rapidement les formes traditionnelles de supervision.

La nature du problème de sécurité change : les risques ne sont plus uniquement introduits par les artefacts produits par les logiciels. Ils découlent aussi des actions exécutées par les agents pendant le développement. La question n’est plus seulement de savoir si le code obtenu est sécurisé, mais aussi si les décisions prises en cours de route étaient appropriées, autorisées et conformes aux règles de l’organisation. Si les décisions de sécurité les plus lourdes de conséquences sont désormais prises avant l’exécution d’une action, la sécurité doit se rapprocher du moment où ces décisions sont prises.

Au cœur de la boucle d’exécution des agents

Pour comprendre comment gouverner le comportement des agents, il faut d’abord comprendre leur fonctionnement. Malgré la sophistication des agents IA modernes, la plupart suivent un schéma similaire. Ils reçoivent un objectif, déterminent comment l’atteindre, sélectionnent les outils nécessaires, exécutent des actions, en évaluent les résultats et répètent le processus jusqu’à ce que l’objectif soit atteint.

Ce qui apparaît à l’utilisateur comme une seule tâche — « examiner ce problème », « corriger cette vulnérabilité » ou « déployer cette application » — consiste souvent en une suite de dizaines, voire de centaines, de décisions et d’actions individuelles qui se déroulent en coulisses.

Un agent peut décider d’interroger un dépôt, d’examiner un fichier de configuration, d’appeler un outil externe, d’exécuter une commande, de récupérer des données via une API ou de modifier une ressource. Chaque action génère de nouvelles informations qui influencent la décision suivante de l’agent. Ce cycle continu de raisonnement, de sélection d’outils, d’exécution d’actions et de retour d’information constitue la boucle d’exécution de l’agent.

Il est important de noter que c’est là que l’autonomie s’exerce réellement.

C’est dans la boucle d’exécution que les agents transforment une intention en action : ils décident des ressources auxquelles accéder, des outils auxquels faire confiance, des commandes à exécuter et des informations à partager. Toute action significative exécutée par un agent passe par ce processus.

La boucle d’exécution se distingue fondamentalement des points de contrôle de sécurité traditionnels. Historiquement, la sécurité s’est concentrée sur les données qui entrent dans un système ou les artefacts qui en sortent. La boucle d’exécution offre une nouvelle possibilité : comprendre et évaluer le comportement pendant la prise de décision. Au lieu de demander « Que s’est-il passé ? » une fois l’action terminée, les organisations peuvent commencer à poser d’autres questions :

• Qu’essaie d’accomplir l’agent ?

• Quelle action s’apprête-t-il à exécuter ?

• Quels systèmes, outils ou données sont concernés ?

• Cette action est-elle conforme aux règles de l’organisation ?

• Faut-il autoriser, modifier ou empêcher cette action ?

Ces questions rapprochent la sécurité de la décision elle-même. C’est ce qui fait de la boucle d’exécution un point de contrôle de sécurité si important à l’ère des agents IA.

Comment Evo ADS gouverne le comportement des agents

Comprendre le défi n’est qu’une première étape. Les organisations ont également besoin d’un moyen concret d’observer, d’évaluer et de gouverner le comportement des agents au fil de leur exécution. C’est l’approche qui sous-tend la nouvelle fonctionnalité de gouvernance du comportement des agents d’Evo ADS, disponible dès aujourd’hui en aperçu ouvert.

Observer le comportement des agents

À première vue, gouverner le comportement des agents semble simple : observer une action, la comparer à une règle et décider si elle doit être autorisée. En pratique, c’est bien plus complexe, car les agents n’exécutent pas des actions isolées, mais des séquences d’actions qui s’appuient les unes sur les autres. Pour relever ce défi, ADS intervient directement dans la boucle d’exécution de l’agent.

En s’intégrant aux environnements d’exécution des agents via les API PreToolUse et PostToolUse, ADS peut observer les actions avant et après leur exécution, et ainsi rendre visibles les décisions prises par les agents pendant leurs tâches. Cette visibilité couvre un large éventail d’activités : exécuter des commandes shell, lire et écrire des fichiers, envoyer des requêtes réseau, utiliser des outils MCP et interagir avec des API externes.

Plus important encore, ADS tient compte des sessions. Au lieu d’évaluer chaque action isolément, ADS observe le comportement tout au long du flux de travail. La solution comprend la demande initiale de l’utilisateur, l’objectif de l’agent, la séquence des actions exécutées et le contexte de chaque décision.

Prenons l’exemple d’un agent qui dépanne une application. Il peut examiner le code source, interroger les ressources cloud, accéder à des fichiers de configuration et recueillir des données opérationnelles avant d’appliquer une mesure corrective. Considérées ensemble, ces actions permettent de mieux comprendre ce que l’agent cherche à accomplir.

Cette distinction est essentielle, car de nombreux risques découlent non pas d’une action isolée, mais d’un ensemble d’actions. Par exemple, lire un fichier sensible ou envoyer une requête réseau peut être légitime. Mais si ces actions se produisent dans le même flux de travail, elles peuvent signaler une tentative d’exposition d’informations sensibles.

C’est pourquoi une gouvernance efficace exige plus qu’une simple surveillance des activités. Elle nécessite du contexte et une compréhension plus complète des intentions de l’agent. Pour déterminer si une action est appropriée, les organisations doivent pouvoir voir :

• La demande initiale de l’utilisateur

• L’objectif déclaré par l’agent

• Les actions précédemment exécutées pendant la session

• Les outils et les ressources auxquels l’agent accède

• Les points de terminaison auxquels l’agent accède

• Les commandes exécutées par l’agent

• Les données récupérées ou transmises

• La séquence de décisions qui a conduit à l’action en cours

L’objectif n’est pas seulement de savoir ce que fait un agent, mais aussi de comprendre pourquoi il le fait. Seul ce niveau de visibilité permet aux organisations d’aller au-delà de la surveillance du comportement et de commencer à le gouverner efficacement.

Détecter les comportements à risque

Observer le comportement des agents dans leur boucle d’exécution permet de repérer des risques que les contrôles de sécurité traditionnels ne détectent souvent pas. Grâce à la fonctionnalité de gouvernance du comportement des agents, les organisations peuvent surveiller en continu l’activité des agents afin de détecter un nombre croissant de risques comportementaux pendant l’exécution.

Contrairement aux constats de sécurité des applications traditionnels, bon nombre de ces risques ne sont liés ni à une vulnérabilité spécifique ni à un artefact logiciel. Ils découlent plutôt des interactions entre les agents, les outils, les systèmes et les données. Ces détections s’effectuent en continu dans la boucle d’exécution, ce qui permet aux organisations de repérer les risques au fil des flux de travail des agents, plutôt qu’après la création des artefacts.

Appliquer la gouvernance en temps réel

La fonctionnalité de gouvernance du comportement des agents permet aux organisations d’appliquer différentes mesures de gouvernance selon le type de constat, le niveau de risque et les règles de l’organisation.

Comme Evo ADS intervient directement dans la boucle d’exécution de l’agent, les décisions de gouvernance peuvent être appliquées avant l’exécution des actions, et non après. Au lieu de s’appuyer sur des journaux, des alertes ou le trafic réseau pour reconstituer les événements a posteriori, ADS évalue les actions envisagées dans le contexte global du flux de travail. Les organisations peuvent ainsi gouverner le comportement des agents au moment de la prise de décision.

Pour vous familiariser avec les scanners, les constats peuvent être consignés afin de rendre le comportement des agents visible sans perturber les flux de travail. C’est également un bon moyen de garder un œil sur les opérations des agents à faible risque. Lorsqu’un agent enfreint les règles de l’organisation ou présente un niveau de risque inacceptable, son action peut être bloquée de manière fiable.

ADS explore activement d’autres mécanismes de gouvernance qui encadrent les agents sans nuire à la productivité des développeurs. Les organisations peuvent orienter leur comportement en fournissant directement des consignes de sécurité dans le flux de travail. Plutôt que d’interrompre l’agent, celui-ci reçoit une instruction dans son invite lors de la prochaine communication entre la gouvernance du comportement des agents et le harnais d’exécution, afin de l’encourager à prendre des décisions plus sûres tout en restant productif.

Pour les actions qui nécessitent une supervision supplémentaire, les agents peuvent être invités à demander l’approbation explicite de l’utilisateur avant de poursuivre. Cela crée un point de contrôle humain pour les opérations potentiellement sensibles, inhabituelles ou lourdes de conséquences.

La réponse appropriée dépendra de la tolérance au risque de l’organisation, des systèmes concernés et de la nature de la tâche. L’essentiel, c’est que les organisations ne sont plus limitées à un choix binaire entre autonomie sans restriction et contrôles contraignants. Elles peuvent plutôt appliquer le niveau de gouvernance adapté à chaque situation, pour laisser les agents agir rapidement tout en veillant à ce qu’ils respectent des limites de confiance. Cela crée un modèle plus pratique pour l’adoption de l’IA : la sécurité s’adapte au flux de travail, au lieu de contraindre celui-ci à s’adapter à la sécurité.

Sécuriser l’ensemble du système de développement logiciel

À mesure que les organisations généralisent l’adoption de l’IA, une réalité devient de plus en plus évidente : la supervision humaine ne peut pas suivre le rythme des agents. La question n’est pas de savoir si les agents doivent être autonomes, mais comment garantir leur sécurité à grande échelle.

La gouvernance du comportement des agents répond à un aspect essentiel de ce défi en intégrant la sécurité directement dans la boucle d’exécution des agents. Les organisations bénéficient ainsi d’une visibilité et d’un contrôle là où les agents prennent leurs décisions. Mais le comportement des agents n’est qu’un élément d’un modèle de sécurité plus global. Les organisations doivent aussi comprendre les outils sur lesquels les agents s’appuient et s’assurer que le code qu’ils génèrent est fiable dès sa création.

C’est pourquoi Evo ADS sécurise les trois points où les risques apparaissent dans le développement agentique : ce que les agents utilisent, ce qu’ils font et ce qu’ils génèrent. Ensemble, ces fonctionnalités aident les organisations à adopter le développement assisté par l’IA en disposant de la visibilité, de la gouvernance et de la confiance nécessaires pour avancer vite sans perdre le contrôle.

La gouvernance du comportement des agents est disponible dès aujourd’hui en aperçu ouvert dans le cadre d’Evo Agentic Development Security (ADS). Pour en savoir plus, inscrivez-vous à notre prochain webinaire sur Agentic Development Security ou planifiez une démo avec l’équipe Snyk.