Qu’est-ce que l’IA fantôme ? Prévenir et gérer les risques liés à l’IA

La popularité fulgurante de l’intelligence artificielle générative (GenAI) a fait émerger de nouveaux défis pour les organisations. L’un des plus urgents concerne l’utilisation d’outils d’IA par les employés sans surveillance et souvent sans l’accord de leur employeur. Pas moins de 38 % des travailleurs reconnaissent avoir partagé des informations professionnelles sensibles avec des outils d’IA sans autorisation.

Qu’est-ce que l’IA fantôme ?

L’IA fantôme désigne l’utilisation d’outils d’IA à l’insu du service informatique ou sans sa supervision. Dans le développement logiciel, cela peut prendre différentes formes : utiliser des outils GenAI pour rédiger des extraits de code, déboguer, générer ou résumer de la documentation, ou analyser des données, sans examen ni approbation formels.

Outils d’IA couramment utilisés dans le cadre de l’IA fantôme

L’IA fantôme peut prendre de nombreuses formes, portée par la puissance des outils et plateformes désormais facilement accessibles aux travailleurs. Les développeurs, en particulier, disposent d’un large éventail de ressources d’IA qui leur permettent de créer, d’automatiser et de déployer des solutions sans que le service informatique en ait connaissance. Parmi les outils les plus courants, citons : 

• Grands modèles de langage (LLM) : des outils comme ChatGPT d’OpenAI, Claude d’Anthropic, PaLM de Google, LLaMA de Meta, Mistral et Cohere servent à générer ou à améliorer du code. 

• Outils et plateformes GenAI : des plateformes comme Hugging Face Transformers pour les modèles pré-entraînés, ChatGPT via l’API OpenAI pour l’intégration et LangChain pour orchestrer des LLM dans des workflows complexes.

• Outils de code et de développement : des outils comme GitHub CoPilot, Cursor et Codex servent à générer du code et à accomplir des tâches sans la supervision du service informatique. 

• Automatisation des tâches : des outils comme Zapier et Make servent à automatiser les workflows entre les outils d’IA, en reliant potentiellement plusieurs outils non approuvés.

• Outils personnalisés : les développeurs peuvent affiner des modèles personnalisés à partir de données propriétaires ou sensibles, à l’aide de ressources locales ou de frameworks open source. 

Si l’IA fantôme peut accélérer l’innovation, elle présente également des risques importants.

Risques et préoccupations liés à l’IA fantôme

L’IA fantôme contourne les garde-fous organisationnels et expose les données, les systèmes, les opérations et la propriété intellectuelle à des risques, notamment :

Un excès de confiance 

Les développeurs font souvent confiance au code généré par l’IA, alors qu’il peut être vulnérable. Bien qu’un tiers du code généré par l’IA présente des faiblesses courantes dans plusieurs langages, 75,8 % des développeurs le jugent plus sûr que le code écrit par des humains. Résultat : les développeurs l’acceptent souvent sans prendre de mesures supplémentaires pour repérer les bogues et les vulnérabilités. 

Des hallucinations et des erreurs

Les hallucinations de l’IA, qui surviennent lorsque des modèles non contrôlés produisent des informations trompeuses, voire totalement fausses, sans supervision, sont une source de préoccupation majeure. Les taux d’hallucination varient d’environ 1 % à 30 %, selon le LLM utilisé. Outre les hallucinations, les erreurs de raisonnement et de sortie des modèles continuent de présenter des risques importants. 

Présentation des risques liés aux données  

Les développeurs peuvent compromettre involontairement la confidentialité des données en saisissant des données confidentielles dans des LLM, en créant puis en abandonnant des espaces de stockage de données, en surdimensionnant les jeux de données d’entraînement de l’IA ou en transmettant des données de manière non sécurisée. En 2023, par exemple, la division des semi-conducteurs de Samsung a connu trois fuites de données après que des ingénieurs ont utilisé ChatGPT pour vérifier du code source et effectuer d’autres tâches. 

Le non-respect des exigences de conformité  

L’utilisation non autorisée de données pour entraîner des modèles ou la saisie de données dans des outils non approuvés peut exposer les entreprises à des sanctions réglementaires. Par exemple, le traitement inapproprié de données personnelles sensibles sans consentement ni mesures de sécurité adéquats peut enfreindre des réglementations comme le RGPD ou le CCPA, entraînant de lourdes amendes, des poursuites judiciaires et une atteinte importante à la réputation de l’entreprise.

Apprentissage automatique et IA fantôme

À mesure que les organisations développent et déploient leurs propres modèles d’IA et d’apprentissage automatique (ML), les risques associés à l’IA fantôme s’accentuent. Si des modèles de ML sont compromis, ils peuvent révéler les stratégies de l’entreprise, ses priorités commerciales et ses processus opérationnels.

• Absence de surveillance : des modèles non surveillés peuvent produire des résultats biaisés ou de qualité insuffisante, ce qui nuit aux performances. 

• Problèmes de contrôle des versions : sans suivi adéquat des versions, les équipes risquent d’utiliser sans le savoir des modèles obsolètes ou incohérents, ce qui complique la traçabilité des modifications et la justification des décisions.

• Explicabilité limitée : les modèles mal gérés manquent souvent de transparence ou d’explicabilité, ce qui complique la compréhension, la validation ou la défense des décisions fondées sur ces modèles, en particulier dans les secteurs réglementés. 

Gestion des données et IA fantôme

À mesure que les outils d’IA deviennent plus accessibles, les employés continueront d’adopter de nouvelles solutions pour gagner en productivité, souvent sans tenir compte des risques de sécurité. La formation et les politiques peuvent contribuer à réduire l’IA fantôme, mais les organisations doivent également renforcer la gestion des données et la sécurité afin d’atténuer les risques.

Les responsables du développement logiciel et de la sécurité devraient notamment mettre en place un programme de gestion des vulnérabilités fondé sur les risques. Voici les étapes à suivre :

• Identifier les actifs : tenir à jour un inventaire de tous les actifs et dépendances pour comprendre les vulnérabilités et obtenir une vue d’ensemble de la surface d’attaque. 

• Attribuer les responsabilités : veiller à ce que les responsables des actifs les gèrent de manière proactive et rendent compte de leur état, notamment de toute évolution du niveau de risque.

• Identifier les exigences de conformité et réglementaires : déterminer quelles réglementations s’appliquent (comme le RGPD, HIPAA et PCI-DSS) et utiliser des outils de sécurité pensés pour les développeurs afin d’intégrer la sécurité et la conformité aux workflows de développement. 

• Classer les actifs et les vulnérabilités : évaluer les risques pour déterminer l’impact potentiel des vulnérabilités, établir des profils de risque et hiérarchiser les mesures correctives.

• Instaurer une culture d’amélioration continue : informer les développeurs des risques liés aux outils GenAI non approuvés et de l’importance de rechercher proactivement les bogues et vulnérabilités dans le code généré par l’IA. 

Comment limiter les risques de l’IA fantôme 

Pour lutter contre les risques croissants de l’IA fantôme, les organisations les plus avancées mettent en place des garde-fous afin de reprendre le contrôle. Parmi les mesures les plus efficaces : 

• Évaluer les risques : repérer les lacunes de sécurité, comme un chiffrement insuffisant, des erreurs de configuration et des vulnérabilités qui accroissent les risques d’exposition des données.

• Définir des politiques et des contrôles pour l’IA : collaborer avec les équipes informatiques et de sécurité pour élaborer des politiques d’utilisation, mettre en place des procédures de traitement des données et réaliser régulièrement des audits de conformité des outils d’IA.

• Rechercher les vulnérabilités : utiliser des outils comme Snyk Code, une solution de sécurité axée sur les développeurs, pour analyser le code écrit par des humains comme celui généré par l’IA, et détecter automatiquement les problèmes tout en proposant des correctifs.

• Élaborer un plan de réponse aux incidents : définir des procédures claires pour réagir rapidement aux incidents liés à l’IA fantôme et limiter leur impact sur les données, les systèmes et les activités de l’entreprise.

Prévenir l’IA fantôme grâce à des processus de sécurité robustes 

Lorsque leurs besoins ne sont pas satisfaits, les développeurs mettent souvent eux-mêmes des ressources à leur disposition. Pour réduire ces risques, les équipes de sécurité doivent collaborer étroitement avec les développeurs afin de leur fournir des outils approuvés, des recommandations claires et des garde-fous qui ne freinent pas leur productivité.

Snyk contribue à combler cet écart en s’intégrant directement aux workflows quotidiens des développeurs, pour leur permettre de détecter et de corriger facilement les vulnérabilités dès le début, y compris dans le code généré par l’IA.

Réservez une démo pour découvrir la puissance de Snky pour sécuriser le code généré par l’IA.