Qu’est-ce que le LLMjacking ? Comment les attaques par IA exploitent les identifiants cloud volés

Alors que les organisations adoptent de plus en plus l’IA et l’intègrent à leurs processus, de nouvelles considérations de sécurité se font jour. Le LLMjacking est un sujet important à connaître. Il consiste pour des personnes non autorisées à tenter de manipuler et d’exploiter les grands modèles de langage (LLM) de votre organisation, en particulier lorsque ces modèles sont hébergés sur des services cloud et accessibles par des comptes en ligne.

Même si cela ne semble pas immédiatement être un problème majeur, le LLMjacking peut avoir de réelles conséquences pour votre entreprise et vos clients, notamment des violations de données de grande ampleur et des exploits de vulnérabilités.

Pour protéger votre organisation et vos données, il est important de comprendre le fonctionnement du LLMjacking, les risques potentiels et les mesures à prendre pour assurer la sécurité de vos LLM et de votre entreprise.

Comment fonctionnent les attaques de LLMjacking ?

L’objectif principal des attaques de LLMjacking est d’accéder au LLM d’une organisation et de le détourner. Souvent, tout commence par le vol de noms d’utilisateur et de mots de passe. Ces identifiants peuvent avoir été obtenus de différentes manières, notamment par vol direct ou par achat sur des marchés criminels en ligne. Malheureusement, les discussions sur la manière de mener des attaques de LLMjacking se multiplient également dans les communautés en ligne.

Une fois en possession d’identifiants de connexion valides, ces cybercriminels peuvent effectivement « détourner » le LLM de votre organisation et interagir avec lui comme s’ils étaient des utilisateurs légitimes.

Que peut-il se passer en cas de réussite d’une attaque de LLMjacking ?

Les conséquences potentielles d’une attaque de LLMjacking sont nombreuses. Voici les plus courantes :

Des coûts d’utilisation anormalement élevés

Les services LLM basés dans le cloud facturent généralement en fonction de l’utilisation. Si votre LLM est détourné, les attaquants peuvent s’en servir de manière intensive, entraînant des frais élevés et inattendus. C’est comparable aux criminels qui utilisent votre ordinateur en secret pour miner des cryptomonnaies, ce qui vous coûte de l’électricité et des ressources. Selon les estimations, le LLMjacking peut coûter aux organisations entre 46 000 $ et plus de 100 000 $ par jour, en fonction du LLM utilisé.

Violations de données et fuites d’informations

Vos employés peuvent utiliser des LLM pour traiter différents types de données, dont certaines sont potentiellement sensibles. Si un attaquant prend le contrôle du LLM, il peut accéder à ces informations, entraînant des incidents de sécurité des données et la fuite de données confidentielles ou exclusives. Cela peut nuire à votre réputation et entraîner des problèmes juridiques ou réglementaires.

Exploitation de vulnérabilités

Les attaquants peuvent utiliser un LLM détourné pour rechercher et exploiter des faiblesses dans vos systèmes logiciels, qu’il s’agisse de failles déjà connues (vulnérabilités d’un jour) ou de failles inédites (vulnérabilités zero-day). Une étude a révélé que GPT-4 d’OpenAI pouvait exploiter de manière autonome 87 % des vulnérabilités d’un jour à partir des seules descriptions CVE. Un acteur malveillant pourrait donc tout à fait utiliser le LLM d’une organisation pour générer du code malveillant et exploiter des vulnérabilités.

Injection de prompt et empoisonnement des données

Les attaquants peuvent recourir à une technique appelée injection de prompt pour amener votre LLM à se comporter de manière imprévue. En lui fournissant des entrées malveillantes spécifiques, ils peuvent lui faire divulguer des informations sensibles, générer du code dangereux ou effectuer d’autres actions préjudiciables. Ils peuvent également tenter d’empoisonner les données d’entraînement utilisées par le LLM. Cela peut introduire des erreurs, des biais ou des faiblesses dans le modèle, le rendant moins fiable, voire exploitable à l’avenir.

L’impact réel du LLMjacking sur votre entreprise

Les conséquences évoquées peuvent se cumuler et avoir un impact considérable sur votre organisation :

• Pertes financières : Au-delà des coûts directs liés à l’augmentation de l’utilisation, la gestion d’un incident de LLMjacking peut entraîner des frais d’enquête, de récupération des données perdues, des honoraires juridiques et des coûts de réparation des atteintes à la réputation de votre entreprise.

• Risques de sécurité accrus : Le risque de violations de données, l’introduction de vulnérabilités dans vos systèmes et la manipulation de votre IA affaiblissent votre sécurité globale et augmentent le risque de futures attaques.

• Perturbation de vos activités : Si les attaquants utilisent votre LLM de manière excessive, ils peuvent ralentir, voire surcharger vos systèmes, nuisant ainsi à leur bon fonctionnement. De plus, si le LLM est compromis pour diffuser des informations erronées ou générer du contenu nuisible, cela peut perturber gravement vos activités et dégrader l’expérience de vos clients.

Comment vous protéger : stratégies de prévention et de détection du LLMjacking

Pour prévenir le LLMjacking et réduire les risques, les organisations doivent mettre en place des garde-fous adaptés. Le vol d’identifiants étant un moyen courant pour les attaquants d’obtenir un accès, il est essentiel d’adopter de solides pratiques de gestion des identités et des accès (IAM). Cela implique d’appliquer le principe du moindre privilège : n’accorder aux utilisateurs que les accès nécessaires à leurs fonctions. L’authentification multifacteur (MFA) doit également être activée pour tous les comptes pouvant accéder à vos services LLM. Enfin, les organisations doivent fournir à leurs employés des directives, une documentation et des formations claires sur l’utilisation responsable et sécurisée de l’IA, y compris des LLM.

Les LLM doivent être entraînés en continu à partir de données diversifiées, fiables et de grande qualité afin de réduire les risques de vulnérabilités ou de biais. Envisagez des techniques comme l’entraînement adversarial pour renforcer la résilience de vos modèles, et auditez et mettez régulièrement à jour vos LLM afin de corriger toute faille de sécurité potentielle.

La mise en œuvre de processus rigoureux de validation et de nettoyage des entrées est également une bonne pratique pour prévenir les attaques par injection de prompt. Il s’agit de vérifier que les entrées des utilisateurs respectent certaines normes et de supprimer ou modifier tout contenu potentiellement dangereux avant son traitement par le LLM.

Stratégies de détection : repérer les attaques potentielles de LLMjacking

Les équipes de sécurité doivent rester attentives aux signes d’un éventuel incident de LLMjacking. Certaines méthodes de détection permettent de réduire les risques, notamment :

• Surveiller le LLM et les comptes utilisateurs afin de repérer les requêtes, activités ou habitudes de requête inhabituelles.

• Mettre en place un filtrage des entrées et des sorties des LLM afin de détecter toute activité ou anomalie potentiellement malveillante.

• Utiliser des outils et des systèmes de sécurité pour surveiller les journaux, détecter le trafic réseau suspect, bloquer les connexions malveillantes et rechercher les identifiants compromis ou le code malveillant ou vulnérable.

• Formez vos utilisateurs à reconnaître et à signaler toute activité suspecte ou inhabituelle qu’ils pourraient rencontrer lorsqu’ils utilisent des LLM.

Outils de prévention du LLMjacking et d’autres attaques de détournement de ressources

Au-delà des mesures de sécurité générales, certains types d’outils peuvent s’avérer particulièrement utiles pour prévenir le LLMjacking et les attaques similaires. Comme le LLMjacking cible souvent les systèmes basés dans le cloud, il est essentiel de disposer d’outils offrant une bonne visibilité et une sécurité efficace dans ces environnements.

Les outils d’analyse statique de la sécurité des applications (SAST) et d’analyse de la composition logicielle (SCA) sont particulièrement adaptés à ce contexte. L’idéal est d’opter pour une plateforme complète comme Snyk Apprisk, qui vous offre une vue claire des risques de sécurité tout au long du processus de développement logiciel et dans l’ensemble de vos environnements. Les outils SCA, comme Snyk Open Source, analysent le code de vos logiciels afin d’identifier les composants open source et leurs dépendances. Vous pouvez ainsi vous assurer que les vulnérabilités connues et les autres risques associés à ces composants sont détectés, hiérarchisés et corrigés avant de pouvoir être exploités dans votre environnement LLM ou ailleurs dans vos systèmes.

De même, si vos développeurs utilisent des LLM pour les aider à écrire du code, les outils SAST sont essentiels pour garantir la sécurité de ce code. Le code généré par l’IA n’est pas toujours parfaitement sécurisé en soi, et une attaque de LLMjacking peut accroître le risque d’introduire du code malveillant ou vulnérable. Un outil SAST qui analyse le code en temps réel, directement dans l’IDE, comme Snyk Code, permet de détecter et de corriger les vulnérabilités avant qu’elles ne provoquent de graves problèmes. Un vérificateur de code gratuit proposé par un fournisseur de sécurité de confiance peut également éviter la propagation de code non sécurisé.

Parmi les autres outils, citons :

• Les systèmes de gestion des informations et des événements de sécurité (SIEM), qui analysent les journaux de différentes sources et vous aident à détecter les activités suspectes.

• Les nouveaux outils de sécurité spécialisés dans les LLM, conçus pour modérer les entrées et les sorties des LLM et protéger contre les menaces de sécurité propres à ces modèles.

• Les outils de gestion des secrets, qui permettent de stocker et de gérer en toute sécurité des informations sensibles comme les clés API, susceptibles d’être ciblées lors d’une attaque de LLMjacking.

La cybersécurité évolue constamment et de nouvelles menaces sont découvertes en permanence. Les organisations doivent évaluer attentivement leurs besoins spécifiques et combiner différents outils et pratiques pour se protéger efficacement contre le LLMjacking et les autres types d’attaques.

Les implications futures du LLMjacking

À mesure que l’IA gagne en popularité et s’impose dans un nombre croissant de secteurs, la menace du LLMjacking devrait continuer à s’intensifier. Cette adoption accrue s’accompagne déjà d’une hausse des attaques de LLMjacking. Par exemple, DeepSeek a été ciblé par une attaque de LLMjacking quelques semaines seulement après sa mise à la disposition du public.

Avec les progrès de la technologie de l’IA, le développement de nouveaux LLM et la découverte de nouvelles vulnérabilités, les attaquants adapteront inévitablement leurs méthodes pour tenter d’accéder à ces outils puissants et de les exploiter. Cela pourrait avoir des conséquences majeures à mesure que l’IA s’intègre toujours davantage à notre quotidien et aux infrastructures essentielles.

Pour prévenir le LLMjacking et les violations de données à grande échelle, les mesures de sécurité liées à l’IA sont indispensables. Elles ne sont pas facultatives. Une solution consiste à mettre en place une plateforme de sécurité des applications comme Snyk, qui offre à votre organisation visibilité et sécurité dans l’ensemble de son programme AppSec, y compris pour l’adoption de l’IA. En donnant à vos équipes les moyens de prendre la sécurité au sérieux, vous pouvez protéger votre organisation contre le LLMjacking et les autres menaces visant les ressources.