SAS et Snyk évoquent l’avenir de l’IA pour les équipes de développement et de sécurité

Composer des paroles de chansons, écrire du code, sécuriser des réseaux… parfois, on a l’impression que l’IA peut tout faire. Avec l’essor des moteurs basés sur les grands modèles de langage (LLM), comme ChatGPT et Google Bard, ce qui relevait autrefois de la science-fiction est désormais accessible à toute personne disposant d’une connexion Internet. Ces avancées de l’IA sont au cœur des préoccupations de la plupart des entreprises et soulèvent de nombreuses questions :

• Comment tirer parti de ces outils d’IA pour gagner en productivité ?

• Comment intégrer ces moteurs d’IA à nos propres produits ?

• Seront-ils davantage une aide ou une menace pour notre entreprise ?

• Comment bien nous préparer à l’avenir des technologies d’IA ?

Lors d’une récente discussion au coin du feu, Jared Peterson, vice-président senior de l’ingénierie chez SAS, et Ravi Maira, vice-président du marketing produit chez Snyk, ont évoqué l’avenir de l’IA pour les équipes de sécurité et de développement. L’équipe de Jared chez SAS se concentre sur la transformation des données en renseignements exploitables grâce à l’IA, afin d’améliorer la productivité des équipes de développement et de sécurité sans introduire de nouveaux risques. Au fil de leur conversation, Jared et Ravi ont partagé quatre prévisions sur l’utilisation de l’IA dans le développement logiciel sécurisé :

1. L’IA sera encore plus essentielle à la productivité des développeurs.

2. Les équipes devraient s’attacher en priorité à éviter les hallucinations.

3. L’ingénierie des prompts restera une menace importante.

4. La détection des biais de l’IA se généralisera.

L’IA sera encore plus essentielle à la productivité des développeurs 

Selon Jared, les organisations qui tirent parti de l’IA pour améliorer la productivité des développeurs seront gagnantes dans les prochaines années. Les équipes de développement peuvent recourir à l’IA pour plusieurs cas d’usage, par exemple automatiser des tâches répétitives (comme générer du code passe-partout). Ces petits pas ouvriront la voie à de plus grandes réussites. Comme le dit Jared : « Mon conseil à toute personne travaillant dans le développement logiciel : “Je comprends que vous puissiez être prudent… Mais je vous encourage à explorer l’IA et à déterminer ses avantages et ses inconvénients dans votre domaine spécifique.” » 

Les équipes devraient s’attacher en priorité à éviter les hallucinations 

Si l’IA peut être bénéfique aux équipes de développement, ses LLM sont sujets aux hallucinations : ils génèrent des informations fausses, mais souvent très crédibles. Pour intégrer l’IA avec succès à leurs pipelines au fil du temps, les équipes de développement doivent affiner leurs modèles afin qu’ils fonctionnent correctement. Jared recommande de les entraîner sur des jeux de données plus restreints, adaptés aux cas d’usage spécifiques de votre équipe.

Jared recommande également de recourir à l’ingénierie des prompts côté serveur lors du développement de fonctionnalités destinées aux utilisateurs. Il explique : « Le texte saisi par l’utilisateur ne correspond que rarement exactement à ce que vous fournissez au grand modèle de langage. Ce texte devient une partie d’un modèle, pour ainsi dire, qui constitue le prompt réellement transmis au grand modèle de langage. C’est là que tout l’univers de l’ingénierie des prompts devient très intéressant. Vous pouvez limiter les hallucinations en ajustant le prompt pour cibler un domaine très précis du grand modèle de langage. »

L’ingénierie des prompts restera une menace importante

Cependant, une ingénierie des prompts menée par des acteurs malveillants peut gravement menacer vos logiciels. Les prompts étant essentiellement des fichiers de configuration sous forme de modèles, un acteur malveillant pourrait les modifier lors d’une attaque de l’homme du milieu. 

Jared explique : « Il existe un nouveau vecteur de menace intéressant : accéder au prompt et en modifier les valeurs, ce qui, par définition, va changer la sortie d’un grand modèle de langage. Celle-ci sera ensuite renvoyée au système logiciel. »

Comme les LLM sont exposés à des menaces telles que l’ingénierie malveillante des prompts, les équipes qui utilisent l’IA doivent avancer avec prudence. Les organisations devraient mettre en place des mécanismes de contrôle, comme des revues de code régulières et d’autres mesures d’assurance qualité.

La détection des biais de l’IA se généralisera

À mesure que les organisations adoptent l’IA, elles doivent aussi surveiller les biais implicites véhiculés par ces nouveaux outils. Comme l’IA est entraînée à partir de données du passé, elle peut reproduire à l’avenir des problèmes historiques, comme les préjugés raciaux. 

Heureusement, les outils permettant de résoudre ces problèmes se multiplient. De nombreuses entreprises et communautés universitaires travaillent sur la détection des biais et les technologies d’IA digne de confiance. Mais pour éviter les biais, il faut d’abord prendre conscience du problème et en assumer la responsabilité. Jared explique : « Il existe plusieurs façons d’aider les clients à se demander : “Vos données présentent-elles un biais dont vous devriez vous préoccuper ?”… Quand vous obtenez un résultat magique, il est facile de se laisser séduire par cette magie et de ne pas voir que vous perpétuez des choses regrettables à l’avenir. »

Regardez l’intégralité de la conversation entre Jared et Ravi

Pour garder une longueur d’avance, de plus en plus d’équipes de développement logiciel devront se plonger dans l’univers de l’IA. Mais adopter l’IA en toute sécurité demande du temps, une stratégie et de la prudence : tester progressivement les outils et mettre en place des mesures de sécurité de manière proactive. Pour en savoir plus sur l’avenir de l’IA dans le développement sécurisé, regardez ci-dessous l’intégralité de la discussion au coin du feu entre Ravi et Jared. Découvrez également comment DeepCode AI, la technologie de Snyk, aide les équipes de développement à détecter et à corriger les vulnérabilités de leurs applications.

Play Video: Snyk and SaS: AI Fireside Chat