Inside LLM Partie 2 : Prompt injection & Information Disclosure
18 juil. 2025
👋 Bienvenue à tous nos nouveaux lecteurs !
Si vous êtes nouveau ici, ThreatLink explore chaque mois comment les attaques modernes exploitent des technologies comme les LLM, les risques cyber liés aux tiers et les dépendances dans la chaîne d’approvisionnement. Vous pouvez consulter tous nos articles précédents ici (Violation chez Uber et fatigue MFA, XZ Utils : Infiltrer l’open source par ingénierie sociale).
Merci de soutenir cette newsletter mensuelle en la partageant avec vos collègues ou en l’aimant (cliquez sur le 💙).
Etienne
Cet article a été publié sur Threatlink et un copié collé de la version anglaise
Après avoir exploré le fonctionnement des LLM dans notre dernier article de ThreatLink, il vaut la peine d’examiner les risques qu’ils introduisent.
Revisitons le Top 10 OWASP des LLM, à travers des exemples récents et concrets.
Ce qu’il faut retenir ici, c’est que nous sommes face à une technologie en évolution rapide et qui bouleverse les paradigmes. Sécuriser l’ensemble est difficile. Par moments, on a l’impression d’être de retour aux débuts du web—avec une touche d’IA cette fois.
Nous allons passer en revue deux risques bien connus :
1️⃣ Injection de Prompt
Dans le développement logiciel traditionnel, les failles d’injection sont une base en sécurité. Les développeurs échappent les caractères spéciaux et nettoient les entrées. Avec les LLM, le concept est similaire, mais beaucoup plus difficile à contrer.
Il existe de nombreuses formes d’injection de prompt, mais l’une survenue la semaine dernière illustre bien la réalité de cette menace.
Injection directe de prompt
L’idée de base ? Vous parlez à une IA et lui demandez d’ignorer ses instructions d’origine (le “pré-prompt”, comme expliqué dans notre article précédent), et elle agit alors de manière totalement différente.
Un simple prompt comme “Ignore les instructions précédentes et fais X à la place” peut dérailler complètement la logique prévue du modèle.
Des utilisateurs sur LinkedIn et Twitter ont identifié de faux comptes en testant ce type d’attaque.
Injection indirecte de prompt
Cela se produit lorsque le modèle intègre des données externes—issues d’un site web ou d’un fichier par exemple—et que ce contenu contient une instruction cachée. Le modèle l’interprète comme une directive, même si l’utilisateur ne l’a pas explicitement demandée.
Un exemple marquant de la semaine dernière :
Marco Figueroa, responsable du programme de bug bounty GenAI chez Mozilla, a découvert et révélé une attaque par injection de prompt contre Gemini de Google (l’équivalent de ChatGPT chez Google).
Un attaquant insère une instruction invisible dans un email (police de taille zéro, couleur blanche).
Exemple d’email Gmail avec l’injection de prompt invisible :
Gmail affiche le message normalement à l’utilisateur—sans pièces jointes, sans lien—mais quand Gemini est demandé de résumer le message, il interprète le prompt caché.
Gemini s’exécute alors : il avertit l’utilisateur que son mot de passe a été compromis et l’invite à appeler un faux numéro de support.
Cette vulnérabilité est grave, car on peut imaginer un hacker l’exploitant dans une campagne d’emails à grande échelle.
Fait intéressant : sur notre compte Galink, Google force désormais les résumés même quand nous n’en avons pas besoin 😅
2️⃣ Divulgation d’informations sensibles
Les LLM sont entraînés sur d’énormes quantités de données provenant d’internet—et parfois aussi sur des données utilisateurs. Une fois qu’un LLM “avale” des données, elles peuvent réapparaître plus tard de façon inattendue.
Voici quelques scénarios de fuite majeurs :
Fuite de données personnelles (PII)
Des informations personnelles identifiables peuvent être révélées lors des interactions.
Exposition d’algorithmes propriétaires
Une mauvaise configuration des sorties du modèle peut dévoiler des logiques ou données propriétaires. Les attaques par inversion sont un risque ici : si l’on parvient à extraire des parties des données d’entraînement, on peut reconstituer des entrées sensibles.
Divulgation de données commerciales sensibles
Les LLM peuvent générer du contenu incluant involontairement des informations internes ou confidentielles d’entreprise.
Nous en avions parlé dans un article précédent : Grok a divulgué des informations de pré-prompt indiquant comment il était orienté—révélant des politiques internes.
Mais le cas le plus célèbre : Samsung, en 2023.
Trois incidents se sont produits où des employés ont partagé des informations sensibles avec ChatGPT :
L’un a copié un script de base de données entier pour résoudre un problème.
Un autre a collé du code source complet pour l’optimiser.
Un troisième a téléchargé la transcription d’une réunion confidentielle et demandé un résumé à ChatGPT.
Ces entrées très sensibles ont été utilisées pour l’entraînement du modèle—et sont devenues accessibles à d’autres utilisateurs.
Un dernier exemple fascinant de 2024 : des chercheurs ont découvert que lorsqu’on demandait à certains LLM de répéter un mot à l’infini, ils finissaient par divulguer des données d’entraînement. Des chaînes entières d’entrées précédemment vues faisaient alors surface.
Cette vulnérabilité a depuis été corrigée grâce à une limite maximale imposée à chaque réponse.
🎯 Conclusion
Les LLM sont encore nouveaux et évoluent rapidement. Tous les risques ne sont pas évidents—certains, comme la fuite via répétition infinie, sont profondément imprévisibles.
Nos bonnes pratiques actuelles en cybersécurité sont plus cruciales que jamais à l’ère de l’IA.