AI Hallucination Squatting : La nouvelle frontière des attaques par chaîne d'approvisionnement 🤖📦

La chaîne d’approvisionnement logicielle est sous le feu d’une nouvelle menace invisible. Depuis des années, les développeurs sont avertis du typosquatting — l’art d’enregistrer requessts pour piéger un développeur qui tape mal requests. Mais une menace plus sophistiquée et insidieuse a émergé, née non pas d’une erreur humaine, mais des défaillances créatives de l’Intelligence Artificielle.

Il s’agit de AI Hallucination Squatting (souvent appelé “Hallucination de Package IA” ou “Slopsquatting”).

Cela crée une pipeline “Vibe-to-Malware” où les attaquants n’ont plus besoin d’attendre qu’un développeur fasse une erreur ; ils attendent simplement qu’une IA mente. Alors que des millions de développeurs se tournent vers des Modèles de Langage de Grande Taille (LLMs) comme ChatGPT, Claude, et GitHub Copilot pour écrire du code, ils invitent involontairement une nouvelle catégorie d’attaques par chaîne d’approvisionnement dans leurs réseaux d’entreprise.

Qu’est-ce que l’AI Hallucination Squatting ?

L’AI Hallucination Squatting se produit lorsqu’un attaquant identifie une bibliothèque ou un package logiciel inexistant qu’un LLM “hallucine” fréquemment (l’invente), puis enregistre ce nom de package sur des dépôts publics comme NPM (Node.js), PyPI (Python), ou RubyGems.

Lorsqu’un développeur demande ensuite à l’IA une solution à un problème précis, l’IA suggère avec confiance ce package “fantôme”. Le développeur, faisant confiance au “Vibe” de l’IA et à son ton d’autorité, copie la commande d’installation (par ex., npm install hallucinated-lib). Étant donné que l’attaquant a récemment enregistré ce nom, le gestionnaire de packages installe avec succès le code malveillant, compromettant instantanément l’environnement du développeur.

La pipeline “Vibe-to-Malware”

Le vecteur d’attaque est terriblement automatisé et efficace. Il repose sur la confiance implicite que les développeurs accordent au code généré par l’IA.

1. L’Invite : Un développeur demande à un LLM, “Comment interfacer avec l’API X en Python ?”
2. L’Hallucination : Le LLM, essayant d’être utile mais manquant de réponse directe dans ses données d’entraînement, prédit un nom de package plausible : x-api-connector-py.
3. Le Squat : Les attaquants, qui ont déjà automatisé la surveillance de ces hallucinations spécifiques, ont déjà enregistré x-api-connector-py sur PyPI.
4. L’Infection : Le développeur exécute pip install x-api-connector-py. Le gestionnaire de packages trouve la bibliothèque (qui existe maintenant, grâce au hacker) et installe une charge utile qui vole des clés API, variables d’environnement ou identifiants SSH.

Pourquoi les LLM inventent-ils des packages ?

Pour comprendre l’attaque, il faut saisir la faille dans la technologie. Les LLM ne “connaissent” pas les faits ; ils prédisent le token le plus probable dans une séquence.

• Conventions de nommage plausibles : Si une IA voit des milliers de packages nommés google-cloud-storage et azure-storage-blob, elle en infère qu’un package nommé aws-storage-connector devrait exister, même s’il n’existe pas.
• Données d’entraînement obsolètes : Une IA pourrait recommander une bibliothèque dépréciée ou supprimée il y a des années. Les attaquants peuvent ressusciter ces packages “zombies” avec du code malveillant.
• Confabulation : Lorsqu’on lui demande une solution à un problème niche, l’objectif de “l’aide” de l’IA prime sur sa précision factuelle. Elle invente une bibliothèque pour satisfaire la demande de l’utilisateur.

Le phénomène “Slopsquatting”

Le chercheur en sécurité Seth Larson a inventé le terme “Slopsquatting” pour décrire ce comportement. Contrairement au typosquatting, qui repose sur la maladresse d’une victime, le slopsquatting repose sur le slop — le code de mauvaise qualité, non vérifié, généré par l’IA.

À mesure que les développeurs copient-collent ce “slop” sans vérification, ils contournent les contrôles de sécurité traditionnels.

Études de cas réelles : Ça arrive déjà

Ce n’est pas théorique. Des chercheurs en sécurité ont démontré l’efficacité de cette méthode d’attaque dans la nature.

1. L’incident huggingface-cli

Dans une étude marquante, Bar Lanyado, chercheur en sécurité chez Lasso Security, a découvert que les LLMs hallucinaient fréquemment un package nommé huggingface-cli pour Python. Bien que Hugging Face soit une plateforme d’IA massive, ce package Python spécifique n’existait pas sur PyPI (l’outil officiel s’installe généralement différemment).

Lanyado a enregistré le package vide huggingface-cli pour tester la théorie.

Résultat : En trois mois, le package a été téléchargé plus de 30 000 fois.

Ce qui fait peur : Ce n’était pas seulement des développeurs isolés. De grandes entreprises, dont Alibaba, ont été trouvées à avoir copié-collé des instructions dans leur documentation publique faisant référence à ce package halluciné, créant un risque de chaîne d’approvisionnement en cascade.

2. L’expérience Stack Overflow de Vulcan Cyber

Des chercheurs de Vulcan Cyber ont automatisé le processus de poser des milliers de questions à ChatGPT, extraites de Stack Overflow.

Ils ont découvert que ChatGPT hallucine des packages dans des langages largement utilisés comme Node.js et Python.

Dans un cas, l’IA a suggéré un package pour résoudre un problème arithmétique précis. Quand les chercheurs ont vérifié NPM, le package n’existait pas — encore.

La recherche a montré que les attaquants peuvent utiliser les mêmes API pour générer des milliers d’hallucinations et les enregistrer avant qu’un développeur humain ne voie la requête.

L’économie de l’attaque : pourquoi ça marche

Pour les cybercriminels, l’AI Hallucination Squatting offre un ROI (retour sur investissement) supérieur aux méthodes traditionnelles.

Fonctionnalité	Typosquatting	Hallucination Squatting
Déclencheur	Erreur de frappe de l’utilisateur.	L’IA recommande avec confiance.
Niveau de confiance	Faible (l’utilisateur peut remarquer requessts).	Élevé (l’IA est vue comme un “expert”).
Ciblage	Large / Aléatoire.	Ciblé (résolveurs de problèmes spécifiques).
Persistance	Faible (les fautes de frappe sont aléatoires).	Élevée (les LLMs sont déterministes ; ils répètent le même mensonge).

La répétition est clé

Des recherches du USENIX Security Symposium ont montré que les LLMs sont des créatures d’habitude. Si GPT-4 suggère un faux package à un développeur, il y a une forte probabilité (souvent >20%) qu’il suggère le même faux package à un autre développeur posant une question similaire. Les attaquants exploitent ce déterminisme pour camper sur les “mensonges” les plus populaires.

Comment se défendre contre l’AI Hallucination Squatting

La défense contre cette menace nécessite un changement de comportement pour les développeurs individuels et les équipes de sécurité d’entreprise. La maxime “Trust but Verify” n’est plus suffisante ; il faut passer à “Verify, Then Trust.”

🔐 Pour les développeurs

Vérifiez le “Vibe” : Ne jamais pip install ou npm install une bibliothèque recommandée par une IA sans consulter son dépôt en premier.

Vérifiez les métriques : - Nombre de téléchargements : Ce package a-t-il 500 téléchargements ou 5 millions ? Un package que l’IA prétend être “standard dans l’industrie” ne devrait pas avoir presque zéro téléchargement. - Date de publication : Le package a-t-il été publié hier ? Si oui, c’est un signal d’alarme. - Réputation de l’auteur : L’éditeur est-il une entité connue (ex. Google, Facebook, utilisateur vérifié) ou un pseudonyme aléatoire ?

Lisez le Readme : Les packages hallucines ont souvent des README.md vides ou génériques. Si la documentation semble sparse ou auto-générée, n’installez pas.

🏢 Pour les organisations

• Registres privés & Proxies : Utilisez des outils comme Artifactory ou Sonatype Nexus. Configurez-les pour bloquer l’installation de packages datant de moins de 30 jours ou ayant une faible réputation.
• Limiter vos packages : Enforcez l’utilisation de packages scoped (ex. @company/library) pour éviter la confusion avec des packages publics.
• Politiques d’utilisation de l’IA : Formez explicitement les développeurs aux risques des hallucinations IA. Mettez à jour les directives de sécurité pour traiter le code généré par l’IA comme une “entrée non fiable”, similaire aux données d’un utilisateur externe.

🤖 Pour les fournisseurs d’IA

• RAG (Retrieval-Augmented Generation) : Les modèles IA doivent être ancrés dans la réalité. Les fournisseurs doivent connecter les LLMs aux API de gestionnaire de packages en direct pour vérifier qu’un package existe avant de le recommander.
• DPO (Direct Preference Optimization) : Les modèles doivent être pénalisés lors de leur entraînement s’ils hallucinent des URLs ou des citations.

Conclusion : L’ère du “Coding sceptique”

L’AI Hallucination Squatting représente un changement fondamental dans le paysage de la cybersécurité. Nous sommes passés d’une époque où nous craignions que les machines prennent le contrôle, à une époque où nous craignons que les machines soient incorrectes.

La pipeline “Vibe-to-Malware” est efficace car elle exploite le chemin de moindre résistance. Les développeurs veulent des solutions rapides, et l’IA leur en fournit instantanément. Mais la rapidité est l’ennemi de la sécurité.

À mesure que nous intégrons davantage l’IA dans notre SDLC (Cycle de vie du développement logiciel), le rôle du développeur humain doit évoluer de “rédacteur” à “auditeur”. Le code sur votre écran peut sembler correct, le nom du package peut paraître légitime, et l’IA peut être confiante. Mais en 2024 et au-delà, si vous ne l’avez pas vérifié, vous ne l’avez pas écrit — et vous ne devriez pas lui faire confiance.