AI Hallucination Squatting: Die neue Grenze bei Supply-Chain-Angriffen 🤖📦

Die Software-Lieferkette steht unter Beschuss durch einen neuen, unsichtbaren Feind. Seit Jahren warnen Sicherheitsexperten vor Typosquatting – die Kunst, requessts zu registrieren, um Entwickler zu erwischen, die requests falsch tippen. Doch eine raffiniertere und hinterhältigere Bedrohung ist aufgetaucht, geboren nicht aus menschlichem Fehler, sondern aus den kreativen Fehlleistungen Künstlicher Intelligenz.

Dies ist AI Hallucination Squatting (oft auch “AI Package Hallucination” oder “Slopsquatting” genannt).

Es schafft eine “Vibe-to-Malware”-Pipeline, bei der Angreifer nicht mehr auf einen Fehler eines Entwicklers warten müssen; sie warten einfach, bis eine KI lügt. Während Millionen von Entwicklern auf Large Language Models (LLMs) wie ChatGPT, Claude und GitHub Copilot setzen, um Code zu schreiben, laden sie unabsichtlich eine neue Art von Supply-Chain-Angriffen in ihre Unternehmensnetzwerke ein.

Was ist AI Hallucination Squatting?

AI Hallucination Squatting tritt auf, wenn ein Angreifer eine nicht existierende Softwarebibliothek oder ein Paket identifiziert, das ein LLM häufig “halluziniert” (erfindet), und dieses Paket dann in öffentlichen Repositories wie NPM (Node.js), PyPI (Python) oder RubyGems registriert.

Wenn ein Entwickler anschließend das AI nach einer Lösung für ein spezielles Problem fragt, schlägt die KI dieses “Phantom”-Paket selbstbewusst vor. Der Entwickler vertraut dem “Vibe” und dem autoritativen Ton der KI, kopiert den Installationsbefehl (z.B. npm install hallucinated-lib). Da der Angreifer den Namen kürzlich registriert hat, installiert der Paketmanager erfolgreich den schädlichen Code, was die Umgebung des Entwicklers sofort kompromittiert.

Die “Vibe-to-Malware”-Pipeline

Der Angriffsvektor ist erschreckend automatisiert und effizient. Er basiert auf dem impliziten Vertrauen, das Entwickler in KI-generierten Code setzen.

1. Der Prompt: Ein Entwickler fragt eine LLM: “Wie interface ich mit der X API in Python?”
2. Die Halluzination: Die LLM, die versucht, hilfreich zu sein, aber in ihren Trainingsdaten keine direkte Antwort hat, prognostiziert einen plausibel klingenden Paketnamen: x-api-connector-py.
3. Der Squat: Angreifer, die bereits die Überwachung dieser spezifischen Halluzinationen automatisiert haben, haben x-api-connector-py auf PyPI registriert.
4. Die Infektion: Der Entwickler führt pip install x-api-connector-py aus. Der Paketmanager findet die Bibliothek (die jetzt existiert, dank des Hackers) und installiert eine Payload, die API-Schlüssel, Umgebungsvariablen oder SSH-Zugangsdaten stiehlt.

Warum erfinden LLMs Pakete?

Um den Angriff zu verstehen, muss man den Fehler in der Technologie kennen. LLMs “wissen” keine Fakten; sie prognostizieren das wahrscheinlichste Token in einer Sequenz.

• Plausible Namenskonventionen: Wenn eine KI Tausende von Paketen wie google-cloud-storage und azure-storage-blob sieht, schlussfolgert sie, dass ein Paket namens aws-storage-connector existieren sollte, auch wenn es das nicht tut.
• Veraltete Trainingsdaten: Eine KI könnte eine Bibliothek empfehlen, die vor Jahren deprecated oder entfernt wurde. Angreifer können diese “Zombie”-Pakete mit bösartigem Code wiederbeleben.
• Konfabulation: Wenn sie nach einer Lösung für ein Nischenthema gefragt wird, überschreibt das “Hilfs”-Ziel der Modellierung die Mechanismen zur Faktenüberprüfung. Es erfindet eine Bibliothek, um die schnelle Lösung des Nutzers zu erfüllen.

Das “Slopsquatting”-Phänomen

Der Sicherheitsexperte Seth Larson prägte den Begriff “Slopsquatting”, um dieses Verhalten zu beschreiben. Anders als Typosquatting, das auf die Ungeschicklichkeit eines Opfers setzt, basiert Slopsquatting auf dem Slop – dem minderwertigen, unüberprüften Müllcode, der von generativer KI produziert wird. Wenn Entwickler diesen “Slop” ohne Überprüfung kopieren und einfügen, umgehen sie traditionelle Sicherheitschecks.

Fallstudien aus der Praxis: Es passiert bereits

Das ist nicht nur Theorie. Sicherheitsexperten haben die Wirksamkeit dieses Angriffsvektors in der Praxis demonstriert.

1. Der huggingface-cli Vorfall

In einer bahnbrechenden Studie entdeckte Bar Lanyado, ein Sicherheitsexperte bei Lasso Security, dass LLMs häufig ein Paket namens huggingface-cli für Python halluzinierten. Während Hugging Face eine große KI-Plattform ist, existierte dieses spezielle Python-Paket nicht auf PyPI (das offizielle Tool wird meist anders installiert).

Lanyado registrierte das leere Paket huggingface-cli, um die Theorie zu testen.

Ergebnis: Innerhalb von drei Monaten wurde das Paket über 30.000 Mal heruntergeladen.

Der beängstigende Teil: Es waren nicht nur zufällige Entwickler. Große Unternehmen, darunter Alibaba, wurden dabei erwischt, Anweisungen in ihre öffentliche Dokumentation kopiert zu haben, die auf dieses halluzinierte Paket verwiesen, was ein Kettenreaktion bei der Supply Chain auslöste.

2. Vulcan Cybers Stack Overflow Experiment

Forscher bei Vulcan Cyber automatisierten den Prozess, ChatGPT tausende Fragen zu stellen, die sie von Stack Overflow extrahierten.

Sie stellten fest, dass ChatGPT Pakete in weit verbreiteten Sprachen wie Node.js und Python halluzinierte.

In einem Fall schlug die KI ein Paket vor, um ein spezielles arithmetisches Problem zu lösen. Als die Forscher NPM überprüften, existierte das Paket noch nicht – aber bald.

Die Studie zeigte, dass Angreifer dieselben APIs nutzen können, um Tausende von Halluzinationen zu generieren und sie zu registrieren, bevor ein menschlicher Entwickler den Prompt überhaupt sieht.

Die Wirtschaftlichkeit des Angriffs: Warum funktioniert er?

Für Cyberkriminelle bietet AI Hallucination Squatting eine höhere ROI (Return on Investment) als traditionelle Methoden.

Feature	Typosquatting	Hallucination Squatting
Auslöser	Nutzer macht Tippfehler.	KI empfiehlt es selbstbewusst.
Vertrauensniveau	Gering (z.B. requessts).	Hoch (KI gilt als “Experte”).
Zielgruppe	Breite / Zufällig.	Zielgerichtet (spezifische Problemlöser).
Beständigkeit	Gering (Tippfehler sind zufällig).	Hoch (LLMs sind deterministisch; sie wiederholen die gleiche Lüge).

Wiederholung ist entscheidend

Forschung vom USENIX Security Symposium zeigte, dass LLMs Gewohnheitstiere sind. Wenn GPT-4 einem Entwickler eine gefälschte Paket empfiehlt, besteht eine hohe Wahrscheinlichkeit (oft >20%), dass es dasselbe gefälschte Paket einem anderen Entwickler bei einer ähnlichen Frage vorschlägt. Angreifer nutzen diese Deterministik, um bei den “beliebtesten” Lügen zu bleiben.

Wie man sich gegen AI Hallucination Squatting schützt

Der Schutz vor dieser Bedrohung erfordert eine Verhaltensänderung bei einzelnen Entwicklern und Sicherheitsteams in Unternehmen. Das Mantra “Trust but Verify” reicht nicht mehr aus; wir müssen zu “Verify, Then Trust” übergehen.

🔐 Für Entwickler

Den “Vibe” prüfen: Niemals pip install oder npm install eine von der KI empfohlene Bibliothek, ohne vorher das Repository zu besuchen.

Metriken verifizieren: - Download-Zahlen: Hat dieses Paket 500 oder 5 Millionen Downloads? Ein “industrieweit”-Standardpaket sollte nicht bei Null stehen. - Veröffentlichungsdatum: Wurde das Paket gestern veröffentlicht? Dann ist das ein rotes Flag. - Reputation des Autors: Ist der Publisher eine bekannte Entität (z.B. Google, Facebook, verifizierter Nutzer) oder ein zufälliger Handle?

Readme lesen: Halluzinierte Pakete haben oft leere oder generische README.md-Dateien. Wenn die Dokumentation spärlich oder automatisch generiert aussieht, nicht installieren.

🏢 Für Organisationen

• Private Registries & Proxies: Nutze Tools wie Artifactory oder Sonatype Nexus. Konfiguriere sie so, dass Pakete, die jünger als 30 Tage sind oder eine niedrige Reputation haben, blockiert werden.
• Pakete einschränken: Erzwinge die Nutzung von scoped packages (z.B. @company/library), um Verwechslungen mit öffentlichen Paketen zu vermeiden.
• AI-Nutzungsrichtlinien: Schulen Sie Entwickler explizit über die Risiken von KI-Halluzinationen. Aktualisieren Sie Sicherheitsrichtlinien, um KI-generierten Code als “nicht vertrauenswürdigen Input” zu behandeln, ähnlich wie Daten von externen Nutzern.

🤖 Für AI-Anbieter

• RAG (Retrieval-Augmented Generation): KI-Modelle müssen in der Realität verankert sein. Anbieter sollten LLMs mit Live-APIs von Paketmanagern verbinden, um die Existenz eines Pakets vor der Empfehlung zu verifizieren.
• DPO (Direct Preference Optimization): Modelle sollten während des Trainings bestraft werden, wenn sie URLs oder Zitate halluzinieren.

Fazit: Das Zeitalter des “Skeptical Coding”

AI Hallucination Squatting stellt einen fundamentalen Wandel in der Cybersicherheitslandschaft dar. Wir sind von einer Ära, in der wir Maschinen fürchten, in eine Ära eingetreten, in der wir vor falschen Maschinen warnen.

Die “Vibe-to-Malware”-Pipeline ist effektiv, weil sie den Weg des geringsten Widerstands ausnutzt. Entwickler wollen schnell Lösungen, und KI liefert sie sofort. Aber Geschwindigkeit ist der Feind der Sicherheit.

Wenn wir mehr KI in unseren SDLC (Software Development Life Cycle) integrieren, muss sich die Rolle des menschlichen Entwicklers vom “Schreiber” zum “Auditor” entwickeln. Der Code auf deinem Bildschirm mag korrekt aussehen, der Paketname klingt legitim, und die KI mag selbstbewusst sein. Aber im Jahr 2024 und darüber hinaus gilt: Wenn du es nicht verifiziert hast, hast du es nicht geschrieben – und du solltest es auch nicht vertrauen.