Was ist LLMjacking? Wie KI-Angriffe gestohlene Cloud-Zugangsdaten ausnutzen

Da immer mehr Organisationen die Möglichkeiten von KI nutzen und sie in ihre Arbeitsabläufe integrieren, rücken neue Sicherheitsaspekte in den Fokus. Ein wichtiges Thema ist LLMjacking. Dabei versuchen Unbefugte, die Large Language Models (LLMs) Ihrer Organisation zu manipulieren und auszunutzen – insbesondere, wenn diese Modelle in Cloud-Diensten gehostet und über Online-Konten aufgerufen werden.

Auch wenn es zunächst nicht nach einem kritischen Problem klingt: LLMjacking kann für Ihr Unternehmen und Ihre Kunden schwerwiegende Folgen haben, darunter größere Datenschutzverletzungen und das Ausnutzen von Schwachstellen.

Um Ihre Organisation und Ihre Daten zu schützen, ist es wichtig zu verstehen, wie LLMjacking funktioniert, welche potenziellen Risiken bestehen und welche Maßnahmen Sie ergreifen können, um Ihre LLMs und Ihr Unternehmen zu schützen.

Wie funktionieren LLMjacking-Angriffe?

Das Hauptziel von LLMjacking-Angriffen besteht darin, Zugriff auf das LLM einer Organisation zu erlangen und es zu kapern. Häufig beginnt dies mit gestohlenen Benutzernamen und Passwörtern. Diese Zugangsdaten können auf verschiedenen Wegen beschafft worden sein, etwa durch direkten Diebstahl oder den Kauf auf kriminellen Online-Marktplätzen. Leider werden in Online-Communities auch immer häufiger Anleitungen zur Durchführung von LLMjacking-Angriffen diskutiert.

Sobald diese Cyberkriminellen über gültige Zugangsdaten verfügen, können sie das LLM Ihrer Organisation effektiv „kapern“ und damit wie ein legitimer Benutzer interagieren.

Was kann passieren, wenn ein LLMjacking-Angriff erfolgreich ist?

Die möglichen Folgen eines LLMjacking-Angriffs sind vielfältig. Am häufigsten sind:

Unerwartet hohe Nutzungskosten

Cloudbasierte LLM-Dienste berechnen ihre Gebühren in der Regel nach Nutzungsumfang. Wird Ihr LLM gekapert, können Angreifer es intensiv nutzen und dadurch überraschend hohe Kosten verursachen. Das ist vergleichbar damit, dass Kriminelle heimlich Ihren Computer zum Schürfen von Kryptowährungen nutzen und Sie dadurch für Strom und Ressourcen aufkommen müssen. Studien zufolge kann LLMjacking Organisationen je nach verwendetem LLM zwischen 46.000 und über 100.000 US-Dollar pro Tag kosten.

Datenschutzverletzungen und Informationslecks

Ihre Mitarbeiter verwenden möglicherweise LLMs, um verschiedene Arten von Daten zu verarbeiten, von denen manche sensibel sein können. Erlangt ein Angreifer die Kontrolle über das LLM, könnte er möglicherweise auf diese Informationen zugreifen. Dadurch kann es zu Sicherheitsvorfällen und zum Verlust vertraulicher oder geschützter Daten kommen. Das kann Ihrem Ruf schaden und rechtliche oder regulatorische Probleme nach sich ziehen.

Ausnutzen von Schwachstellen

Angreifer könnten ein gekapertes LLM nutzen, um Schwachstellen in Ihren Softwaresystemen zu finden und auszunutzen – sowohl bereits bekannte (One-Day-Schwachstellen) als auch ganz neue (Zero-Day-Schwachstellen). Eine Studie ergab, dass GPT-4 von OpenAI allein anhand von CVE-Beschreibungen 87 % der One-Day-Schwachstellen autonom ausnutzen konnte. Es ist also durchaus möglich, dass ein Angreifer das LLM einer Organisation nutzt, um schädlichen Code zu generieren und Schwachstellen auszunutzen.

Prompt-Injection und Datenvergiftung

Angreifer können eine Technik namens Prompt-Injection nutzen, um Ihr LLM zu unerwartetem Verhalten zu verleiten. Indem sie gezielt schädliche Eingaben einspeisen, können sie es dazu bringen, sensible Informationen preiszugeben, schädlichen Code zu generieren oder andere gefährliche Aktionen auszuführen. Außerdem könnten sie versuchen, die vom LLM verwendeten Trainingsdaten zu vergiften. Dadurch können Fehler, Verzerrungen oder Schwachstellen in das Modell gelangen, wodurch es weniger zuverlässig oder künftig sogar angreifbar wird.

Die tatsächlichen Auswirkungen von LLMjacking auf Ihr Unternehmen

Die besprochenen Folgen können sich summieren und erhebliche Auswirkungen auf Ihre Organisation haben:

• Finanzielle Verluste: Neben den direkten Kosten durch die erhöhte Nutzung können bei der Bewältigung eines LLMjacking-Vorfalls Ausgaben für die Untersuchung des Angriffs, die Wiederherstellung verlorener Daten, Anwaltskosten und die Behebung von Rufschäden Ihres Unternehmens anfallen.

• Erhöhte Sicherheitsrisiken: Mögliche Datenschutzverletzungen, neu in Ihre Systeme eingebrachte Schwachstellen und die Manipulation Ihrer KI beeinträchtigen Ihre allgemeine Sicherheitslage und erhöhen das Risiko künftiger Angriffe.

• Störungen Ihres Geschäftsbetriebs: Wenn Angreifer Ihr LLM übermäßig nutzen, kann dies Ihre Systeme verlangsamen oder sogar überlasten und ihre ordnungsgemäße Funktion beeinträchtigen. Wird das LLM außerdem kompromittiert, um falsche Informationen zu verbreiten oder schädliche Inhalte zu generieren, kann dies Ihren Geschäftsbetrieb erheblich stören und sich negativ auf die Kundenerfahrung auswirken.

So schützen Sie sich: Strategien zur Prävention und Erkennung von LLMjacking

Um LLMjacking zu verhindern und Risiken zu minimieren, benötigen Organisationen geeignete Schutzmaßnahmen. Da gestohlene Zugangsdaten häufig für den Zugriff durch Angreifer genutzt werden, sind wirksame Identity-and-Access-Management-Praktiken (IAM) unerlässlich. Dazu gehört das Prinzip der geringsten Berechtigungen: Benutzer erhalten nur die Zugriffsrechte, die sie für ihre Arbeit benötigen. Außerdem muss für alle Konten, die auf Ihre LLM-Dienste zugreifen können, eine Multi-Faktor-Authentifizierung (MFA) eingerichtet sein. Schließlich sollten Organisationen ihren Mitarbeitern klare Richtlinien, Dokumentationen und Schulungen zur verantwortungsvollen und sicheren Nutzung von KI, einschließlich LLMs, bereitstellen.

LLMs sollten kontinuierlich mit hochwertigen, vielfältigen und vertrauenswürdigen Daten trainiert werden, um das Risiko von Schwachstellen oder Verzerrungen zu verringern. Erwägen Sie Techniken wie adversariales Training, um Ihre Modelle widerstandsfähiger zu machen. Prüfen und aktualisieren Sie Ihre LLMs außerdem regelmäßig, um potenzielle Sicherheitslücken zu schließen.

Auch die Implementierung zuverlässiger Verfahren zur Eingabevalidierung und -bereinigung ist eine bewährte Maßnahme, um Prompt-Injection-Angriffe zu verhindern. Dabei werden Benutzereingaben auf die Einhaltung bestimmter Standards geprüft und potenziell schädliche Inhalte entfernt oder geändert, bevor das LLM sie verarbeitet.

Erkennungsmaßnahmen: So erkennen Sie mögliche LLMjacking-Angriffe

Sicherheitsteams sollten auf Anzeichen eines möglichen LLMjacking-Vorfalls achten. Zu den Erkennungsmaßnahmen, die Risiken minimieren, gehören:

• Überwachen Sie das LLM und die Benutzerkonten auf ungewöhnliche Anfragen, Aktivitäten oder Abfragemuster.

• Richten Sie Filter für Ein- und Ausgaben Ihrer LLMs ein, um potenziell schädliche Aktivitäten oder Anomalien zu erkennen.

• Nutzen Sie Sicherheitstools und -systeme, um Protokolle zu überwachen, verdächtigen Netzwerkverkehr zu erkennen, schädliche Verbindungen zu blockieren und nach kompromittierten Zugangsdaten oder schädlichem oder anfälligem Code zu suchen.

• Schulen Sie Ihre Benutzer darin, verdächtige oder ungewöhnliche Aktivitäten bei der Nutzung von LLMs zu erkennen und zu melden.

Tools zur Verhinderung von LLMjacking- und anderen Resource-Jacking-Angriffen

Neben den allgemeinen Sicherheitsmaßnahmen gibt es spezielle Tools, die besonders hilfreich sein können, um LLMjacking und ähnliche Angriffe zu verhindern. Da LLMjacking häufig auf cloudbasierte Systeme abzielt, sind Tools unverzichtbar, die umfassende Transparenz und Sicherheit in diesen Umgebungen bieten.

Statische Anwendungssicherheitstests (SAST) und Software Composition Analysis (SCA)-Tools sind hier besonders relevant. Ideal ist eine umfassende Plattform wie Snyk Apprisk, die Ihnen einen klaren Überblick über Sicherheitsrisiken während des gesamten Softwareentwicklungsprozesses und in all Ihren Umgebungen bietet. SCA-Tools wie Snyk Open Source können Ihren Softwarecode auf Open-Source-Komponenten und deren Abhängigkeiten untersuchen. So stellen Sie sicher, dass bekannte Schwachstellen und andere Risiken im Zusammenhang mit diesen Komponenten erkannt, priorisiert und behoben werden, bevor sie in Ihrer LLM-Umgebung oder anderswo in Ihren Systemen ausgenutzt werden können.

Wenn Ihre Entwickler LLMs zum Schreiben von Code verwenden, sind SAST-Tools ebenso entscheidend, um die Sicherheit dieses Codes zu gewährleisten. KI-generierter Code ist zwar nicht automatisch sicher, doch ein LLMjacking-Angriff kann die Wahrscheinlichkeit erhöhen, dass schädlicher oder anfälliger Code eingeschleust wird. Ein SAST-Tool wie Snyk Code, das Code in Echtzeit und direkt in der IDE scannt, kann Schwachstellen erkennen, damit sie behoben werden, bevor sie erhebliche Probleme verursachen. Auch ein kostenloser Code-Checker eines vertrauenswürdigen Sicherheitsanbieters kann dazu beitragen, die Verbreitung unsicheren Codes zu verhindern.

Weitere Tools sind:

• Security-Information-and-Event-Management-Systeme (SIEM), die Protokolle aus verschiedenen Quellen analysieren und Sie dabei unterstützen, verdächtige Aktivitätsmuster zu erkennen.

• Spezielle Sicherheits-Tools für LLMs, die Ein- und Ausgaben von LLMs moderieren und vor besonderen Sicherheitsbedrohungen im Zusammenhang mit diesen Modellen schützen.

• Tools zur Verwaltung von Secrets, mit denen sensible Informationen wie API-Schlüssel sicher gespeichert und verwaltet werden. Diese könnten bei einem LLMjacking-Angriff ins Visier geraten.

Die Cybersicherheitslandschaft verändert sich ständig, und laufend werden neue Bedrohungen entdeckt. Organisationen sollten ihre spezifischen Anforderungen sorgfältig prüfen und eine Kombination aus Tools und Verfahren einsetzen, um sich wirksam vor LLMjacking und anderen Angriffen zu schützen.

Zukünftige Auswirkungen von LLMjacking

Da KI immer beliebter wird und in immer mehr Branchen zum Einsatz kommt, dürfte die Bedrohung durch LLMjacking weiter zunehmen. Mit der zunehmenden Verbreitung von KI steigt auch die Zahl der LLMjacking-Angriffe. So wurde beispielsweise DeepSeek nur wenige Wochen nach seiner öffentlichen Veröffentlichung zum Ziel eines LLMjacking-Angriffs.

Mit den Fortschritten der KI-Technologie, der Entwicklung neuer LLMs und der Entdeckung neuer Schwachstellen werden Angreifer ihre Methoden zweifellos anpassen, um Zugriff auf diese leistungsstarken Tools zu erhalten und sie auszunutzen. Das kann erhebliche Folgen haben, da KI immer stärker in unseren Alltag und in kritische Infrastrukturen eingebunden wird.

Um LLMjacking und groß angelegte Datenschutzverletzungen zu verhindern, sind Sicherheitsmaßnahmen für KI unverzichtbar. Eine Möglichkeit ist die Implementierung einer Anwendungssicherheitsplattform wie Snyk, die Ihrer Organisation Transparenz und Sicherheit in Ihrem gesamten AppSec-Programm bietet – auch bei der Einführung von KI. Wenn Sie Ihre Teams für das Thema Sicherheit sensibilisieren, können Sie Ihre Organisation vor LLMjacking und anderen ressourcenbasierten Bedrohungen schützen.