Die 12 wichtigsten AI-Sicherheitsrisiken, die Sie kennen sollten

Generative AI wurde 2022–2023 zum Mainstream-Phänomen, als OpenAI ChatGPT öffentlich veröffentlichte. Seitdem kommt AI in den unterschiedlichsten Branchen zum Einsatz – von der Erstellung von Papa-Witzen bis zur Übersetzung von Code zwischen Programmiersprachen.

AI bietet erhebliche Vorteile, etwa Zeitersparnis, geringere Kosten und mehr Innovation. Gleichzeitig bringt sie neue Sicherheitsrisiken mit sich. Für Unternehmen lautet die Frage nicht „ob“, sondern „wann“, „wo“ und „welche Art“ von Schwachstelle AI in Ihrem IT-Ökosystem verursacht. Häufig mangelt es an ausreichender Kontrolle und Aufsicht über die Daten, die Sprachmodelle (LLMs) speisen, und über deren Implementierung.

Doch es gibt durchaus Möglichkeiten, dem entgegenzuwirken. Wenn Sie die verschiedenen Arten von AI-Sicherheitsrisiken, die Schwachstellen und Verzerrungen in Datensätzen sowie Best Practices zur Risikominderung kennen, können Sie die Bedrohung für Ihr Unternehmen deutlich verringern.

Die 12 wichtigsten AI-Sicherheitsrisiken

So wie wir AI einsetzen, um unsere Unternehmen schneller und effizienter zu machen, tun dies auch Angreifer. AI-Bedrohungen sind vielfältiger und ausgefeilter und können in deutlich größerer Zahl auftreten als bisher. Um Ihr Unternehmen zu schützen, sollten Sie sich zunächst mit den verschiedenen Arten von AI-Sicherheitsrisiken vertraut machen.

#1 Adversariale Angriffe

Adversariale Angriffe liegen vor, wenn Angreifer Eingaben manipulieren, sodass AI-Systeme sie falsch interpretieren oder falsch klassifizieren. Diese subtilen Veränderungen – für Menschen oft nicht wahrnehmbar – können AI-Modelle dazu bringen, falsche oder sogar schädliche Ausgaben zu erzeugen. So kann beispielsweise Bildrauschen dazu führen, dass ein Gesichtserkennungssystem eine Person falsch identifiziert.

#2 Data Poisoning

Data Poisoning liegt vor, wenn Angreifer die Trainingsdaten manipulieren, die zum Aufbau von AI-Modellen verwendet werden – etwa Nutzerdaten, Open-Source-Datensätze oder Machine-Learning-Forschung –, um die späteren Ausgaben des Modells zu verändern.

#3 Inferenzangriffe

Bei Inferenzangriffen werden gezielte Prompts verwendet, um vertrauliche Informationen über Personen oder Datensätze abzuleiten. Dazu können Rückschlüsse auf private Merkmale oder das Reverse Engineering statistischer Eigenschaften der Trainingsdaten gehören.

#4 Modellinversionsangriffe

Bei Modellinversionsangriffen werden vertrauliche Daten durch die Analyse der Modellausgaben rekonstruiert. Mit genügend Abfragen können Angreifer repräsentative Beispiele von Personen aus dem Trainingsdatensatz extrahieren – darunter möglicherweise private oder identifizierbare Merkmale.

#5 Modelldiebstahl

Manchmal ist das AI-Modell genauso wertvoll wie die Trainingsdaten – wenn nicht sogar wertvoller. Bei einem Modelldiebstahl versuchen Angreifer, geistiges Eigentum (IP) zu stehlen, indem sie proprietäre Code-Repositories hacken oder das Modell durch systematische Abfragen rückentwickeln.

#6 Mangelnde Erklärbarkeit

AI-Modelle beruhen oft auf komplexen Prozessen und Entscheidungsmechanismen, die schwer zu verstehen sind. Durch diese mangelnde Erklärbarkeit lässt sich nur schwer nachvollziehen, wie das Modell zu seinen Ausgaben gelangt ist und ob diese korrekt sind.

#7 Shadow AI

Shadow AI bezeichnet AI-gestützte Tools, die Beschäftigte oder Abteilungen ohne Aufsicht der IT einsetzen. Sie wollen Erkenntnisse gewinnen oder Routineaufgaben automatisieren und umgehen dabei unwissentlich Sicherheitskontrollen, wodurch vertrauliche Daten offengelegt werden können.

#8 Risiken in der Supply Chain

AI-bezogene Risiken treten auch in Lieferketten von Drittanbietern häufig auf. Arbeitet ein Unternehmen mit einem Anbieter zusammen, dessen AI-Modell einem oder mehreren der hier aufgeführten Risiken ausgesetzt ist, können sich negative Folgen auch auf das Unternehmen selbst auswirken.

#9 Deepfakes und AI-gestütztes Social Engineering

Angreifer können generative AI inzwischen nutzen, um überzeugende Deepfakes, geklonte Stimmen und synthetische Identitäten zu erstellen und ihre Opfer zu manipulieren. In Verbindung mit AI-gestützten Phishing-Methoden erhöhen diese Techniken Umfang und Raffinesse von Social-Engineering-Angriffen erheblich.

#10 Datenlecks

Datenlecks entstehen häufig, wenn vertrauliche Daten unbeabsichtigt durch Ausgaben, Verhalten, APIs oder Logs des Modells offengelegt werden. Solche Lecks können beim Training, bei der Bereitstellung oder während der Nutzung auftreten und sind ein bevorzugtes Ziel von Angreifern.

#11 Datenschutzverletzungen

Datenschutzverletzungen können auftreten, wenn ein AI-Modell vertrauliche Daten erfasst, verarbeitet, speichert oder analysiert, ohne dass ausreichende Sicherheitsmaßnahmen vorhanden sind. Viele der oben genannten Risiken können zu einer Datenschutzverletzung im Sinne von Branchenstandards und Vorschriften führen.

#12 Code-Schwachstellen

Bei der Software- und Anwendungsentwicklung kann AI den Entwicklungsprozess beschleunigen, Schwachstellen erkennen und Sicherheitsempfehlungen geben. Von AI generierte Code-Snippets können jedoch häufige Schwachstellen (CWEs) aus Open-Source-Code enthalten. Zudem berücksichtigen AI-Modelle oft keine kontextbezogenen Nuancen und Abhängigkeiten, was zu Fehlern und Sicherheitslücken führen kann.

Herausforderungen bei AI-Systemen

Trotz ihrer Leistungsfähigkeit sind generative AI-Tools nicht unfehlbar. Sie spiegeln die Annahmen, Lücken und Verzerrungen der Daten und der Menschen wider, die sie entwickelt haben.

Ein bekanntes Problem sind beispielsweise AI-Halluzinationen – wenn ein Modell Informationen oder Daten erzeugt, die nicht explizit in seinen Trainingsdaten enthalten waren. AI-Modelle sind darauf ausgelegt, eine Antwort zu geben, unabhängig davon, ob diese in den Trainingsdaten vorkommt. Das kann zu ungenauen oder irreführenden Informationen führen. Verschärft wird das Problem durch die oben erwähnte „mangelnde Erklärbarkeit“. Es ist nahezu unmöglich, die einzelnen Schritte des Modells zurückzuverfolgen und nachzuvollziehen, wie es zu seinen Schlussfolgerungen gelangt ist. Daher lässt sich die Ausgabe nur schwer überprüfen.

Stellen Sie sich ein Finanzinstitut vor, das AI zur Automatisierung von Hypothekengenehmigungen einsetzt. Ruft ein verärgerter Kunde an, um seine Ablehnung anzufechten, kann das Personal kaum oder gar nicht erklären, wie diese Entscheidung zustande kam. Dadurch könnte dem Kunden der Kauf eines neuen Eigenheims verwehrt bleiben und er könnte sich andernorts um einen Kredit bemühen.

Datenschutzbedenken im Zusammenhang mit AI

Datenschutzbedenken und AI-Sicherheitsrisiken hängen eng zusammen. AI-Modelle werden mit umfangreichen Datensätzen trainiert, die vertrauliche personenbezogene Daten, proprietäre Daten, geistiges Eigentum und unverwaltete Open-Source-Daten enthalten. Wie diese Daten erhoben, verwendet und gespeichert werden, hat jeweils Auswirkungen auf den Datenschutz.

Neben böswilligen Angriffen wie Modellinversions- oder Modelldiebstahlangriffen ist auch Shadow AI mit erheblichen Datenschutzbedenken verbunden. Studien zeigen, dass 15 % der Beschäftigten Unternehmensdaten in ChatGPT einfügen; ein Viertel davon gilt als vertraulich.

Es kommt auch vor, dass AI-Modelle unbeabsichtigt personenbezogene Daten erfassen, die dann in ihr LLM integriert und/oder an einem unsicheren Ort gespeichert werden. Oder eine Person stimmt der Weitergabe ihrer Daten für einen bestimmten Zweck zu, doch wenn der Eigentümer des AI-Modells diese Daten später für einen anderen Zweck nutzt, verletzt er möglicherweise die Privatsphäre der betroffenen Person.

Verzerrungen und ethische Überlegungen

Im Kern sind AI-Modelle Werkzeuge zur Mustererkennung und Vorhersage. Daher wirkt sich die Qualität der Trainingsdaten erheblich auf die Ergebnisse aus. Ein AI-Tool, das beispielsweise mit Niederschlagsmustern aus Neuengland trainiert wurde, wäre für einen Landwirt in Arizona, der seinen Anbauplan optimieren möchte, kaum hilfreich.

Die Auswirkungen der Trainingsdaten gehen jedoch weit über die Verwendbarkeit der Ergebnisse hinaus. Wer durch die Daten repräsentiert wird, wie sie erhoben wurden, wann dies geschah und welche Werte verschiedenen Datenpunkten zugewiesen wurden, kann die Vorhersagen des LLM unfair verzerren. Leider spiegeln die von uns erzeugten Daten oft gesellschaftliche Vorurteile wider. Wurde ein AI-Modell zur Diagnose einer bestimmten Erkrankung beispielsweise ausschließlich mit Daten junger Männer trainiert, erkennt es Symptome bei Frauen oder bei Patientinnen und Patienten ab einem bestimmten Alter wahrscheinlich nicht.

Wurde das oben erwähnte Tool zur Hypothekengenehmigung mit historischen Kreditdaten trainiert, ohne sozioökonomische oder gesetzliche Faktoren einzubeziehen, könnte es einkommensschwache Wohngegenden mit höheren Ausfallraten in Verbindung bringen. Infolgedessen könnte das Tool Bewerberinnen und Bewerber aus diesen Gegenden unfair ablehnen – unabhängig von ihrer Bonität und ihrem Verhältnis von Schulden zu Vermögenswerten.

Wer Trainingsmodelle entwickelt und einsetzt, trägt die ethische Verantwortung, sich dieser Verzerrungen bewusst zu sein und sie nach besten Kräften zu mindern.

AI-Sicherheitsmaßnahmen und Best Practices

Da AI immer stärker in Arbeitsabläufe und Infrastruktur eingebunden wird, müssen Unternehmen die damit verbundenen Risiken proaktiv mindern. Für sichere, resiliente und faire AI-Implementierungen sollten Sie folgende Maßnahmen ergreifen:

1. Datensicherheit und Risikomanagement: Stellen Sie die Integrität und Vertraulichkeit von Trainings- und Eingabedaten sicher, indem Sie Sicherheitskontrollen einführen, die unbefugten Zugriff, Änderungen oder eine unzulässige Nutzung verhindern. Begrenzen Sie die Datenspeicherung nach Möglichkeit, um das Risiko einer Offenlegung zu verringern.

2. Verschlüsselung und Zugriffskontrolle: Wenden Sie Identitäts- und Zugriffskontrollen sowie Verschlüsselung auf AI-Trainingsdaten, LLMs und Ausgaben an – wie bei anderen Apps oder Tools, die auf Ihre Unternehmensdaten zugreifen.

3. AI-Governance und Compliance: Da sich Vorschriften und Branchenstandards zum Umgang mit AI-bezogenen Risiken weiterentwickeln, müssen Unternehmen die AI-Nutzung in ihre übergeordneten Sicherheits-Frameworks, Richtlinien und Berichte integrieren.

4. AI-Ethik und Governance: Unternehmen müssen außerdem ihre Position zu Datenverzerrungen, Gleichstellung, Transparenz und Rechenschaftspflicht dokumentieren und Mechanismen einführen, um diese Standards im gesamten Unternehmen durchzusetzen.

5. Compliance- und Sicherheitsaudits: AI-Tools, ihre Nutzung und die zugehörigen Daten müssen systematisch bewertet werden, um die Einhaltung interner Sicherheitsrichtlinien, relevanter Vorschriften und Best Practices sicherzustellen.

6. Strategien für die Reaktion auf Sicherheitsvorfälle: Um die Auswirkungen einer Datenschutzverletzung zu minimieren, sollten alle Prozesse mit vertraulichen Daten und der Entwicklung oder Nutzung AI-gestützter Tools in die Strategie des Unternehmens zur Reaktion auf Sicherheitsvorfälle integriert werden. Dazu gehören regelmäßige Überwachung für schnelle Reaktionen, Kontrollen zur Eindämmung des Vorfalls, Wiederherstellungsprozesse und eine Analyse nach dem Vorfall.

Methoden zur Erkennung, Bewertung und Verwaltung von AI-Sicherheitsrisiken

Die Erkennung von AI-Bedrohungen und das Risikomanagement gehen weit über das Identifizieren potenzieller Bedrohungen hinaus. Sie müssen AI-Bedrohungsdaten auch in ihren Kontext einordnen, um mögliche Auswirkungen sichtbar zu machen und fundierte Entscheidungen zur Behebung zu treffen.

Trotz der oben beschriebenen Schwachstellen und Risiken können AI-gestützte Tools eine wichtige Rolle bei der Erkennung von Bedrohungen und der Risikobewertung spielen.

• Setzen Sie eine Lösung für Schwachstellen-Scans ein, um häufige Schwachstellen zu überwachen und sie proaktiv zu beheben.

• Richten Sie ein System zur Datenklassifizierung und Governance ein, um Ihre wichtigsten schützenswerten Ressourcen zu organisieren und hervorzuheben. Achten Sie dabei besonders darauf, welche Nutzer und Anwendungen auf die einzelnen Ressourcen zugreifen können.

• Schaffen Sie ein strukturiertes Framework zur Bewertung und Priorisierung von Risiken, das ihre Eintrittswahrscheinlichkeit und potenziellen Auswirkungen berücksichtigt, damit Sie Maßnahmen zur Behebung effektiver priorisieren können.

• Führen Sie regelmäßige AI-Sicherheitsaudits aller AI-Tools und Datensätze durch, die Ihr Unternehmen entwickelt oder nutzt, und bewerten Sie sie anhand plattformspezifischer Schwachstellen.

• Fördern Sie eine Kultur des Bewusstseins für AI-Sicherheit und entsprechender Schulungen. Informieren Sie über AI-bezogene Risiken, die sichere Nutzung von AI und die vorgesehenen Kanäle, um neue AI-gestützte Lösungen zu bewerten und in die Arbeitsabläufe des Unternehmens zu integrieren.

AI in DevSecOps nutzen

Heute spielt KI eine spannende Rolle in der Software- und Anwendungsentwicklung und bietet sowohl potenzielle Wettbewerbsvorteile als auch Sicherheitsrisiken. KI-gestützte Tools können den Softwareentwicklungslebenszyklus (SDLC) beschleunigen, indem sie wiederkehrende Aufgaben automatisieren, Code-Snippets vorschlagen, kontinuierlich nach Schwachstellen suchen und Korrekturen empfehlen.

Um mit diesem sich rasant wandelnden Umfeld Schritt zu halten, muss sich auch die Sicherheit weiterentwickeln, um die neuen Risiken im SDLC zu bewältigen. Eine Möglichkeit, böswillige Manipulationen und ethische Bedenken zu vermeiden, besteht darin, Ihr eigenes LLM mit proprietären Daten oder Code selbst zu hosten und zu trainieren. Dies kann jedoch erhebliche Ressourcen und Fachkenntnisse erfordern. Außerdem besteht das Risiko, dass das LLM vorhandene Schwachstellen in Ihrer Codebasis verstärkt.

Es gibt KI-Sicherheitstools, die Softwareentwickler unterstützen, beispielsweise Tools für statische Anwendungssicherheitstests (SAST), die anfällige Code-Muster sofort erkennen, wenn Entwickler sie in ihre IDE kopieren.

Schützen Sie Ihre KI-Anwendung mit Snyk 

Damit IT-Sicherheits- und Entwicklungsteams mit dem Tempo Schritt halten können, in dem sich Technologien und Bedrohungen weiterentwickeln, werden KI-gestützte Sicherheitstools immer unverzichtbarer. Snyk ermöglicht es Entwicklern, KI-gestützte Lösungen für Code und Tests sicher einzusetzen.

Snyk Code ist ein KI-gestütztes Sicherheitstool, das Ihren Code in Echtzeit auf Schwachstellen überprüft. Unser selbst gehostetes DeepCode AI basiert auf mehr als 25 Millionen Data-Flow-Fällen, unterstützt über 19 Programmiersprachen und nutzt mehrere KI-Modelle. Es bildet die Grundlage für Snyk Code und liefert sofort Vorschläge zur Behebung.

Erfahren Sie mehr darüber, wie Snyk Entwickler unterstützt, ihre Produktivität zu steigern und gleichzeitig KI-generierten Code zu sichern.