Was ist Shadow AI? Risiken verhindern und managen

Die rasant wachsende Beliebtheit generativer künstlicher Intelligenz (GenAI) stellt Unternehmen vor neue Herausforderungen. Eines der dringendsten Probleme ist die unkontrollierte Nutzung von KI-Tools durch Mitarbeitende, oft ohne Zustimmung des Arbeitgebers. Erschreckende 38 % der Beschäftigten geben zu, ohne Genehmigung vertrauliche Informationen aus dem Arbeitsalltag mit KI-Tools zu teilen.

Was ist Shadow AI?

Shadow AI bezeichnet die Nutzung von KI-Tools ohne Wissen oder Kontrolle der IT-Abteilung. In der Softwareentwicklung kann sich dies auf vielfältige Weise äußern: etwa wenn GenAI-Tools zum Schreiben von Code-Snippets, zur Fehlerbehebung, zum Erstellen oder Zusammenfassen von Dokumentation oder zur Datenanalyse eingesetzt werden – alles ohne formelle Prüfung oder Genehmigung.

Gängige KI-Tools für Shadow AI

Shadow AI kann viele Formen annehmen. Möglich machen dies leistungsstarke Tools und Plattformen, die Beschäftigten heute leicht zur Verfügung stehen. Insbesondere Entwicklerinnen und Entwickler haben Zugriff auf zahlreiche KI-Ressourcen, mit denen sie Anwendungen entwickeln, automatisieren und bereitstellen können, ohne dass die IT davon erfährt. Zu den gängigsten Tools gehören: 

• Large Language Models (LLMs): Tools wie ChatGPT von OpenAI, Claude von Anthropic, PaLM von Google, LLaMA von Meta, Mistral und Cohere werden zum Generieren oder Verbessern von Code verwendet. 

• GenAI-Tools und -Plattformen: Plattformen wie Hugging Face Transformers für vortrainierte Modelle, ChatGPT über die OpenAI API zur Integration und LangChain zur Orchestrierung von LLMs in komplexen Workflows.

• Code- und Entwicklungstools: Tools wie GitHub CoPilot, Cursor und Codex werden eingesetzt, um Code zu generieren und Aufgaben ohne Kontrolle durch die IT zu erledigen. 

• Aufgabenautomatisierung: Tools wie Zapier und Make automatisieren Workflows zwischen KI-Tools und können so mehrere nicht genehmigte Tools miteinander verknüpfen.

• Benutzerdefinierte Tools: Entwicklerinnen und Entwickler können benutzerdefinierte Modelle mithilfe lokaler Ressourcen oder Open-Source-Frameworks mit proprietären oder vertraulichen Daten feinabstimmen. 

Shadow AI kann Innovationen zwar beschleunigen, birgt aber auch erhebliche Risiken.

Risiken und Bedenken bei Shadow AI

Shadow AI umgeht die Sicherheitsvorkehrungen eines Unternehmens und gefährdet dadurch Daten, Systeme, Abläufe und geistiges Eigentum. Zu den Risiken zählen:

Trügerische Sicherheit 

Entwicklerinnen und Entwickler vertrauen häufig auf KI-generierten Code, obwohl dieser Schwachstellen enthalten kann. Obwohl ein Drittel des KI-generierten Codes sprachübergreifend verbreitete Schwachstellen aufweist, glauben 75,8 % der Entwicklerinnen und Entwickler, dass er sicherer ist als von Menschen geschriebener Code. Daher übernehmen sie ihn oft, ohne zusätzliche Maßnahmen zu ergreifen, um Bugs und Schwachstellen zu erkennen. 

Halluzinationen und Fehler 

KI-Halluzinationen, bei denen nicht überprüfte Modelle ohne Kontrolle irreführende oder völlig falsche Informationen erzeugen können, sind ein erhebliches Risiko. Die Halluzinationsraten liegen je nach verwendetem LLM zwischen etwa 1 % und 30 %. Neben Halluzinationen stellen auch Fehler beim Schlussfolgern und bei der Ausgabe von Modellen weiterhin erhebliche Risiken dar. 

Datenrisiken  

Entwicklerinnen und Entwickler können den Datenschutz unbeabsichtigt gefährden, indem sie vertrauliche Daten in LLMs eingeben, Datenspeicher einrichten und anschließend aufgeben, KI-Trainingsdatensätze zu groß anlegen oder Daten unsicher übertragen. So kam es 2023 bei der Halbleitersparte von Samsung zu drei Datenlecks, nachdem Ingenieure ChatGPT zum Überprüfen von Quellcode und für weitere Aufgaben verwendet hatten. 

Verstöße gegen Compliance-Anforderungen  

Die nicht autorisierte Nutzung von Daten für das Modelltraining oder die Eingabe von Daten in nicht genehmigte Tools kann dazu führen, dass Unternehmen gegen Vorschriften verstoßen. Werden beispielsweise vertrauliche personenbezogene Daten ohne die erforderliche Einwilligung oder Sicherheitsmaßnahmen verarbeitet, kann dies gegen Vorschriften wie die DSGVO oder den CCPA verstoßen und hohe Geldstrafen, rechtliche Schritte sowie erhebliche Reputationsschäden nach sich ziehen.

Maschinelles Lernen und Shadow AI

Da Unternehmen zunehmend eigene KI- und Machine-Learning-Modelle (ML) entwickeln und bereitstellen, wachsen auch die mit Shadow AI verbundenen Risiken. Werden ML-Modelle kompromittiert, können sie Unternehmensstrategien, geschäftliche Prioritäten und Betriebsabläufe offenlegen.

• Fehlende Überwachung: Nicht überwachte Modelle können voreingenommene oder minderwertige Ausgaben liefern und dadurch die Leistung beeinträchtigen. 

• Probleme mit der Versionskontrolle: Ohne eine angemessene Versionsverwaltung verwenden Teams möglicherweise unwissentlich veraltete oder uneinheitliche Modelle. Dadurch wird es schwieriger, Änderungen nachzuverfolgen oder Entscheidungen zu begründen.

• Eingeschränkte Erklärbarkeit: Bei schlecht verwalteten Modellen mangelt es oft an Transparenz und Erklärbarkeit. Das erschwert es, modellgestützte Entscheidungen nachzuvollziehen, zu validieren oder zu verteidigen – insbesondere in regulierten Branchen. 

Datenmanagement und Shadow AI

Da KI-Tools immer leichter zugänglich werden, werden Beschäftigte auch weiterhin neue Lösungen zur Produktivitätssteigerung einsetzen – oft ohne die Sicherheitsrisiken zu bedenken. Schulungen und Richtlinien können Shadow AI zwar eindämmen, Unternehmen sollten aber auch das Datenmanagement und die Datensicherheit stärken, um Risiken zu minimieren.

Software- und Sicherheitsverantwortliche sollten insbesondere ein risikobasiertes Schwachstellenmanagement-Programm einrichten. Zu den Maßnahmen gehören:

• Assets identifizieren: Ein aktuelles Verzeichnis aller Assets und Abhängigkeiten erstellen, um Schwachstellen zu verstehen und einen umfassenden Überblick über die Angriffsfläche zu gewinnen. 

• Verantwortlichkeiten zuweisen: Sicherstellen, dass Asset-Verantwortliche ihre Assets proaktiv verwalten und darüber berichten, auch über Änderungen ihres Risikostatus.

• Compliance- und regulatorische Anforderungen ermitteln: Feststellen, welche Vorschriften gelten (z. B. DSGVO, HIPAA und PCI-DSS), und developerorientierte Sicherheitstools einsetzen, um Sicherheit und Compliance in Entwicklungs-Workflows zu integrieren. 

• Assets und Schwachstellen klassifizieren: Risikobewertungen durchführen, um die potenziellen Auswirkungen von Schwachstellen einzuschätzen, Risikoprofile zu erstellen und Maßnahmen zur Behebung zu priorisieren.

• Eine Kultur der kontinuierlichen Verbesserung schaffen: Entwicklerinnen und Entwickler über die Risiken nicht genehmigter GenAI-Tools und darüber aufklären, wie wichtig es ist, proaktiv nach Bugs und Schwachstellen in KI-generiertem Code zu suchen. 

So begrenzen Sie die Risiken von Shadow AI 

Um den wachsenden Risiken von Shadow AI entgegenzuwirken, führen führende Unternehmen Sicherheitsvorkehrungen ein, um die Kontrolle zurückzugewinnen. Zu den wirksamsten Maßnahmen gehören: 

• Risiken bewerten: Sicherheitslücken wie unzureichende Verschlüsselung, Fehlkonfigurationen und Schwachstellen bewerten, die das Risiko einer Offenlegung von Daten erhöhen.

• KI-Richtlinien und -Kontrollen einführen: Gemeinsam mit IT- und Sicherheitsteams Nutzungsrichtlinien entwickeln, Verfahren zum Umgang mit Daten implementieren und regelmäßige Compliance-Audits für KI-Tools durchführen.

• Nach Schwachstellen suchen: Tools wie Snyk Code einsetzen, ein entwicklerorientiertes Sicherheitstool, das sowohl von Menschen als auch von KI generierten Code scannt und Probleme automatisch erkennt sowie Lösungsvorschläge bereitstellt.

• Einen Plan zur Reaktion auf Sicherheitsvorfälle erstellen: Klare Verfahren festlegen, um schnell auf Shadow-AI-Vorfälle zu reagieren und die Auswirkungen auf Daten, Systeme und Geschäftsabläufe zu minimieren.

Shadow AI mit starken Sicherheitsprozessen verhindern 

Wenn ihre Anforderungen nicht erfüllt werden, richten Entwicklerinnen und Entwickler häufig selbst Ressourcen ein. Um diese Risiken zu reduzieren, sollten Sicherheitsteams eng mit der Entwicklung zusammenarbeiten und genehmigte Tools, klare Leitlinien und Schutzmaßnahmen bereitstellen, die die Produktivität nicht beeinträchtigen.

Snyk hilft, diese Lücke zu schließen: Die Plattform lässt sich direkt in die täglichen Workflows von Entwicklerinnen und Entwicklern integrieren und macht es einfach, Schwachstellen frühzeitig zu erkennen und zu beheben – auch in KI-generiertem Code.

Demo buchen, um zu erleben, wie leistungsstark Snky beim Schutz von KI-generiertem Code ist.