Infosec-Europe-Session: 4 Tipps für eine sicherere KI-Einführung
Gerald Crescione
1. August 2024
0 Min. Lesezeit
Die Einführung von KI in Unternehmen auf der ganzen Welt schreitet weiterhin rasant voran. Das zeigt ein Coatue-Bericht, der die Einführung von KI mit den Anfängen des Internets vergleicht und feststellt, dass sich KI doppelt so schnell verbreitet wie damals das Internet.
Während Unternehmen KI-gestützte Softwareentwicklungslösungen einsetzen, stehen Sicherheitsteams vor der Herausforderung, Innovationen voranzutreiben und gleichzeitig bei Bedarf auf die Bremse zu treten, um die mit KI-Tools verbundenen Risiken zu vermeiden. Dazu gehören unsichere Codevorschläge und halluzinierte Bibliotheken.
Liqian Lim, Senior Product Marketing Manager bei Snyk, sprach auf der Infosecurity Europe 2024 mit dem Snyk-Kunden Kevin Fielder, CISO bei NatWest Boxed & Mettle. Sie erörterten zahlreiche Risiken und Chancen, die mit KI einhergehen, und gaben CISOs, die diese leistungsstarken Technologien sicher einführen möchten, einige Empfehlungen. Hier sind einige ihrer wichtigsten Tipps:
1. KI-Nutzung nach geschäftlicher Kritikalität einstufen
Jeder Geschäftsbereich birgt ein anderes Maß an Risiko und Kritikalität. Die Einführung von KI in einem unkritischen Bereich wirkt sich möglicherweise nicht auf das Sicherheitsniveau aus. In einem geschäftskritischen Bereich kann sie jedoch Ihre gesamte Risikolage verändern und vertrauliche Werte gefährden. CISOs können bei der Verwaltung der Sicherheit im Zusammenhang mit KI Zeit und Ressourcen sparen, indem sie sich auf die Bereiche mit den größten potenziellen Risiken konzentrieren.
Fielder zufolge gilt: „Nehmen wir zum Beispiel [den Einsatz von KI] zur Verbesserung des Kundensupports. Das Risiko für Schäden im Zusammenhang mit der Anwendungssicherheit ist dabei eigentlich ziemlich gering … je nach Branche gibt es jedoch Bereiche mit höherem Risiko. Gehen Sie in solchen Fällen sehr langsam und äußerst vorsichtig vor.“
Verlassen Sie sich nicht allein auf LLMs, wenn es darum geht, die Sicherheit Ihres Codes zu beurteilen – setzen Sie stattdessen auf KI-Schutzmaßnahmen
Da große Sprachmodelle (LLMs) aus früheren Prompts lernen, können sie erstaunlich gut erkennen, was Menschen sehen möchten, und ähnliche Informationen liefern. Erstaunlicherweise haben manche sogar beobachtet, wie KI irreführende Begründungen dafür lieferte, warum sie zu einem bestimmten Schluss gekommen war – weil unsere Prompts ihr beigebracht haben, was wir hören wollen. Unternehmen können sich daher nicht auf die LLMs selbst verlassen, wenn es darum geht, Aussagen über deren Sicherheitsniveau, die Begründung einer bestimmten Entscheidung usw. zu erhalten.
Verwenden Sie stattdessen andere Hilfsmittel, um die Sicherheit und Qualität von KI-generiertem Code zu beurteilen. Fielder betonte, wie wichtig es ist, KI-generierte Informationen angemessen zu testen und in Bereichen mit hohem Risiko einen Menschen in den Prozess einzubeziehen. KI-generierten Code zu testen, ähnelt zwar dem Testen anderer Codearten, unterscheidet sich aber in wichtigen Punkten. Dazu gehört, mit der Geschwindigkeit und dem Umfang KI-generierten Codes Schritt zu halten. Fielder erklärte: „Wenn die KI den Code generiert, müssen Sie dafür sorgen, dass die passenden Schutzmaßnahmen greifen – so, wie es ohnehin der Fall sein sollte. Auf diese Weise werden die Ergebnisse ordnungsgemäß getestet und abgesichert.“
Er gliederte diese wichtigen Schutzmaßnahmen in drei Schritte:
Code-Reviews durchführen
Eine Peer-Validierung hinzufügen
Code scannen und Unit-Tests durchführen
Ein schnelles und präzises SAST-Tool wie Snyk Code kann sowohl von Menschen als auch von KI erstellten Code in Echtzeit erkennen und automatisch korrigieren – direkt in der IDE der Entwickler. So werden Kontextwechsel und Unterbrechungen im Workflow auf ein Minimum reduziert.
Achten Sie auf das Trainingsmodell und schützen Sie es vor Angriffen.
Die Referenten betonten außerdem, wie wichtig es ist, zu wissen, welche Trainingsmodelle Ihre KI-Tools für die Ausgabe von Ergebnissen verwenden, und die für das Training zuständigen Teams zu Vorsichtsmaßnahmen anzuhalten. Vorsicht bei den Trainingsmodellen Ihrer KI-Tools ist unerlässlich: Wenn Sie die Trainingsdaten nicht sorgfältig auswählen, können Angreifer Ihr System mit Angriffsmethoden wie Prompt Injection ausnutzen. Solche Angriffe können erfolgen, wenn böswillige Nutzer LLMs gezielt dazu bringen, Aufgaben außerhalb ihres vorgesehenen Einsatzbereichs auszuführen. Sie können verhindern, dass Ihr Trainingsmodell bösartige Prompts aufnimmt und verwendet, indem Sie qualifizierte Menschen in den Prozess einbeziehen und die Eingaben validieren, um Prompts mit eindeutigen Anzeichen böswilliger Aktivitäten zu blockieren.
Fielder sagte dazu: „Sicherheitsteams sind nicht unbedingt am Training beteiligt, können aber Hinweise dazu geben, wie es durchgeführt werden sollte und was dabei zu beachten ist: Was passiert, wenn jemand die falsche Frage stellt? Was passiert, wenn falsche Informationen ins Modell gelangen? Wie gehen wir damit um? Wie bringen wir dem Modell bei, Informationen zu vergessen, wenn es Falsches gelernt hat?“
Diese Empfehlungen helfen Ihnen außerdem dabei, Fragen zu den KI-Lösungen Ihrer Drittanbieter zu stellen und ihre Trainingsmodelle genauer unter die Lupe zu nehmen. Generell ist ein „Blackbox“-Ansatz beim Training von KI-Modellen ein Warnsignal.
Finden Sie heraus, wo KI in Ihrem aktuellen Tech-Stack zum Einsatz kommt.
Wichtig ist auch, sich bewusst zu machen, dass in Ihrem Unternehmen wahrscheinlich bereits zahlreiche KI-Lösungen genutzt werden. Es kann jedoch schwierig sein, herauszufinden, welche KI-gestützten Lösungen bereits im Einsatz sind, da viele Anwendungen von Drittanbietern KI-Funktionen einführen, ohne ihre Kunden angemessen darüber zu informieren.
Fielder sagte: „KI hält nach und nach Einzug in Business-Anwendungen. Anbieter führen sie ein, und nicht alle bieten Ihnen unbedingt die Möglichkeit, sie nicht zu nutzen. Oder Sie können vielleicht [der Nutzung widersprechen] … müssen dafür aber einen umständlichen Prozess durchlaufen. Beispielsweise nutzte einer unserer Terminal-Emulatoren ein LLM, um bessere Prompts anzubieten … man würde denken, ein Terminal-Emulator sei das am wenigsten riskante Tool, das man verwendet – und plötzlich steckt KI darin.“
Unternehmen müssen sich also weiterhin der Herausforderung stellen, all diese Anwendungen von Drittanbietern zu erfassen und zu verstehen, wie und wo darin KI zum Einsatz kommt. Wie bereits erwähnt, kann es helfen, bei den geschäftskritischsten Bereichen Ihres Unternehmens anzusetzen und von dort aus weiterzumachen.
Snyk: Ihr Sicherheitspartner für KI-Tools
Es kann sich anfühlen, als ginge es darum, die eigene Technologie weiterzuentwickeln und das „KI-Rennen“ zu gewinnen. Doch es lohnt sich, der Sicherheit zuliebe vorsichtig vorzugehen. Dafür müssen Sie Innovationen jedoch weder auf Eis legen noch den Entwicklungsteams im Weg stehen. Sicherheitslösungen, die sich in bestehende Entwicklungs-Workflows integrieren und mit der Geschwindigkeit von KI Schritt halten, können den entscheidenden Unterschied machen.
Snyk ergänzt die KI-Coding-Assistenten von heute durch schnelle KI-gestützte SAST-Scans und automatische Schwachstellenkorrekturen mit nur einem Klick. Außerdem bieten wir:
Pull-Request-Prüfungen als zusätzliche Sicherheitsmaßnahme, die der höheren Geschwindigkeit Rechnung tragen, mit der KI Code generiert und committet;
Empfohlene Maßnahmen und Erläuterungen bei der Erkennung einer Schwachstelle – direkt in den vorhandenen IDEs der Entwickler;
Kontextbezogene Erkenntnisse auf Grundlage des spezifischen Geschäfts- und Risikoprofils Ihres Unternehmens.
Weitere Informationen dazu, wie Sie auf die sich heute rasant verändernde KI-Landschaft reagieren können, finden Sie in unserem Spickzettel für sichere Entwicklung mit KI.
