Snyk Code schützt jetzt KI-Builds durch Unterstützung von LLM-Quellen

Mit dem Beginn des KI-Zeitalters haben wir die erste Welle der KI-Nutzung in der Softwareentwicklung in Form von Coding-Assistenten erlebt. Jetzt sehen wir die nächste Phase: Unternehmen nutzen immer leichter verfügbare LLMs, um KI-gestützte Software zu entwickeln. Natürlich steigt mit der zunehmenden Nutzung von LLM-Plattformen wie OpenAI und Gemini auch das Sicherheitsrisiko, das mit ihrer Verwendung verbunden ist.

Da generative KI noch eine neue Technologie ist, werden die schwerwiegenden Sicherheitsfolgen der Verwendung von durch LLMs generierten Daten oft unterschätzt. Die Nutzung solcher Daten kann zu Problemen wie Prompt-Injections führen, die Schwachstellen im Quellcode verursachen.

Snyk schützt Ihre KI-gestützten Anwendungen

Da Snyk eine sichere und einfache Einführung von KI ermöglichen möchte, freuen wir uns, bekannt zu geben, dass Snyk Code jetzt die Verwendung von LLM-Bibliotheken im Quellcode schützt. Wir haben unsere Funktionen zur Erkennung von Schwachstellen erweitert: Snyk Code kann nun Datenflüsse aus Code verfolgen, der aus unterstützten LLM-Bibliotheken stammt, darunter Bibliotheken von OpenAI, HuggingFace, Anthropic und Google. So lassen sich mögliche Sicherheitsprobleme erkennen und Nutzer darauf aufmerksam machen.

Was bedeutet das?

Anders ausgedrückt: Wir haben unsere Quellbibliotheken für alle unterstützten Programmiersprachen um LLM-Quellen erweitert. Wenn DeepCode AI, die KI-Engine hinter Snyk Code, mithilfe von maschinellem Lernen Quellen, Bereinigungsfunktionen und Senken gemäß unseren hochmodernen Taint-Regeln erkennt, identifiziert es nun Folgendes und benachrichtigt Nutzer darüber:

• Daten, die aus LLM-Quellen oder -Bibliotheken stammen und in einer sensiblen Funktion oder einem sensiblen Datenspeicher landen oder nicht bereinigt werden.

• Daten, die LLM-Quellen oder -Bibliotheken durchlaufen und entweder eine sensible Funktion oder einen sensiblen Datenspeicher erreichen oder nicht bereinigt werden.

Einfach ausgedrückt: Verwendet ein Entwickler eine der unterstützten LLM-Bibliotheken in seiner Codebasis, führt Snyk Code jetzt eine Taint-Analyse durch, erkennt nicht vertrauenswürdige Daten – also Daten, die in die oben genannten Kategorien fallen – und erstellt für die jeweilige Quelle einen Taint-Befund, über den der Nutzer informiert wird. Zur Klarstellung: Alle von einer LLM-Bibliothek zurückgegebenen Daten werden nun als Quelle behandelt, unabhängig davon, ob der Prompt „fest im Code hinterlegt“ oder von einem Nutzer bereitgestellt wurde. So werden Sie auch dann auf potenzielle Probleme aufmerksam gemacht, wenn Sie Snyk Code in Projekten mit LLM-Frameworks oder -Bibliotheken einsetzen, die wir noch nicht offiziell unterstützen.

Play Video: Snyk DeepCode AI detects vulnerable LLM used as prompt source that introduction an SQL injection

Ein Beispiel dafür, wie Snyk Code eine anfällige LLM-Quelle erkannt und markiert hat, die als Prompt-Quelle verwendet wurde und eine SQL-Injection verursachte.

Play Video: Snyk DeepCode AI detects XSS vulnerability introduced from OpenAI API as LLM prompt injection

Ein Beispiel dafür, wie Snyk Code eine über die OpenAI-API eingeschleuste XSS-Schwachstelle als LLM-Injection erkannt und markiert hat.

Wie geht es weiter?

Die KI-gestützte Softwareentwicklung wächst rasant und entwickelt sich ständig weiter. Deshalb untersuchen unsere Sicherheitsanalysten dieses Thema fortlaufend und veröffentlichen neue Erkenntnisse regelmäßig in unserem Blog. Die deutliche Erweiterung der Abdeckung von Snyk Code unterstreicht Snyks Engagement für sichere und vertrauenswürdige KI. Neben dem Schutz von KI-generiertem und von Menschen erstelltem eigenem Code schützt Snyk Code Unternehmen nun auch auf Quellcodeebene vor Problemen mit Code von Drittanbieter-LLMs. So können Entwickler KI-Funktionen mit Zuversicht in ihre Anwendungen integrieren.