Führt KI in der AppSec zur Hölle oder ins Nirwana?

Der Einsatz künstlicher Intelligenz in allen Lebensbereichen – vom Verfassen von Texten über die Wartung kritischer Infrastrukturen bis zur Herstellung von Waren – ist ein kontroverses Thema. Manche sind begeistert von den Möglichkeiten der KI-/ML-Technologie, während andere ihr mit Sorge und Zurückhaltung begegnen. Diese unterschiedlichen Meinungen werfen eine grundlegende Frage auf: Wird KI unsere heutige Gesellschaft in eine Utopie oder eine Dystopie verwandeln?

Diese anhaltenden Diskussionen werfen auch eine Frage auf, die für unsere Branche spezifischer ist: Ist es eine gute Idee, beim Entwickeln und Absichern von Anwendungen KI einzusetzen, oder führt das nur ins Verderben? Ravi Maira, VP of Product Marketing, und Randall Degges, Head of DevRel & Community, diskutierten im Juni 2023 in einem Live-Gespräch auf LinkedIn über den Einsatz von KI in der AppSec.

Lesen Sie weiter und erfahren Sie einige Highlights aus ihrem Gespräch – unter anderem, wie KI Unternehmen unterstützen kann, bei welchen inhärenten Schwächen Vorsicht geboten ist und was die Zukunft für KI in der Anwendungsentwicklung und -sicherheit bereithält. 

Warum KI für Unternehmen heute wichtig ist

Richtig eingesetzt, kann künstliche Intelligenz die Produktivität und Innovationskraft in der Entwicklung steigern. Hier sind einige Beispiele dafür, wie KI das Programmieren, die Sicherheit und die Produktivität verbessert:

KI als Produktivitätsmultiplikator

KI kann die Produktivität von Entwicklern und Sicherheitsexperten erheblich steigern, indem sie präzisere Antworten liefert und bei der Recherche Zusammenhänge herstellt. 

Randall nannte ein Beispiel aus der Praxis für den KI-Einsatz bei der Recherche: „Letzte Nacht habe ich an einem Projekt gearbeitet. Ich habe eine unserer Podcast-Folgen heruntergeladen … Aber sie war zu groß für das Tool, das ich benutzt habe … Normalerweise wäre mein erster Impuls gewesen, bei Google zu suchen: ‚Wie kann ich diese MP3-Datei in kleinere MP3-Dateien aufteilen?‘ Ich hätte ein großes Audiobearbeitungsprogramm starten können. Aber das ist eine Menge Arbeit. Also habe ich einfach ChatGPT gefragt. Und es hat mir einen FFmpeg-Befehlszeilenbefehl ausgespuckt, mit dem ich die gesamte Ausgabe erstellen konnte. Das hätte eine Weile gedauert, bis ich selbst darauf gekommen wäre.“

Mit KI können Entwickler besser programmieren

Neben der Recherche können Entwickler KI-gestützte Tools nutzen, um komplexen Code zu verstehen. Sucht ein Entwickler mit einer Suchmaschine nach neuem Code, muss er viel Arbeit investieren, um ihn zu verstehen – ein mühsamer Prozess, der viel Zeit und Aufwand kostet. Im Gegensatz dazu erklärt eine Lösung wie Beto Entwicklern mithilfe von KI jede Codezeile. So können sie neuen Code viel einfacher verstehen und damit arbeiten.

KI als Grundlage einiger der leistungsstärksten AppSec-Tools von heute

KI kann auch die Absicherung von Anwendungen voranbringen. Ein einzelnes LLM-Modell ist zwar nicht weit genug entwickelt, um isoliert zu funktionieren, doch in Kombination mit anderen Technologien wird es zu einer leistungsstarken Lösung. Ravi sagte: „Es geht darum, nicht nur ein Modell einzusetzen, sondern verschiedene Methoden des maschinellen Lernens und der KI gezielt für ein bestimmtes Ziel zu nutzen.“  

Die Risiken des KI-Einsatzes in der AppSec

KI kann hilfreich sein, doch sollten wir uns nicht zu sehr von der Begeisterung für diese neue Technologie mitreißen lassen. Bei falscher Anwendung kann KI großen Schaden anrichten. Ravi und Randall nannten einige Risiken, die beim Einsatz von KI für Anwendungssicherheit und Entwicklung entstehen.

Halluzinationen

Halluzinationen – also falsche Informationen, die von einer KI generiert werden – können überall dort zu Problemen führen, wo KI zum Einsatz kommt, auch beim Programmieren und bei Sicherheitspraktiken. Entwickler und Sicherheitsexperten sollten daher sehr vorsichtig sein, wenn sie KI nutzen, um Antworten auf Recherchefragen, Code und Ähnliches zu generieren. 

Diese Unzuverlässigkeit bedeutet, dass Teams weiterhin selbst recherchieren, sich weiterbilden und Wissen austauschen müssen. Außerdem sollten sie dem Grundsatz „Vertrauen ist gut, Kontrolle ist besser“ folgen. Von einem einzelnen KI-Tool generierte Informationen sollten durch menschliche Recherche oder andere Ressourcen wie Sicherheitstools abgesichert werden. 

Minderwertige KI-Eingaben

Ravi und Randall wiesen außerdem darauf hin, dass die Qualität der KI-Ausgaben nur so gut sein kann wie die Qualität der Eingaben. Randall erklärte: „Eine der grundlegenden Regeln bei der Nutzung von LLMs lautet: Je mehr Kontext Sie liefern, desto besser wird die Ausgabe. Wenn Sie also eine leere ChatGPT-Sitzung öffnen und sagen: ‚Hey, erstelle eine Python-Funktion, die dies tut‘, und nur eine sehr vage Beschreibung geben, erhalten Sie wahrscheinlich irgendeine zufällige Ausgabe – unabhängig davon, wie Sie mit den Temperatureinstellungen der zugrunde liegenden Modelle experimentieren. Geben Sie stattdessen mehr Kontext, zum Beispiel: ‚Schauen Sie, ich habe diese ganze Datei oder dieses Verzeichnis mit Dateien.‘“ 

Doch selbst wenn Sie einen sehr konkreten Prompt formulieren – was schwierig sein kann –, gibt es keine Garantie für perfekte Ergebnisse. Die KI-generierten Ergebnisse sind nur so gut wie die Beispiele, mit denen das Modell trainiert wurde. Ravi zufolge „lernt die KI mit unsicherem Code. Wenn Sie also fragen: ‚Wird ChatGPT das Problem mit unsicherem Code einfach lösen?‘ … lautet die Antwort: heute noch nicht … Die Modelle wurden mit unsicherem Code trainiert und erzeugen deshalb unsicheren Code.“ 

Aufgrund der Funktionsweise großer Sprachmodelle (LLMs) gibt es zudem verschiedene Sicherheitsrisiken im Zusammenhang mit KI-Eingaben. Dazu gehören Prompt-Injection (bei nutzerorientierten Anwendungen) sowie komplexere Probleme durch irreführende, suggestive Eingaben. Wenn Sie ChatGPT beispielsweise einen Codeausschnitt geben und nach relevanten Sicherheitsproblemen darin fragen, Ihr Code aber irreführende Variablen- oder Klassennamen enthält, erhalten Sie aufgrund der generativen Modelle wahrscheinlich unerwartete Ausgaben mit irreführenden Informationen.

Die Zukunft der KI in der Anwendungsentwicklung

Da KI in unserer Welt immer stärker zum Einsatz kommt, insbesondere in der Anwendungsentwicklung und -sicherheit, sehen Ravi und Randall einige Trends aufkommen. Zunächst gehen sie davon aus, dass KI sogenannte „Civilian Coder“ unterstützen wird: Menschen ohne bisherige Erfahrung in der Entwicklung, die mithilfe dieser Tools Code erstellen. 

Außerdem erwarten sie, dass der Bedarf an leistungsstarken Anwendungssicherheitstools weiter wächst – insbesondere an Tools, die KI intelligent nutzen. Die Tools, die sich in dieser sich ständig wandelnden Branche durchsetzen, werden auf KI als Innovationstreiber setzen, aber Menschen oder zusätzliche Technologien einsetzen, um jede KI-generierte Aussage gegenzuprüfen.

Wenn Sie mehr über KI in der AppSec erfahren möchten, sehen Sie sich das vollständige Gespräch von Ravi und Randall auf LinkedIn an.