SAS und Snyk sprechen über die Zukunft von KI für Entwicklungs- und Sicherheitsteams

Songtexte verfassen, Code schreiben, Netzwerke absichern – manchmal scheint KI alles zu können. Mit dem Aufkommen von LLM-basierten Engines wie ChatGPT und Google Bard ist das, was einst wie Science-Fiction wirkte, heute für alle mit Internetzugang verfügbar. Diese Fortschritte im Bereich KI stehen bei den meisten Unternehmen ganz oben auf der Agenda und werfen viele Fragen auf:

• Wie sollten wir diese KI-Tools nutzen, um produktiver zu sein?

• Wie können wir diese KI-Engines in unsere eigenen Produkte integrieren?

• Werden sie unserem Unternehmen mehr nützen oder schaden?

• Wie können wir uns am besten auf die Zukunft der KI-Technologie vorbereiten?

Bei einem kürzlich stattgefundenen Fireside Chat sprachen Jared Peterson, SVP of Engineering bei SAS, und Ravi Maira, VP of Product Marketing bei Snyk, über die Zukunft von KI für Sicherheits- und Entwicklungsteams. Jareds Team bei SAS konzentriert sich darauf, Daten mithilfe von KI in Erkenntnisse umzuwandeln und die Produktivität von Entwicklungs- und Sicherheitsteams zu steigern, ohne neue Risiken einzuführen. Im Gespräch beleuchteten Jared und Ravi vier Prognosen zur Nutzung von KI in der sicheren Softwareentwicklung:

1. KI wird für die Produktivität von Entwicklerinnen und Entwicklern noch wichtiger werden.

2. Teams sollten der Vermeidung von Halluzinationen Priorität einräumen.

3. Prompt Engineering wird eine erhebliche Bedrohung bleiben.

4. Die Erkennung von KI-Verzerrungen wird immer verbreiteter.

KI wird für die Produktivität von Entwicklerinnen und Entwicklern noch wichtiger werden 

Jared zufolge werden in den kommenden Jahren diejenigen Unternehmen die Nase vorn haben, die KI für eine höhere Produktivität von Entwicklerinnen und Entwicklern nutzen. Entwicklungsteams können KI für verschiedene Anwendungsfälle einsetzen, etwa zur Automatisierung sich wiederholender Aufgaben (z. B. zum Erzeugen von Boilerplate-Code). Diese kleinen Schritte führen langfristig zu größerem Erfolg. Jared sagt dazu: „Mein Rat an alle in der Softwareentwicklung wäre: ‚Ich verstehe, warum Sie vorsichtig sein möchten … Aber ich möchte Sie ermutigen, KI zu erkunden und ihre Vor- und Nachteile in Ihrem spezifischen Bereich herauszufinden.‘“ 

Teams sollten der Vermeidung von Halluzinationen Priorität einräumen 

KI kann Entwicklungsteams zwar Vorteile bieten, doch ihre LLMs neigen zu Halluzinationen: Sie erzeugen falsche, aber oft sehr glaubwürdig wirkende Informationen. Damit Entwicklungsteams KI im Laufe der Zeit erfolgreich in ihre Pipelines integrieren können, müssen sie ihre Modelle so feinabstimmen, dass diese zuverlässig funktionieren. Jared empfiehlt, sie mit kleineren Datensätzen zu trainieren, die sich auf die spezifischen Anwendungsfälle des Teams beziehen.

Jared empfiehlt außerdem, bei der Entwicklung von Nutzerfunktionen Prompt Engineering im Backend einzusetzen. Er sagte: „Die Texteingabe der Nutzerinnen und Nutzer entspricht nur selten genau dem, was Sie dem Large Language Model übermitteln. Dieser Text wird gewissermaßen Teil einer Vorlage, also des Prompts, den Sie dem Large Language Model tatsächlich bereitstellen. Und genau hier wird das ganze Thema Prompt Engineering sehr interessant. Sie können Halluzinationen eindämmen, indem Sie den Prompt so anpassen, dass er einen ganz bestimmten Bereich des Large Language Models anspricht.“

Prompt Engineering wird eine erhebliche Bedrohung bleiben

Prompt Engineering aus den falschen Quellen kann Ihre Software jedoch ernsthaft gefährden. Da Prompts im Wesentlichen Vorlagen für Konfigurationsdateien sind, könnte ein Angreifer sie mithilfe eines Man-in-the-Middle-Angriffs manipulieren. 

Jared erklärte: „Es gibt einen interessanten neuen Angriffsvektor: Zugriff auf den Prompt zu erhalten und seine Werte zu ändern. Diese Werte verändern definitionsgemäß die Ausgabe eines Large Language Models. Und diese Ausgabe fließt dann zurück in das Softwaresystem.“

Da LLMs anfällig für Bedrohungen wie böswilliges Prompt Engineering sind, müssen Teams, die KI einsetzen, vorsichtig vorgehen. Unternehmen sollten Kontrollmechanismen etablieren, etwa regelmäßige Code-Reviews und weitere Maßnahmen zur Qualitätssicherung.

Die Erkennung von KI-Verzerrungen wird immer verbreiteter

Wenn Unternehmen beginnen, KI einzusetzen, sollten sie auch auf implizite Verzerrungen achten, die durch diese neuen Tools fortgeschrieben werden. Da KI mit Daten aus der Vergangenheit trainiert wird, kann sie historische Probleme wie rassistische Vorurteile in die Zukunft übertragen. 

Zum Glück gibt es immer mehr Tools, um diese Probleme zu beseitigen. Viele Unternehmen und wissenschaftliche Einrichtungen arbeiten an Technologien zur Erkennung von Verzerrungen und an vertrauenswürdiger KI. Verzerrungen zu vermeiden, beginnt jedoch damit, das Problem anzuerkennen und Verantwortung dafür zu übernehmen. Jared erklärte: „Es gibt verschiedene Möglichkeiten, Kundinnen und Kunden bewusst zu machen: ‚Gibt es in Ihren Daten eine bestimmte Schieflage, die Ihnen Sorgen bereiten sollte?‘ … Wenn Sie die magische Ausgabe erhalten, ist es leicht, sich von der Magie mitreißen zu lassen und nicht zu erkennen, dass Sie problematische Dinge für die Zukunft fortschreiben.“

Sehen Sie sich das vollständige Gespräch zwischen Jared und Ravi an

Um der Entwicklung voraus zu sein, müssen sich immer mehr Softwareentwicklungsteams mit der Welt der KI beschäftigen. KI-Technologie sicher einzuführen, erfordert jedoch Zeit, Strategie und Vorsicht – dazu gehören das schrittweise Testen von Tools und das proaktive Einrichten von Schutzmaßnahmen. Wenn Sie mehr über die Zukunft von KI in der sicheren Entwicklung erfahren möchten, sehen Sie sich unten den vollständigen Fireside Chat mit Ravi und Jared an. Erfahren Sie außerdem, wie DeepCode AI von Snyk Entwicklungsteams dabei unterstützt, Schwachstellen in ihren Anwendungen zu finden und zu beheben.

Play Video: Snyk and SaS: AI Fireside Chat