Vom Hype zum Vertrauen: Die Grundlagen sicherer KI-Entwicklung schaffen

Generative KI und agentische KI verändern alles – von der Frage, wer Software schreibt, bis hin zur Definition sicherer Architekturen. Bei Snyks jüngstem Lighthouse-Event in New York kamen Führungskräfte aus Cloud-, Security- und Entwicklungsteams zusammen, um eine zentrale Frage zu beantworten: Wie können wir mit KI schnell vorankommen, ohne Vertrauen zu gefährden? Die Antwort? Schaffen Sie zunächst Transparenz, verankern Sie Security by Design und verlieren Sie die Menschen hinter dem Code niemals aus den Augen.

Der entscheidende Wandel: KI ist nicht nur ein Werkzeugkasten. Sie ist ein Geschäftsmodell.

Das Treffen fand im Manhattaner Büro von Accenture statt, vor einer Skyline, die ebenso beeindruckend war wie die Gespräche. Die Veranstaltung mit exklusiver Gästeliste fühlte sich weniger wie ein Tech-Event an als wie ein Führungskräftegipfel. Stimmen aus der gesamten Branche, darunter CISOs, Platform Engineers und führende Entwickler, berichteten, wie KI nicht nur ihre Tech-Stacks, sondern auch ihre Organigramme, Arbeitsabläufe und Gespräche in den Vorstandsetagen verändert.

Ein Gedanke zog sich klar durch die Diskussion: KI-Sicherheit ist optional. Sie ist eine Grundvoraussetzung.

Manoj Nair, Chief Innovation Officer bei Snyk, sprach über einige Herausforderungen im Zusammenhang mit KI-generiertem Code: KI-Code-Assistenten, die anhand bestehender Codebasen trainiert werden, können schlechte Praktiken weiterführen und Schwachstellen einführen. Ein Kunde berichtete, dass sich die Zahl der Schwachstellen in einer Gruppe, die Copilot nutzte, verdoppelt hatte.

Wie John Delmare, Managing Director bei Accenture, anmerkte: „KI muss als geschäftliche Transformation verstanden werden. Eine Transformation, die Sicherheit von Anfang an einbezieht.“ Wenn Ihr Unternehmen Vertrauen heute nicht operationalisiert, werden Sie bald den Rückstand aufholen müssen.

KI-Vertrauen: Die neue Grundlage sicherer Innovation

Vergessen Sie statischen Code und regelbasierte Engines. KI-native Apps sind da – und sie verhalten sich nicht wie die Software, die wir kennen. Sie generieren, schlussfolgern, reagieren und interagieren in Echtzeit mit Nutzern.

Kurz gesagt: Ohne KI-Sicherheit gibt es kein Vertrauen in KI. Und ohne KI-Bereitschaft gibt es keine KI-Sicherheit.

Diese Bereitschaft beginnt damit, Security sowohl nach links als auch nach rechts zu verlagern – von LLM-Red-Teaming und AI-BOMs bis hin zu Runtime-Fuzzing autonomer Agenten.

Hier kommt KI-Bereitschaft ins Spiel – nicht als einmalige Checkliste, sondern als fortlaufender Wandel hin zu Transparenz, Verantwortlichkeit und kontinuierlichen Schutzmaßnahmen.

Doch bei der Diskussion ging es nicht nur um Technik.

Heute kann jeder eine App entwickeln. Das verändert alles.

Wenn jemand in ChatGPT einen Prompt eingibt, um Workflow-Logik zu generieren – was bedeutet das? Diese Person erstellt eine App.

Beim Lighthouse-Event in New York wurde rege über diesen Wandel diskutiert. Wir beleuchteten verschiedene Aspekte der Frage, wie die Demokratisierung der Softwareentwicklung eine Demokratisierung der Sicherheitsverantwortung erfordert.

Das bedeutet: Threat Modeling ist längst nicht mehr nur Sache der Ingenieure. Juristische Teams, Produktverantwortliche und natürlich auch Security-Experten müssen sich auf die besonderen Risiken agentischer Systeme, probabilistischer Ausgaben und verborgener Toolchains abstimmen.

Das ist nicht DevSecOps 2.0. Das ist KI-native Sicherheit. Das ist die neue Realität.

DevSecOps mit Schutzmaßnahmen statt Hindernissen auf Touren bringen

Natürlich birgt die KI-Welle nicht nur Risiken, sondern eröffnet auch enorme Chancen. Teams berichteten, wie sie GenAI nutzen, um Code schneller zu generieren, Dokumentation in großem Umfang zu erstellen und sogar Lösungen für Schwachstellen vorzuschlagen. Doch in einem Punkt waren sich alle einig.

Geschwindigkeit ist nur dann ein Vorteil, wenn sie sicher ist.

Deshalb bedeutet die Operationalisierung von KI-Vertrauen mehr als nur statische Prüfungen. Sie erfordert Schutzmaßnahmen für den gesamten KI-SDLC. Dazu gehört zu wissen, wo Modelle laufen, womit sie interagieren und wie sich ihr Verhalten in der Produktion entwickelt.

Denn kein Team möchte feststellen, dass sein Chatbot eigenmächtig enorme Flugrabatte oder Gratisangebote gewährt.

Kultur ist der verborgene Multiplikator

Im Laufe des Tages fiel immer wieder ein Wort: Kultur.

Ja, Sie brauchen Scans. Ja, Sie brauchen Observability. Vor allem aber brauchen Sie eine gemeinsame Verantwortung, die sich über das ganze Unternehmen erstreckt – von Entwicklung und Plattform über Security bis hin zu den Geschäftsteams.

Security-Teams müssen sich als Wissensvermittler, Wegbereiter und Richtliniengestalter für eine neue Welle KI-nativer Innovation verstehen.

Vertrauen in KI funktioniert nur mit Vertrauen ins Team.

Und vielleicht machte genau das diese Lighthouse-Diskussion so besonders. Nicht nur die Erkenntnisse, sondern auch die Offenheit. Die Bereitschaft, Neues zu erkunden, Unsicherheit einzugestehen und gemeinsam bessere Lösungen zu entwickeln.

Wie geht es weiter? Von New York ins Silicon Valley

Das Event in New York war erst der Anfang. Als Nächstes steht Lighthouse Silicon Valley an. Dort werden wir weiter erkunden, wie sichere KI-Entwicklung echten geschäftlichen Mehrwert schafft. Von Architektur bis Kultur ist klar: Die Zukunft der Software ist KI-nativ und baut auf Vertrauen.

Wenn Sie sich auf diese Zukunft einstellen, freuen wir uns auf Ihre Nachricht. Besuchen Sie uns nächste Woche in der Bay Area.

Fazit: KI-Vertrauen beginnt mit Snyk

Wir verließen New York mit einer gemeinsamen Überzeugung: KI abzusichern ist keine Nebenaufgabe. Es ist die Hauptsache.

Ganz gleich, ob Sie LLMs in Ihren Stack integrieren oder Ihre Agent-Workflows neu denken: Eines ist klar – Vertrauen lässt sich nicht nachträglich hinzufügen. Es muss von Anfang an eingebaut sein.

Deshalb entwickeln wir bei Snyk die AI Trust Platform:

• Damit Teams Einblick in ihre KI-Assets erhalten

• Damit Teams statt auf Krisenreaktion auf Prävention setzen können

• Damit Sicherheit mit der Geschwindigkeit Schritt halten kann

Denn wenn Software selbstständig denkt, muss Sicherheit vorausschauend denken.