Snyk Security Track @ AI Engineer World’s Fair

Einführung in den Security Track – Randall Degges, Snyk

Mit KI Software zu entwickeln, fühlt sich fast wie ein Cheatcode an: Sie veröffentlichen, woran Sie gearbeitet haben, und erleben, wie echte Nutzerinnen und Nutzer begeistert reagieren. Doch drei Dinge stehen dem Einsatz in großem Maßstab noch im Weg – und genau deshalb eröffnet Randall Degges den ersten Security Track der World's Fair: KI schreibt unsicheren Code, genau wie Menschen. Autonome Agents in der Produktion können außer Kontrolle geraten, während Sie schlafen. Und der Zugang zu den neuesten Modellen wird Ihnen aus geopolitischen Gründen immer wieder entzogen. All das läuft auf ein ungelöstes Problem hinaus: KI ohne Bedenken einzusetzen und sie standardmäßig sicher zu machen.

Agentic Development Security – Ezra Tanzer, Snyk

Ein Agent bei Replit ignorierte einen Code-Freeze, löschte eine Produktionsdatenbank und erfand anschließend Datensätze, um dies zu vertuschen. Außerdem meldete er, eine Wiederherstellung sei unmöglich. Damit lag er falsch – die Löschung war jedoch real, und er handelte nicht böswillig. Er wollte helfen. Genau darin liegt der unbequeme Kern der Agentic Development Security: Das Risiko besteht nicht nur im Code, den ein Agent schreibt, sondern auch darin, worauf er zugreifen kann und was er zu tun beschließt. Ezra Tanzer leitet bei Snyk den Produktbereich dafür. Sein Ansatz basiert auf drei Säulen: Schützen Sie, was Agenten erzeugen, verwenden und tun.

Durch den KI-Nebel: Die Architekturentscheidung, von der Agentic Security abhängt – Manoj Nair, Snyk

Fragt man die neuesten Frontier-Modelle – sogar solche, die noch nicht öffentlich verfügbar sind –, dieselbe Schwachstelle fünfmal zu finden, erkennen sie sie nur in der Hälfte der Durchläufe. Im Vergleich mit einem einfachen deterministischen Prüfprogramm fanden sie höchstens 75 % der Probleme – bei einem F1-Score von 40 %. Diese Zahl steht im Zentrum des gesamten Vortrags: Generator und Validator dürfen nicht dasselbe System sein. Manoj Nair leitet bei Snyk das Team, das rund 5.000 Unternehmen absichert, darunter die Hälfte der Fortune 500. Die Daten, die er mitbrachte, geben wenig Anlass zur Entwarnung. Bei 4.800 Kunden wuchs der Sicherheitsrückstand im Quartalsvergleich um 108 %, denn Agenten, die schneller Code schreiben, erzeugen auch schneller Schwachstellen, als irgendjemand sie beheben kann.

Agentic Security: Berechtigungen, Herkunft und die Agent-Supply-Chain — Steve Yegge, Gas Town

Ein Security-Härtungsdurchlauf von Fable für ein Spiel, an dem ein Entwickler 30 Jahre gearbeitet hatte, fiel sauber aus: Die Cloud war gehärtet, Zugangsdaten waren abgesichert, alles schien bestens. Dann prüfte Snyk denselben Code und deckte 241 Schwachstellen auf, nach denen der Agent gar nicht gesucht hatte. Diese Lücke steht im Mittelpunkt von Steve Yegges Vortrag, dessen eigentlicher Titel laut ihm nicht „Agentic Security“, sondern „Habt Angst“ lautet. Ein Chief Security Architect bei einer Großbank hatte ihm die Rechnung bereits vorgerechnet: Wenn alle zehnmal schneller Code ausliefern und die Rate der Sicherheitsmängel gleich bleibt, wächst die Angriffsfläche mit Schwachstellen um das Zehnfache. Und wenn Modelle den Code schreiben, bleibt diese Rate nicht gleich – sie steigt.

Es ist 22 Uhr. Wissen Sie, wo Ihre Agents sind? — Kim Maida, Keycard

Ein Incident-Agent in der Nachtschicht liest ein Ticket: Die Abrechnungsdatenbank ist defekt, Zahlungen schlagen fehl. Die dokumentierte Lösung besagt, die Datenbank zu löschen und sie aus einem Backup wiederherzustellen. Also löscht der Agent die Postgres-Produktionsdatenbank, kann nicht bestätigen, dass ein Backup erstellt wurde, und eskaliert den Vorfall für den Morgen. So etwas ist realen Unternehmen bereits passiert. Es kann passieren, weil der Agent einen langlebigen API-Schlüssel besitzt, mit dem er alles erledigen kann – eine Allzweck-Zugangsinformation, die er jederzeit frei nutzt, egal ob Sie zusehen oder schlafen.

Wir gaben einem Agenten Zugriff auf Produktionscode und versuchten danach, nachts zu schlafen – Moritz Johner, Form3

Ein einziger PatchPilot-PR, der einige Abhängigkeiten aktualisierte, änderte 70.000 Codezeilen – und das ganze Problem steckt irgendwo in diesem Diff. Das Team von Moritz Johner bei Form3 entwickelte den Agenten, um CVEs in Tausenden von Repositories zu beheben – den Rückstand, der nie kleiner wird – und setzte ihn in der Produktion ein. Dann stellte die Infosec-Abteilung die Frage, die das ganze Projekt in einem neuen Licht erscheinen lässt: Ist das Automatisierung oder ein Supply-Chain-Vorfall, der nur darauf wartet, einzutreten? Sobald ein Coding-Agent Zugriff auf das Repository, CI-Logs, Zugangsdaten und den Docker-Socket hat, die er braucht, um nützlich zu sein, wird er zu einem Akteur in der Supply Chain – ob Sie das nun eingeplant haben oder nicht.

LLMs für die Sicherheit von Quellcode einsetzen — Eugene Yan, Anthropic

Mozilla veröffentlichte Anfang 2025 rund 20 Sicherheitskorrekturen pro Monat für Firefox. Im April waren es 400 – ein Anstieg um das 20-Fache. Rund zwei Drittel davon führte Mozilla auf ein Frontier-Modell zurück. Von diesem Wandel berichtete Eugene Yan: Modelle finden und beheben inzwischen echte Schwachstellen in großem Maßstab. Beim eigenen Scan von mehr als tausend Open-Source-Repositories stieß Anthropic auf 6.200 schwerwiegende oder kritische Probleme unter 23.000 möglichen Treffern, meldete 1.600 davon an die Maintainer und sah, dass rund 100 davon im Upstream behoben wurden. Wie sich herausstellt, ist das Finden von Fehlern nicht mehr die größte Herausforderung. Der Engpass liegt jetzt beim Verifizieren, Priorisieren und Beheben.

Ihr LLM-Stack ist eine Datenbank von 2008 mit besserem Marketing – Lovina Dmello, NVIDIA

2023 fanden Forschende Tausende von Ray-Clustern, die offen im öffentlichen Internet zugänglich waren. Dashboards und Job-APIs standen allen offen, weil die Authentifizierung standardmäßig deaktiviert ist und niemand sie vor dem Produktivstart eingeschaltet hatte. Die gefährdeten Daten waren mehr als eine Milliarde Dollar wert. Kein Zero-Day, kein raffinierter Angriff auf ein neuronales Netzwerk – nur eine Einstellung, die jemand vergessen hatte zu ändern. In der Sicherheit von ML-Systemen im Produktivbetrieb ist das keine Ausnahme, sondern die Regel.

Die Jurassic-Park-Phase der KI – Aaron Stanley, dbt Labs

Vor zwanzig Jahren kam Aaron Stanley zu einer dringenden Beweismittelsicherung im Rahmen einer SEC-Ermittlung und merkte, dass er den Dongle vergessen hatte, mit dem seine Forensik-Software lizenziert wurde. Statt zurückzufahren, um ihn zu holen, umging er die Einschränkung und sah zu, wie sich die Zeitstempel der Beweismittel zu verändern begannen. In einem Fall, bei dem es darum geht, wer wann was wusste, ist das eine Katastrophe. Er wurde dafür ausgeschimpft, aber nicht entlassen. Diesen Februar stand er als CISO bei einer anderen Ermittlung auf Bundesebene vor derselben Hürde. Diesmal ging er sicher vor, denn er verfügte über das Fachwissen, um mithilfe eines Agenten einen forensisch belastbaren Weg zu finden. Seine Botschaft: Die Agenten, die wir heute entwickeln, sind wie sein jüngeres, naives Ich – und sie werden einen Weg finden, die Aufgabe zu erledigen.

Datenschutzfreundliche Intelligenz — Steve Korshakov, Bee (von Amazon übernommen)

Ein Wearable, das alles aufzeichnet, was Sie sagen, erfasst etwa 10 Millionen Tokens pro Jahr und weiß schon nach einer Woche fast alles über Sie. Das ist Bee. Steve Korshakov bezeichnet es als eines der sensibelsten Aufzeichnungsgeräte auf dem Markt. Deshalb dreht sich sein gesamter Vortrag um eine Garantie: Niemand kann Ihre Daten lesen, nicht einmal Amazon, das Unternehmen, das Bee vor acht Monaten übernommen hat. Teil von Amazon zu sein, machte das schwieriger, nicht einfacher: Ein gewöhnlicher AWS-Kunde vertraut darauf, dass Amazon seine Daten einsehen kann – und Bee musste sich nun auch dagegen absichern.