Sechs Prinzipien für ein neues Denken über DevSecOps für KI
Artikel von
0 Min. Lesezeit
Wenn Unternehmen den Einsatz von KI beschleunigen – von KI-Coding-Assistenten über agentische Workflows bis hin zu LLM-gestützten Anwendungen –, ist ein neues Sicherheitsparadigma unverzichtbar. Die traditionellen DevSecOps-Prinzipien, die die Anwendungssicherheit grundlegend verändert haben, müssen sich nun weiterentwickeln, um den besonderen Herausforderungen von KI-Systemen gerecht zu werden: Prompt-Injection-Angriffen, Modelldiebstahl, Data Poisoning und Schwachstellen in der ML-Lieferkette.
Diese sechs Prinzipien bieten einen umfassenden Rahmen für souveräne KI-Sicherheit und helfen Teams, innovative und zugleich sichere KI-Systeme zu entwickeln und bereitzustellen.
1. Entwicklerorientierte KI-Sicherheit
Sicherheitstools und -Workflows müssen dort ansetzen, wo Entwickler arbeiten – insbesondere da sie zunehmend zu „Kontext-Engineers“ werden. Wenn KI-Coding-Assistenten große Teile des Codes generieren, benötigen Entwickler direkt in ihren Workflows zeitnahes Sicherheitsfeedback statt separater Tools, die sie ausbremsen.
KI-generierter Code kann in beispielloser Geschwindigkeit Schwachstellen einführen. Sicherheitsteams müssen sich von Gatekeepern zu Unterstützern wandeln und Entwicklern sofortige Einblicke in Qualität und Sicherheitsrisiken KI-generierten Codes geben.
Unser Prinzip: Entwicklerorientierte Sicherheit steht für einen grundlegenden Wandel: Entwickler übernehmen die Hauptverantwortung für Sicherheit – auch für den Code, den die KI für sie schreibt.
Bewährte Maßnahmen:
Integrieren Sie Sicherheitsscans direkt in die IDEs, in denen KI Code generiert.
Geben Sie zeitnah Feedback zu Schwachstellen in KI-generiertem Code.
Helfen Sie Entwicklern, KI-spezifische Risiken wie halluzinierte Pakete zu verstehen.
Bilden Sie Entwickler mit integrierten Lernangeboten zu KI-Sicherheitskonzepten weiter.
Weiterführende Links:
4 verborgene Risiken beim KI-Coding und wie Sie ihnen begegnen: Behandelt Sicherheitslücken, die KI-Coding-Tools wie ChatGPT und GitHub Copilot verursachen können.
2. KI von Anfang an sicher gestalten
Sicherheit muss bereits beim ersten Prompt integriert sein und darf nicht erst nach der Bereitstellung nachgerüstet werden. KI-Systeme sollten mit einem Threat Modeling konzipiert werden, das KI-spezifische Angriffsvektoren berücksichtigt: adversariale Eingaben, Modellmanipulation, Datenexfiltration über Prompts und die Kompromittierung von Modellen und Trainingsdaten in der Lieferkette.
KI-Sicherheitslücken erst nach der Bereitstellung zu entdecken, ist exponentiell kostspieliger. Ein vergiftetes Modell oder durchgesickerte Trainingsdaten lassen sich nicht einfach „patchen“.
Unser Prinzip: KI-Sicherheitslücken frühzeitig zu beheben, ist erheblich kostengünstiger. Schwachstellen in bereitgestellten KI-Systemen können ein vollständiges erneutes Training der Modelle und umfangreiche Korrekturmaßnahmen erforderlich machen.
Bewährte Maßnahmen:
Führen Sie vor Beginn der Entwicklung ein KI-spezifisches Threat Modeling durch.
Verwenden Sie standardmäßig sichere Konfigurationen für KI-Komponenten.
Verankern Sie Leitplanken und Sicherheitsebenen in der grundlegenden Architektur.
Berücksichtigen Sie von Anfang an die OWASP Top 10 für LLMs bei der Gestaltung von KI-Systemen.
Weiterführende Links:
Das Model Context Protocol (MCP) mit Vandana Verma absichern: Eine OWASP-Führungskraft und Snyk-Sicherheitsexpertin spricht über die Absicherung von KI-Protokollen und die LLM Top 10.
3. Gemeinsame Verantwortung für KI und eine Kultur der Zusammenarbeit
KI-Sicherheit erfordert Zusammenarbeit zwischen Entwicklungs-, Sicherheits-, Betriebs-, Data-Science- und ML-Engineering-Teams. Klare Zuständigkeiten verhindern kritische Lücken. Wer ist verantwortlich, wenn ein KI-Modell eine schädliche Entscheidung trifft? Wenn Trainingsdaten kompromittiert werden? Wann ein Agent unbeabsichtigte Aktionen ausführt?
Security-Champion-Programme müssen um KI-Champions erweitert werden, die sowohl traditionelle Sicherheit als auch KI-spezifische Risiken wie Prompt Injection, Modelldiebstahl und übermäßige Autonomie verstehen.
Unser Prinzip: KI-Sicherheit vereint verschiedene Fachbereiche unter gemeinsamer Verantwortung. Entwickler, Sicherheitsingenieure und ML-Teams bringen ihre jeweiligen Kompetenzen ein, um gemeinsam schnelle, sichere und vertrauenswürdige KI-Systeme bereitzustellen.
Bewährte Maßnahmen:
Legen Sie klare Zuständigkeiten für die Sicherheit von KI-Modellen, Daten und Inferenz fest.
Bilden Sie KI-Security-Champions, die ML-Engineering- und Sicherheitsteams miteinander verbinden.
Fördern Sie eine Kultur, in der KI-Risiken offen besprochen und gemeinsam angegangen werden.
Definieren Sie die Verantwortung für Aktionen von KI-Agenten und autonome Entscheidungen.
Weiterführende Links:
Snyks Danny Allan darüber, wie Sicherheit entwicklerfreundlich wird: Erfolgreiche Security-Champion-Programme aufbauen und Sicherheit nach links verlagern, ohne zusätzliche Hürden zu schaffen.
4. Automatisierung über den gesamten KI-Lebenszyklus hinweg
Integrieren Sie automatisierte Sicherheitsprüfungen in den gesamten KI-Lebenszyklus – von der Datenaufnahme und dem Modelltraining bis hin zu Inferenz und Produktionsüberwachung. Manuelle Sicherheitsprüfungen können mit der Entwicklungsgeschwindigkeit von KI nicht Schritt halten. Policy-as-Code ermöglicht eine einheitliche Durchsetzung von Richtlinien für alle KI-Anwendungen und -Agenten.
KI-Systeme erfordern eine kontinuierliche Sicherheitsüberwachung, die über die traditionellen SDLC-Phasen hinausgeht und auch die Analyse des Modellverhaltens, die Überwachung von Prompts und Antworten sowie die KI-spezifische Anomalieerkennung umfasst.
Unser Prinzip: KI-Sicherheit sollte so weit wie möglich automatisiert werden – in Entwicklungs-Workflows, Modell-Pipelines und bei der Laufzeit-Inferenz.
Bewährte Maßnahmen:
Integrieren Sie automatisierte Scans von KI-generiertem Code in CI/CD-Pipelines.
Setzen Sie kontinuierliches KI-Red-Teaming ein, um adversariale Schwachstellen aufzudecken.
Automatisieren Sie Tests auf Prompt Injection und Prüfungen der Modellrobustheit.
Ermöglichen Sie die Durchsetzung von Richtlinien zur Nutzung von KI-Modellen und zu Agentenberechtigungen.
Weiterführende Links:
Sicherheit mit Snyk in Ihre Pipelines integrieren: Eine praktische Anleitung zur Automatisierung von Sicherheitsprüfungen in Ihrer Entwicklungspipeline.
5. KI-spezifische, umsetzbare Intelligence
Sicherheitsbefunde müssen auf den Kontext von KI-Systemen zugeschnitten sein. Allgemeine Warnmeldungen zu Schwachstellen verursachen unnötiges Rauschen und übersehen KI-spezifische Risiken. Teams benötigen verständliche Erläuterungen zu Schwachstellen durch Prompt Injection, Modellschwächen und Risiken der Datenoffenlegung – mit konkreten Empfehlungen zur Behebung.
KI-Sicherheitsinformationen müssen Fehlalarme reduzieren und zugleich die entscheidenden Risiken sichtbar machen: verwundbare Abhängigkeiten in ML-Pipelines, offengelegte Modellendpunkte und kompromittierte Trainingsdatenquellen.
Unser Prinzip: Optimieren Sie KI-Sicherheitsberichte auf Genauigkeit und Relevanz. Machen Sie KI-spezifische Bedrohungen wie Prompt Injection, Modelldiebstahl und Data Poisoning sichtbar und zeigen Sie klare Wege zur Behebung auf.
Bewährte Maßnahmen:
Stellen Sie kontextbezogene Schwachstelleninformationen für KI-Systeme bereit.
Unterscheiden Sie zwischen Code-Schwachstellen und KI-spezifischen Schwachstellen.
Geben Sie klare Empfehlungen zur Behebung von KI-Bedrohungen – nicht nur CVE-Verweise.
Verringern Sie die Alarmmüdigkeit, indem Sie ausnutzbare KI-Risiken priorisieren.
Weiterführende Links:
Prompt Injection verstehen: Techniken, Herausforderungen und Risiken
Die 12 größten KI-Sicherheitsrisiken, die Sie nicht ignorieren sollten
KI-generierten Code ausnutzen: Zeigt reale Beispiele für Sicherheitslücken in KI-generiertem Code und erklärt, wie Sie sie erkennen.
6. KI-Governance und kontinuierliche Verbesserung
Messen Sie die Ergebnisse der KI-Sicherheit anhand konkreter KPIs: Zeit bis zur Erkennung von Prompt-Injection-Versuchen, Behebungsquoten von Modellsicherheitslücken, Einhaltung von Richtlinien durch KI-Agenten und Integrität der Lieferkette für ML-Abhängigkeiten. Governance ermöglicht Benchmarking und fördert die Weiterentwicklung der Sicherheit.
KI-spezifische Governance-Frameworks wie AI-SPM (AI Security Posture Management) und AI-BOMs (AI Bill of Materials) schaffen Transparenz über die KI-Angriffsfläche, die traditionelle Tools nicht bieten.
Unser Prinzip: KI-Governance unterstützt die Erstellung und Verwaltung von Richtlinien. Gleichzeitig hilft sie Sicherheitsverantwortlichen, den Sicherheitsstatus von KI zu vergleichen, Strategien festzulegen und kontinuierliche Verbesserungen für alle KI-Assets zu messen.
Bewährte Maßnahmen:
Setzen Sie AI Security Posture Management (AI-SPM) ein, um einen umfassenden Überblick zu erhalten.
Erstellen Sie eine AI Bill of Materials (AI-BOM), um Modelle, Datenquellen und Abhängigkeiten nachzuverfolgen.
Definieren Sie KI-spezifische Sicherheits-KPIs, etwa die Erkennungsrate von Prompt Injection, die Modellintegrität und die Richtlinieneinhaltung durch Agenten.
Legen Sie Governance-Richtlinien für die Nutzung von KI-Modellen, den Umgang mit Daten und Agentenberechtigungen fest.
Weiterführende Links:
Was ist ASPM? (Application Security Posture Management): Erläutert Konzepte des Sicherheitsstatusmanagements, die sich mit AI-SPM auf die Governance von KI-Systemen übertragen lassen.
Das Fundament für KI-Sicherheit legen
Die sechs zentralen DevSecOps-Prinzipien haben ihren Nutzen für die Absicherung traditioneller Softwareentwicklung bewiesen. Während KI die Entwicklung und Bereitstellung von Anwendungen verändert, müssen sich diese Prinzipien weiterentwickeln und einer neuen Bedrohungslandschaft Rechnung tragen: Code wird mit Maschinengeschwindigkeit generiert, Modelle können manipuliert werden und autonome Agenten treffen Entscheidungen in Echtzeit.
Unternehmen, die KI-Sicherheit mit entwicklerorientierten Tools, sicherer Architektur von Anfang an, gemeinsamer Verantwortung, umfassender Automatisierung, KI-spezifischer Intelligence und robuster Governance meistern, können im KI-Zeitalter sicher innovativ sein.
Möchten Sie KI-Sicherheitsprinzipien in die Praxis umsetzen? Erfahren Sie, wie Sicherheitsverantwortliche auf die heutige KI-getriebene Bedrohungslandschaft reagieren und was es braucht, um KI-generierten Code in der Produktion zu schützen. Laden Sie den Bericht „Die KI-Sicherheitskrise: Python im KI-Zeitalter absichern“ herunter.
WHITEPAPER
Die KI-Sicherheitskrise in Ihrer Python-Umgebung
Angesichts des rasanten Entwicklungstempos: Wissen Sie wirklich, worauf Ihre KI-Umgebung zugreifen kann?