Was bedeutet Bidens Executive Order zu KI-Sicherheitsmaßnahmen für Unternehmen?
2. November 2023
0 Min. LesezeitAm 30. Oktober erließ US-Präsident Joseph Biden eine umfassende Executive Order („EO“), die KI sicherer und verantwortungsvoller machen soll.
Zusammenfassung der Executive Order zu KI
Die Executive Order deckt ein breites Spektrum an Themen ab – von algorithmischer Voreingenommenheit über den Schutz der Privatsphäre bis hin zu Sicherheitsvorschriften für führende KI-Modelle. Dabei handelt es sich um die größten und modernsten Modelle wie GPT-4, Bard und Llama 2. Die Executive Order verpflichtet zahlreiche Regierungsbehörden, im kommenden Jahr spezifische Bereiche der KI-Regulierung zu schaffen. Außerdem enthält die EO einen Abschnitt zur Förderung der offenen Entwicklung von KI-Technologien, zur Unterstützung von Innovationen im Bereich KI-Sicherheit und zum Aufbau von Tools, die mithilfe von KI die Sicherheit verbessern.
Die Technologiebranche setzt sich noch mit der EO und ihren möglichen Auswirkungen auseinander. In einigen wichtigen Bereichen schweigt sie. So erwähnt die EO beispielsweise Open Source nicht und sieht auch keine Ausnahmen für Open-Source-Projekte vor, die etwa neue Basismodelle entwickeln. In anderen Bereichen ist unklar, wie die Formulierungen auszulegen sind. Die EO besagt, dass Modelle, für deren Training mehr als eine bestimmte Menge an Rechenressourcen benötigt wird, ihre Ergebnisse melden müssen. Sie erklärt jedoch nicht eindeutig, ob das für alle Modelle gilt oder nur für Modelle, die sich leicht für böswillige Zwecke umfunktionieren lassen.
Die EO ist außerdem kein rechtlich durchsetzbares Regelwerk, sondern soll vielmehr den Rahmen für künftige Vorschriften schaffen. Sie wird daher wahrscheinlich die Prioritäten und Vorgehensweisen der Regulierungsbehörden beeinflussen und so künftige KI-Gesetze prägen. Die entscheidende Frage lautet natürlich: Wie wirkt sich diese Anordnung auf die Entwicklung und den Einsatz von Technologien in Unternehmen und Organisationen aus, die KI-Systeme entwickeln oder darauf aufbauen? (In diesem Blogbeitrag bezeichnet „KI-System“ jedes Datensystem, jede Software, Hardware, Anwendung, jedes Tool und jedes Dienstprogramm, das ganz oder teilweise KI nutzt.) Die KI-Entwicklung schreitet sehr schnell voran, und Ihre Organisation arbeitet möglicherweise bereits an KI-Praktiken, deren Rückgängigmachung bei Inkrafttreten der Vorschriften schwierig oder kostspielig wäre. Idealerweise möchten Sie diese Situation vermeiden und Ihre AIOps und Produkte proaktiv zukunftssicher machen – mit Best Practices, die den Leitlinien der Executive Order folgen.
Wichtige Fragen zur Executive Order für KI
Hier finden Sie einen kurzen Überblick über die wichtigsten Fragen, die uns gestellt werden, und unsere Einschätzung der Antworten zum jetzigen Zeitpunkt. (Hinweis: Wir aktualisieren diesen Beitrag möglicherweise im Laufe der Zeit, wenn sich die Lage weiterentwickelt. Aktualisierungen werden mit einem Datum gekennzeichnet.)
Behandelte Fragen
Was löst die in der Executive Order festgelegten Meldepflichten aus?
Welche Auswirkungen hat die Executive Order auf KI-generierten Code?
Die EO enthält eine Bestimmung zu Cybersicherheit und KI-Tools. Muss ich deshalb etwas unternehmen?
Frage: In der Executive Order ist von einem Register für KI-Modelle die Rede. Muss ich mein Modell registrieren?
Antwort: Das ist derzeit unklar. Wir gehen jedoch davon aus, dass Unternehmen, die kleinere KI-Modelle entwickeln oder vorhandene Modelle nutzen, diese in den meisten Fällen nicht registrieren müssen.
Frage: Was löst die in der Executive Order festgelegten Meldepflichten aus?
Antwort: Die EO verpflichtet KI-Entwickler dazu, groß angelegte KI-Trainingsläufe zu melden, die ein erhebliches Sicherheitsrisiko darstellen könnten. Außerdem müssen die Ergebnisse von Sicherheitsbewertungen oder „Red-Teaming“-Tests gemeldet werden. Cloud-Service-Anbieter müssen die Regierung ebenfalls benachrichtigen, wenn eine ausländische Person versucht, Rechenressourcen zu erwerben, mit denen sich ein großes KI-Modell trainieren lässt.
Ausgehend von der Formulierung der EO gilt die Meldepflicht voraussichtlich für sehr große Modelle – also Modelle, die mit mehreren zehn Millionen Rechenstunden auf den neuesten GPUs trainiert wurden. In der Praxis bedeutet das Modelle, die auf einem Cluster mit mehr als 1026 ganzzahligen oder Gleitkommaoperationen oder auf einem beliebigen Rechencluster mit einem lokalen Netzwerkdurchsatz von mehr als 100 Gbit/s trainiert wurden. Umgerechnet entspricht das einem Modelltraining mit mehreren zehn Billionen Tokens. GPT-4 wurde Berichten zufolge mit 1,7 Billionen Tokens trainiert – einer Größenordnung weniger. Anders ausgedrückt: Die in der EO genannten Schwellenwerte betreffen in naher Zukunft wahrscheinlich nur die größten Modellentwickler und die größten Rechencluster, die wohl die größten Modelle trainieren und pro Trainingslauf viele Millionen Dollar kosten. Bitte beachten Sie jedoch, dass die EO festlegt, dass die Regierung diese Kriterien künftig ändern kann. Die Schwellenwerte könnten also je nach regulatorischen Entscheidungen steigen oder sinken.
Frage: In der Executive Order ist von Meldestandards für „Dual-Use“-KI-Modelle die Rede. Wie werden diese definiert?
Antwort: Kurz gesagt: In der EO werden sie nicht eindeutig definiert. Offenbar sollen damit KI-Modelle erfasst werden, die für böswillige Zwecke genutzt werden können. In der Praxis lässt sich jedoch fast jede KI für böswillige Zwecke trainieren und einsetzen. Dieser Punkt ist daher ziemlich vage. Dennoch finden Sie weiter unten einige grundlegende Empfehlungen.
Frage: Die Executive Order erwähnt Open-Source-Software nicht. Wie wird sie auf Open-Source-KI-Modelle angewendet?
Antwort: Bislang gibt es keine klaren Leitlinien zu Open-Source-Modellen und Open-Source-KI. Allgemein dürften die Leitlinien der Executive Order jedoch für Open-Source-KI und alle Modelle gelten, die entwickelt und als Open Source veröffentlicht werden.
Frage: In der Executive Order geht es speziell um sehr große Basismodelle. Fallen große Open-Source-Modelle wie Llama 2, Falcon 70B oder Mistral darunter?
Antwort: Die Executive Order weist ausdrücklich darauf hin, dass die Bestimmungen und Vorschriften für noch nicht veröffentlichte Modelle gelten. Diese bereits bestehenden Modelle werden daher wahrscheinlich unterschiedlich streng geprüft. Wenn Sie auf diesen Modellen aufbauen und sie verändern, besteht eine erhebliche Wahrscheinlichkeit, dass Ihr Team zumindest einen Teil der regulatorischen Aufsichts- und Meldepflichten erfüllen muss.
Frage: In der Executive Order wird viel über KI-Sicherheit gesagt. Gibt es konkrete Handlungsempfehlungen für mich?
Antwort: Sicherheit ist ein ziemlich subjektiver Begriff, aber hier eine kurze Einschätzung: Die Anordnung betont, dass KI-Systeme sicher und geschützt sein müssen. Sie verlangt robuste, zuverlässige, wiederholbare und standardisierte Bewertungen von KI-Systemen sowie Richtlinien und Mechanismen, mit denen sich Risiken dieser Systeme testen, verstehen und mindern lassen, bevor sie eingesetzt werden. Wenn Ihre Organisation also KI-Systeme für öffentlich zugängliche Produkte oder Produktionsanwendungen trainiert oder optimiert, sollten Sie strukturierte und auditierbare Sicherheitsprozesse einführen, die speziell auf Ihre KI-Assets ausgerichtet sind.
Frage: Ein Abschnitt der Executive Order befasst sich mit Bürgerrechten, Datenschutz und algorithmischer Voreingenommenheit. Welche Auswirkungen könnte das auf meine Organisation haben?
Antwort: Die Anordnung verlangt, dass die Privatsphäre und die Bürgerrechte der US-Bevölkerung auch bei der Weiterentwicklung von KI geschützt werden. Sie enthält zwar keine konkreten Leitlinien, doch andere Gesetze auf Ebene einzelner Bundesstaaten (wie in Kalifornien) oder auf nationaler Ebene (zum Beispiel in der Europäischen Union) befassen sich bereits damit. Entscheidend ist, dass KI-Anwendungen und -Modelle denselben Schutzmaßnahmen, Transparenz- und Herkunftsnachweispflichten unterliegen müssen wie herkömmliche Anwendungen ohne KI. Besonders herausfordernd kann es sein, KI-Systeme mit Datensätzen zu trainieren, die verborgene Verzerrungen enthalten oder anonymisierte personenbezogene Daten (PII) umfassen, die sich mit den passenden Prompts extrahieren lassen. Diese beiden Szenarien könnten zu Gesetzesverstößen oder möglicherweise zu Klagen führen.
Frage: Welche Auswirkungen hat die Executive Order auf KI-generierten Code?
Antwort: Die Executive Order enthält keine konkreten Bestimmungen zu KI-generiertem Code und erwähnt ihn auch nicht ausdrücklich. Dennoch sollten Sie davon ausgehen, dass KI-generierter Code die allgemeinen Vorschriften für Anwendungssicherheit und Codesicherheit einhalten muss – insbesondere die Vorschriften zur Supply-Chain-Sicherheit. Wir sind der Ansicht, dass jedes Unternehmen, das Software entwickelt und KI-gestützte Programmier-Tools einsetzt, diese Tools als Teil seiner Software-Supply-Chain betrachten sollte. Das ist besonders wichtig für Open-Source-Software, die zahlreiche kurzlebige, verschachtelte, bedingte oder direkte Abhängigkeiten von anderen Open-Source-Projekten aufweisen kann. Anders gesagt: Wahrscheinlich werden Sie Anforderungen sehen, die denen rund um die Software-Stückliste (SBOM) ähneln.
Frage: Es klingt, als bräuchten wir ein AIBOM!
Antwort: Tatsächlich ist es eine gute Idee, ein AIBOM zu erstellen, das Ihrer SBOM entspricht. Mindestens sollten Sie alle KI-Einsatzbereiche, Prozesse und Trainingsdaten dokumentieren. Auch ein Probeaudit und eine Compliance-Prüfung anhand bestehender Software- und Technologievorschriften können als Ersatz für ein AIBOM dienen und Ihre Organisation auf Vorschriften vorbereiten, die kurz- bis mittelfristig eingeführt werden könnten.
Frage: Ich arbeite mit biologischen Daten. Welche Auswirkungen haben die Bestimmungen zu biologischen Waffen auf meine Organisation?
Antwort: Für Trainingsläufe gilt eine etwas niedrigere Rechenschwelle, ab der eine Meldepflicht greift. Modelle, die mehr als 1023 ganzzahlige oder Gleitkommaoperationen benötigen, müssen ihre Trainingsläufe melden. Dieser Wert ist jedoch immer noch relativ hoch und liegt deutlich über dem Rechenaufwand der meisten Modelle, die heute für biologische Daten verwendet werden.
Frage: Ich arbeite mit sehr großen Modellen, entwickle diese aber nicht selbst. Welche Auswirkungen hat die EO auf mich?
Antwort: Wenn Sie Trainingsläufe mit sehr großen Modellen durchführen, die sich den genannten Rechenschwellen nähern, müssen Sie Ihre Trainingsläufe und die Ergebnisse von Sicherheitsbewertungen möglicherweise melden – selbst wenn Sie vorhandene Modelle verwenden. Auch wenn Sie keine Trainingsläufe an oder nahe der Schwelle durchführen, müssen Sie Ihre Anwendung möglicherweise registrieren. Gewissheit werden Sie allerdings wahrscheinlich erst haben, wenn der anstehende Prozess zur Ausarbeitung der Vorschriften abgeschlossen ist.
Frage: Die EO enthält eine Bestimmung zu Cybersicherheit und KI-Tools. Muss ich deshalb etwas unternehmen?
A: Nein. Dabei geht es vor allem darum, neue Tools und Forschung im Bereich Cybersicherheit zu fördern – sowohl für den Einsatz von KI als auch für die Überwachung und Absicherung von KI-Modellen, AIOps sowie der KI-gestützten Anwendungsentwicklung und -bereitstellung. Wenn Sie natürlich neue Cybersicherheitsfunktionen mit KI entwickeln oder sich vor KI-Risiken schützen möchten, würde sich DARPA wahrscheinlich freuen, wenn Sie an ihrem Wettbewerb teilnehmen!
F: Ich nutze bereits viele Open-Source-KI-Anwendungen und -Modelle. Was sollte ich tun, um ihre Sicherheit zu gewährleisten?
A: Da Open-Source-KI inzwischen Teil Ihrer Supply Chain ist, sollten Sie sie auch so behandeln und davon ausgehen, dass Angreifer versuchen werden, die Open-Source-KI-Supply-Chain zu kompromittieren – genau wie sie es bei der Open-Source-Software-Supply-Chain versucht haben. (Tatsächlich überschneiden sich die beiden Supply Chains erheblich.) Achten Sie besonders darauf, wer Open-Source-KI-Komponenten und -Code kontrolliert, und scannen Sie den Code regelmäßig auf Schwachstellen. Überwachen Sie außerdem die Komponenten auf Änderungen der Kontrolle, nicht nachvollziehbare Änderungen an Code oder Daten und andere Anzeichen dafür, dass Risiken eingeschleust werden könnten.
F: Die Executive Order scheint sehr allgemein und vage formuliert zu sein. Deshalb kann ich nur schwer einschätzen, ob sich künftige Vorschriften auf Grundlage dieser Leitlinien auf mich oder mein Unternehmen auswirken werden. Welchen Zweck haben derart unklare Leitlinien?
A: Wenn neue Bereiche unter regulatorische Aufsicht gestellt werden, formulieren Behörden Leitlinien und Vorschriften häufig sehr allgemein, weil sie nicht wissen, wie sich die Dinge entwickeln werden. Diese vage Formulierung gibt den Aufsichtsbehörden die Flexibilität, möglichst viele Szenarien abzudecken. Wir gehen davon aus, dass es bei dieser Executive Order genauso ist und dass die Vorgaben nach der ersten Welle von Vorschriften konkreter werden, sobald sich weitere Anwendungsfälle und Szenarien abzeichnen. Deshalb sollten Unternehmen vorsichtig vorgehen und bei KI-Systemen strengere Richtlinien und Verfahren einführen, um nicht von sich weiterentwickelnden Vorschriften überrascht zu werden.
F: Was sind also die wichtigsten Erkenntnisse für Teams aus den Bereichen Cybersicherheit, Anwendungssicherheit, Compliance und Audit?
A: Die Executive Order definiert den Begriff „KI-System“ als „…jedes Datensystem, jede Software, Hardware, Anwendung, jedes Tool oder Dienstprogramm, das ganz oder teilweise mithilfe von KI funktioniert.“ Dazu gehören
„Tests und Evaluierungen, einschließlich der Überwachung der Leistung nach der Bereitstellung, tragen dazu bei, sicherzustellen, dass KI-Systeme wie vorgesehen funktionieren, gegen Missbrauch oder gefährliche Änderungen gewappnet sind, ethisch entwickelt und sicher betrieben werden sowie geltende Bundesgesetze und -richtlinien einhalten.“ Anders gesagt: Sie sollten Ihre KI-Systeme, Ihren KI-Stack und alle zugehörigen Elemente – einschließlich generiertem Code – genauso absichern wie alles andere in Ihrer Codebasis, Infrastruktur oder Angriffsfläche. Was bedeutet das für Sicherheitsteams?
Erstens sollten Sie dies als Startschuss für ein wahrscheinliches Wettrennen um KI-Regulierungen betrachten. Ziehen Sie deshalb Schutzvorkehrungen und Sicherheitsmaßnahmen in Betracht, um Ihre gesamte KI-Infrastruktur zu schützen. Dazu gehören Ihre Daten, Ihre Betriebs-Pipelines und der Anwendungscode, mit dem Sie Ihre KI-Apps entwickeln. Das bedeutet, alle bestehenden Cybersicherheitsmaßnahmen, wo anwendbar, auch auf AIOps auszuweiten. Selbst wenn sich Ihr KI-Stack schnell verändert und weiterentwickelt, werden beispielsweise Code-Scans mit entsprechenden Tools und automatisierte Sicherheitsmaßnahmen zunehmend unverzichtbar.
Zweitens sollten Sie davon ausgehen, dass Ihr KI-Stack und Ihre Prozesse geprüft werden oder dass solche Prüfungen für die Einhaltung gesetzlicher Vorgaben erforderlich sind. Das heißt, Sie müssen einen Compliance-Prozess und einen Plan für KI entwickeln und alle Cybersicherheitsmaßnahmen im Zusammenhang mit KI-Anwendungen dokumentieren.
Und schließlich sollten Sie bei KI-generiertem Code sicherstellen, dass alle KI-Codevorschläge genauso sorgfältig geprüft und auditiert werden wie jeder andere Code. Es gibt deutliche Hinweise darauf, dass Unternehmen durch KI-Codevorschläge produktiver werden und Code schneller ausliefern. Umso wichtiger sind automatisierte Sicherheitsprüfungen, damit Sie auch bei einer sich noch schneller verändernden Codebasis den Überblick behalten.
Die wichtigste Erkenntnis? Bewährte Best Practices weiterhin anwenden.
Snyk ist führend bei der Absicherung von KI-generiertem Code. Unsere Lösung ist 50-mal schneller als andere Lösungen und führt Prüfungen unauffällig und in Echtzeit direkt in der IDE durch – mit vollständigem Anwendungskontext. Und das Beste: Wir integrieren uns in jedes generative KI-Coding-Tool, das Sie heute oder morgen für Ihr Unternehmen benötigen. Sichern Sie Ihren KI-Stack von Grund auf ab – beginnend mit Ihrem KI-generierten Code –, damit Sie geschützt sind und Compliance-Vorgaben erfüllen.
Sichern Sie KI-generierten Code ab
Erstellen Sie Ihr kostenloses Snyk-Konto und sichern Sie KI-generierten Code in wenigen Minuten ab. Oder buchen Sie eine Demo mit unseren Experten und erfahren Sie, wie Snyk Ihre Anwendungsfälle für Entwicklersicherheit unterstützt.