Der Safe and Secure Innovation for Frontier Artificial Intelligence Models Act (, Kürzel SB 1047) ist ein kalifornisches Gesetz aus dem Jahr 2024, das darauf abzielt, „das Risiko katastrophaler Schäden durch KI-Modelle zu mindern, die so fortgeschritten sind, dass sie noch nicht bekannt sind“. Konkret würde das Gesetz auf Modelle angewendet werden, deren Trainingskosten über 100 Millionen US-Dollar liegen und die mit einer Rechenleistung von mehr als 1026 Ganzzahl- oder Fließkommaoperationen trainiert wurden. SB 1047 würde für alle KI-Unternehmen gelten, die in Kalifornien Geschäfte tätigen – der Standort des Unternehmens spielt keine Rolle. Das Gesetz schafft Schutzmaßnahmen für Whistleblower und verpflichtet Entwickler, Risikobewertungen ihrer Modelle vor der Veröffentlichung durchzuführen, unter der Aufsicht der Kalifornischen Government Operations Agency. Zudem würde CalCompute eingerichtet, ein öffentliches Cloud-Computing-Cluster der University of California für Startups, Forscher und Gemeinschaftsgruppen.

Hintergrund Der rasante Anstieg der Fähigkeiten von KI-Systemen in den 2020er Jahren, einschließlich der Veröffentlichung von ChatGPT im November 2022, veranlasste einige Forscher und Mitglieder der Öffentlichkeit, Bedenken hinsichtlich existentieller Risiken im Zusammenhang mit immer mächtigeren KI-Systemen zu äußern. Die Plausibilität dieser Bedrohung wird weithin diskutiert. Eine Regulierung von KI wird auch manchmal befürwortet, um Vorurteile und Datenschutzverletzungen zu verhindern. Allerdings wird sie kritisiert, da sie möglicherweise zu einer Regulatory capture durch große KI-Unternehmen wie OpenAI führen könnte, bei der die Regulierung die Interessen größerer Unternehmen auf Kosten kleinerer Wettbewerber und der Öffentlichkeit fördert.

Im Mai 2023 unterzeichneten Hunderte von Technologievorständen und KI-Forschern eine Stellungnahme zu existenziellem Risiko durch KI zu, die lautete: „Die Minderung des Risikos des Aussterbens durch KI sollte eine globale Priorität neben anderen gesellschaftlichen Risiken wie Pandemien und Atomkrieg sein.“ Sie erhielt Unterschriften von den beiden meistzitierten KI-Forschern, Geoffrey Hinton und Yoshua Bengio, zusammen mit Branchenfiguren wie Sam Altman, CEO von OpenAI, Demis Hassabis, CEO von Google DeepMind, und Dario Amodei, CEO von Anthropic. Viele andere Experten hielten existenzielle Bedenken für übertrieben und unrealistisch sowie für eine Ablenkung von den unmittelbaren Schäden der KI, wie zum Beispiel diskriminierendes automatisiertes Entscheidungsfindung. Berühmt verlangte Sam Altman in derselben Monat stark eine KI-Regulierung vom Kongress bei einer Anhörung. Mehrere Technologieunternehmen haben freiwillige Zusagen gemacht, Sicherheitsprüfungen durchzuführen, zum Beispiel beim AI Safety Summit und AI Seoul Summit.

Gouverneur Newsom von Kalifornien und Präsident Biden gaben 2023 Exekutivbefehle zur künstlichen Intelligenz heraus. Staats-Senator Wiener sagte, SB 1047 stütze sich stark auf Bidens Exekutivbefehl 14110 und sei motiviert durch das Fehlen einer einheitlichen bundesweiten Gesetzgebung zur KI-Sicherheit. Kalifornien hat zuvor bereits in Ermangelung von Maßnahmen durch den Kongress zu Technologiefragen legisliert, einschließlich Verbraucherdatenschutz und Netzneutralität.

Geschichte Das Gesetz wurde ursprünglich von Dan Hendrycks, Mitbegründer des Center for AI Safety, entworfen, der zuvor argumentiert hatte, dass evolutionäre Drücke auf KI zu „einem Weg führen könnten, auf dem sie als dominante Spezies der Erde verdrängt werden“. Das Zentrum gab im Mai 2023 eine Erklärung heraus, die von Elon Musk und Hunderten anderer Geschäftsleiter unterzeichnet wurde, in der stand: „Die Minderung des Risikos des Aussterbens durch KI sollte eine globale Priorität neben anderen gesellschaftlichen Risiken wie Pandemien und Atomkrieg sein.“

Staats-Senator Wiener schlug erstmals KI-Gesetzgebung für Kalifornien durch ein Absichtsgesetz namens SB 294, das Sicherheitsgesetz in künstlicher Intelligenz, im September 2023 vor. SB 1047 wurde von Wiener am 7. Februar 2024 eingebracht.

Am 21. Mai bestand SB 1047 den Senat mit 32-1 Stimmen. Das Gesetz wurde am 15. August 2024 von Wiener erheblich geändert, als Reaktion auf Branchenratschläge. Änderungen umfassten Klarstellungen und den Wegfall der Einrichtung einer „Frontier Model Division“ sowie der Strafe des Meineides.

Am 28. August bestand das Gesetz den Abgeordnetenhaus mit 48-16. Aufgrund der Änderungen wurde das Gesetz anschließend erneut vom Senat abgestimmt, der es mit 30-9 verabschiedete.

Am 29. September legte Gouverneur Gavin Newsom ein Veto gegen das Gesetz ein. Es wird als unwahrscheinlich angesehen, dass die Legislative das Veto des Gouverneurs mit einer Zweidrittelmehrheit in beiden Kammern überstimmen wird.

Bestimmungen Vor dem Training von Modellen sind Entwickler von abgedeckten Modellen und deren Ableitungen verpflichtet, eine Zertifizierung zur Minderung des „angemessenen“ Risikos von „kritischen Schäden“ des abgedeckten Modells und seiner Ableitungen, einschließlich nachträglicher Modifikationen, vorzulegen, die überprüft werden kann. Schutzmaßnahmen zur Risikominderung umfassen die Fähigkeit, das Modell abzuschalten, das unterschiedlich als ein „Kill Switch“ beschrieben wurde, und „Circuit Breaker“. Whistleblowing-Bestimmungen schützen Mitarbeiter, die Sicherheitsprobleme und Vorfälle melden.

SB 1047 würde zudem ein öffentliches Cloud-Computing-Cluster namens CalCompute einrichten, das mit der University of California verbunden ist, um Startups, Forschern und Gemeinschaftsgruppen zu unterstützen, die über keine großen Rechenressourcen verfügen.

Abgedeckte Modelle SB 1047 deckt KI-Modelle mit über 1026 Ganzzahl- oder Fließkommaoperationen im Training sowie Kosten von über 100 Millionen US-Dollar ab. Wenn ein abgedecktes Modell mit mehr als 10 Millionen US-Dollar feinabgestimmt wird, ist das resultierende Modell ebenfalls abgedeckt.

Kritische Schäden Kritische Schäden sind in Bezug auf vier Kategorien definiert:

Erstellung oder Einsatz von chemischen, biologischen, radiologischen oder nuklearen Waffen Cyberangriffe auf kritische Infrastrukturen, die zu Massenopfern oder mindestens 500 Millionen US-Dollar Schaden führen Autonome Verbrechen, die zu Massenopfern oder mindestens 500 Millionen US-Dollar Schaden führen Andere Schäden vergleichbarer Schwere

Compliance und Aufsicht

SB 1047 würde Entwickler ab dem 1. Januar 2026 verpflichten, jährlich einen unabhängigen Drittprüfer zu beauftragen, der eine unabhängige Prüfung der Einhaltung der Anforderungen des Gesetzes durchführt. Die Government Operations Agency würde die Ergebnisse der Sicherheitsprüfungen und Vorfälle überprüfen und Leitlinien, Standards und bewährte Verfahren herausgeben. Das Gesetz schafft einen Vorstand für Frontier Models, der die Anwendung des Gesetzes durch die Government Operations Agency überwacht. Er besteht aus 9 Mitgliedern.

Rezeption

Debatte Befürworter des Gesetzes beschreiben seine Bestimmungen als einfach und eng fokussiert, wobei Sen. Scott Weiner es als „leichtes, grundlegendes Sicherheitsgesetz“ bezeichnete. Dies wurde von Kritikern des Gesetzes bestritten, die die Sprache des Gesetzes als vage beschreiben und es kritisieren, dass es die Macht der größten KI-Unternehmen auf Kosten kleinerer konsolidiert. Befürworter antworteten, dass das Gesetz nur für Modelle gilt, die mit mehr als 1026 FLOPS und über 100 Millionen US-Dollar trainiert wurden oder mit mehr als 10 Millionen US-Dollar feinabgestimmt wurden, und dass der Schwellenwert bei Bedarf erhöht werden könnte.

Die Strafe des Meineids war Gegenstand von Debatten und wurde schließlich durch eine Änderung entfernt. Der Umfang der Anforderung eines „Kill Switch“ wurde ebenfalls reduziert, nachdem Bedenken von Open-Source-Entwicklern geäußert wurden. Es gab auch Streit über die Verwendung des Begriffs „angemessene Gewissheit“, der nach der Änderung durch „angemessene Sorgfalt“ ersetzt wurde. Kritiker argumentierten, dass der Standard der „angemessenen Sorgfalt“ eine übermäßige Belastung darstellt, indem er erfordert, dass Entwickler sicherstellen, dass Modelle nicht zur Verursachung katastrophaler Schäden verwendet werden können, während Befürworter argumentierten, dass der Standard der „angemessenen Sorgfalt“ keine Sicherheit impliziert und ein gut etablierter rechtlicher Standard ist, der bereits unter geltendem Recht für KI-Entwickler gilt.

Unterstützung und Opposition Unterstützer des Gesetzes sind Turing-Award-Empfänger Yoshua Bengio und Geoffrey Hinton, Elon Musk, Bill de Blasio, Kevin Esvelt, Dan Hendrycks, Vitalik Buterin, OpenAI-Whistleblower Daniel Kokotajlo und William Saunders, Lawrence Lessig, Sneha Revanur, Stuart Russell, Jan Leike, Schauspieler Mark Ruffalo, Sean Astin, und Rosie Perez, Scott Aaronson, und Max Tegmark. Center for AI Safety, Economic Security Project und Encode Justice sind Sponsoren. Yoshua Bengio schreibt, dass das Gesetz ein wichtiger Schritt zu Test- und Sicherheitsmaßnahmen für „KI-Systeme über einem bestimmten Fähigkeitsniveau [die] bedeutende Risiken für Demokratien und die öffentliche Sicherheit darstellen können.“ Max Tegmark verglich den Fokus des Gesetzes darauf, Unternehmen für die von ihren Modellen verursachten Schäden verantwortlich zu machen, mit der FDA, die klinische Studien vorschreibt, bevor ein Unternehmen ein Medikament auf den Markt bringen kann. Er argumentierte auch, dass der Widerstand gegen das Gesetz von einigen Unternehmen „direkt aus dem Big Tech-Werkzeugkasten kommt.“ Das Redaktionsteam der Los Angeles Times hat ebenfalls für das Gesetz plädiert. Die Gewerkschaft SAG-AFTRA und zwei Frauenorganisationen, die National Organization for Women und Fund Her, haben Unterstützungsschreiben an Gouverneur Newsom geschickt. Über 120 Hollywood-Prominente, darunter Mark Hamill, Jane Fonda und J. J. Abrams, unterzeichneten eine Erklärung zur Unterstützung des Gesetzes.

Andrew Ng, Fei-Fei Li, Ion Stoica, Jeremy Howard, Turing-Award-Empfänger Yann LeCun, zusammen mit US-Kongressmitgliedern Nancy Pelosi, Zoe Lofgren, Anna Eshoo, Ro Khanna, Scott Peters, Tony Cárdenas, Ami Bera, Nanette Barragán und Lou Correa haben sich gegen die Gesetzgebung ausgesprochen. Andrew Ng argumentiert speziell, dass es bessere, gezieltere Regulierungsansätze gebe, wie das Anvisieren von Deepfake-Pornografie, Wasserzeichen für generierte Materialien und Investitionen in Red Teaming und andere Sicherheitsmaßnahmen. University-of-California- und Caltech-Forscher haben ebenfalls offene Briefe gegen das Gesetz geschrieben.

Industrie Das Gesetz wird von Branchen-Handelsverbänden wie der Kalifornischen Handelskammer, der Chamber of Progress,deren Unternehmenspartner Amazon, Apple, Google und Meta umfassen, siehe der Computer & Communications Industry Associationderen Mitglieder Amazon, Apple, Google und Meta umfassen, siehe und TechNet.deren Mitglieder Amazon, Anthropic, Apple, Google, Meta und OpenAI umfassen, siehe Unternehmen wie Meta und OpenAI lehnten das Gesetz ab oder äußerten Bedenken, während Google, Microsoft und Anthropic substanzielle Änderungen vorgeschlagen haben. Mehrere Gründer von Startups und Venture-Capital-Organisationen lehnen das Gesetz ab, zum Beispiel Y Combinator, Andreessen Horowitz, Context Fund und Alliance for the Future.