Dario Amodei veröffentlicht einen Grundsatzessay und zwei Policy-Frameworks. Der
Anthropic-CEO verlangt verpflichtende Drittprüfungen für Frontier-Modelle und
entwirft zugleich ein Weltbild, in dem KI zur strategischen Waffe von
Nationalstaaten wird.
Anthropic-CEO Dario Amodei hat einen Essay mit dem Titel "Policy on the AI
Exponential" veröffentlicht. Begleitend legt das Unternehmen zwei Dokumente vor:
ein Framework zur Regulierung von Frontier-KI und ein Rahmenwerk zur Bewältigung
von Arbeitsplatzverlusten, für das Anthropic nach eigenen Angaben erhebliche
finanzielle Mittel bereitstellen will.
Amodeis Ausgangsdiagnose ist ein Tempo-Problem, das er mit einer Nebenhandlung
aus "Herr der Ringe" illustriert. Dort versuchen zwei Hobbits, das Baumwesen
Baumbart aufzurütteln, damit es seinen Wald gegen eine Armee verteidigt, die ihn
gerade abholzt. Das Dilemma: Baumbart ist zwar weise, aber so behäbig, dass er
einen ganzen Tag braucht, um nur einen anderen Baum zu begrüßen, weshalb er kaum
rechtzeitig zum Handeln zu bewegen ist.
In Amodeis Lesart steht das langsame Baumwesen für den politischen Apparat, die
drängenden Hobbits für jene, die wie Anthropic frühzeitig auf die Risiken
hinweisen, und die heranrückende Armee für die Bedrohung, die von unregulierter
KI ausgehe. Und die schreite im Eiltempo voran. Mit Verweis auf die
Skalierungsgesetze argumentiert Amodei, dass die kognitiven Fähigkeiten der
Modelle mit mehr Rechenleistung exponentiell wachsen und in ein bis zwei Jahren
das entstehen könnte, was er "Powerful AI" oder "ein Land voller Genies in einem
Rechenzentrum" nennt.
WARUM ANTHROPIC SEINE BISHERIGE LINIE FÜR ÜBERHOLT ERKLÄRT
Bislang hatte Anthropic vor allem Transparenzpflichten befürwortet, weil die
Risiken laut Amodei noch nicht klar genug für präzise Regulierung gewesen seien.
In diesem Sinne unterstützte das Unternehmen Transparenzgesetze wie , RAISE in
New York und SB 315 in Illinois.
Das sei nun nicht mehr ausreichend, schreibt Amodei. Als Beleg führt er die
Erfahrungen mit "" an, das die globale Cybersicherheitslage
durcheinandergebracht und gezeigt habe, dass Frontier-Modelle reale Risiken für
Finanzsektor, kritische Infrastruktur und nationale Sicherheit bergen. Amodei
erwartet, dass biologische Risiken und ernsthafte Autonomie-Risiken folgen
könnten.
Konkret fordert er nun verpflichtende Tests durch qualifizierte Dritte für vier
Risikobereiche: Cybersicherheit, biologische Waffen, Kontrollverlust über
KI-Systeme und automatisierte Forschung und Entwicklung, die diese Risiken
beschleunigen könnte. Eine Behörde solle den Einsatz von Modellen blockieren
oder rückgängig machen können, wenn diese ein inakzeptables Risiko darstellen.
Als Vorbild nennt Amodei die Luftfahrtbehörde FAA: Wie Flugzeuge sollten
KI-Modelle technische Prüfungen durchlaufen, bevor sie ausgeliefert werden.
DRITTPRÜFUNGEN, OFFENLEGUNG, SPERRGEWALT
Das Advanced AI Framework konkretisiert Amodeis Forderung nach verbindlicher
Regulierung in einen ausformulierten Vorschlag, der laut Anthropic in erster
Linie an die US-Bundesregierung gerichtet ist, dessen Prinzipien aber auch
breiter anwendbar sein sollen. Das Rahmenwerk besteht aus zwei Teilen: Pflichten
für die Entwickler der leistungsfähigsten Modelle und Investitionen in die
gesellschaftliche Widerstandsfähigkeit gegen biologische und Cyberangriffe.
Statt die gesamte Branche zu erfassen, zielt das Regelwerk auf die Spitze. Es
soll nur für Entwickler gelten, die Modelle mit mehr als 10^25 Trainings-FLOP
bauen und entweder mehr als 500 Millionen US-Dollar KI-Umsatz erzielen oder mehr
als eine Milliarde US-Dollar jährlich in KI-Forschung investieren. Anthropic
begründet diese Schwellen damit, dass die Pflichten dort ansetzen sollen, wo
Modelle leistungsfähig genug für katastrophale Risiken seien.
Das Unternehmen schlägt zudem vor, die Kriterien mindestens jährlich zu
überprüfen und langfristig von reinen Rechenkosten auf einen fähigkeitsbasierten
Schwellenwert umzustellen, da die für gefährliche Modelle nötige Rechenleistung
mit der Zeit sinken dürfte.
Für diese Entwickler sieht das Framework umfangreiche Offenlegungspflichten vor:
Sie sollen ein Safety Framework veröffentlichen, bei risikorelevanten Modellen
System Cards bereitstellen, mindestens alle sechs Monate einen Risk Report
publizieren und schwerwiegende Sicherheitsvorfälle binnen 15 Tagen an die
Behörde melden. Innerhalb von sechs Monaten nach Inkrafttreten sollen sie zudem
mindestens einen unabhängigen, finanziell nicht mit ihnen verbundenen Evaluator
beauftragen. Um sogenanntes "Evaluator-Shopping" zu verhindern, bei dem Firmen
den nachsichtigsten Prüfer auswählen, schlägt Anthropic ein Bewertungs- und
Zuteilungssystem für Prüfer vor.
Hinzu kommen Sicherheitsanforderungen für Modellgewichte und Infrastruktur,
zivilrechtliche Strafen bei Falschangaben, Whistleblower-Schutz und die
Befugnis, riskante Modelle zu blockieren. Zur Frage der Bundeskompetenz
argumentiert Anthropic, der US-Kongress solle einzelstaatliches Recht nur dann
verdrängen, wenn er ein mindestens ebenso strenges Bundesregime schaffe.
NICHT NUR DIE ENTWICKLER, AUCH DIE GESELLSCHAFT SOLL SICH WAPPNEN
Der zweite Teil des Frameworks widmet sich der gesellschaftlichen Resilienz und
damit der Frage, wie sich die Gesellschaft gegen Bedrohungen wappnen kann, die
fortgeschrittene KI beschleunigen könnte. Bei biologischen Risiken empfiehlt
Anthropic ein Stufenmodell aus Prävention (etwa modernisierte
Biosicherheitsstandards und ein Screening von Gensynthese-Anbietern), Detektion
(Frühwarnsysteme und forensische Zuordnung von Angriffen) und Vorsorge
(Schutzausrüstung, gehärtete Gebäudetechnik und KI-beschleunigte Gegenmittel).
Im Cyberbereich, wo KI laut Anthropic die Ökonomie des Angriffs bereits jetzt
verschiebe, sollen unter anderem quelloffene und veraltete Software abgesichert,
schlecht ausgestattete Betreiber kritischer Infrastruktur unterstützt und
Sicherheitslücken KI-gestützt in größerem Umfang behoben werden. Für
Kontrollverlust und automatisierte Forschung und Entwicklung räumt Anthropic
ein, dass die Resilienz-Agenda hier deutlich weniger ausgereift sei, und nennt
als Richtung lediglich die Fähigkeit, außer Kontrolle geratene KI-Systeme zu
erkennen und abzuschalten.
EIN GESTUFTES MODELL FÜR DEN FALL MASSIVER JOBVERLUSTE
Das ökonomische Framework stuft Maßnahmen nach der Schwere der
Arbeitsmarktstörung ab und nutzt die Arbeitslosenquote als Auslöser. In Stufe
eins (rund 5 Prozent) schlägt Anthropic universelle, bei Geburt angelegte
Kapitalkonten, Lohnversicherung, eine Reform der Berufslizenzen und
Weiterbildungszuschüsse vor. Stufe zwei (rund 10 Prozent) sieht eine Ausweitung
der Arbeitslosenversicherung und Grundbedarfshilfen vor.
Stufe drei, in der die Arbeitslosigkeit historische Höchststände überschreitet,
behandelt neue Steuerquellen und Umverteilungsmechanismen wie ein
bedingungsloses Grundeinkommen, KI-Staatsfonds oder eine höhere
Kapitalertragssteuer. Anthropic erklärt, man sei bereit, einen "fair share" zu
zahlen, falls KI-Unternehmen transformative Gewinne erzielten.
AUS MITTELERDE IN DEN KALTEN KRIEG
Im Essay ergänzt Amodei weitere Vorschläge: Er warnt davor, dass
Zulassungsbehörden wie FDA und EMA durch die KI-beschleunigte Forschung
überlastet werden könnten, und fordert für die Bürgerrechte unter anderem
Rechenschaftspflichten für autonome Waffen, ein Verbot ihres inländischen
Einsatzes sowie das Schließen der Data-Broker-Lücke bei der Massenüberwachung.
Geopolitisch plädiert er für eine demokratische Koalition, die ihre Lieferketten
teilt und Gegnern den Zugang verwehrt, sowie für verschärfte
Chip-Exportkontrollen.
Auffällig ist das transportierte Weltbild. Amodei denkt KI nicht als
Konsumtechnologie, sondern in der Kategorie der Atomwaffen, als etwas, das das
gesamte geopolitische Spielfeld neu setzt. Sein Bild vom Krieg ist drastisch:
Eine Nation mit KI gegenüber einer ohne KI sei wie eine Armee von Marines gegen
mittelalterliche Schwertkämpfer, und er denkt vollautomatische Drohnenarmeen
mit.
Der Staat erscheint dabei ambivalent, als legitimer Beschützer und zugleich als
möglicher Apparat einer KI-gestützten Tyrannei. Kooperation versteht Amodei vor
allem als Bündnis ideologisch verwandter Demokratien, das sich über Lieferketten
und Exportkontrollen gegen Autokratien abgrenzt, eine Cold-War-Logik im
KI-Gewand, ganz passend zur Baumbart-Metapher.
Den Vorwurf, die KI-Branche habe lediglich ein PR-Problem, weist er zurück: Die
Sorge der Öffentlichkeit sei berechtigt, und Transparenz über reale Risiken sei
demokratische Rechenschaft, wie sie funktionieren solle.
Anthropic hat Anfang Juni einen Entwurf für einen und diese Woche mit das erste
Modell der Mythos-Klasse veröffentlicht.