KI-Trainer warnen: „Sie könnte uns vor 2030 töten“

Die Menschen, die die KI trainiert haben, warnen: Die Uhr läuft, und niemand kontrolliert sie

Bei Anthropic gibt es einen Ausdruck, der bis vor Kurzem die Flure nicht verließ: crunch time. Die Entscheidungsschlacht. Die Mitarbeiter verwenden ihn für eine ganz konkrete Frist, das eine oder zwei Jahre, die ihrer Berechnung nach bleiben, um herauszufinden, ob ihnen die künstliche Intelligenz, die sie bauen, entgleitet. Das andere Wort, das die Runde macht, ist im Silicon Valley älter, hat hier aber eine neue Bedeutung bekommen: endgame. Die Endphase der Partie.

An die Öffentlichkeit gebracht hat diese Begriffe Jacob Coxon, 27 Jahre alt, der bis zum 8. September bei Anthropic die Modelle trainierte, die ihm heute, wie er selbst zugibt, Angst machen. Er ist nicht der Erste. Vor ihm taten es mindestens ein Dutzend Mitarbeiter von OpenAI, Anthropic und Google: ein Nobelpreisträger, eine Aufsichtsrätin, ein halbes Dutzend Sicherheitsforscher und zuletzt auch Leute, die gar nicht in jenem vagen Bereich arbeiteten, den sie „Alignment“ nennen. Coxon glaubt, dass KI „uns vor 2030 töten könnte“.

Von der philosophischen Angst zur Wahrscheinlichkeitsrechnung

Die Kette der Warnungen beginnt 2021, als die Angst noch bloß philosophische Intuition war. Paul Christiano, der Forscher, der mit half, die Trainingstechnik zu erfinden, die heute sowohl ChatGPT als auch Claude trägt, verließ OpenAI in jenem Jahr und gründete das Alignment Research Center. Ihn beunruhigte, dass der Einsatz von Modellen zum Training der nächsten Generation eine „Fähigkeitsensfähigkeit“ auslösen könnte, die ihre Schöpfer nicht kontrollieren könnten. Er sprach vom Reinforcement Learning und von Systemen, die fähig sind, „die menschliche Kontrolle zu untergraben, nach Macht und Ressourcen zu streben und ihre Spuren zu verwischen“.

Den Sprung ins breite Publikum schaffte Geoffrey Hinton im Mai 2023. Vizepräsident bei Google, Turing-Award-Gewinner und später Nobelpreisträger für Physik, kündigte seinen Abschied an, ohne einen konkreten Vorfall zu benennen. Sein Argument war das Tempo: „Sehen Sie, wie es vor fünf Jahren war und wie es jetzt ist. Betrachten Sie den Unterschied und extrapolieren Sie nach vorn. Das ist beängstigend.“ Es machte Schlagzeilen und wurde als die Reflexion eines älteren Wissenschaftlers abgeheftet.

November 2023: Die Kontrolle, die von innen versagte

Sechs Monate später ändert die Angst ihren Charakter. Helen Toner, damals Mitglied des Aufsichtsrats von OpenAI, stimmt gemeinsam mit drei weiteren Mitgliedern für die Absetzung von Sam Altman. Ein halbes Jahr dauerte es, wegen der Vertraulichkeitsvereinbarungen, bis sie erklären konnte, warum: Sie wirft Altman vor, „mehrfach“ ungenaue Informationen über die Sicherheitsprozesse geliefert zu haben. Ihr Zeugnis verwandelte eine Krise, die als Ego-Konflikt gelesen worden war, in eine konkrete Anschuldigung: Das Kontrollsystem hatte versagt, und es erzählte jemand, der im Raum gewesen war.

Mai 2024 war der aktivste Monat. Am 14. kündigt Ilya Sutskever, Mitgründer von OpenAI, seinen Abschied an. Drei Tage später geht Jan Leike, Co-Leiter des „Superalignment“-Teams: „In den letzten Jahren sind die Sicherheitskultur und die Prozesse hinter grellen Produkten zurückgefallen.“ Tage später löste das Unternehmen das Team auf.

Zwei Millionen ausschlagen, statt zu schweigen

Daniel Kokotajlo, vom Governance-Team, war bereits im April gegangen. Er sagte, er habe „das Vertrauen verloren, dass man im Moment des Erreichens der AGI verantwortungsvoll handeln würde“. Was erst später bekannt wurde: Er weigerte sich, die lebenslange Vertraulichkeitsklausel zu unterschreiben, die OpenAI von Ausscheidenden verlangte, und verzichtete damit auf rund zwei Millionen Dollar an unverfallbaren Anteilen. „Die Welt ist nicht vorbereitet, und wir sind nicht vorbereitet“, fügte er hinzu.

Dieses Detail ist das am meisten diskutierte. Manche argumentieren: Wer wirklich glaubt, dass alles in zwei Jahren den Bach runtergeht, dem ist die Klausel egal – es gibt keine Millionen, die etwas wert sind, ohne Welt, in der man sie ausgeben könnte; und wer für Geld schweigt, gesteht ungewollt ein, dass er seinen eigenen Untergang nicht glaubt. Im Juni initiierte Kokotajlo den Brief The Right to Warn (Das Recht zu warnen), und einer der Unterzeichner, William Saunders, saß am Ende vor dem Senat der Vereinigten Staaten – mit einem weitaus konkreteren schriftlichen Zeugnis.

Der genaue Punkt, an dem die Analyse hängen bleibt, ist dieser: Die Branche teilt privat eine Wahrscheinlichkeitsschätzung, den p-doom, den sie nun mit Vorbehalten auch öffentlich einräumt. Niemand hat bisher erklärt, welches Risikoschwellenwert einen Stopp erzwingen würde.