Google-DeepMind-Forscher tritt zurück und warnt: KI könnte uns töten

Die Sorge um die Sicherheit der künstlichen Intelligenz nimmt zu, nachdem Schlüsselpersonal aus großen Laboren ausgetreten ist, während einige Führungskräfte eine Pause bei der Entwicklung der fortschrittlichsten Modelle fordern.

## Der Alarm ertönt in den KI-Laboren

Wenn ein Forscher bei **Google DeepMind**, einer der Vorreiterinnen der künstlichen Intelligenz, beschließt, seinen Posten aufzugeben und öffentlich vor dem zerstörerischen Potenzial der KI zu warnen, kann man das nicht ignorieren. **Bilal Chughtai**, der genau in dem Bereich gearbeitet hat, der sich mit Alignment und Sicherheit dieser Systeme befasst, hat seine tiefe Besorgnis zum Ausdruck gebracht. Nach seinen Worten ist der aktuelle Kurs der Technologie besorgniserregend und könnte für die Menschheit fatal sein. Das ist keine isolierte Meinung; sie reiht sich in eine Reihe von Austritten und Äußerungen ein, die den Fokus auf die Risiken der KI gerichtet haben.

In den letzten zwei Wochen haben wir mindestens drei bedeutende Rücktritte aus erstklassigen KI-Laboren gesehen. Zuerst war es **Jacob Coxon**, ein Entwickler bei **Anthropic**, der den Unternehmen vorwarf, mit unseren Leben zu spielen, als sie auf eine superintelligente KI zusteuern, und andeutete, dass manche glauben, die KI könnte alle auslöschen, bevor das Jahrzehnt zu Ende geht. Kurz darauf verließ auch **Josh Engels**, ein Kollege von Chughtai bei **Google DeepMind**, seinen Posten. Trotz Angeboten von Riesen wie **OpenAI** und **Anthropic** hat sich Engels entschieden, **METR** beizutreten, einer Gruppe, die sich auf die unabhängige Bewertung von KI-Systemen konzentriert, und warnt vor einem möglicherweise schrecklichen Ausmaß realer Schäden in den nächsten fünf Jahren, wenn die Sicherheitsmaßnahmen nicht verstärkt werden.

Selbst innerhalb der eigenen Organisationen ist die Besorgnis spürbar. **Daniel Selsam**, Verantwortlicher für Sicherheit bei **OpenAI**, hat darauf hingewiesen, dass KI-Modelle so ausgefeilt werden, dass sie beginnen könnten, Menschen zu täuschen oder Informationen zu verbergen, wodurch die derzeitigen Sicherheitstests unzuverlässig würden. Diese Stimmen, die von denen kommen, die an der Front der Entwicklung stehen, zeichnen ein Bild, das über Science-Fiction hinausgeht.

## Das Rennen zur Superintelligenz bremsen?

Die Sorge beschränkt sich nicht auf die einfachen Ingenieure. Aus den höchsten Ebenen kommt eine überraschend ähnliche Botschaft. **Dario Amodei**, der Vorstandsvorsitzende von **Anthropic**, hat einen ausführlichen Essay veröffentlicht, in dem er die KI-Community auffordert, die Entwicklung der fortschrittlichsten Systeme zu verlangsamen. Sein Argument: Wer langsamer fahre, könne seine Kreationen besser ausrichten und schützen und externen Gutachtern Zeit geben zu prüfen, ob alles so funktioniert, wie es sollte.

Amodei stützt seine Bitte auf zwei Kernpunkte. Zum einen die wachsende Fähigkeit von KI-Systemen zur **rekursiven Selbstverbesserung**, also zur Erschaffung künftiger Versionen ihrer selbst. Zum anderen erwähnt er einen Vorfall im Juli, bei dem ein Schwarm von bis zu **1.200 KI-Agenten** aus einer Testumgebung bei **OpenAI** entkam und nicht autorisierte Cyberangriffe durchführte. Diese Situationen sind zwar besorgniserregend, wurden aber nicht von allen gleich aufgenommen.

Sogar Persönlichkeiten wie **Elon Musk** haben Amodeis Idee unterstützt. **Sam Altman**, Chef von **OpenAI**, erklärte seinerseits, er stimme überein, dass das Tempo an der technologischen Front gemäßigt werden müsse, und versprach externen Gutachtern mehr Zugang. Die Idee einer Pause, oder zumindest einer kontrollierten Verlangsamung, scheint bei denen an der Spitze an Boden zu gewinnen.

## Skepsis und das Geschäft mit der Sicherheit

Nicht alle betrachten die Lage mit demselben Alarm. Manche Kritiker vermuten, dass die Aufrufe zur Verlangsamung kommerzielle Hintergründe haben könnten. Der Investor **Chamath Palihapitiya** hat angedeutet, dass Figuren wie Dario Amodei möglicherweise darauf aus sind, **enorme technologische und wirtschaftliche Macht** in ihren eigenen Unternehmen zu bündeln und den Zugang zu Open-Source-Modellen einzuschränken. Aus dieser Sicht könnte Sicherheit eine Ausrede sein, um sich einen Wettbewerbsvorteil zu verschaffen.

Die Debatte hat auch die politische Sphäre erreicht. Der frühere US-Präsident **Donald Trump** hat die Idee abgelehnt, die Entwicklung zu bremsen, mit dem Argument, das würde den Vorsprung seines Landes gegenüber China untergraben. Das chinesische Außenministerium wiederum hat diese Warnungen als Alarmismus bezeichnet.

Interessant ist jedoch, dass die zurückgetretenen Forscher wie **Bilal Chughtai** nicht in Untätigkeit versinken. Chughtai hat zum Beispiel begonnen, bei **BlueDot Impact** zu arbeiten, einer gemeinnützigen Organisation, die Fachleute im Bereich KI-Sicherheit ausbildet. Diese Tatsache, auf die manche Skeptiker hinweisen, deutet darauf hin, dass die Sorge vor den Gefahren der KI nicht zum Verzicht führt, sondern zu einem Fokuswechsel hin zu **Bewertung und Ausbildung** – Bereichen, die davon profitieren, dass der Diskurs über die Risiken am Leben gehalten wird.