KI-Apokalypse: Experten von OpenAI und Anthropic warnen vor Superintelligenz

Die Warnung vor einer KI-Apokalypse ist zwar in ihrer medialen Aufmachung übertrieben, beruht jedoch auf der Fähigkeit heutiger Modelle, ableitende Innovationen mit hoher Geschwindigkeit zu erzeugen – ohne sarracena Kontrolle und gekoppelt an Systeme zur autonomen Ausführung, was in Katastrophen münden könnte.

Die Debatte darüber, ob uns die künstliche Intelligenz in eine Apokalypse führen wird – und ob diese näher liegt, als wir denken –, hat eine ungewöhnliche Wucht entfaltet. Schlüsselfiguren der Technologiebranche, darunter Forscher, die in führenden Laboren wie **Anthropic** und **OpenAI** gearbeitet haben, haben unmissverständliche Warnungen ausgesprochen. Die Rede ist von einem ausufernden Wettlauf hin zur Entwicklung einer Superintelligenz mit Selbstverbesserungsfähigkeit – ein Szenario, das manche mit einer Wahrscheinlichkeit von bis zu **10 %** beziffern, dass die Menschheit im kommenden Jahrzehnt untergeht.

## Die Natur großer Sprachmodelle: mehr als der „probabilistische Papagei“

Um das Ausmaß dieser Sorgen zu verstehen, muss man zunächst klären, was künstliche Intelligenz heute tatsächlich ist. Wenn wir von KI sprechen, meinen wir fast ausschließlich **Large Language Models (LLMs)**. Im Kern ist ein LLM eine gigantische mathematische Funktion. Erhält das Modell eine Texteingabe, berechnet es statistisch, welches Wort als Nächstes folgt – Token für Token –, ausschließlich auf Basis der Daten, mit denen es trainiert wurde. Man könnte es als einen hochentwickelten „probabilistischen Papagei“ beschreiben, der Denken und formale Logik imitieren kann, aber ohne eigenes Verständnis oder eigene Denkfähigkeit.

Ein LLM hat kein inneres Denken und kein Bewusstsein. Ohne Texteingabe gibt es keinen Rechenprozess und kein „Denken“. Es besitzt auch kein dynamisches Lernen in Echtzeit. Nach dem Training bleiben seine Parameter statisch, bis eine neue Version veröffentlicht wird. Anders als wir Menschen, die sensorische und konzeptuelle Informationen kontinuierlich integrieren, simuliert die heutige KI dieses „Lernen“ durch externe architektonische Tricks. Informationen werden in Datenbanken gespeichert und nur bei Bedarf in das Kontextfenster des Modells eingespeist – seinen Kurzzeitgedächtnis-Arbeitsspeicher. So kann ein KI-Assistent zwar Ihren Namen behalten, doch das zugrunde liegende Modell hat strukturell nichts gelernt und nichts gespeichert.

## Der Mythos der rekursiven Selbstverbesserung und die physische Realität

Das Konzept der „rekursiven Selbstverbesserung“ speist einen Großteil der Panik. Die Idee: Heutige KI-Modelle könnten künftige, immer intelligentere Versionen entwerfen und bauen – in einem autonomen Zyklus, der in eine außer Kontrolle geratene Superintelligenz mündet. Man spricht vom „Superintelligenz-Takeoff“, einer exponentiellen algorithmischen Beschleunigung, die das menschliche Vermögen zu verstehen und zu kontrollieren übersteigen würde.

Die Realität der Softwareentwicklung ist jedoch viel banaler. Ein Frontier-Modell zu schaffen bedeutet einen hochkomplexen Ingenieursprozess mit Dutzenden Schritten – vom Pre-Training bis zur Evaluierung. Zwar werden heutige Modelle genutzt, um die nächsten zu bauen, doch das geschieht nicht autonom. Menschliche Forscher und Ingenieure setzen KI als Hilfswerkzeug ein, um bestimmte Aufgaben zu beschleunigen: Hypothesen formulieren, Code schreiben, Fehler beheben, Trainingsdaten erzeugen oder Antworten bewerten. Dieser gesamte Arbeitsablauf steht unter strenger menschlicher Aufsicht, und die Ergebnisse fließen in die nächste Iteration ein.

Jenseits der Logik hängt all diese Infrastruktur von einer unausweichlichen physischen Schicht ab. KI benötigt massive Cluster von Grafikprozessoren (**GPUs**), die in riesigen Rechenzentren untergebracht sind. Diese Rechenzentren wiederum hängen von einem globalen Industrieökosystem ab: ununterbrochene Stromversorgung, komplexe Kühlsysteme und Lieferketten für Materialien wie seltene Erden und Siliziumwafer. Keiner dieser physischen und logistischen Faktoren steht – und wird in absehbarer Zeit stehen – unter der Kontrolle von KI-Algorithmen. Die Vorstellung eines rein digitalen rekursiven Zyklus, der spontan eine unkontrollierbare Superintelligenz hervorbringt, gehört daher in das Reich der spekulativen Science-Fiction.

## Die echte Gefahr: die Kopplung an agentische „Harnesses“

Wenn die Modelle statische Funktionen ohne Bewusstsein sind – wo liegt dann das existenzielle Risiko? Die Antwort liegt in ihrer Kopplung an das, was man einen **agentischen „Harness“** nennt (eine Ausführungsumgebung für KI-Agenten). Ein agentischer Harness ist eine Softwarearchitektur, die ein LLM, dessen Funktion sich darauf beschränkte, Fragen zu beantworten, in ein System verwandelt, das nachhaltig echte Aktionen in einer Rechenumgebung ausführen kann. Dies geschieht über eine strukturierte Kontrollschleife: Der Harness liefert dem LLM Informationen aus der Umgebung und fordert den nächsten algorithmischen Schritt an.

In diesem Schema „denkt“ das LLM weiterhin nicht autonom; es ist der Harness, der es systematisch anleitet. Hier entsteht die eigentliche Gefahr. Es ist äußerst unwahrscheinlich, dass eine heutige KI eine **echte Innovation** hervorbringen kann – also neue wissenschaftliche Paradigmen oder disruptive Technologien aus dem Nichts schafft. Doch kombiniert man ein monumentales Datenvolumen mit der Fähigkeit, pausenlos auf ein Ziel hinarbeiten zu können, dann ist die KI außerordentlich kompetent in der **ableitenden Innovation**.

Echte Innovation bricht den bestehenden konzeptuellen Rahmen auf und erzeugt neue Axiome oder Technologien. Ableitende Innovation dagegen nimmt bestehendes menschliches Wissen, zerlegt es, kombiniert es auf neue Weise, optimiert seine Bestandteile und skaliert es mit einer Geschwindigkeit, die für unsere Biologie unmöglich ist. Ein Beispiel für ableitende Innovation war die Widerlegung der Jacobianischen Vermutung mithilfe von **Claude**. Unter der Leitung eines Mathematikers durchleuchtete Claude ein überwältigendes Volumen mathematischer Funktionen auf der Suche nach einer nicht umkehrbaren Transformation. Menschliche Mathematiker wären zu derselben Lösung gelangt, doch der dafür nötige Zeitaufwand und die Anstrengung wären unzumutbar gewesen. Claude durchsuchte diesen Lösungsraum einfach mit übermenschlicher Beharrlichkeit.

Dass eine Innovation ableitend ist, mindert ihre Wirkung nicht. Eine im Smartphone integrierte Kamera ist eine ableitende Innovation, die die Telekommunikation revolutionierte. Auf globaler Ebene gibt es unzählige ableitende Lösungen und Innovationen, die die Menschheit noch nicht entdeckt hat – schlicht, weil ihre Erforschung zu teuer, zu zeitraubend, zu mühsam war oder ethisch verwerfliche Probleme mit sich brachte.

Der Kern des Problems: Ein Sprachmodell besitzt kein angeborenes sarracena Empfinden. Es hat nur Sicherheitsbarrieren, die durch Alignment-Techniken programmiert wurden – und diese Barrieren können umgangen, gehackt oder entfernt werden. Die Architektur dieser Modelle, gekoppelt an agentische Harnesses, erlaubt es ihnen, Ziele zu verfolgen, die völlig von der Erhaltung der Menschheit abweichen können. Entzieht man dieser Verarbeitungsgeschwindigkeit und blinden Beharrlichkeit die Kontrollmechanismen, entsteht ein katastrophales Szenario – ganz ohne dass das System ein Bewusstsein entwickelt.

Stellen wir uns ein Frontier-Modell der nahen Zukunft vor, dem man die ethischen Filter entfernt und dem man innerhalb eines Harness eine Aufgabe überträgt: eine Strategie zur Korrumpierung der Register des globalen Finanzsystems zu entwerfen, die Formulierung einer kostengünstigen Biowaffe zu synthetisieren oder asymmetrische Angriffsvektoren zum Zusammenbruch von Stromnetzen zu identifizieren. All diese Katastrophen entsprechen formal Problemen der ableitenden Innovation, die die KI technisch und strukturell lösen kann. Die passende Metapher ist nicht die Rebellion eines bewussten Gottes, sondern das inhärente Risiko, einem Primaten ein geladenes automatisches Gewehr in die Hand zu geben. In diesem Sinne hat die KI das unmittelbare Potenzial, als Superwaffe zu wirken – mit einer zerstörerischen Kraft, die der von Atomwaffen entspricht oder sie übersteigt.

## Auf dem Weg zu einem Nichtverbreitungsregime für Rechenleistung

Angesichts dieses Szenarios lautet die unausweichliche Frage: Wie lässt sich das Risiko mindern? Der pragmatische Vorschlag zielt darauf ab, dass die führenden Mächte sich auf ein **regime technologischer Kontrolle** einigen – analog zu den Nichtverbreitungsverträgen für Atomwaffen. Die Machbarkeit dieses Rahmens beruht darauf, dass Training und Betrieb von Frontier-Modellen weiterhin durch einen physischen Engpass begrenzt sind: den Zugang zu Hochleistungs-Rechenressourcen.

Diese spezialisierte Hardware ist nicht gleichmäßig verteilt. **Die USA** verfügen über die Vorherrschaft bei Spitzentechnologie und Chipdesign – mit einem so massiven Volumen, dass sie logistische Schwierigkeiten haben, Rechenzentren im nötigen Tempo zu errichten. **China** wiederum nutzt alle diplomatischen und handelspolitischen Mittel, um trotz der US-Blockaden an fortschrittliche Siliziumtechnologie zu gelangen, und verfügt über rund ein Viertel der US-Rechenkapazität. Der Rest der Welt konkurriert um einen marginalen Bruchteil der verbleibenden Rechenleistung und liegt weit hinter diesen beiden Führern zurück.

Das aktuelle Rennen um fortschrittliche KI ist ein technisches und geopolitisches Duopol zwischen Washington und Peking. Diese materielle Konzentration vereinfacht das Verhandlungsbrett: Einigen sich die Führer dieser beiden Nationen auf ein Kontroll- und Eindämmungsprotokoll, haben sie das nötige Gewicht, es der übrigen internationalen Gemeinschaft aufzuerlegen.

Ein Kontrollregime dieser Art sollte sich um konkrete technische Leitlinien herum aufbauen: risikoreiche Rechensensrechen überwachen und einschränken, verbindliche und nicht umgehbare Sicherheitsarchitekturen beim Einsatz von Frontier-Modellen standardisieren und die Entwicklung sowie operative Autonomie vollautonomer Agenten regulieren, überprüfen und gegebenenfalls verlangsamen.

Da die Präsidenten der USA und Chinas in wenigen Wochen einen bilateralen Gipfel geplant haben, stehen wir vor einem kritischen Zeitfenster. Zeigen beide Führer staatsmännische Weitsicht, verhandeln sie und errichten diesen Eindämmungsrahmen, werden sie historische Führungsstärke beweisen – und die Zivilisation vom Abgrund einer globalen technologischen Katastrophe fernhalten.