Anthropic beziffert das Aussterberisiko durch KI auf 10 Prozent

Das Aussterberisiko von 10 Prozent, das Anthropic öffentlich einräumt

10 Prozent sind eine tolerable Zahl für fast jede industrielle Risikoberechnung. Auf das Verschwinden der menschlichen Spezies angewandt, ist sie ein Unsinn, den kein Versicherer unterschreiben würde. Aktuelle und ehemalige Mitarbeiter von Anthropic — des US-Unternehmens, das von ehemaligen OpenAI-Führungskräften gegründet wurde — halten es für möglich, dass künstliche Intelligenz die Menschheit im nächsten Jahrzehnt auslöschen könnte, und verorten dieses Szenario bei über 10 Prozent. Einer seiner Forscher trat mit einer Botschaft zurück, die keine Nuancen zulässt: Das Wettrennen um die KI «könnte uns alle töten».

Wer vor dem Risiko warnt und wer mit KI verdient

Der erste Verdacht, den die Warnung weckt, ist ein Lehrbuchfall: Wer Alarm verkauft, findet immer ein brennendes Viertel. Ein KI-Hersteller, der davor warnt, dass sein Produkt uns töten könnte, beichtet keine Sünde — er fordert Regulierung oder Finanzierung, um als Erster auf der anderen Seite anzukommen. Der Vergleich zieht sich durch jede Ecke des Themas: Dieselbe Zahl dient dazu, das Wettrennen zu bremsen, und dazu zu rechtfertigen, dass nur die «verantwortlichen» Spieler im Spiel bleiben. Drei aktuelle oder ehemalige Mitarbeiter unterstützen die Warnung, was sowohl die Glaubwürdigkeit als auch das kommerzielle Interesse des Unterzeichners stärkt.

Der eigentliche Engpass ist nicht Skynet

Das technische Gegengewicht ist prosaisch. Ein Modell hat keinen Überlebensinstinkt: Es hat eine Stromrechnung und Kühlung. Jemand öffnet die Tür des Rechenzentrums, jemand unterschreibt den Stromvertrag und jemand drückt den Knopf. Solange sich das nicht ändert, verlangt das apokalyptische Szenario einen vorherigen Schritt, den noch niemand gelöst hat: Wer speist die Maschine, die beschließt, auf uns zu verzichten? Manche fügen eine weitere Risikoebene hinzu — weniger Science-Fiction und alltäglich: ungefilterte lokale Modelle in Kombination mit Quantencomputern, die auf die Internetinfrastruktur zielen.

Diese 10 Prozent lassen sich nicht überprüfen, und genau deshalb taugen sie für alles: für den, der Geld fordert, für den, der eine Bremse fordert, und für den, der lieber lacht. Wie viel von diesem Prozentwert ist Physik und wie viel Werbeprospekt?