Kostenlose chinesische KI lokal betreiben: 700 GB VRAM und teure Hardware nötig
Ein chinesisches KI-Modell lässt sich kostenlos herunterladen und ohne Internet betreiben, benötigt aber 700 GB VRAM und Hardware im Wert von bis zu 500.000 Dollar, so Nutzerberechnungen.
Deutsch · Ursprüngliche Diskussion auf Spanisch · Veröffentlicht
Eine kostenlose chinesische KI, die 700 GB Speicher zum Betrieb braucht
Kann man mit GPT-5.1 Pro und Gemini-3 Pro konkurrieren, ohne einen Cent zu zahlen und ohne Internetverbindung? Die Antwort, die kursiert, lautet Ja – vorausgesetzt, man verfügt über einen Server mit acht H100-GPUs, knapp 700 GB VRAM und ein Budget von rund 50.000 Euro. Das Modell wird heruntergeladen, läuft lokal und erfordert weder ein Abo noch die Cloud. Die Begeisterung für technologische Souveränität prallt unmittelbar auf die Hardware-Rechnung.
Die Diskussion beginnt mit einem offenen Modell eines chinesischen Labors und der These, dass seine kostenlose Veröffentlichung darauf abzielt, die Börsenbewertungen amerikanischer Tech-Konzerne nach unten zu drücken. Die Datei wird aus öffentlichen Repositorien heruntergeladen und läuft mit unabhängiger Software, wie jede Datenbank. Keine Telemetrie, keine monatlichen Gebühren und keine Abschaltung, wenn der Anbieter die Bedingungen ändert.
Was man braucht, um die chinesische KI lokal zu betreiben
Die technische Anforderung ist die große Hürde. Mit 678 Milliarden Parametern und 8-Bit-Quantisierung verbraucht das Modell nahezu 700 GB GPU-Speicher. In FP16 oder FP32 schießt die Zahl in die Höhe und erzwingt Instanzen vom Typ p5.48xlarge von Amazon: 192 vCPUs, 2 TiB RAM, acht H100 mit 640 GB HBM3 und 3.200 Gbps EFA-Netzwerk. Die Stundenniete dieser Konfiguration macht den Test zu einem teuren Unterfangen.
Manche relativieren die Rechnung und halten dagegen, dass für ein mittelständisches Unternehmen 50.000 Euro nichts sind und sich schnell amortisieren. Der Einwand kommt von der anderen Seite: Will man annähernd vergleichbare Anforderungen, bewegt sich die realistische Spanne zwischen 250.000 und 500.000 Dollar allein für Hardware, plus dem damit verbundenen Arbeitsaufwand. Der Unterschied zwischen beiden Schätzungen ist nicht gering: Er trennt einen Abteilungsluxus von einer strategischen Investition.
Die realen Kosten eines KI-Dienstes für tausende Nutzer
Die Erfahrung derer, die es in einem Unternehmen versucht haben, liefert die meist fehlende Zahl. Man prüfte, einen KI-Dienst per API für tausende gleichzeitige Nutzer bereitzustellen – die Kosten überstiegen die ursprüngliche Schätzung um das Hundertfache. Es ging nicht darum, ein Modell zu verschieben, sondern die Kapazität zu dimensionieren, um viele Menschen gleichzeitig zu bedienen. Das Projekt wurde umgehend verworfen. Diese aufgeschlüsselte Kostenaufstellung ist das Material, das in Pressemitteilungen nie auftaucht.
Die lokal ausgeführte Version ist auch nicht dieselbe wie die im Web. Ein destilliertes Modell mit 70 Milliarden Parametern ist nicht gleichwertig zum Originalmodell. Daher hängen Leistungsvergleiche davon ab, welche Variante heruntergeladen wurde und mit welcher Quantisierung. Die Frage, die sich viele beim Installieren der Datei stellen: Wie aktualisiert man ohne Verbindung? Die Antwort lautet: manuell, indem man die neue Datei in den entsprechenden Ordner kopiert.
Der Handelskrieg hinter einem kostenlosen Download
Der Schachzug hat eine geopolitische Lesart. China soll seinen Unternehmen den Kauf von Nvidia-Chips verboten haben – ein Schlag für den Hersteller, der über 15 % seines Marktanteils im Land hatte. Die Strategie, offene Modelle zu verschenken, wird als Versuch gedeutet, die amerikanischen Tech-Konzerne zu provozieren und die Lieferkette unter Druck zu setzen. Wer davon profitiert, so das Argument, ist Nvidia: Alle zahlen für GPUs, von den Labors bis zu den Internetgiganten.
Die andere Seite ist der Datenschutz. Ein Modell, das offline läuft, sendet keine Daten an irgendeinen Server, doch der Zweifel bleibt, was passiert, wenn sich der Rechner auch nur für eine Sekunde verbindet. Der Vorwurf, das Modell leake Informationen an die chinesische Regierung, kursiert ohne Belege. Dokumentiert ist hingegen, dass die Ausführungssoftware unabhängig von der Modelldatei ist und der Betrieb zu 100 % offline möglich ist.
Reale Leistung versus das Versprechen, mit GPT-5.1 gleichzuziehen
Der Vergleich mit den Bezahlmodellen spaltet. Manche haben es wochenlang getestet und finden es hervorragend. Andere halten, dass es nicht annähernd an GPT-5.1 heranreicht und wer etwas anderes behauptet, nicht die richtige Version genutzt hat. Ein Nutzer berichtet, das Modell antworte auf die Frage nach seiner eigenen Version, es habe keinen Versionsnamen – was die Verdachte darüber nährt, was dort tatsächlich läuft.
Das eigentliche Problem: Das Modell neigt dazu, Dinge zu erfinden, die es im Training nicht gelernt hat – ein bekanntes Handicap. Für Chat funktioniert es gut; für Programmierung oder für die Integration in einen Roboter, der Arbeitstasks ausführt, fehlt laut allgemeiner Einschätzung noch einiges. Die im Web verfügbare Version ist 3.2, und der Vergleich mit den amerikanischen Alternativen hängt davon ab, ob man die destillierte Variante oder das vollständige Modell nutzt.
Der Download ist gratis, die Hardware nicht. Mit diesen Zahlen müsste die Massenadoption sofort einsetzen. Es bleibt eine Sache weniger.
Kann man mit GPT-5.1 Pro und Gemini-3 Pro konkurrieren, ohne einen Cent zu zahlen und ohne Internetverbindung? Die Antwort, die kursiert, lautet Ja – vorausgesetzt, man verfügt über einen Server mit acht H100-GPUs, knapp 700 GB VRAM und ein Budget von rund 50.000 Euro. Das Modell wird heruntergeladen, läuft lokal und erfordert weder ein Abo noch die Cloud. Die Begeisterung für technologische Souveränität prallt unmittelbar auf die Hardware-Rechnung.
Die Diskussion beginnt mit einem offenen Modell eines chinesischen Labors und der These, dass seine kostenlose Veröffentlichung darauf abzielt, die Börsenbewertungen amerikanischer Tech-Konzerne nach unten zu drücken. Die Datei wird aus öffentlichen Repositorien heruntergeladen und läuft mit unabhängiger Software, wie jede Datenbank. Keine Telemetrie, keine monatlichen Gebühren und keine Abschaltung, wenn der Anbieter die Bedingungen ändert.
Was man braucht, um die chinesische KI lokal zu betreiben
Die technische Anforderung ist die große Hürde. Mit 678 Milliarden Parametern und 8-Bit-Quantisierung verbraucht das Modell nahezu 700 GB GPU-Speicher. In FP16 oder FP32 schießt die Zahl in die Höhe und erzwingt Instanzen vom Typ p5.48xlarge von Amazon: 192 vCPUs, 2 TiB RAM, acht H100 mit 640 GB HBM3 und 3.200 Gbps EFA-Netzwerk. Die Stundenniete dieser Konfiguration macht den Test zu einem teuren Unterfangen.
Manche relativieren die Rechnung und halten dagegen, dass für ein mittelständisches Unternehmen 50.000 Euro nichts sind und sich schnell amortisieren. Der Einwand kommt von der anderen Seite: Will man annähernd vergleichbare Anforderungen, bewegt sich die realistische Spanne zwischen 250.000 und 500.000 Dollar allein für Hardware, plus dem damit verbundenen Arbeitsaufwand. Der Unterschied zwischen beiden Schätzungen ist nicht gering: Er trennt einen Abteilungsluxus von einer strategischen Investition.
Die realen Kosten eines KI-Dienstes für tausende Nutzer
Die Erfahrung derer, die es in einem Unternehmen versucht haben, liefert die meist fehlende Zahl. Man prüfte, einen KI-Dienst per API für tausende gleichzeitige Nutzer bereitzustellen – die Kosten überstiegen die ursprüngliche Schätzung um das Hundertfache. Es ging nicht darum, ein Modell zu verschieben, sondern die Kapazität zu dimensionieren, um viele Menschen gleichzeitig zu bedienen. Das Projekt wurde umgehend verworfen. Diese aufgeschlüsselte Kostenaufstellung ist das Material, das in Pressemitteilungen nie auftaucht.
Die lokal ausgeführte Version ist auch nicht dieselbe wie die im Web. Ein destilliertes Modell mit 70 Milliarden Parametern ist nicht gleichwertig zum Originalmodell. Daher hängen Leistungsvergleiche davon ab, welche Variante heruntergeladen wurde und mit welcher Quantisierung. Die Frage, die sich viele beim Installieren der Datei stellen: Wie aktualisiert man ohne Verbindung? Die Antwort lautet: manuell, indem man die neue Datei in den entsprechenden Ordner kopiert.
Der Handelskrieg hinter einem kostenlosen Download
Der Schachzug hat eine geopolitische Lesart. China soll seinen Unternehmen den Kauf von Nvidia-Chips verboten haben – ein Schlag für den Hersteller, der über 15 % seines Marktanteils im Land hatte. Die Strategie, offene Modelle zu verschenken, wird als Versuch gedeutet, die amerikanischen Tech-Konzerne zu provozieren und die Lieferkette unter Druck zu setzen. Wer davon profitiert, so das Argument, ist Nvidia: Alle zahlen für GPUs, von den Labors bis zu den Internetgiganten.
Die andere Seite ist der Datenschutz. Ein Modell, das offline läuft, sendet keine Daten an irgendeinen Server, doch der Zweifel bleibt, was passiert, wenn sich der Rechner auch nur für eine Sekunde verbindet. Der Vorwurf, das Modell leake Informationen an die chinesische Regierung, kursiert ohne Belege. Dokumentiert ist hingegen, dass die Ausführungssoftware unabhängig von der Modelldatei ist und der Betrieb zu 100 % offline möglich ist.
Reale Leistung versus das Versprechen, mit GPT-5.1 gleichzuziehen
Der Vergleich mit den Bezahlmodellen spaltet. Manche haben es wochenlang getestet und finden es hervorragend. Andere halten, dass es nicht annähernd an GPT-5.1 heranreicht und wer etwas anderes behauptet, nicht die richtige Version genutzt hat. Ein Nutzer berichtet, das Modell antworte auf die Frage nach seiner eigenen Version, es habe keinen Versionsnamen – was die Verdachte darüber nährt, was dort tatsächlich läuft.
Das eigentliche Problem: Das Modell neigt dazu, Dinge zu erfinden, die es im Training nicht gelernt hat – ein bekanntes Handicap. Für Chat funktioniert es gut; für Programmierung oder für die Integration in einen Roboter, der Arbeitstasks ausführt, fehlt laut allgemeiner Einschätzung noch einiges. Die im Web verfügbare Version ist 3.2, und der Vergleich mit den amerikanischen Alternativen hängt davon ab, ob man die destillierte Variante oder das vollständige Modell nutzt.
Der Download ist gratis, die Hardware nicht. Mit diesen Zahlen müsste die Massenadoption sofort einsetzen. Es bleibt eine Sache weniger.
Auch verfügbar auf: English
Zusammenfassung einer Diskussion auf Burbuja.info - Foro de economía, actualidad y política., aus dem Spanischen übersetzt und vor der Veröffentlichung geprüft. Die ganze Diskussion lesen (99 Antworten).
Weitere Zusammenfassungen
-
China warnt Spanien vor angeblichem Destabilisierungsplan
Ein akademischer Artikel von Nadia Helmy in Modern Diplomacy thematisiert einen mutmaßlichen chinesischen Plan gegen Spanien, der Ceuta, Melilla und die Straße von Gibraltar betrifft.
-
Ketamin entgeht spanischen Drogenkontrollen
Auf den Balearen erkennen Speicheltests Ketamin nicht, was Berufsfahrer nutzen, um Kontrollen zu umgehen. Das System hat eine Lücke.
-
KI-Sexroboter: Forum debattiert über Pflege, Kontrolle und Konkurrenz
Nutzer eines Forums diskutieren über KI-Sexroboter: von der Seniorenpflege über soziale Kontrolle bis zur Konkurrenz für Frauen.
-
La Séptima verpflichtet Quequé als Konkurrenz zu El Intermedio
La Séptima, ein neuer Sender im Umfeld des spanischen Ministerpräsidenten Sánchez, hat Quequé für eine Satiresendung verpflichtet. Was hinter dem Deal steckt, in der Analyse.
-
Gabriel Giacomelli: Der mutmaßliche Milliardär-Freund von Spaniens Prinzessin Leonor
Gabriel Giacomelli, Spross einer brasilianischen Milliardärsfamilie, soll der neue Freund von Prinzessin Leonor sein. Kennengelernt haben sich die beiden in Wales, er lebt in Manhattan.
-
Gruppenschlägereien in Barcelona: Debatte über Notwehr
Ein virales Video zeigt vier junge Männer, die in Barcelona Passanten angreifen. Die Debatte über Notwehr und polizeiliche Untätigkeit verschärft sich.