Lokale KI: von 1.500 € bis 7.000 € je nach Speicherbandbreite

Lokale KI: von 1.500 € bis 7.000 € je nach Speicherbandbreite

Eine KI-Workstation zu Hause aufzubauen ist nicht billig, aber auch nicht unmöglich. Der Kern des Problems liegt nicht in der Rechenleistung des Prozessors, sondern in der Speicherbandbreite: der Geschwindigkeit, mit der Daten den Chip erreichen, der sie verarbeitet. Mit dieser Variablen als Kompass reicht die Preisspanne, über die die Teilnehmer der Debatte sprechen, von 1.500 Euro für einen Rechner, der kleine Modelle mit brauchbarer Geschwindigkeit bewältigt, bis zu 7.000 Euro für eine Maschine, die nahe an die Leistung von Cloud-Diensten herankommt. Dazwischen steht eine unbequeme Frage: Lohnt es sich, oder ist das übliche Abo die bessere Wahl?

Warum die Bandbreite über die Rechnung entscheidet

Der Flaschenhals der lokalen KI liegt nicht in der Grafikkarte, sondern im Speicher. Ein starker Prozessor verbringt den Tag damit, auf Daten aus dem RAM zu warten, und genau dort entscheidet sich, ob ein Modell in vier oder in vierzig Sekunden antwortet. Die Faustregel der Branche ist einfach: Die Generierungsgeschwindigkeit in Tokens pro Sekunde entspricht der Bandbreite geteilt durch die Modellgröße in Milliarden Parametern.

Mit dieser Formel bietet ein PC mit DDR5 bei 5.600 MHz rund 90 GB/s. Das ergibt 30 Tokens pro Sekunde bei einem 3B-Modell, 12,8 bei einem 7B-Modell und gerade einmal 3,3 bei einem 27B-Modell. Ein Mac Studio M5 Ultra hingegen schafft 1 TB pro Sekunde, womit sich 100B-Modelle mit 10 Tokens pro Sekunde betreiben lassen. Der Preisunterschied zwischen den beiden Extremen liegt bei etwa 5.500 Euro.

Manche halten 10 Tokens pro Sekunde für ausreichend arbeitsfähig, vor allem wenn es um Chat geht und nicht um einen autonomen Agenten. Andere erinnern daran, dass die Frontier-Modelle, die man in der Cloud mietet, auf einer Bandbreite von 8 Tb laufen und MoE-Modelle mit 30B aktiven Parametern sind, was ihnen 300 Tokens pro Sekunde ermöglicht. Die Lücke liegt, in reiner Geschwindigkeit, bei einer Größenordnung.

Mac Studio, DGX Spark oder Custom-PC: Was jede Option bietet

Das Mac Studio M5 Ultra ist die Referenz bei Unified Memory und Bandbreite, doch sein Preis liegt bei rund 7.000 Euro, und das ist vielen zu viel. Nvidias Alternative, die DGX Spark, wird am häufigsten als Option für alle genannt, die etwas Integriertes und sofort einsatzbereites wollen, wobei die Warnung immer dieselbe ist: Es amortisiert sich nicht, wenn die Abos ihre Preise halten.

Beim PC ist die Spanne breit. Ein Rechner mit Threadripper, viel RAM und ein paar 16-GB-Karten kann in Importshops für unter 3.000 Euro zu haben sein, mit dem Nachteil eines erheblichen Stromverbrauchs. Ryzen AI Spark mit 128 GB Unified RAM werden als Komplettsysteme zwischen 4.000 und 6.000 Euro verkauft und lösen das Problem, wie Anwender aus professionellen Umgebungen berichten, für die Hälfte dessen, was Apple verlangt. Bei Modellen, die nicht in 128 GB passen, explodieren die Preise auf Niveau einer kleinen Wohnung.

Eine einzelne RTX 5090 wurde bereits für 6.000 Euro gesehen, was die Frage aufwirft, ob Warten nicht besser ist. Die Antwort, die immer wieder kommt: Wer es eilig hat, zahlt; wer nicht, für den wird die Hardware billiger und die Modelle effizienter.

Die versteckten Kosten: Stromverbrauch, Obsoleszenz und Abhängigkeit

Ein Faktor wird oft übersehen: Mehrere Karten rund um die Uhr laufen zu lassen, treibt die Stromrechnung in die Höhe. Dazu kommt das Risiko, dass offene Modelle ausbleiben. Training erfordert massive Rechenleistung und lässt sich nicht gemeinschaftlich unter Enthusiasten bewältigen; es hängt von Unternehmen mit Tausenden GPUs ab. Wenn die chinesischen Labore den Hahn zudrehen, bleibt man mit veralteten Modellen sitzen.

Das Datenschutzargument hat jedoch Gewicht. Die Kontrolle über die eigenen Daten zu behalten und nicht davon abhängig zu sein, ob ein Anbieter Preise erhöht oder den Dienst verschlechtert, ist eine echte Motivation. Der Haken: Lokale Modelle sind, so gut sie auch sind, eine Stufe unter den Frontier-Modellen. Ein 27B-Qwen, quantisiert auf IQ3_S, passt in 16 GB VRAM und läuft erstaunlich gut, aber er konkurriert nicht mit den Topmodellen der Cloud.

Die komplette Rechnung, mit jeder Bandbreitenstufe und ihrem zugehörigen Preis, führt zu einer unbequemen Schlussfolgerung: Anständige lokale KI kostet heute so viel wie drei Jahre Premium-Abo. Die vorsichtige Prognose lautet, dass sich diese Gleichung ändert, sobald Unified Memory in Consumer-Laptops ankommt – erwartet wird das in den nächsten zwei Jahren.

---

Häufige Fragen

Welche Bandbreite brauche ich für ein 27B-Modell?
Damit ein 27B-Modell im Chatmodus mit brauchbarer Geschwindigkeit läuft, braucht man mindestens 250 GB/s Bandbreite, was in der Praxis Unified Memory wie beim Mac Studio oder High-End-Grafikkarten erfordert. Bei 90 GB/s sinkt die Leistung auf 3,3 Tokens pro Sekunde.

Kann man ein Modell zu Hause trainieren?
Nicht realistisch. Training erfordert Tausende GPUs, die parallel arbeiten, und lässt sich nicht gemeinschaftlich unter Hobbyisten bewältigen. Lokal lassen sich bereits trainierte Modelle ausführen, leicht feintunen oder für konkrete Aufgaben nutzen.

Lohnt es sich, auf sinkende Preise zu warten?
Das hängt von der Eile ab. Der Trend deutet darauf hin, dass Unified Memory in den nächsten zwei Jahren in Laptops Einzug hält und die Modelle effizienter werden, was den Zugang verbilligen wird. Wer die Leistung aber jetzt braucht, muss den heutigen Preis zahlen.