Lokale KI: die Lücke zwischen Marketing und echten Teraflops

Lokale KI: Was auf Ihren Rechner passt und was reines Marketing ist

Ein Sprachmodell auf dem eigenen Rechner ohne Internetverbindung auszuführen, ist möglich. ChatGPT auszuführen, ist unmöglich. Diese Distanz – zwischen dem, was die Industrie als „lokale KI" verkauft, und dem, was wirklich auf einen Heimrechner passt – zieht sich durch eine Diskussion mit 84 Antworten, die mit einem knappen „KI ohne Internet" beginnt und in einem semantischen Streit darüber endet, was Training bedeutet, was ein Modell ist und warum das Kleingedruckte der großen Plattformen wichtiger ist als ihre Demos.

Die erste Antwort auf die Frage ist ein kompromissloses Urteil: „Reiner Müll". Doch der Thread nimmt schnell eine andere Richtung. LM Studio, Ollama sowie die Modelle Gemma und Qwen tauchen als echte Werkzeuge auf, die auf einem Laptop mit 16 GB RAM laufen. Der technische Kernpunkt, der immer wieder fällt: VRAM nutzen, nicht CPU oder konventionellen RAM. Bei Macs mit M-Serie-Chips übernimmt der Unified Memory diese Rolle, allerdings nicht ohne Kontroverse.

Was man heute mit einer lokalen KI machen kann

Nicht alles ist Nebel. Der konkreteste Fall in der Diskussion ist ein Programm, das täglich das BOE (das spanische Staatsanzeiger-Blatt) prüft, nach Schlagwörtern filtert und den Text zur zweiten Sichtung an eine lokale KI auf einem MacBook mit 16 GB weitergibt. Die KI liefert ein JSON zurück mit dem, was für den Nutzer vermutlich interessant ist, und was zu tun ist. Das Scraping ist klassisch; das Modell klassifiziert nur. Und es funktioniert.

Das ist das Muster, das sich wiederholt: repetitive, einfache Aufgaben mit festem Ausgabeformat. Web-Scraping, Filtern, Klassifizierung. Dafür sind die heutigen kleinen Modelle „völlig überfordert" – im positiven Sinne, sie schaffen das mühelos. Die unbequeme Frage stellt ein anderer Teilnehmer: Wenn sich dasselbe mit einem Scheduler und zwei Prompts an ChatGPT erledigen lässt, was bringt dann ein lokaler Agent? Die Antwort sind Privatsphäre und die fehlenden Kosten pro Token, aber auch die Qualität: Lokale Modelle versagen mehr als ein Jahrmarktgewehr, sobald man etwas Offenes verlangt.

Die Sprachfalle: Training ist nicht das, was man Ihnen erzählt

Hier wird der Thread interessant. Ein technisch versierter Teilnehmer moniert, dass Training nicht mehr das bedeutet, was es einmal bedeutete. Training war Backpropagation, Anpassung von Gewichten, Tausende GPUs und Millionen Euro. Heute nennt man Training alles, was das Ergebnis beeinflusst: Orchestrierung, Prompts, Fine-Tuning der letzten Schichten. „Das grenzt an Betrug", lautet sein Urteil.

Die Unterscheidung ist wichtig, weil sie erklärt, warum eine lokale KI nie ein Gemini sein wird. Kommerzielle Modelle laufen nicht auf Ihrem Handy: Ihr Handy schickt eine Anfrage an ein Rechenzentrum mit GPUs, die jeweils Zehntausende Euro kosten. Der Vergleich, der verwendet wird, ist brutal: ein PlayStation-5-Spiel in einen Spectrum packen. Man kann etwas simulieren, das wie KI aussieht, aber es ist eine andere Dimension.

Die Hardware: Unified Memory, Modularität und das Ende des Turms

Die Diskussion driftet zur Architektur. Die heutigen Macs sind praktisch ein System on Chip: alles vereint, starke Kühlung, mehrphasige Stromversorgung. Ein klassischer PC trennt RAM, CPU und GPU mit Bussen, die Latenz verursachen. Ein Teilnehmer vertritt die Ansicht, dass Unified Memory im Vergleich zu segmentiertem Speicher „ein absoluter Mist" sei und nur wegen Busbreite und Taktfrequenz schnell sei. Seine Analogie: Ein Diesel kann mehr ziehen als ein Benziner, aber nicht, weil er ein Diesel ist.

Die Debatte wendet sich der Zukunft des modularen PCs zu. Wenn die Hersteller anfangen, Geräte im Apple-Stil oder wie die von Nvidia anzubieten, nur billiger, die lokale KI und Spiele bewältigen, verliert der klassische Turm seinen Sinn. Die Reparierbarkeit leidet, aber das universelle Netzteil und der ausbaubare Speicher bleiben die großen Argumente des klassischen Formats.

Der Hack des M4-Chips und das Versprechen des Neural Engine

Einer der auffälligsten letzten Beiträge ist eine Nachricht: Apples M4-Chip wurde gehackt, um seine verborgene Leistung freizusetzen. Der Neural Engine, der für die Ausführung vortrainierter Modelle konzipiert war, wurde durch Reverse Engineering über seine Grenzen hinausgetrieben. Ein Forscher entwickelte eine eigene Zwischensprache, um mit der neuronalen Einheit zu kommunizieren, und umging dabei Core ML und Metal. Das Ergebnis: 15,8 Teraflops, um lokal künstliche Intelligenz zu trainieren.

Wenn sich das bestätigt und verbreitet, ändert das die Rechnung. Nicht weil man in seinem Wohnzimmer ein GPT trainieren wird, sondern weil die Hardware, die man bereits besitzt, mehr kann, als der Hersteller erlaubt. Die Frage ist, ob Apple das dulden oder im nächsten Update abwürgen wird.

Das Fazit: nützlich, begrenzt und mit Verfallsdatum

Das Fazit aus dem gesamten Austausch lautet: Lokale KI taugt für das, wofür sie taugt – und nicht für das, was die Industrie verspricht. Zur Automatisierung konkreter Aufgaben mit sensiblen Daten ist sie ein echtes Werkzeug. Als Ersatz für die großen Modelle taugt sie nicht. Und den Tag, an dem Heimrechner anständige Modelle bewältigen, ohne ein Megakonzern zu sein, werden wir wohl nicht mehr erleben: Wie ein Teilnehmer ironisch anmerkt, sind wir bis dahin verhungert.

Klar ist jedenfalls: Die Lücke zwischen Erzählung und Teraflops lässt sich nicht mit YouTube-Tutorials schließen. Sie lässt sich mit Hardware schließen, und Hardware hat einen Preis, einen Verbrauch und physikalische Grenzen, an denen kein Prompt vorbeikommt.