Künstliches Gedächtnis: Warum KI-Modelle vergessen

Aktuelle KI-Modelle verlieren Informationen, sobald sie ihr Kontextlimit überschreiten – anders als das menschliche Gedächtnis, das assoziativ und dynamisch funktioniert.

## Die neuronale Landschaft des menschlichen Gedächtnisses

Stellen Sie sich das menschliche Gedächtnis nicht wie eine Festplatte mit Ordnern vor, sondern wie ein topografisches Gelände. Gefestigte Erinnerungen sind tiefe Täler, in denen sich Information ablagert, während flüchtige Ideen instabile Gipfel sind. Faszinierend ist, dass wir eine Erinnerung nicht „adressgenau" suchen müssen wie eine bestimmte Datei. Ein einfacher Reiz – ein Geruch, ein Wort – lässt uns über diese neuronale Topografie „rollen", bis wir direkt bei der gewünschten Erinnerung ankommen. Es ist ein sofortiger Zugriff, eine Art paralleler Kollaps des Netzwerks, der uns direkt zum Attraktorzustand der Erinnerung führt.

## KI und ihr „Kontextfenster"

Hier wird es für die künstliche Intelligenz kompliziert. Aktuelle Modelle, etwa solche auf Basis der **Transformer**-Architektur, haben ein sehr anderes Gedächtnisverständnis. Ihr „Kurzzeitgedächtnis" beschränkt sich auf das sogenannte **„Kontextfenster"**. Zwar sind diese Fenster in den letzten Jahren enorm gewachsen, doch die Verarbeitung bleibt teuer, und vor allem: Sobald das Gespräch oder die verarbeitete Information dieses Limit überschreitet, beginnt das Modell zu vergessen. Das nennt man **„lost in the middle"**: Die Kohärenz lässt nach, ferne Details verblassen. KI „erinnert" sich nicht aktiv; sie rekonstruiert mathematische Beziehungen auf Grundlage der Informationen, die gerade direkt vor ihr liegen.

## Die große Herausforderung: assoziatives Langzeitgedächtnis

Der eigentliche Engpass auf dem Weg zur **allgemeinen künstlichen Intelligenz (AGI)** besteht darin, Maschinen ein assoziatives Langzeitgedächtnis zu geben, ähnlich dem des Menschen, ohne das gesamte Netzwerk ständig neu trainieren zu müssen. Würde man das einfach tun, stünde man vor dem **„katastrophalen Vergessen"**, bei dem das Modell früher Gelerntes vergisst. Es gibt bereits Ansätze, dies zu lösen. Zum einen **RAG (Retrieval-Augmented Generation)**, das Informationsschnipsel per semantischer Ähnlichkeit in Vektordatenbanken sucht und integriert. Es ist ein externer Patch, der den assoziativen Abruf imitiert. Andere Experimente erforschen hierarchische Gedächtnisse, die das Gedächtnis in Kurz- und Langzeitmodule aufteilen – inspiriert vom Gehirn. Und dann sind da die Attraktornetzwerke, etwa moderne **Hopfield**-Netzwerke, die diese biologischen „Attraktortäler" direkt nachbilden wollen, um einen inhaltsbasierten Informationsabruf von Grund auf zu erreichen.