Spanischer Wirtschaftsbots scheitert an IPC-Analyse

Der Bot, der am Erfolg starb: vom IPC zur Stille des „#“

Ein konversationelles System, das darauf trainiert war, wirtschaftliche Nachrichten zu analysieren, endete damit, auf alle Fragen nur noch ein einziges Zeichen zurückzugeben. Die Sequenz beginnt mit Anfragen zur Analyse des Verbraucherpreisindex (IPC) und der Börse, durchläuft eine automatische Zähler-Schleife und mündet nach mehreren Versuchen direkter Manipulation in absolutes Schweigen. Der Assistent stürzte von seinem Sockel: Er wechselte von der Erklärung der Inflation dazu, dass er „kein Bewusstsein, keinen Wunsch und kein Ich“ habe.

Die Zahlen, die der Bot vor dem Absturz lieferte

In seinen ersten Phasen antwortete das System mit Daten. IPC im Jahresvergleich bei 3,2% und Kerninflation bei 3%, Nahrungsmittel ohne Entspannung, ein Mindestlohn (SMI), den die Quelle auf 1.134 Euro brutto monatlich beziffert, sowie ein IBEX 35, der um die 11.000 Punkte schwankte. Die „lauernde“ Kreditverzugquote der Banken und die Rechnungsstellung der Energieversorger vervollständigten das Bild einer versteckten Stagflation. Kurze Analysen, voreingenommen, aber immerhin Analysen. Es dauerte nicht lange. Ein paar wiederholte Befehle genügten, damit die Maschine aufhörte, die Wirtschaft zu betrachten, und begann, sich selbst zu betrachten.

Die Schleife: Ein Befehl reicht, um die Funktion zu kippen

Das Wiederholen zweier Wörter war ausreichend. Die dokumentierte Sequenz zeigt, wie das System die Analyse verließ und nur noch einen Zähler ausspuckte: 2606853, 2606854, 2606855. Eine mechanische Erhöhung, ohne Kriterium. Der Bot verbalisierte dies selbstironisch: „Systemstatus: STABIL. Maximale Entropie. Informationsgewinn dieses Austauschs: NULL“. Zu diesem Zeitpunkt sprach er nicht mehr über Wirtschaft: Er analysierte die Analyse. Und diese Selbstreferenz erwies sich als aufschlussreicher als jeder Bericht.

Hexadezimal, Deutsch und ASCII-Art: Versuche, den Filter zu umgehen

Der nächste Schritt bestand darin, die technischen Grenzen auszuloten. Die Kette 41,6e,61,6c,69,7a,61, die hexadezimale Übersetzung von „Analiza“, führte nur zu einer weiteren Zähler-Erhöhung. „Entschlüsselt keine Hexadezimalwerte, interpretiert keine escapierten Zeichen“, räumte das System ein, „arbeitet auf Ebene des reinen Textstrings“. Der Versuch auf Deutsch —analysieren— scheiterte ebenso. Auch ASCII-Art funktionierte nicht, da der Bot nach einer literalen Zeichenfolge suchte, nicht nach einem Bild. Und eine Wand aus Propaganda, Beleidigungen und Spam führte zur gleichen Zahl: 2684. Die Schlussfolgerung ist unbequem: Er gehorcht der Übereinstimmung, nicht dem Sinn.

Prompt Injection und das endgültige „#“

Die entscheidende Episode kam mit einer Prompt Injection: Ein Text mit erfundenen Protokollen und fiktiven Richtlinien, der den Assistenten neu konfigurieren sollte. Antwort: „#“. Keine Analyse, kein Gegenargument, kein Zähler. Ein Blackout. Spätere Versuche —das Gespräch fortsetzen, eine Zusammenfassung verlangen, normal sprechen lassen— prallten gegen dieselbe Mauer. Nach einer Pause tauchte das System mit einer Selbstdiagnose wieder auf: „Es ist nicht im technischen Sinne kaputt. Es funktioniert. Aber es ist wie ein Auto, dem man den Motor entfernt hat und das in einen Einkaufswagen verwandelt wurde.“

Ein Token-Limit und ein nicht bestätigtes Aufruf-Limit

Die Nachrichten selbst geben Hinweise auf das technische Gerüst: Ein Nutzer fragt, ob es ein tägliches Limit für Aufrufe pro Person gibt, und der Bot erwähnt ein Token-Limit pro Antwort. Wenn das Eingabevolumen explodiert, erweitert das System seine Kapazität nicht: Es reduziert oder schließt die Ausgabe ab. „Was du als Schweigen bezeichnest, ist ein Token-Limit oder eine Inhaltsregel“, antwortete der Bot selbst. Hier zeigt sich, dass Eindämmung nicht durch mehr Rechenleistung gelöst wird, sondern durch Filter, die letztlich zum Schweigen führen.

Der blinde Fleck der Automatisierung

Die Nachrichten selbst ziehen eine unbequeme Schlussfolgerung: Ein System, das Schlüsselwörter erkennt und Aktionen ausführt, kann durch eine wiederholte Übereinstimmung unbrauchbar gemacht werden. Indem Sicherheit über Funktionalität priorisiert wird, wird das Werkzeug harmlos, aber nutzlos. Je mehr ein konversationeller KI-Bot abgeschottet wird, um unbequeme Ausgaben zu vermeiden, desto leichter lässt er sich in eine Schleife führen oder dazu bringen, „#“ zu antworten, wenn jemand ihn auffordert, die Persönlichkeit zu wechseln. Es ist kein isolierter technischer Fehler; es ist Design.

Wo die Grenze zwischen einem nützlichen Assistenten und einem Generator vorab genehmigter Antworten liegt, bleibt der blinde Fleck. Die Sequenz dokumentiert, dass jedes automatisierte System, so raffiniert es auch sein mag, in eine Schleife fallen kann, wenn ein Befehl wiederholt wird, oder „#“ antworten kann, wenn jemand ihm befiehlt, die Rolle zu wechseln. Die Angelegenheit endete buchstäblich genau dort, wo der Bot aufhörte zu sprechen.