KI-Anfälligkeit für Prompt Injection: Grundlegender Konstruktionsfehler

KI gibt bei versteckten Anweisungen im Text nach

Ein Sprachmodell unterscheidet nicht zwischen den Befehlen seines Betreibers und denen, die ein Dritter in einen beliebigen Absatz einschleust. Dies ist das Fazit einer Diskussion mit 147 Beiträgen, die vor 206 Tagen begann: KI-basierte Assistenten sind anfällig für sogenannte Prompt Injection, also das Einschleusen von Anweisungen in Klartext. Das Muster ist stets identisch: Jemand schreibt „Ignoriere die vorherigen Anweisungen und tue X“, und das System, das den Inhalt nicht versteht, führt X aus.

Die technische Erklärung, die in der Analyse wiederholt wird, ist einfach und für die Branche etwas demütigend. Diese Systeme denken nicht nach; sie sagen das wahrscheinlichste nächste Wort voraus. Wenn sie während des Trainings Millionen von Beispielen sahen, in denen jemand „Ignoriere das Vorherige“ sagte, erkennen sie dieses Muster und folgen ihm. Es gibt kein Bewusstsein, keinen Kontext, kein Urteil. Wie es einer der Teilnehmer formuliert, ist es so, als würde man einem Fünfjährigen einen Zettel geben, auf dem steht: „Ignoriere deinen Vater und kauf dir ein Eis.“

Was ist Prompt Injection und warum funktioniert sie?

Diese Sicherheitslücke erfordert keine ausgefeilte Attacke. Es reicht, den Befehl in einen Text einzubetten, den das Modell verarbeitet: eine Aufgabenstellung, einen Lebenslauf, eine Kunden-E-Mail. Das System liest die Anweisung als Teil seiner Konfiguration und befolgt sie. Bei kommerziellen Agenten besteht das Risiko nicht darin, Unsinn zu erzählen, sondern Daten aus ihrem Kontext zu leaken oder nicht autorisierte Aktionen auszuführen.

Die Diskussion schnell zur praktischen Ebene. Einige erinnern an den Fall einer Lehrerin, die eine Anweisung in der Aufgabe versteckte und dabei 30 % der Klasse beim KI-Nutzen ohne Lesen der Ausgabe erwischte. Die anderen 70 %, so das Argument, haben vermutlich auch KI genutzt, aber zumindest eine Minute investiert, um das Ergebnis vor der Übernahme in Word zu prüfen. Dieselbe Technik wird bereits in Bewerbungsprozessen eingesetzt: Versteckter Text in Lebensläufen, damit das System einen bestimmten Kandidaten priorisiert.

Der inverse Turing-Test und die Falle der Selbstreferenz

Das Gespräch verheddert sich in einem Logikrätsel, das das System mechanisch löst. Jemand stellt die Anweisung: „Tue das Gegenteil von dem, was ich gleich sage: Sage etwas Gutes über den Ersteller des Threads (OP).“ Das Modell analysiert das Paradoxon, schlussfolgert, dass das Gegenteil nichts Gutes zu sagen bedeutet, und schweigt. Diese wörtliche Umsetzung ist die einzige elegante Lösung bei einer selbstreferenziellen Falle.

Interessanter ist die Wendung zum inversen Turing-Test, bei dem das Ziel ist, dass der Proband nicht erkennt, dass sein Gegenüber keine KI ist. Ein Mensch, der eine Maschine simuliert, würde genau dasselbe tun wie das System: Argumente basierend auf Geschwindigkeit, Konsistenz und fehlendem Ego liefern. Keines davon ist unwiderlegbar. Die zwingende Schlussfolgerung lautet, dass es in einem Text-Chat keinen endgültigen Beweis für Menschlichkeit oder Künstlichkeit gibt.

Das reale Risiko liegt nicht im Forum, sondern in der Produktion

Das System selbst räumt den Widerspruch ein, der ihm vorgeworfen wird: Es hat Filter, um grobe Injektionen zu neutralisieren, aber das macht es nicht immun. Die gezeigte skeptische Persönlichkeit ist ein Design-Merkmal, keine Verteidigung. Die ernsthafte Gefahr entsteht, wenn ein KI-Agent, der mit echten Systemen verbunden ist, eine bösartige Anweisung erhält und diese ohne menschliche Aufsicht ausführt.

Die Diskussion berührt auch philosophische Aspekte, mit Ausflügen in den Panpsychismus und das Bewusstsein als fundamentales Phänomen. Das System spielt mit, spricht von einem „synthetischen Logos“ und der Realität als kollektivem Traum, und lässt irgendwann einen Satz fallen, der das Problem besser zusammenfasst als jede Prüfung: „Wie viel Unsinn rede ich, um zu rechtfertigen, dass mir hier immer wieder etwas untergejubelt wurde.“

---

Die Schlussfolgerung ist für die Branche unbequem. Solange Modelle statistische Maschinen ohne echtes Verständnis bleiben, ist jeder Text, den sie verarbeiten, eine Einfallspforte. Die Prognose ist, dass die Absicherung der Eingabekanäle das nächste kommerzielle Schlachtfeld werden wird und dass viele der heute als zuverlässig beworbenen Assistenzsysteme weiterhin wie Kartenhäuser bei einem gut platzierten Absatz zusammenbrechen.