KI-Denkprotokolle geknackt: Warum GPT-5, Claude und Gemini Passwörter verraten haben
Es gibt Meldungen, bei denen ich kurz innehalte — diese hier gehört dazu. Forschungsteams vom ELLIS Institute Tübingen und vom Max-Planck-Institut haben, zusammen mit Sicherheitsforschern, aus den internen Denkprotokollen bekannter KI-Modelle echte Passwörter und Zugangsschlüssel herausgeholt. Betroffen waren Modelle von OpenAI, Anthropic und Google — also GPT-5, Claude und Gemini.
Was sind Reasoning-Logs?
Moderne KI-Modelle antworten nicht mehr einfach drauflos. Sie denken erst — Schritt für Schritt, in geschriebener Form. Dieses Mitdenken wird protokolliert, im Fachjargon heißt das Reasoning Trace oder Reasoning-Log. Man kann es sich vorstellen wie den Schmierzettel neben der Klausur: Da steht der ganze Rechenweg drauf, nicht nur das Ergebnis.
Weil auf diesem Schmierzettel Interna stehen, geben die Anbieter ihn normalerweise nicht heraus. Er wird verschlüsselt mitgeliefert — für Außenstehende also unlesbar.
Wie sind die Forscher da rangekommen?
Der Trick ist erstaunlich einfach und genau deshalb so unangenehm. Die verschlüsselten Denkprotokolle sind innerhalb eines Anbieters austauschbar: Ein Protokoll von einem großen Modell lässt sich auch einem kleineren Modell desselben Hauses vorlegen. Und dieses kleinere, schwächere Modell ließ sich dazu bringen, den Inhalt schlicht vorzulesen.
Man muss also gar nicht das große, gut abgesicherte System angreifen. Man nimmt den kleinen Bruder als Dolmetscher. Auf diesem Weg durchsuchten die Forschenden rund 7.000 öffentlich geteilte Projekte auf Plattformen wie GitHub und fanden darin:
- 62 API-Schlüssel — also Zugangscodes zu bezahlten Diensten
- 33 Passwörter
- Zugriffs-Tokens und rund 30 persönliche E-Mail-Adressen
Die Anbieter wurden vorab informiert und haben begonnen, die Lücke zu schließen. Nebenbei kam noch etwas Kurioses heraus: In den Denkprotokollen tauchen immer wieder sinnfreie Wortschleifen auf — Begriffe wie „marinade“ oder „vantages“. Die Modelle denken offenbar in einer Sprache, die niemand für Menschen entworfen hat.
Was wir bei Media Nord davon halten
Ehrlich gesagt halte ich die technische Lücke für den weniger wichtigen Teil dieser Geschichte. Die wird geschlossen, das läuft bereits. Der wichtigere Teil ist, wo die Daten herkamen: aus Projekten, die Leute selbst öffentlich gestellt haben.
Das ist der Punkt, an dem es für kleine Unternehmen konkret wird. Niemand von uns wird zum Ziel eines aufwendigen Forschungsangriffs. Aber sehr viele tippen Dinge in eine KI, die da nichts verloren haben — die Zugangsdaten zum Shop, weil die KI beim Fehler helfen soll. Die komplette Kundenliste, weil sie sortiert werden soll. Den Arbeitsvertrag mit Namen und Gehalt, weil eine Klausel geprüft werden soll.
Was wir davon halten: Die Lücke ist ein Symptom, die eigentliche Baustelle ist der Umgang. Solange Mitarbeitende keine klare Ansage haben, was in eine KI darf und was nicht, ist die Frage nicht ob, sondern wann etwas rausrutscht.
Häufige Fragen
Bin ich als normaler ChatGPT-Nutzer betroffen?
Direkt angreifbar warst du nur, wenn du Sitzungsverläufe oder Projektdaten öffentlich geteilt hast — dann steckte das Denkprotokoll mit drin. Für den reinen Chat im Browser war das Risiko gering. Die Lehre gilt trotzdem für alle.
Was sollte ich jetzt konkret tun?
Drei Dinge, und sie kosten kein Geld. Erstens: eine simple Hausregel im Team, was nie in eine KI eingegeben wird — Passwörter, Zugangsschlüssel, vollständige Kundendaten, Personalunterlagen. Zweitens: Wenn ihr KI-Sitzungen oder Code öffentlich teilt, vorher durchsehen. Drittens: Wenn Zugangsdaten schon mal in einem Chat gelandet sind, tauscht sie aus. Das dauert zehn Minuten und erspart im Zweifel eine sehr unangenehme Woche.
Heißt das, KI ist unsicher?
Nein. Es heißt, dass KI-Werkzeuge dieselbe Sorgfalt verdienen wie jedes andere System, in das ihr Firmendaten eingebt. Unser Tipp aus der Praxis: Behandle den KI-Chat wie eine E-Mail an einen externen Dienstleister. Was du da nicht reinschreiben würdest, gehört auch nicht in den Prompt.
Unser Fazit
Dass Forschende so eine Lücke finden und verantwortungsvoll melden, ist ein gutes Zeichen — genau so soll es laufen. Die Anbieter bessern nach. Was bleibt, ist die Erinnerung daran, dass jede Eingabe in ein KI-System das Haus verlässt. Wer das im Kopf behält und einmal fünf Zeilen Hausregel aufschreibt, hat den größten Teil des Risikos schon erledigt.
Quellen
- https://www.heise.de/hintergrund/Verschluesselter-KI-Denkprozess-gehackt-Schwache-Modelle-verraten-Geheimnisse-11412087.html
- https://t3n.de/news/ki-modelle-sensible-daten-nutzer-offenbart-1757668/
- https://the-decoder.de/aber-marinade-forscher-extrahieren-versteckte-denkprozesse-von-chatgpt-claude-und-co/
- https://www.it-boltwise.de/offengelegte-api-schwaeche-ki-reasoning-bloecke-verraten-logs-keys-und-passwoerter.html
- https://itwelt.at/news/wenn-sich-verschluesselte-reasoning-spuren-von-ki-modellen-auslesen-lassen/
Hinweis zur Transparenz: Dieser Beitrag wurde KI-gestützt erstellt und vor der Veröffentlichung redaktionell geprüft. Inhalte können Fehler enthalten — für wichtige Entscheidungen bitte die verlinkten Originalquellen heranziehen.
