Diese Geschichte aus den USA ist mir diese Woche nicht mehr aus dem Kopf gegangen – und sie ist eine echte Warnung für jeden, der KI im Betrieb nutzt. Vor einem US-Bundesgericht traten sinnbildlich zwei Chatbots gegeneinander an. Beide Seiten reichten Schriftsätze ein, in denen die KI Gerichtsurteile zitierte, die es schlicht nie gegeben hat. Klingt absurd, ist aber genau so passiert.
Was ist da passiert?
Schauplätze war ein Bundesgericht in Mississippi, im Juni 2026. Es ging um einen Streit über Anwaltshonorare. Beide Parteien ließen ihre Schriftsätze von generativer KI schreiben – also von Programmen wie ChatGPT, die auf Knopfdruck Texte formulieren – und übernahmen die Ergebnisse, ohne sie zu prüfen. Das Resultat: Beide Seiten präsentierten dem Gericht erfundene Präzedenzfälle, also angebliche frühere Urteile, die als Beleg dienen sollten, in Wahrheit aber frei erfunden waren.
Was hat das Gericht gemacht?
Richterin Sharion Aycock brach die Sache nicht still ab, sondern zog klare Konsequenzen: Sie entzog allen vier beteiligten Anwälten das Mandat für diesen Fall, verhängte Geldstrafen zwischen 1.000 und 3.500 US-Dollar und sprach teils zweijährige Auftrittsverbote für den Gerichtsbezirk aus. Der Mandant selbst blieb übrigens ungestraft – es traf die, die der KI blind vertraut haben.
Warum erfindet KI so etwas überhaupt?
Das Stichwort heißt Halluzination. Damit ist gemeint, dass ein Sprachmodell Inhalte ausgibt, die völlig plausibel klingen, aber faktisch erfunden sind – eine Zahl, ein Paragraf, ein ganzes Urteil. Die KI „weiß“ nicht, dass sie lügt; sie füllt einfach Lücken mit dem, was statistisch passend wirkt. Forscher der Stanford University fanden schon Anfang 2024 heraus, dass gängige Chatbots bei konkreten juristischen Fragen in 69 bis 88 Prozent der Fälle halluzinieren. Das ist keine Ausnahme, das ist die Regel.
Was heißt das für mein Unternehmen?
Jetzt denken Sie vielleicht: „Ich bin doch kein Anwalt.“ Stimmt – aber das Muster trifft jeden Betrieb. Wir bei Media Nord sehen es ständig: KI schreibt ein Angebot, einen Vertragsentwurf, eine Produktbeschreibung oder eine Kundenmail – und niemand liest sie noch einmal gegen, weil „die KI wird’s schon richtig machen“. Genau hier lauert die Gefahr. Ein falscher Liefertermin, eine erfundene technische Angabe, eine falsche Rechtsauskunft an einen Kunden: Der Schaden kann teuer werden, finanziell wie für den Ruf.
Unser Tipp aus der Praxis
- Vier-Augen-Prinzip für KI. Alles, was nach draußen geht, prüft ein Mensch, der das Thema versteht.
- Quellen verlangen. Bei Fakten, Zahlen oder Zitaten immer nachfragen, woher sie stammen – und das gegenprüfen.
- KI als Entwurfshelfer, nicht als letzte Instanz. Die KI liefert den ersten Wurf, der Mensch trifft die Entscheidung.
Darf ich KI dann überhaupt noch für Texte nutzen?
Unbedingt – nur eben mit Netz und doppeltem Boden. KI ist hervorragend darin, einen ersten Entwurf zu liefern, Formulierungen zu glätten oder eine lange Mail zusammenzufassen. Heikel wird es überall dort, wo es auf harte Fakten ankommt: Zahlen, Namen, Paragrafen, Fristen, Quellen. Faustregel aus unserer Praxis: Je größer der Schaden bei einem Fehler, desto gründlicher muss ein Mensch gegenlesen. Für eine interne Notiz reicht ein kurzer Blick, für ein Angebot oder einen Vertrag braucht es die volle Kontrolle.
Unser Fazit
Ehrlich gesagt finde ich den Fall lehrreicher als jede Schulung: KI ist ein großartiger Beschleuniger, aber sie ersetzt nicht das Mitdenken. Wer Tempo gewinnen will, ohne sich zu blamieren, baut die Kontrolle fest in den Ablauf ein. Genau dazu raten wir jedem Betrieb, den wir begleiten. Wir bleiben dran und sagen Ihnen, wenn die nächste KI-Pleite vor Gericht landet.
Quellen
- https://t3n.de/news/ki-halluzination-gericht-1747710/
- https://www.itsicherheitnews.de/ki-halluziniert-praezedenzfaelle-wie-zwei-chatbots-vor-gericht-gegeneinander-antraten/
Hinweis zur Transparenz: Dieser Beitrag wurde KI-gestützt erstellt und vor der Veröffentlichung redaktionell geprüft. Inhalte können Fehler enthalten — für wichtige Entscheidungen bitte die verlinkten Originalquellen heranziehen.


