Diese Geschichte aus den USA ist mir diese Woche nicht mehr aus dem Kopf gegangen – und sie ist eine echte Warnung für jeden, der KI im Betrieb nutzt. Vor einem US-Bundesgericht traten sinnbildlich zwei Chatbots gegeneinander an. Beide Seiten reichten Schriftsätze ein, in denen die KI Gerichtsurteile zitierte, die es schlicht nie gegeben hat. Klingt absurd, ist aber genau so passiert.

Was ist da passiert?

Schauplätze war ein Bundesgericht in Mississippi, im Juni 2026. Es ging um einen Streit über Anwaltshonorare. Beide Parteien ließen ihre Schriftsätze von generativer KI schreiben – also von Programmen wie ChatGPT, die auf Knopfdruck Texte formulieren – und übernahmen die Ergebnisse, ohne sie zu prüfen. Das Resultat: Beide Seiten präsentierten dem Gericht erfundene Präzedenzfälle, also angebliche frühere Urteile, die als Beleg dienen sollten, in Wahrheit aber frei erfunden waren.

Was hat das Gericht gemacht?

Richterin Sharion Aycock brach die Sache nicht still ab, sondern zog klare Konsequenzen: Sie entzog allen vier beteiligten Anwälten das Mandat für diesen Fall, verhängte Geldstrafen zwischen 1.000 und 3.500 US-Dollar und sprach teils zweijährige Auftrittsverbote für den Gerichtsbezirk aus. Der Mandant selbst blieb übrigens ungestraft – es traf die, die der KI blind vertraut haben.

Warum erfindet KI so etwas überhaupt?

Das Stichwort heißt Halluzination. Damit ist gemeint, dass ein Sprachmodell Inhalte ausgibt, die völlig plausibel klingen, aber faktisch erfunden sind – eine Zahl, ein Paragraf, ein ganzes Urteil. Die KI „weiß“ nicht, dass sie lügt; sie füllt einfach Lücken mit dem, was statistisch passend wirkt. Forscher der Stanford University fanden schon Anfang 2024 heraus, dass gängige Chatbots bei konkreten juristischen Fragen in 69 bis 88 Prozent der Fälle halluzinieren. Das ist keine Ausnahme, das ist die Regel.

Was heißt das für mein Unternehmen?

Jetzt denken Sie vielleicht: „Ich bin doch kein Anwalt.“ Stimmt – aber das Muster trifft jeden Betrieb. Wir bei Media Nord sehen es ständig: KI schreibt ein Angebot, einen Vertragsentwurf, eine Produktbeschreibung oder eine Kundenmail – und niemand liest sie noch einmal gegen, weil „die KI wird’s schon richtig machen“. Genau hier lauert die Gefahr. Ein falscher Liefertermin, eine erfundene technische Angabe, eine falsche Rechtsauskunft an einen Kunden: Der Schaden kann teuer werden, finanziell wie für den Ruf.

Unser Tipp aus der Praxis

  • Vier-Augen-Prinzip für KI. Alles, was nach draußen geht, prüft ein Mensch, der das Thema versteht.
  • Quellen verlangen. Bei Fakten, Zahlen oder Zitaten immer nachfragen, woher sie stammen – und das gegenprüfen.
  • KI als Entwurfshelfer, nicht als letzte Instanz. Die KI liefert den ersten Wurf, der Mensch trifft die Entscheidung.

Darf ich KI dann überhaupt noch für Texte nutzen?

Unbedingt – nur eben mit Netz und doppeltem Boden. KI ist hervorragend darin, einen ersten Entwurf zu liefern, Formulierungen zu glätten oder eine lange Mail zusammenzufassen. Heikel wird es überall dort, wo es auf harte Fakten ankommt: Zahlen, Namen, Paragrafen, Fristen, Quellen. Faustregel aus unserer Praxis: Je größer der Schaden bei einem Fehler, desto gründlicher muss ein Mensch gegenlesen. Für eine interne Notiz reicht ein kurzer Blick, für ein Angebot oder einen Vertrag braucht es die volle Kontrolle.

Unser Fazit

Ehrlich gesagt finde ich den Fall lehrreicher als jede Schulung: KI ist ein großartiger Beschleuniger, aber sie ersetzt nicht das Mitdenken. Wer Tempo gewinnen will, ohne sich zu blamieren, baut die Kontrolle fest in den Ablauf ein. Genau dazu raten wir jedem Betrieb, den wir begleiten. Wir bleiben dran und sagen Ihnen, wenn die nächste KI-Pleite vor Gericht landet.

Quellen


Hinweis zur Transparenz: Dieser Beitrag wurde KI-gestützt erstellt und vor der Veröffentlichung redaktionell geprüft. Inhalte können Fehler enthalten — für wichtige Entscheidungen bitte die verlinkten Originalquellen heranziehen.

author avatar
Media-Nord.com UG Geschäftsführung
Seit 2021 bin ich mit Media-Nord in der digitalen Welt zu Hause – als Agentur für WordPress, SEO und Online-Marketing habe ich für Kundinnen und Kunden aus dem Mittelstand Websites gebaut, Sichtbarkeit geschaffen und Inhalte produziert, die wirklich gefunden werden. Was als klassisches Agenturhandwerk begann, hat sich in den letzten Jahren grundlegend verändert: Künstliche Intelligenz ist heute der Hebel, mit dem kleine und mittlere Unternehmen Arbeit einsparen, schneller publizieren und Prozesse automatisieren, für die früher ein ganzes Team nötig war. Diesen Wandel begleite ich nicht nur theoretisch – ich baue ihn selbst. In meiner eigenen Agentur laufen heute KI-gestützte Automationen im Tagesgeschäft: von der automatisierten Content- und Social-Media-Produktion über Recherche- und Reporting-Workflows bis zu Systemen, die wiederkehrende Aufgaben eigenständig erledigen. Genau dieses Praxiswissen gebe ich weiter. Was ich mitbringe: - KI-Strategie & -Beratung – geprüfter KI-Manager und KI-Consultant: Wo lohnt sich KI in Ihrem Unternehmen wirklich – und wo nicht? - KI-Schulung & -Coaching – zertifizierter KI-Trainer: Ich mache Teams sicher im Umgang mit ChatGPT, Claude & Co. – verständlich, praxisnah, ohne Fachchinesisch. - KI-Recht & Compliance – AI-Officer, KI-Beauftragter und externer Datenschutzbeauftragter (DSGVO): Ich sorge dafür, dass Ihr KI-Einsatz dem EU AI Act und dem Datenschutz standhält. - Automatisierung & Umsetzung – mit Make, n8n und modernen KI-- Agenten (Claude Code, MCP) baue ich Workflows, die Ihnen echte Zeit zurückgeben. Agentur-DNA – über zehn Jahre WordPress & SEO als Fundament: Ich denke KI nicht abstrakt, sondern vom konkreten Geschäftsergebnis her. Mein Anspruch: KI bodenständig und ehrlich in den Mittelstand bringen. Keine Buzzwords, keine Angst – sondern Werkzeuge, die im Alltag funktionieren. Ansässig in Stuhr bei Bremen– tätig vor Ort und remote.