KI benotet KI: Wie Sie prüfen, ob Ihr Chatbot wirklich gute Antworten gibt
Wir bekommen diese Frage inzwischen regelmäßig, wenn wir einen Kundenassistenten aufsetzen: „Und wie merken wir, ob das Ding gute Antworten gibt?“ Eine gute Frage — und eine, auf die es lange keine befriedigende Antwort gab. Jetzt gibt es zumindest ein Verfahren, über das die Fachwelt spricht, und es hat einen sperrigen Namen: LLM-as-a-Judge.
Warum das Testen von KI so schwierig ist
Software testet man normalerweise stur: Man gibt etwas ein, vergleicht mit dem erwarteten Ergebnis, fertig. Zwei plus zwei muss vier sein. Weicht die Software ab, ist der Test rot, und alle wissen Bescheid.
Bei Sprachmodellen funktioniert das nicht. Fragen Sie ein Modell zehnmal nach Ihren Öffnungszeiten, und Sie bekommen zehn unterschiedlich formulierte Antworten — die alle vollkommen korrekt sein können. Ein einfacher Textvergleich meldet dann neun Fehler, wo keine sind. Der ganze Ansatz „gleiche Eingabe, gleiche Ausgabe“ trägt hier nicht mehr.
Die Idee: Eine KI als Schiedsrichter
LLM-as-a-Judge dreht das Problem um. Statt Texte zu vergleichen, setzt man ein zweites Sprachmodell als Prüfer ein. Das bekommt die Frage, die Antwort und einen Kriterienkatalog — ist die Antwort sachlich richtig, bleibt sie beim Thema, ist der Ton passend, fehlt etwas Wesentliches? — und vergibt eine Bewertung.
Das klingt zunächst nach einem Zirkelschluss, funktioniert in der Praxis aber erstaunlich gut, weil Bewerten eine deutlich leichtere Aufgabe ist als Erzeugen. Einen guten Aufsatz zu schreiben ist schwer; zu erkennen, dass ein Aufsatz am Thema vorbeigeht, ist einfach.
Der wichtigste Satz aus dem Fachgespräch
In einem Beitrag bei heise unterhält sich der Testexperte Richard Seidl mit einem Fachmann für KI-Testing, und dort fällt ein Satz, den wir am liebsten über jedes Chatbot-Projekt schreiben würden: Die meisten Probleme liegen im Retrieval.
Übersetzt: Wenn ein Firmen-Chatbot auf Ihre Dokumente zugreift — Preislisten, Handbücher, Verträge — dann liegt der Fehler fast nie beim Formulieren. Er liegt beim Finden. Der Assistent hat die falsche Datei erwischt, eine veraltete Version, den richtigen Abschnitt knapp verfehlt. Die Antwort klingt danach trotzdem glatt und selbstsicher, ist aber inhaltlich Unsinn.
Das ist die praktisch wertvollste Erkenntnis an der ganzen Sache: Wenn Ihr Assistent Blödsinn erzählt, muss meistens nicht das Modell besser werden, sondern Ihre Ablage.
Was wir davon halten
Ehrlich gesagt halte ich LLM-as-a-Judge für ein gutes Werkzeug mit einem gefährlichen Beipackzettel. Gut, weil es das Testen überhaupt erst wieder automatisierbar macht. Gefährlich, weil so eine Bewertung eine Zahl ausgibt — und Zahlen wirken objektiv, auch wenn sie es nicht sind.
Die Forschung hat inzwischen mehrere systematische Verzerrungen dokumentiert, und die sind nicht harmlos: Bewertende Modelle geben längeren Antworten tendenziell bessere Noten, obwohl kürzere oft treffender sind. Sie bevorzugen Ausgaben aus ihrer eigenen Modellfamilie. Und beim direkten Vergleich zweier Antworten spielt sogar die Reihenfolge eine Rolle. Wer nur auf die Note schaut, optimiert am Ende auf Geschwätzigkeit.
Unsere Konsequenz daraus: Der Prüfer sollte nach Möglichkeit nicht aus derselben Modellfamilie stammen wie das geprüfte System, und ein Mensch sollte gelegentlich stichprobenartig gegenprüfen. Das ist kein großer Aufwand — aber ohne diesen Abgleich wissen Sie nicht, ob Ihre Note überhaupt etwas misst.
Die Prüfliste, die jeder Betrieb selbst anlegen kann
Sie müssen für all das keine Testabteilung aufbauen. Für einen Betrieb mit einem Kundenassistenten reicht ein sehr schlichtes Vorgehen, und das empfehlen wir jedem Kunden:
- Zwanzig echte Fragen sammeln. Nicht ausgedachte, sondern die, die tatsächlich am Telefon und per Mail kommen. Inklusive der unangenehmen.
- Die richtige Antwort daneben schreiben. In einem Satz, so wie Sie es einem neuen Mitarbeiter erklären würden.
- Diese Liste vor dem Livegang durchlaufen. Und danach nach jedem Update — Anbieter tauschen Modelle im Hintergrund aus, ohne dass Sie es merken.
- Auffälligkeiten notieren. Wenn eine Antwort falsch ist, prüfen Sie zuerst, welches Dokument der Assistent herangezogen hat. In den meisten Fällen finden Sie den Fehler dort.
Und wenn Sie sich so ein System von einem Dienstleister bauen lassen: Fragen Sie ihn, wie er die Qualität prüft. Eine gute Antwort beschreibt einen Testkatalog und benennt Grenzen. Eine schlechte Antwort lautet „das Modell ist sehr leistungsfähig“.
Häufige Fragen
Brauche ich dafür teure Software?
Nein. Für die zwanzig Fragen reicht eine Tabelle. Automatisierte Bewertung lohnt sich erst, wenn Sie regelmäßig größere Mengen prüfen.
Kann die prüfende KI nicht dieselben Fehler machen?
Grundsätzlich ja, deshalb die Empfehlung, ein Modell eines anderen Anbieters als Prüfer zu nehmen und stichprobenartig selbst gegenzulesen.
Wie oft sollte man testen?
Vor dem Start, nach jeder Änderung an den hinterlegten Dokumenten und immer dann, wenn der Anbieter ein neues Modell ausrollt.
Unser Fazit
LLM-as-a-Judge ist die ehrlichste verfügbare Antwort auf ein echtes Problem: Man kann KI-Antworten nicht mehr mit einer Wenn-dann-Regel prüfen. Für kleine und mittlere Betriebe ist die Erkenntnis dahinter aber wichtiger als das Verfahren selbst. Wenn Ihr Assistent Unsinn erzählt, liegt es meistens an dem, was er gefunden hat — und das ist eine Baustelle, die Sie selbst in der Hand haben.
Quellen
- https://www.heise.de/blog/Software-Testing-KI-als-Tester-So-funktioniert-LLM-as-a-Judge-11416849.html
- https://www.openlayer.com/blog/llm-as-judge-evaluation-guide
- https://futureagi.com/blog/llm-as-judge-best-practices-2026
Hinweis zur Transparenz: Dieser Beitrag wurde KI-gestützt erstellt und vor der Veröffentlichung redaktionell geprüft. Inhalte können Fehler enthalten — für wichtige Entscheidungen bitte die verlinkten Originalquellen heranziehen.
