Was sind AI Evals (und LLM-as-Judge)? Funktionsweise, Verzerrungen und Tools – ein Einsteigerleitfaden

Sie haben Ihre Prompts verfeinert, mit RAG Wissen ergänzt und vielleicht sogar Fine-Tuning betrieben – aber wie bestätigen Sie, dass es „wirklich besser geworden ist"? Genau hier rücken AI Evals (Evaluierung) in den Mittelpunkt. Bis 2026 ist die Evaluierung so unverzichtbar für den Bau von KI geworden, dass man sie als „Infrastruktur" bezeichnet.

Dieser Artikel erklärt Einsteigern, was AI Evals sind, warum Sie sie brauchen, die zwei Evaluierungsmethoden, wie das vielbesprochene „LLM-as-Judge" funktioniert und seine Fallstricke, sowie wie Sie es in der Praxis einsetzen.

1. Was sind AI Evals?

AI Evals bedeuten, die Qualität der Ausgaben eines LLM systematisch zu messen. „Ist diese Antwort korrekt?" „Gibt es Halluzinationen (erfundene Fakten)?" „Folgt sie dem geforderten Format?" „Ist der Ton angemessen?" – Sie bewerten dies anhand eines festen Maßstabs statt nach Bauchgefühl im Moment.

Stellen Sie sich vor, „einen Test zu benoten". Sie geben dem Schüler (der KI) eine Frage (die Eingabe) und bewerten sie anhand einer Musterlösung oder eines Rasters. Sobald Sie bewerten können, sehen Sie endlich, „welche Änderung sie besser und welche sie schlechter gemacht hat". Ohne Evals ist Verbesserung nur eine Vermutung.

2. Warum Sie sie brauchen: Nicht aus dem Bauch heraus liefern

Ein gewöhnliches Programm ist fest – „Eingabe A ergibt immer Ausgabe B" –, aber KI variiert selbst bei gleicher Eingabe (sie ist nicht-deterministisch), und „gut oder schlecht" ist oft subjektiv. Deshalb ist „ich habe ein paar ausprobiert und sie sahen gut aus, also raus damit" riskant. Die wenigen, die Sie zufällig gesehen haben, waren vielleicht nur durch Glück gut.

Die Systematisierung der Evaluierung ermöglicht Folgendes:

• Änderungen anhand von Zahlen beurteilen: Wenn Sie einen Prompt oder ein Modell ändern, vergleichen Sie nach Punktzahl
• Regressionen aufspüren: Sehen, ob eine „Verbesserung" etwas anderes kaputt gemacht hat
• Produktionsqualität überwachen: Bemerken, wenn die Leistung der KI im Betrieb nachlässt

Das passt gut zur spezifikationsgesteuerten Entwicklung. Legen Sie fest, „was gebaut werden soll" (die Spezifikation), und „messen Sie, ob Sie es gebaut haben" (Evals) – mit beidem wird KI-Entwicklung endlich zu etwas, das Sie steuern können.

3. Zwei Methoden: Code vs. LLM-as-Judge

Es gibt grob zwei Wege zu evaluieren. Mechanisch mit Code messen; eine KI das Subjektive benoten lassen – diese Aufteilung ist das Grundprinzip.

Die Faustregel: „Lassen Sie eine KI nicht benoten, was Sie mit Code messen können." Code-Evaluierung ist schneller, günstiger und stabiler. Heben Sie LLM-as-Judge für subjektive Punkte auf, die Code schwer beurteilen kann, etwa ob es eine Halluzination gibt.

4. So funktioniert LLM-as-Judge

LLM-as-Judge bedeutet, ein leistungsstarkes LLM als „Schiedsrichter" zu nutzen, um die Ausgabe einer anderen KI zu bewerten. Sie übergeben dem Richter-LLM einen Prompt, der die Kriterien, die Eingabe und die Ausgabe enthält, und es liefert eine Punktzahl, ein pass/fail oder „welche ist besser" zurück. Es gibt zwei Hauptstile.

5. Die Falle: Verzerrungen des Richters

LLM-as-Judge hat „Schiedsrichter-Eigenheiten". Wenn Sie sie nicht kennen, vertrauen Sie den Bewertungen zu sehr und nehmen die falschen Verbesserungen vor. Behalten Sie diese drei großen im Auge.

Die Gegenmaßnahmen sind einfach.

• Ein anderes Modell als Bewerter einsetzen: Benoten Sie GPT-Ausgaben nicht mit GPT. Lassen Sie eine andere Familie – Claude, Gemini usw. – als Schiedsrichter fungieren, um Selbstbevorzugung zu vermeiden.
• Reihenfolge tauschen und zweimal benoten: Behalten Sie das Ergebnis, wenn beide übereinstimmen, verwerfen Sie es bei Widerspruch (Kontrolle der Positions-Verzerrung).
• „Prägnanz" ins Raster aufnehmen: „Nicht nach Länge urteilen" allein reicht nicht. Fügen Sie ein Prägnanz-Kriterium hinzu und weisen Sie den Richter an, Wortfülle zu bestrafen.
• An menschlichem Urteil kalibrieren: Lassen Sie eine Person eine kleine Stichprobe benoten und stimmen Sie die Kriterien so ab, dass sie zu den KI-Bewertungen passen. Das ist der wirksamste Schritt.

6. In der Praxis: Evaluierung als „Infrastruktur"

In der Praxis von 2026 ist Evaluierung keine einmalige Sache – der Standard ist, sie kontinuierlich über drei Stufen hinweg laufen zu lassen („Evaluierung als Infrastruktur").

Auch die Werkzeuge sind gereift. Für leichte CI-Läufe DeepEval (das sich wie pytest anfühlt) oder Promptfoo; speziell für RAG RAGAS (das Faithfulness, Relevanz und mehr misst). Für menschliche Überprüfung, Dashboards und Produktionsüberwachung Plattformen wie Braintrust, LangSmith und Arize. In der Praxis ist die Kombination „ein leichtes CI-Werkzeug" mit „einer Überwachungsplattform" die Norm. Dieselbe Evaluierungsmechanik untermauert die Qualität auch beim Bau von KI-Agenten.

※ Werkzeugnamen und Methoden sind aus verschiedenen Leitfäden und Veröffentlichungen zitiert (Stand Juni 2026). Das beste Setup variiert je nach Teamgröße und Anwendungsfall.

Zusammenfassung

Drei Kernaussagen zu AI Evals.

• Was sie sind: ein System, das LLM-Ausgaben bewertet und Verbesserung von einer „Vermutung" in „Zahlen" verwandelt. Ein unverzichtbarer Schritt in der KI-Entwicklung.
• Zwei Methoden: Code-Evals für deterministische Punkte, LLM-as-Judge für subjektive. Messen Sie mit Code alles, was Code messen kann.
• Vorsicht: LLM-as-Judge hat Wortfülle-, Positions- und Selbstbevorzugungs-Verzerrungen. Begegnen Sie ihnen mit einem anderen Bewerter-Modell, einer groben Skala und menschlicher Kalibrierung.

Beginnen Sie damit, jeweils 10 „gute Ausgaben" und „schlechte Ausgaben" Ihrer eigenen KI zu sammeln und sie anhand einfacher Kriterien zu bewerten. Das wird Ihr erster Maßstab. Lesen Sie Fine-Tuning und Context Engineering ergänzend dazu, um das vollständige Bild der KI-Verbesserung zu erhalten.

FAQ