Was sind Evals?
Evals sind wiederholbare Tests, die das Verhalten eines Modells oder eines gesamten KI-Systems messen. Sie prüfen Richtigkeit, Nutzen, Sicherheit, Konsistenz und den Umgang mit Ausnahmen. Eine eindrucksvolle Demonstration ersetzt keine systematische Bewertung.
Szenarien und erwartete Ergebnisse
Der Testsatz umfasst typische Aufgaben, schwierige Fälle, unvollständige Daten sowie Situationen, in denen das System ablehnen oder die Aufgabe an einen Menschen übergeben soll. Jedes Szenario beschreibt Eingabe, erwartetes Verhalten und geschäftliche Bedeutung.
Kriterien und Bewertungsmethode
Eine genaue Regel, ein spezialisiertes Bewertungsmodell oder ein Mensch kann das Ergebnis prüfen. Die Kriterien müssen verständlich sein und Fehlerarten unterscheiden. Ein Durchschnittswert kann Verschlechterungen in einer kleinen, aber kritischen Fallgruppe verdecken.
Referenzversion und Regression
Die neue Version wird mit der vorherigen stabilen Version und klar definierten Mindestanforderungen verglichen. Bewertungsdaten bleiben von Materialien zur Abstimmung des Systems getrennt. Die Ergebnishistorie zeigt, ob eine Änderung ein Problem löst, ohne ein anderes zu verursachen.
Kontrolle im Betrieb
Tests vor der Veröffentlichung werden durch die Beobachtung des tatsächlichen Betriebs ergänzt. Fehlgeschlagene Szenarien, menschliche Eingriffe, Rückmeldungen und Datenänderungen werden erfasst. Für jedes kritische Ergebnis gibt es eine verantwortliche Person, einen Eskalationsweg und eine Bedingung für den sicheren Stopp.
Der Ansatz von PAR HOUSE Agency
Wir entwickeln Evals gemeinsam mit dem KI-Prozess. Zuerst definieren wir akzeptable und inakzeptable Ergebnisse, dann erstellen wir einen repräsentativen Testsatz und automatisieren seine Wiederholung. Eine Erweiterung erfolgt erst nach dem Vergleich von Qualität, Kosten, Geschwindigkeit und Risiko.
