Co téma znamená v praxi
Hodnocení modelu má vycházet z reprezentativních případů, jasných kritérií a porovnání s výsledkem člověka nebo současného procesu.
Kdy řešení skutečně pomáhá
Největší smysl má, když test odráží skutečné úkoly, obtížné výjimky a náklady chyby, nikoli jen obecné pořadí modelu. Použití má vycházet z konkrétního problému, nikoli jen z dostupnosti nové funkce.
Jak připravit zavedení
Testovací sada má odrážet každodenní případy, chyby v mezních situacích a pokusy o zneužití. Výsledky je třeba verzovat a porovnávat po každé změně modelu, instrukcí, dat nebo integrace. V praxi je vhodné vytvořit pevnou sadu případů s očekávaným výsledkem, hodnotit kritéria samostatně a test opakovat po každé změně.
Hranice, kterou nelze přehlédnout
Průměrné hodnocení může skrýt malou skupinu kritických chyb, které model pro daný proces diskvalifikují. Před spuštěním je proto potřeba určit odpovědnou osobu pro rozhodování, pravidla eskalace a způsob bezpečného zastavení řešení.
Jak ověřit výsledek
V tomto případě je třeba měřit kvalitu pro každý typ případu, kritické chyby, stabilitu, dobu odpovědi, náklady a dodržování pravidla odmítnutí. Výsledek je třeba porovnávat s předchozím způsobem práce, zvlášť pro běžné případy a složité výjimky.
