Čo téma znamená v praxi
Hodnotenie modelu má využívať reprezentatívne prípady, jasné kritériá a porovnanie s výsledkom človeka alebo súčasného procesu.
Kedy riešenie skutočne pomáha
Najväčší zmysel má, keď test odráža skutočné úlohy, náročné výnimky a náklady na chybu, nie iba všeobecný rebríček modelov. Použitie má vychádzať z konkrétneho problému, nie iba z dostupnosti novej funkcie.
Ako pripraviť zavedenie
Testovacia sada má odrážať každodenné prípady, hraničné chyby a pokusy o zneužitie. Výsledky treba verzovať a porovnávať po každej zmene modelu, pokynov, údajov alebo integrácie. V praxi je vhodné vytvoriť uzavretý súbor prípadov s očakávaným výsledkom, hodnotiť jednotlivé kritériá osobitne a opakovať test po každej zmene.
Hranica, ktorú nemožno prehliadnuť
Priemerné hodnotenie môže zakryť malú skupinu kritických chýb, ktoré model diskvalifikujú v danom procese. Pred spustením preto treba určiť osobu zodpovednú za rozhodnutie, pravidlá eskalácie a spôsob bezpečného zastavenia riešenia.
Ako overiť výsledok
V tomto prípade treba merať kvalitu pre každý typ prípadu, kritické chyby, stabilitu, čas odpovede, náklady a dodržiavanie pravidiel odmietnutia. Výsledok treba porovnávať s predchádzajúcim spôsobom práce, osobitne pre bežné prípady a náročné výnimky.
