Čo sú evals
Evals sú opakovateľné testy, ktoré merajú správanie modelu alebo celého systému AI. Overujú správnosť, užitočnosť, bezpečnosť, konzistentnosť a prácu s výnimkami. Jedna pôsobivá ukážka nenahrádza systematické hodnotenie.
Scenáre a očakávané výsledky
Sada obsahuje bežné úlohy, náročné prípady, neúplné údaje a situácie, v ktorých má systém odmietnuť alebo odovzdať prácu človeku. Každý scenár opisuje vstup, očakávané správanie a dôvod, prečo je pre firmu dôležitý.
Kritériá a spôsob hodnotenia
Výsledok môže kontrolovať presné pravidlo, špecializovaný hodnotiaci model alebo človek. Kritériá musia byť zrozumiteľné a rozlišovať druhy chýb. Priemerné skóre môže zakryť zhoršenie malej, ale kritickej skupiny prípadov.
Referenčná verzia a regresie
Nová verzia sa porovnáva s predchádzajúcou stabilnou verziou a jasne stanoveným minimom. Hodnotiaca sada zostáva oddelená od materiálov na ladenie. História výsledkov ukazuje, či zmena vyriešila jeden problém bez vytvorenia iného.
Prevádzková kontrola
Testy pred vydaním dopĺňa sledovanie skutočnej prevádzky. Zaznamenávajú sa neúspešné scenáre, zásahy človeka, spätná väzba a zmeny údajov. Každý kritický výsledok má vlastníka, spôsob eskalácie a podmienku bezpečného zastavenia.
Prístup PAR HOUSE Agency
Evals vytvárame súčasne s návrhom procesu AI. Najprv určujeme prijateľné a neprijateľné výsledky, potom pripravujeme reprezentatívnu sadu a automatizujeme jej opakovanie. Systém rozširujeme až po porovnaní kvality, nákladov, rýchlosti a rizika.
