Čo je smerovanie medzi modelmi?
Smerovanie medzi modelmi určuje, ktorý model, nástroj alebo pracovný postup spracuje konkrétnu požiadavku. Rýchly a lacnejší model môže odpovedať na jednoduché otázky, kým zložité analýzy či obrazy vyžadujú iné schopnosti. Cieľom nie je vždy použiť najväčší dostupný model.
Klasifikácia úloh a pravidlá
Router hodnotí jazyk, modalitu, dĺžku kontextu, potrebné nástroje, citlivosť a očakávaný formát. Niektoré pravidlá sú pevné, iné vychádzajú z klasifikátora či predchádzajúcich výsledkov. Nejasné prípady dostávajú bezpečnú predvolenú cestu.
Kvalita, náklady a latencia
Rozhodnutie zohľadňuje viacero kritérií súčasne. Cenový limit nesmie znížiť správnosť kritického procesu a nízka latencia nemá prednosť pred bezpečnosťou. Pri dlhých úlohách sa kontext riadene skracuje bez straty podstatných informácií.
Náhradné postupy a odolnosť
Pri nedostupnosti, dosiahnutí limitu alebo neplatnom výstupe systém vyberie povolenú alternatívu. Počet opakovaní je obmedzený a význam úlohy sa nesmie potichu meniť. Stav nástrojov, verzie modelov a dôvody presmerovania sa zaznamenávajú na diagnostiku.
Hodnotenie a monitorovanie
Testy obsahujú bežné požiadavky, hraničné prípady aj rizikové požiadavky. Meria sa správnosť výberu, kvalita odpovedí, náklady, rýchlosť a frekvencia ľudských zásahov. Produkčné vzorky odhaľujú zmeny správania po aktualizácii modelu alebo obsahu.
Prístup PAR HOUSE Agency
Smerovanie navrhujeme podľa reálnych procesov. Pri klinikách, e-commerce a značkách s hodnotnými obchodnými dopytmi odlišujeme bežné informácie od citlivých alebo obchodne kritických prípadov. Pravidlá, hodnotenia, náhradné postupy a rozpočtové limity spájame v jednom prevádzkovom paneli.
