Co je model routing
Model routing rozhoduje, který model, nástroj nebo pracovní postup má zpracovat konkrétní požadavek. Jednoduchý dotaz může obsloužit rychlý levnější model, zatímco složitá analýza nebo obraz vyžaduje jinou schopnost.
Cílem není vždy použít největší dostupný model.
Klasifikace úlohy a pravidla
Router vyhodnocuje jazyk, modalitu, délku kontextu, požadované nástroje, citlivost a očekávaný formát. Některá pravidla jsou pevná, další vycházejí z klasifikátoru nebo předchozích výsledků. Nejasný případ dostává bezpečnou výchozí cestu.
Kvalita, cena a latence
Rozhodnutí optimalizuje několik veličin současně. Limit ceny nesmí snížit správnost kritického procesu a nízká latence není důležitější než bezpečnost. U dlouhých úloh se kontext zkracuje řízeně, aby se neztratily podstatné údaje.
Fallback a odolnost
Při nedostupnosti, limitu nebo neplatném výstupu systém zvolí povolenou alternativu. Opakování má omezený počet pokusů a nemění tiše význam úlohy. Stav nástrojů, verze modelů a důvod přesměrování se zapisují pro diagnostiku.
Evaluace a monitoring
Testovací sada obsahuje běžné, hraniční i rizikové požadavky. Měří se správnost volby, kvalita odpovědi, náklady, rychlost a četnost zásahu člověka. Produkční vzorky odhalují změnu chování po aktualizaci modelu nebo obsahu.
Přístup PAR HOUSE Agency
Routing navrhujeme podle skutečných procesů, ne podle marketingových názvů modelů. U klinik, prémiového e-Commerce a značek s vysoce hodnotnou poptávkou rozlišujeme běžnou informaci od citlivého nebo obchodně důležitého případu. Pravidla, evaluace, fallback a rozpočtové limity spojujeme v jednom provozním panelu.
