Co je token v AI
Token je jednotka textu, se kterou jazykový model pracuje. Může odpovídat celému krátkému slovu, části delšího slova, interpunkci nebo jinému znaku. Rozdělení závisí na konkrétním tokenizeru, jazyku a modelu.
Počet slov proto nelze převést na tokeny jedním univerzálním poměrem.
Kontextové okno
Do kontextu se počítají instrukce, zprávy, historie, načtené zdroje, popisy nástrojů, jejich výsledky a prostor pro odpověď. Příliš dlouhý vstup může být zkrácen nebo odmítnut. Aplikace musí vědomě rozhodnout, které informace jsou pro aktuální úlohu potřebné.
Náklady a rychlost
Poskytovatel může účtovat vstupní a výstupní tokeny rozdílně a některé modely zohledňují také cache či další interní zpracování. Delší kontext zvyšuje náklady a často latenci. Nejlevnější kratší prompt však není výhodný, pokud zhorší přesnost a zvýší počet oprav.
Bezpečná optimalizace
Opakované stabilní instrukce se spravují centrálně, historie se shrnuje a vyhledávání doplňuje pouze relevantní části znalostí. Kritická pravidla, souhlas, identifikátor procesu a aktuální data se neodstraňují jen kvůli úspoře. Každé shrnutí zachovává zdroj a význam.
Měření v aplikaci
Tokeny se sledují podle funkce, jazyka, modelu a typu klientské cesty. Monitoring odhalí náhlý růst, opakované volání nebo neúměrně dlouhý výstup. Společně se měří úspěšnost, latence, cena na dokončenou úlohu a počet předání člověku.
Přístup PAR HOUSE Agency
Rozpočet tokenů navrhujeme podle hodnoty úlohy, ne podle izolované technické metriky. Agent pro kliniku nebo e-Commerce dostává přesný kontext z ověřeného zdroje a odpovídá úsporně bez ztráty bezpečnosti. Náklady zůstávají měřitelné a kvalita testovatelná.
