Čo je token v AI
Token je jednotka textu, s ktorou pracuje jazykový model. Môže zodpovedať krátkemu slovu, časti dlhšieho slova, interpunkcii alebo inému znaku. Rozdelenie závisí od konkrétneho tokenizéra, jazyka a modelu. Počet slov preto nemožno previesť na tokeny jedným univerzálnym pomerom.
Kontextové okno
Do kontextu sa započítavajú inštrukcie, správy, história, načítané zdroje, opisy nástrojov, ich výsledky a priestor na odpoveď. Príliš dlhý vstup môže byť skrátený alebo odmietnutý. Aplikácia musí vedome rozhodnúť, ktoré informácie sú potrebné pre aktuálnu úlohu.
Náklady a rýchlosť
Poskytovateľ môže vstupné a výstupné tokeny účtovať odlišne a niektoré modely zohľadňujú aj vyrovnávaciu pamäť či ďalšie interné spracovanie. Dlhší kontext zvyšuje náklady a často aj latenciu. Najlacnejší krátky prompt však nie je výhodný, ak zhorší presnosť a zvýši počet opráv.
Bezpečná optimalizácia
Opakované stabilné inštrukcie sa spravujú centrálne, história sa zhŕňa a vyhľadávanie dopĺňa iba relevantné časti znalostí. Kritické pravidlá, súhlas, identifikátor procesu a aktuálne údaje sa neodstraňujú iba kvôli úspore. Každé zhrnutie zachováva zdroj aj význam.
Meranie v aplikácii
Spotreba tokenov sa sleduje podľa funkcie, jazyka, modelu a typu zákazníckej cesty. Monitoring odhalí náhly rast, opakované volania či neprimerane dlhé výstupy. Zároveň sa meria úspešnosť, latencia, cena za dokončenú úlohu a počet odovzdaní človeku.
Prístup PAR HOUSE Agency
Rozpočet tokenov navrhujeme podľa hodnoty úlohy, nie podľa izolovanej technickej metriky. Agent pre kliniku alebo e-commerce dostáva presný kontext z overeného zdroja a odpovedá úsporne bez straty bezpečnosti. Náklady zostávajú merateľné a kvalita testovateľná.
