Čo je to v AI
Token je jednotka textu, s ktorou pracuje jazykový model. Môže zodpovedať celom krátkom slovu, častiam dlhšieho slova, interpunkcii alebo inému znaku. Rozdeľovanie závisí od konkrétneho tokenizera, jazyka a modelu.
Počet slov sa preto nemôže premeniť na tokeny v jednom univerzálnom pomere.
Kontextové okno
V kontexte sa počítajú pokyny, správy, dejiny, načítané zdroje, opis nástrojov, ich výsledky a priestor na odpoveď. Príliš dlhý vstup môže byť skrátený alebo odmietnutý.
Náklady a rýchlosť
Poskytovateľ môže účtovať vstupné a výstupné tokeny odlišne a niektoré modely tiež zohľadňujú cache alebo iné interné spracovanie.Dlhší kontext zvyšuje náklady a často latenciu.Najlacnejší krátky prompt však nie je výhodný, ak zhoršuje presnosť a zvyšuje počet oprav.
Bezpečná optimalizácia
Opakujúce sa stabilné pokyny sa spravujú centrálne, história sa zhrnuje a vyhľadávanie doplňuje len relevantné časti znalostí. Kritické pravidlá, súhlas, identifikátor procesu a aktuálne údaje sa neodstraňujú len kvôli úsporám. Každý zhrnutie zachováva zdroj a význam.
Meranie v aplikácii
Tokeny sa sledujú podľa funkcie, jazyka, modelu a typu klientskej cesty. Monitoring odhaľuje náhly rast, opakované volanie alebo neprimerané dlhé výstupy. Spoločne meria úspech, latenciu, cenu dokončeného úlohy a počet prevodov človeku.
Prístup PAR HOUSE Agency
Budžet tokens navrhujeme podľa hodnoty úlohy, nie podľa izolovaných technických metriky. Agent pre kliniku alebo e-Commerce získa presný kontext z overeného zdroja a zodpovedá úsporne bez straty bezpečnosti. Náklady zostávajú merateľné a kvalita testovateľná.
