Che cos’è un token nell’IA?
Un token è un’unità di testo elaborata da un modello linguistico. Può corrispondere a una parola breve, a parte di una parola più lunga, a un segno di punteggiatura o a un altro carattere. La suddivisione dipende dal tokenizer, dalla lingua e dal modello. Non esiste quindi un rapporto universale per convertire il numero di parole in token.
Finestra di contesto
Il contesto comprende istruzioni, messaggi, cronologia, fonti caricate, descrizioni degli strumenti, risultati degli strumenti e spazio per la risposta. Un input troppo lungo può essere abbreviato o rifiutato. L’applicazione deve scegliere consapevolmente le informazioni necessarie per l’attività corrente.
Costi e velocità
Il fornitore può applicare tariffe diverse ai token di input e di output; alcuni modelli considerano anche la cache o altre elaborazioni interne. Un contesto più lungo aumenta i costi e spesso la latenza. Tuttavia, il prompt breve più economico non è vantaggioso se peggiora l’accuratezza e richiede più correzioni.
Ottimizzazione sicura
Le istruzioni stabili e ricorrenti vengono gestite centralmente, la cronologia viene riassunta e la ricerca aggiunge solo le conoscenze pertinenti. Regole critiche, consensi, identificatore del processo e dati aggiornati non vengono eliminati solo per risparmiare. Ogni riassunto conserva la fonte e il significato.
Misurazione nell’applicazione
Il consumo di token viene monitorato per funzione, lingua, modello e tipo di percorso cliente. Il monitoraggio rileva aumenti improvvisi, chiamate ripetute e output eccessivamente lunghi. Si misurano anche tasso di successo, latenza, costo per attività completata e numero di passaggi a una persona.
L’approccio di PAR HOUSE Agency
Progettiamo il budget di token in base al valore dell’attività, non a una metrica tecnica isolata. Un agente per una clinica o per l’e-commerce riceve un contesto preciso da fonti verificate e risponde in modo conciso senza compromettere la sicurezza. I costi restano misurabili e la qualità verificabile.
