Che cos’è la finestra di contesto
La finestra di contesto è la quantità di token che un modello può considerare durante una singola elaborazione. Comprende istruzioni di sistema, messaggi, documenti inseriti, risultati degli strumenti e spazio per la risposta da generare. Un token non equivale necessariamente a una parola: il numero varia in base alla lingua e alla forma del testo.
Cosa accade quando si supera il limite
L’applicazione deve abbreviare, riassumere, suddividere o rifiutare parte del contenuto. Eliminare silenziosamente i messaggi più vecchi può cambiare il significato del compito e far perdere al modello una condizione importante. Per questo si stabilisce in anticipo quali informazioni hanno la priorità.
Un contesto più lungo non è necessariamente migliore
Un testo molto esteso può contenere duplicati, contraddizioni e informazioni irrilevanti. Il modello non dedica necessariamente la stessa attenzione a ogni passaggio. La qualità spesso migliora selezionando con precisione le fonti, ordinandole chiaramente ed eliminando le parti inutili.
Selezione delle fonti e RAG
Il sistema può cercare prima alcuni estratti pertinenti e inserirli solo successivamente nel contesto. Ogni estratto riporta un identificatore, la provenienza e una data, così da rendere verificabile la risposta. I dati sensibili vengono filtrati prima dell’invio al modello.
Costi, latenza e test
Un input più lungo aumenta generalmente il tempo di elaborazione e il costo. I test confrontano quindi la qualità di diverse strategie di selezione e sintesi. Vengono esaminate domande comuni, documenti contraddittori, informazioni mancanti e richieste che devono essere affidate a una persona.
L’approccio di PAR HOUSE Agency
Progettiamo il contesto come una parte controllata del sistema, non come un archivio illimitato. Separiamo le conoscenze durature, la cronologia del compito e i risultati temporanei degli strumenti. Misuriamo accuratezza, costi e tracciabilità delle fonti e conserviamo soltanto informazioni con una finalità chiara e le necessarie autorizzazioni.
