Che cos'è Context Window
La finestra di contesto è il numero di token che un modello può considerare in un singolo processo. Include le istruzioni di sistema, i rapporti, i documenti inseriti, i risultati degli strumenti e lo spazio necessario per la risposta creata.
Un token non è la stessa parola e il loro numero varia a seconda della lingua e dell'espressione.
Cosa succede dopo aver superato il limite
L'applicazione deve ridurre, riassumere, dividere o rifiutare parte del contenuto. La silenziosa eliminazione dei vecchi messaggi può alterare il significato del compito e far dimenticare il modello di una condizione importante. Pertanto, si determina in anticipo quale informazione abbia la massima priorità.
Un contesto più lungo non è automaticamente migliore
Un gran numero di testi può contenere duplicità, contraddizioni e informazioni irrilevanti. La qualità è spesso migliorata da una scelta precisa delle risorse, da un ordine chiaro e dall'eliminazione di parti inutili.
Selezione delle risorse e RAG
Il sistema può prima cercare alcuni frammenti pertinenti e inserirli nel contesto. Ogni pezzo contiene un identificatore, un'origine e una data per verificare la risposta.
Costi, ritardi e test
L'ingresso più lungo aumenta di solito il tempo di lavorazione e il prezzo, quindi i test confrontano la qualità con le diverse strategie di selezione e di riassunto. Sono controllate domande comuni, documenti contrastanti, informazioni mancanti e questioni che richiedono il passaggio a un soggetto.
Accesso PAR HOUSE Agency
Il contesto è un elemento gestito del sistema, non un archivio illimitato, che separa le conoscenze permanenti, la storia del compito e i risultati temporanei degli strumenti. Misuriamo l'accuratezza, il costo e la visibilità delle risorse e conserviamo solo informazioni che hanno un chiaro scopo e un'autorizzazione.
