Čo je Context Window
Kontextové okno je množstvo tokensov, ktoré model môže zohľadniť v jednej spracovaní. Zahŕňa systémové pokyny, správy, vložené dokumenty, výsledky nástrojov a priestor potrebný na vytvorenie odpovede.
Token nie je to isté ako slovo a ich počet sa líši podľa jazyka a písma.
Čo sa stane po prekročení limitu
Aplikácia musí skrátiť, zhrnúť, rozdeliť alebo odmietnuť časť obsahu. Tiché odstránenie starších správ môže zmeniť význam úlohy a spôsobiť, že model zabudne na dôležitú podmienku. Preto sa vopred určuje, ktoré informácie majú najvyššiu prioritu.
Dlhší kontext nie je automaticky lepší
Veľké množstvo textu môže obsahovať duplicity, rozpory a bezvýznamné informácie. Model nemusí venovať rovnakú pozornosť každému fragmentu. Kvalita často zlepší presný výber zdrojov, jasný usporiadanie a odstránenie zbytočných častí.
Výber zdrojov a RAG
Systém môže najprv nájsť niekoľko relevantných fragmentov a potom ich vložiť do kontextu. Každý fragment obsahuje identifikátor, pôvod a dátum, aby sa mohla verifikovať odpoveď.
Náklady, meškanie a testovanie
Dlhšie vstupy zvyčajne zvyšujú čas spracovania a cenu. Testy porovnávajú kvalitu s rôznymi stratégiami výberu a súhrnu.
Prístup PAR HOUSE Agency
Kontext navrhneme ako riadený súčasť systému, nie ako neobmedzený archív. Oddelime trvalé vedomosti, dejiny úlohy a dočasné výsledky nástrojov. Merime presnosť, náklady a sledovateľnosť zdrojov a ukladáme iba informácie, ktoré majú jasný účel a oprávnenie.
