Čo je kontextové okno
Kontextové okno je množstvo tokenov, ktoré model môže zohľadniť počas jedného spracovania. Zahŕňa systémové pokyny, správy, vložené dokumenty, výsledky nástrojov a priestor pre vytváranú odpoveď. Token nie je to isté ako slovo; ich počet závisí od jazyka a spôsobu zápisu.
Čo sa stane po prekročení limitu
Aplikácia musí časť obsahu skrátiť, zhrnúť, rozdeliť alebo odmietnuť. Tiché odstránenie najstarších správ môže zmeniť význam úlohy a spôsobiť stratu dôležitej podmienky. Preto sa vopred určujú informácie s najvyššou prioritou.
Dlhší kontext nie je automaticky lepší
Veľké množstvo textu môže obsahovať duplicity, rozpory a nepodstatné informácie. Model nemusí venovať každému úryvku rovnakú pozornosť. Kvalitu často zlepší presný výber zdrojov, jasné usporiadanie a odstránenie zbytočných častí.
Výber zdrojov a RAG
Systém môže najprv vyhľadať relevantné úryvky a až potom ich vložiť do kontextu. Každý úryvok má identifikátor, pôvod a dátum, aby bolo možné overiť odpoveď. Citlivé údaje sa filtrujú ešte pred odoslaním modelu.
Náklady, latencia a testovanie
Dlhší vstup zvyčajne zvyšuje čas spracovania a cenu. Testy preto porovnávajú kvalitu rôznych stratégií výberu a zhrnutia. Zahŕňajú bežné otázky, rozporné dokumenty, chýbajúce informácie a prípady, ktoré vyžadujú odovzdanie človeku.
Prístup PAR HOUSE Agency
Kontext navrhujeme ako riadenú súčasť systému, nie ako neobmedzený archív. Oddeľujeme trvalé znalosti, históriu úlohy a dočasné výsledky nástrojov. Meriame presnosť, náklady a dohľadateľnosť zdrojov a ukladáme iba informácie, ktoré majú jasný účel a príslušné oprávnenie.
