Co je Context Window
Context Window neboli kontextové okno je množství tokenů, které model může zohlednit v jednom zpracování. Zahrnuje systémové instrukce, zprávy, vložené dokumenty, výsledky nástrojů a prostor potřebný pro vytvářenou odpověď.
Token není totéž co slovo a jejich počet se liší podle jazyka a zápisu.
Co se stane po překročení limitu
Aplikace musí část obsahu zkrátit, shrnout, rozdělit nebo odmítnout. Tiché odstranění nejstarších zpráv může změnit význam úkolu a způsobit, že model zapomene důležitou podmínku. Proto se předem určuje, které informace mají nejvyšší prioritu.
Delší kontext není automaticky lepší
Velké množství textu může obsahovat duplicity, rozpory a nerelevantní informace. Model nemusí věnovat každému fragmentu stejnou pozornost. Kvalitu často zlepší přesný výběr zdrojů, jasné pořadí a odstranění zbytečných částí.
Výběr zdrojů a RAG
Systém může nejdříve vyhledat několik relevantních úryvků a teprve potom je vložit do kontextu. Každý úryvek nese identifikátor, původ a datum, aby bylo možné odpověď ověřit. Citlivá data se filtrují ještě před odesláním modelu.
Náklady, zpoždění a testování
Delší vstup obvykle zvyšuje dobu zpracování a cenu. Testy proto porovnávají kvalitu s různými strategiemi výběru a shrnutí. Kontrolují se běžné dotazy, rozporné dokumenty, chybějící informace a otázky, které vyžadují předání člověku.
Přístup PAR HOUSE Agency
Kontext navrhujeme jako řízenou část systému, nikoli jako neomezený archiv. Oddělujeme trvalé znalosti, historii úkolu a dočasné výsledky nástrojů. Měříme přesnost, náklady a dohledatelnost zdrojů a ukládáme pouze informace, které mají jasný účel a oprávnění.
