Mi a kontextusablak?
A kontextusablak azon tokenek mennyisége, amelyeket a modell egy feldolgozás során figyelembe vehet. Ide tartoznak a rendszerutasítások, az üzenetek, a beillesztett dokumentumok, az eszközök eredményei és a készülő válasz számára fenntartott hely. Egy token nem feltétlenül egy szó; a tokenek száma a nyelvtől és az írásmódtól függ.
Mi történik a korlát túllépésekor?
Az alkalmazásnak rövidítenie, összefoglalnia, részekre bontania vagy elutasítania kell a tartalom egy részét. A legrégebbi üzenetek észrevétlen eltávolítása megváltoztathatja a feladat jelentését, és fontos feltételek elvesztéséhez vezethet. Ezért előre meg kell határozni az információk fontossági sorrendjét.
A hosszabb kontextus nem automatikusan jobb
A nagy szövegmennyiség ismétlődéseket, ellentmondásokat és lényegtelen információkat tartalmazhat. A modell nem feltétlenül fordít azonos figyelmet minden részletre. A források pontos kiválasztása, az egyértelmű sorrend és a felesleges részek eltávolítása gyakran javítja a minőséget.
Forrásválasztás és RAG
A rendszer először megkereshet néhány releváns szövegrészletet, és csak ezután illeszti őket a kontextusba. Minden részlethez azonosító, forrás és dátum tartozik, hogy a válasz ellenőrizhető legyen. Az érzékeny adatokat még a modellnek történő elküldés előtt ki kell szűrni.
Költségek, késleltetés és tesztelés
A hosszabb bemenet általában növeli a feldolgozási időt és a költséget. A tesztek ezért különböző kiválasztási és összefoglalási stratégiák minőségét hasonlítják össze. A szokásos kérdések mellett az ellentmondó dokumentumokat, a hiányzó információkat és az emberi közreműködést igénylő eseteket is vizsgálják.
A PAR HOUSE Agency megközelítése
A kontextust a rendszer szabályozott részeként tervezzük meg, nem korlátlan archívumként. Elkülönítjük a tartós tudást, a feladat előzményeit és az eszközök ideiglenes eredményeit. Mérjük a pontosságot, a költségeket és a források visszakövethetőségét, és csak egyértelmű céllal, megfelelő jogosultság mellett tárolunk információkat.
