Qu’est-ce qu’une fenêtre de contexte ?
La fenêtre de contexte désigne la quantité de tokens qu’un modèle peut prendre en compte lors d’un traitement. Elle comprend les instructions système, les messages, les documents ajoutés, les résultats des outils et l’espace réservé à la réponse. Un token ne correspond pas nécessairement à un mot : leur nombre dépend de la langue et de la manière d’écrire.
Que se passe-t-il lorsque la limite est dépassée ?
L’application doit raccourcir, résumer, répartir ou refuser une partie du contenu. Supprimer silencieusement les messages les plus anciens peut modifier le sens de la tâche et faire perdre une condition importante au modèle. Les informations prioritaires doivent donc être définies à l’avance.
Un contexte plus long n’est pas forcément meilleur
Un texte volumineux peut contenir des doublons, des contradictions et des informations sans rapport avec la tâche. Le modèle ne traite pas nécessairement chaque passage avec la même attention. Une sélection précise des sources, un ordre clair et la suppression des éléments inutiles améliorent souvent la qualité.
Sélection des sources et RAG
Le système peut rechercher d’abord quelques extraits pertinents, puis les intégrer au contexte. Chaque extrait est associé à un identifiant, une provenance et une date pour permettre la vérification de la réponse. Les données sensibles sont filtrées avant leur envoi au modèle.
Coûts, latence et tests
Une entrée plus longue augmente généralement le temps de traitement et le coût. Les tests comparent donc différentes stratégies de sélection et de résumé. Ils couvrent les questions courantes, les documents contradictoires, les informations manquantes et les cas nécessitant l’intervention d’une personne.
L’approche de PAR HOUSE Agency
Nous concevons le contexte comme une partie maîtrisée du système, et non comme une archive illimitée. Nous séparons les connaissances durables, l’historique de la tâche et les résultats temporaires des outils. Nous mesurons la précision, les coûts et la traçabilité des sources et ne conservons que les informations répondant à une finalité claire et à des autorisations définies.
