Was ist das Context Window
Kontextfenster ist die Anzahl der Token, die ein Modell in einer einzelnen Verarbeitung berücksichtigen kann. Es enthält Systemanweisungen, Berichte, eingetragenen Dokumente, Ergebnisse der Instrumente und den Raum für die erstellte Antwort.
Die Token sind nicht das gleiche wie das Wort und ihre Anzahl variiert je nach Sprache und Schriftart.
Was passiert, wenn man das Limit überschreitet
Die Anwendung muss einen Teil des Inhalts verkürzen, zusammenfassen, teilen oder ablehnen. Das stillen Entfernen der ältesten Berichte kann die Bedeutung der Aufgabe verändern und dazu führen, dass das Modell eine wichtige Bedingung vergisst. Daher wird im Voraus festgelegt, welche Informationen die höchste Priorität haben.
Längerer Kontext ist nicht automatisch besser
Eine große Menge an Text kann Duplikate, Widersprüche und irrelevante Informationen enthalten. Die Qualität wird oft durch die genaue Auswahl der Ressourcen, die klare Reihenfolge und das Entfernen von unnötigen Teilen verbessert.
Auswahl der Quellen und RAG
Das System kann zunächst einige relevante Auszüge suchen und sie erst dann in den Kontext einfließen lassen. Jedes Stück trägt einen Identifikator, Ursprung und Datum, um die Antwort zu verifizieren.
Kosten, Verspätungen und Tests
Eine längere Einführung erhöht normalerweise die Verarbeitungszwecke und den Preis, so dass die Tests Qualität mit verschiedenen Auswahl- und Abschlussstrategien vergleichen. Die normalen Fragen, widersprüchliche Dokumente, fehlende Informationen und Fragen, die eine Übermittlung an den Beamten erfordern, werden überprüft.
Zugriff PAR HOUSE Agency
Wir stellen den Kontext als einen verwalteten Teil des Systems vor, nicht als ein unbegrenztes Archiv. Wir teilen ständiges Wissen, die Geschichte der Aufgabe und die vorübergehenden Ergebnisse der Instrumente. Wir messen die Richtigkeit, Kosten und Übersichtlichkeit der Ressourcen und speichern nur Informationen, die einen klaren Zweck und Berechtigung haben.
