Was ist ein Kontextfenster?
Das Kontextfenster bezeichnet die Menge an Tokens, die ein Modell bei einer Verarbeitung berücksichtigen kann. Es umfasst Systemanweisungen, Nachrichten, eingefügte Dokumente, Werkzeugergebnisse und den Platz für die erzeugte Antwort. Ein Token entspricht nicht automatisch einem Wort; die Anzahl hängt von Sprache und Schreibweise ab.
Was passiert beim Überschreiten des Limits?
Die Anwendung muss Inhalte kürzen, zusammenfassen, aufteilen oder zurückweisen. Das unbemerkte Entfernen der ältesten Nachrichten kann die Bedeutung der Aufgabe verändern und wichtige Bedingungen verloren gehen lassen. Deshalb wird vorab festgelegt, welche Informationen Vorrang haben.
Mehr Kontext ist nicht automatisch besser
Große Textmengen können Wiederholungen, Widersprüche und irrelevante Informationen enthalten. Das Modell berücksichtigt nicht zwingend jeden Abschnitt gleich gut. Eine gezielte Quellenauswahl, klare Reihenfolge und das Entfernen unnötiger Inhalte verbessern häufig die Qualität.
Quellenauswahl und RAG
Das System kann zuerst relevante Textauszüge suchen und anschließend in den Kontext aufnehmen. Jeder Auszug erhält eine Kennung, eine Herkunftsangabe und ein Datum, damit die Antwort überprüfbar bleibt. Sensible Daten werden vor der Übermittlung an das Modell gefiltert.
Kosten, Latenz und Tests
Längere Eingaben erhöhen meist Verarbeitungszeit und Kosten. Tests vergleichen deshalb die Qualität verschiedener Auswahl- und Zusammenfassungsstrategien. Sie berücksichtigen gewöhnliche Anfragen, widersprüchliche Dokumente, fehlende Informationen und Fälle, die an einen Menschen übergeben werden müssen.
Der Ansatz von PAR HOUSE Agency
Wir gestalten den Kontext als kontrollierten Teil des Systems, nicht als unbegrenztes Archiv. Dauerhaftes Wissen, Aufgabenverlauf und vorübergehende Werkzeugergebnisse werden getrennt. Wir messen Genauigkeit, Kosten und Nachvollziehbarkeit der Quellen und speichern nur Informationen mit einem klaren Zweck und entsprechender Berechtigung.
