Was ist ein Token in der KI?
Ein Token ist eine Texteinheit, mit der ein Sprachmodell arbeitet. Es kann einem kurzen Wort, einem Teil eines längeren Wortes, einem Satzzeichen oder einem anderen Zeichen entsprechen. Die Aufteilung hängt vom Tokenizer, der Sprache und dem Modell ab. Wortzahlen lassen sich deshalb nicht mit einem universellen Verhältnis in Tokenzahlen umrechnen.
Kontextfenster
Zum Kontext zählen Anweisungen, Nachrichten, Gesprächsverlauf, geladene Quellen, Werkzeugbeschreibungen, Werkzeugergebnisse und Platz für die Antwort. Zu lange Eingaben können gekürzt oder abgelehnt werden. Die Anwendung muss bewusst entscheiden, welche Informationen für die aktuelle Aufgabe erforderlich sind.
Kosten und Geschwindigkeit
Anbieter können Eingabe- und Ausgabetokens unterschiedlich abrechnen; einige Modelle berücksichtigen auch Caching oder weitere interne Verarbeitung. Ein längerer Kontext erhöht die Kosten und oft die Latenz. Der günstigste kurze Prompt ist jedoch nicht vorteilhaft, wenn er die Genauigkeit verschlechtert und mehr Korrekturen verursacht.
Sichere Optimierung
Wiederkehrende stabile Anweisungen werden zentral verwaltet, Gesprächsverläufe zusammengefasst und durch die Suche nur relevante Wissensausschnitte ergänzt. Kritische Regeln, Einwilligungen, Prozesskennungen und aktuelle Daten werden nicht allein aus Kostengründen entfernt. Jede Zusammenfassung bewahrt Quelle und Bedeutung.
Messung in der Anwendung
Der Tokenverbrauch wird nach Funktion, Sprache, Modell und Art der Customer Journey erfasst. Das Monitoring erkennt plötzliche Anstiege, wiederholte Aufrufe und übermäßig lange Ausgaben. Gleichzeitig werden Erfolgsquote, Latenz, Kosten je abgeschlossener Aufgabe und Übergaben an Menschen gemessen.
Der Ansatz von PAR HOUSE Agency
Wir planen das Tokenbudget nach dem Wert der Aufgabe und nicht nach einer isolierten technischen Kennzahl. Ein Agent für Kliniken oder E-Commerce erhält präzisen Kontext aus überprüften Quellen und antwortet knapp, ohne Sicherheit einzubüßen. Kosten bleiben messbar und Qualität bleibt überprüfbar.
