Tokens und Kontextfenster einfach erklärt

Was Tokens und das Kontextfenster sind - kurz und knackig

Man könnte meinen, das Modell liest Text genau wie du: Wort für Wort, der Reihe nach. Falsch gedacht. Zuerst zerlegt es deinen Text in kleine Häppchen - und die heißen Tokens Token (token) - ein Textstückchen, mit dem das Modell arbeitet. Das ist nicht immer ein ganzes Wort: oft nur ein Wortteil, manchmal ein einzelnes Zeichen oder ein Satzzeichen. Das Modell sieht Text als einen Strom aus Tokens, nicht als Buchstaben. .

Stell dir Essen vor. Du verschlingst den Bissen nicht am Stück - du beißt Stück für Stück ab. Genauso das Modell. Ein langes Wort wird zu zwei, drei „Bissen“, ein kurzes zu einem einzigen. Genau diese Stückchen „kaut“ es statt der Buchstaben.

Jetzt der zweite Teil. Es gibt das Kontextfenster Kontextfenster (context window) - die maximale Anzahl an Tokens, die das Modell auf einmal im Blick behält: deine Anfrage, der Gesprächsverlauf und seine Antwort. Alles, was nicht hineinpasst, sieht es nicht. - sein Arbeitsspeicher. Das ist alles, was es gerade jetzt sieht: deine Frage, der gesamte bisherige Verlauf und der Platz für seine Antwort. Dieser „Tisch“ hat einen Rand. Und jenseits dieses Randes passt nichts mehr drauf.

Warum du als Einsteiger überhaupt etwas über Tokens wissen solltest

Das ist keine Theorie zum Abhaken. Von Tokens und vom Fenster hängen drei Dinge ab, über die du gleich am ersten Arbeitstag stolperst.

• Warum das Modell im langen Chat „rumzickt“. Der Verlauf ist gewuchert, der Anfang ist über den Rand des Fensters gerutscht - und es hat tatsächlich vergessen, womit ihr angefangen habt.
• Warum die Rechnung steigt. Du zahlst nicht für Nachrichten, sondern für Tokens. Schickst du riesige Textwände ins Modell, zahlst du mehr. Ganz einfach.
• Warum Deutsch „teurer“ ist als Englisch. Derselbe Inhalt braucht auf Deutsch mehr Tokens als auf Englisch. Heißt also: schlicht teurer für denselben Text.

Neun von zehn Beschwerden im Stil von „das Modell hört mir nicht zu, wiederholt sich, hat vergessen, worum ich gebeten habe“ in einem langen Chat - das ist kein Bug und kein Charakterzug. Das ist ein übervolles Fenster: das Alte ist schon über den Rand gefallen.

Wie Tokens und Fenster wirklich funktionieren

Ein Token ist ein Textstückchen, kein Wort

Buchstaben kann das Modell nicht direkt lesen. Es hat vorab ein Wörterbuch aus Stückchen parat und zerlegt jeden Text danach. Ein häufiges, kurzes Wort ist oft ein einziges Token. Ein langes oder seltenes wird in mehrere Teile zerhackt.

Hier ein paar grobe Anhaltspunkte, um über den Daumen zu peilen. Das ist ungefähr, keine exakte Formel:

• Im Englischen ist ein Token etwa 4 Zeichen oder rund 3/4 eines Wortes;
• Satzzeichen und Leerzeichen zählen auch mit;
• auf Deutsch braucht derselbe Inhalt deutlich mehr Tokens: Modelle werden hauptsächlich auf Englisch trainiert, und Deutsch zerschneiden sie feiner.

Das Kontextfenster ist ein Tisch mit einem Rand

Das Fenster ist die Menge an Tokens, die auf einen Durchgang auf den „Schreibtisch“ des Modells passen. Was gleichzeitig auf dem Tisch liegt:

• deine aktuelle Frage;
• der gesamte Gesprächsverlauf - oder so viel davon, wie hineingepasst hat;
• die Systemanweisung, falls es eine gibt;
• und der Platz für die künftige Antwort des Modells.

Der Tisch ist voll, und du schreibst etwas Neues dazu - und das Älteste fällt über den Rand. Das Modell „beschließt“ nicht zu vergessen. Es sieht es schlicht physisch nicht mehr. Genau deshalb löst sich in sehr langen Chats der Anfang von ganz allein auf.

Was Tokens kosten: Eingabe und Ausgabe

Das Wichtigste zum Geld: du zahlst pro Token, und gezählt wird in zwei Körben.

• Eingabe (input) - alles, was du ans Modell geschickt hast: deine Anfrage plus der Verlauf, den es noch einmal durchlesen musste.
• Ausgabe (output) - alles, was das Modell als Antwort geschrieben hat.

Und jetzt die Überraschung für Einsteiger: Ausgabe-Tokens sind meistens teurer als Eingabe-Tokens - manchmal um ein Mehrfaches. Deshalb schlägt eine lange Antwort härter auf den Geldbeutel als eine lange Frage.

Beispiel aus dem echten Leben: warum der Chat zum Abend hin „verblödet“

Sagen wir, du sitzt den ganzen Tag mit dem Modell in einem einzigen riesigen Chat: hast da das Briefing reingekippt, ein Stück Code, eine Diskussion, Korrekturen, wieder Code. Zum Abend kommen zwei Ärgernisse raus. Erstens: Das Modell „verblödet“ scheinbar und vergisst, was ihr morgens beschlossen habt. Zweitens: Jede Antwort wird teurer, obwohl die Fragen quasi dieselben sind. Die Ursache ist eine: Das Fenster ist randvoll und wird bei jedem Schritt komplett neu durchgelesen.

Und was macht man in der Praxis dagegen?

Schlepp nicht die ganze Weltgeschichte in einen Chat. Thema durch - mach einen neuen, sauberen Chat auf: das Fenster ist wieder leer und günstig.
Klatsch nicht „für alle Fälle“ riesige Textwände rein. Gib dem Modell genau das Stück, das für die Aufgabe wirklich gebraucht wird.
Das Gespräch ist gewuchert - bitte das Modell, die Absprachen kurz zusammenzufassen, kopiere das Ergebnis, mach einen neuen Chat auf und füge nur diese Zusammenfassung ein.
Denk dran: Eine lange Antwort ist teurer als eine lange Frage. Bittest du um „kürzer“, sparst du genau an den teuren Ausgabe-Tokens.
Du schreibst auf Deutsch und Sparen ist dir wichtig - dieselbe Anfrage auf Englisch braucht meistens weniger Tokens.

Häufige Einsteigerfehler beim Kontext

• Glauben, das Modell „merkt sich alles“. Es merkt sich nur das, was gerade ins Fenster gepasst hat. Das Alte aus einem langen Chat hat sich für das Modell längst aufgelöst.
• Denken, ein Token sei ein Wort. Nö. Es ist ein Stückchen, oft ein Teil eines Wortes. Und auf Deutsch gehen davon spürbar mehr drauf.
• Alles Mögliche reinkippen, „um sicherzugehen“. Überflüssiger Text bedeutet überflüssige Tokens, also überflüssiges Geld und Tempo-Verlust. Bringt null.
• Vergessen, dass die Ausgabe teurer ist als die Eingabe. Eine riesige Antwort haut härter rein als eine riesige Frage. Bitte um das Wesentliche.
• Monatelang in einem einzigen Chat hausen. Das Fenster läuft über, das Modell „verblödet“, und du zahlst drauf, weil der Verlauf immer wieder durchgelesen wird. Mach für ein neues Thema einen neuen Chat auf.