BrowserTools
Startseite / KI / Token-Zähler

Token-Zähler

Sehen Sie, wie viele Tokens Ihr Text in ChatGPT und anderen KI-Modellen belegt, dazu eine Schätzung für Claude. Nichts verlässt Ihren Browser.

Token-Zähler wird geladen… Wenn nichts passiert, aktiviere JavaScript.

Sprachmodelle lesen weder Zeichen noch Wörter, sie lesen Tokens: kurze Textstücke aus einem festen Vokabular, mit dem das Modell trainiert wurde. Preise, Nutzungslimits und Kontextfenster werden alle in Tokens gemessen. Wer weiß, wie viele Tokens ein Prompt verbraucht, weiß also, was eine Anfrage kostet und ob ein langes Dokument hineinpasst. Füge Text, einen Prompt oder eine Quelldatei in diesen Zähler ein, und er zerlegt ihn mit denselben Byte-Pair-Encoding-Tabellen, die OpenAI verwendet: o200k_base für GPT-4o, GPT-4.1, die Reasoning-Modelle der o-Serie und die GPT-5-Familie, cl100k_base für GPT-4 und GPT-3.5 Turbo. Neben der Tokenzahl bekommst du Zeichen, Wörter, Zeilen und die durchschnittliche Zahl der Zeichen pro Token, ein schneller Weg, um zu sehen, wie effizient eine Sprache oder ein Format kodiert wird.

Häufig gestellte Fragen

Wird mein Text irgendwohin hochgeladen?
Nein. Der Tokenizer ist eine JavaScript-Bibliothek, deren Vokabulartabellen von dieser Website ausgeliefert werden und die in deinem Browser läuft. Die Seite sendet keine Anfrage mit deinem Text, du kannst also private Prompts, Quellcode oder Kundendaten einfügen, ohne dass sie dein Gerät verlassen.
Welche Kodierung soll ich wählen?
Wähle o200k_base für GPT-4o, GPT-4o mini, GPT-4.1, die Reasoning-Modelle o1, o3 und o4 und die GPT-5-Familie. Wähle cl100k_base für GPT-4, GPT-4 Turbo, GPT-3.5 Turbo und die Embedding-Modelle text-embedding-3 und ada-002. o200k_base hat ein Vokabular von etwa 200.000 Tokens gegenüber rund 100.000 bei cl100k_base. Das hilft vor allem bei nicht englischen Texten und bei Code, wo meist weniger Tokens nötig sind.
Ist die GPT-Tokenzahl exakt?
Für den reinen Text ja: Es werden dieselben Byte-Pair-Encoding-Tabellen wie in OpenAIs Bibliothek tiktoken verwendet. Eine Chat-Anfrage fügt pro Nachricht ein paar Tokens für Rolle und Formatierung hinzu, und Tools, Bilder und Systemanweisungen kommen noch dazu. Die abgerechnete Zahl für einen vollständigen API-Aufruf liegt daher etwas über der Zählung des Textes allein.
Wie genau ist die Claude-Schätzung?
Sie ist eine Näherung, keine Messung. Anthropic veröffentlicht keinen Tokenizer, der clientseitig läuft, daher multipliziert das Tool die o200k_base-Zählung mit einer Spanne von 1,1 bis 1,5. Neuere Claude-Modelle (Opus 4.7 und später sowie die Fable-Modelle) nutzen einen Tokenizer, der für denselben Text etwa 1,0- bis 1,35-mal so viele Tokens erzeugt wie ältere Claude-Versionen, und Claude-Zählungen liegen generell über denen von OpenAI. Code und nicht englische Texte landen eher am oberen Ende, einfacher englischer Fließtext eher am unteren.
Wie bekomme ich die genaue Claude-Tokenzahl?
Rufe den Token-Zähl-Endpunkt von Anthropic auf, POST /v1/messages/count_tokens, mit derselben Modell-ID und denselben Nachrichten, die du senden willst. Die Nutzung ist kostenlos, die Antwort enthält input_tokens, und auch Systemprompts, Tools und Bilder werden mitgezählt. Tokenzahlen sind modellabhängig, gib also immer das Modell an, das du wirklich verwendest. Die offiziellen SDKs bieten das als messages.count_tokens in Python und messages.countTokens in TypeScript an.
Was sagt mir das Verhältnis Zeichen pro Token?
Es ist die durchschnittliche Zahl der Zeichen, die in ein Token passen. Englischer Fließtext liegt mit o200k_base meist bei etwa vier Zeichen pro Token. Ein niedrigeres Verhältnis bedeutet, dass der Text pro Zeichen teurer zu verarbeiten ist, typisch für Code mit viel Interpunktion, Base64- oder Hex-Strings und Sprachen mit nicht lateinischer Schrift.
Was zeigt der Balken für das Kontextfenster?
Er zeigt, wie viel vom Kontextfenster eines Modells dein Text belegen würde: 128K Tokens für GPT-4o und die o-Serie, 200K für Claude Haiku 4.5, 400K für die GPT-5-Familie und 1M für GPT-4.1 sowie die aktuellen Claude-Modelle Opus, Sonnet und Fable. Die Claude-Balken nutzen das obere Ende der Schätzung, um lieber zu vorsichtig zu sein. Denk daran, dass das Fenster auch die Antwort des Modells aufnehmen muss, lass also Platz dafür.
Warum werden dieselben Wörter an verschiedenen Stellen unterschiedlich zerlegt?
Tokenizer behandeln ein führendes Leerzeichen als Teil des Wortes, deshalb sind "hello" am Zeilenanfang und " hello" nach einem Leerzeichen verschiedene Tokens. Groß- und Kleinschreibung, am Wort hängende Satzzeichen und die umgebenden Zeichen verändern die Zerlegung ebenfalls. Zahlen werden in Blöcke von bis zu drei Ziffern geteilt, seltene Wörter in mehrere häufige Bruchstücke.
Kann ich die Tokens einer Datei zählen?
Ja. Zieh eine .txt-, .md-, .json-, .csv- oder Quellcodedatei auf das Tool oder nutze die Dateiauswahl, dann wird ihr Inhalt in das Textfeld geladen. Dateien werden lokal über die File API des Browsers gelesen. Binärdateien wie Bilder oder PDFs werden abgelehnt, weil ihre Tokenzahl davon abhängt, wie das Modell sie verarbeitet, und nicht von ihren Bytes.

Über Token-Zähler

Die Token-Ansicht darunter zeigt genau, wo die Grenzen liegen: Jedes Token hat einen abwechselnden Hintergrund, und auf Wunsch werden statt des Textes die numerischen Token-IDs angezeigt. Das hilft, wenn sich ein Prompt seltsam verhält. Du siehst, dass ein führendes Leerzeichen zum nächsten Wort gehört, dass eine lange Zahl in Dreiergruppen zerlegt wird oder dass ein deutsches oder japanisches Wort mehrere Tokens braucht, wo das englische Gegenstück mit einem auskommt. Code, JSON und minifizierter Text verbrauchen meist mehr Tokens pro Zeichen als Fließtext, und das Verhältnis Zeichen pro Token macht das sichtbar. Damit die Seite flüssig bleibt, werden nur die ersten 2.000 Tokens dargestellt, die Zählungen umfassen aber immer den gesamten Text.

Claude-Modelle verwenden einen eigenen Tokenizer, und Anthropic veröffentlicht ihn nicht in einer Form, die im Browser läuft. Der hier gezeigte Claude-Wert ist deshalb eine Schätzung, berechnet aus der o200k_base-Zählung mit einer Faktorspanne, und er ist auch so gekennzeichnet. Neuere Claude-Modelle (Opus 4.7 und später sowie die Fable-Modelle) nutzen einen Tokenizer, der für denselben Text deutlich mehr Tokens erzeugt als ältere Claude-Versionen. Nimm daher das obere Ende der Spanne als vorsichtigen Planungswert und nutze den count_tokens-Endpunkt der Anthropic-API, wenn du die genaue Zahl brauchst. Alles läuft lokal: Die Tokenizer-Tabellen werden von dieser Website geladen, und dein Text wird nirgendwohin gesendet.

Byte Pair Encoding begann als Kompressionstrick

Der Algorithmus hinter diesen Tokenizern wurde nicht für Sprachmodelle erfunden. Philip Gage beschrieb Byte Pair Encoding 1994 im The C Users Journal als einfaches Verfahren zur Datenkompression: das häufigste Paar benachbarter Bytes suchen, es durch ein Byte ersetzen, das in den Daten nicht vorkommt, und das so lange wiederholen, bis kein Paar mehr häufig genug ist, dass es sich lohnt.

2015 übertrugen Rico Sennrich und Kollegen die Idee auf die neuronale maschinelle Übersetzung. Statt eine Datei zu komprimieren, nutzten sie dasselbe gierige Zusammenführen, um ein Vokabular aus Wortteilen aufzubauen. So konnte ein Übersetzungsmodell seltene Wörter und Eigennamen aus vertrauten Bausteinen zusammensetzen. OpenAIs GPT-2 verlegte das Verfahren 2019 auf die Ebene der rohen Bytes, wodurch sich jede Zeichenkette in jeder Sprache und mit jedem Emoji kodieren ließ, ohne je auf ein unbekanntes Token zurückzugreifen.

Dieses Design auf Byte-Ebene erklärt, warum ein einziges Emoji mehrere Tokens belegen kann und warum ein Wort an überraschenden Stellen geteilt wird: Das Vokabular spiegelt wider, welche Bytefolgen in den Trainingsdaten häufig waren, nicht wie Menschen über Wörter denken. Es erklärt auch, warum die Vokabulare immer größer werden, von rund 50.000 Einträgen bei GPT-2 über etwa 100.000 bei cl100k_base bis zu 200.000 bei o200k_base, wobei jeder Schritt gängigen Text in weniger Tokens unterbringt.

Unterstützen