Token-Zähler
Sehen Sie, wie viele Tokens Ihr Text in ChatGPT und anderen KI-Modellen belegt, dazu eine Schätzung für Claude. Nichts verlässt Ihren Browser.
Token-Zähler wird geladen… Wenn nichts passiert, aktiviere JavaScript.
Sprachmodelle lesen weder Zeichen noch Wörter, sie lesen Tokens: kurze Textstücke aus einem festen Vokabular, mit dem das Modell trainiert wurde. Preise, Nutzungslimits und Kontextfenster werden alle in Tokens gemessen. Wer weiß, wie viele Tokens ein Prompt verbraucht, weiß also, was eine Anfrage kostet und ob ein langes Dokument hineinpasst. Füge Text, einen Prompt oder eine Quelldatei in diesen Zähler ein, und er zerlegt ihn mit denselben Byte-Pair-Encoding-Tabellen, die OpenAI verwendet: o200k_base für GPT-4o, GPT-4.1, die Reasoning-Modelle der o-Serie und die GPT-5-Familie, cl100k_base für GPT-4 und GPT-3.5 Turbo. Neben der Tokenzahl bekommst du Zeichen, Wörter, Zeilen und die durchschnittliche Zahl der Zeichen pro Token, ein schneller Weg, um zu sehen, wie effizient eine Sprache oder ein Format kodiert wird.
Häufig gestellte Fragen
Wird mein Text irgendwohin hochgeladen?
Welche Kodierung soll ich wählen?
Ist die GPT-Tokenzahl exakt?
Wie genau ist die Claude-Schätzung?
Wie bekomme ich die genaue Claude-Tokenzahl?
Was sagt mir das Verhältnis Zeichen pro Token?
Was zeigt der Balken für das Kontextfenster?
Warum werden dieselben Wörter an verschiedenen Stellen unterschiedlich zerlegt?
Kann ich die Tokens einer Datei zählen?
Über Token-Zähler
Die Token-Ansicht darunter zeigt genau, wo die Grenzen liegen: Jedes Token hat einen abwechselnden Hintergrund, und auf Wunsch werden statt des Textes die numerischen Token-IDs angezeigt. Das hilft, wenn sich ein Prompt seltsam verhält. Du siehst, dass ein führendes Leerzeichen zum nächsten Wort gehört, dass eine lange Zahl in Dreiergruppen zerlegt wird oder dass ein deutsches oder japanisches Wort mehrere Tokens braucht, wo das englische Gegenstück mit einem auskommt. Code, JSON und minifizierter Text verbrauchen meist mehr Tokens pro Zeichen als Fließtext, und das Verhältnis Zeichen pro Token macht das sichtbar. Damit die Seite flüssig bleibt, werden nur die ersten 2.000 Tokens dargestellt, die Zählungen umfassen aber immer den gesamten Text.
Claude-Modelle verwenden einen eigenen Tokenizer, und Anthropic veröffentlicht ihn nicht in einer Form, die im Browser läuft. Der hier gezeigte Claude-Wert ist deshalb eine Schätzung, berechnet aus der o200k_base-Zählung mit einer Faktorspanne, und er ist auch so gekennzeichnet. Neuere Claude-Modelle (Opus 4.7 und später sowie die Fable-Modelle) nutzen einen Tokenizer, der für denselben Text deutlich mehr Tokens erzeugt als ältere Claude-Versionen. Nimm daher das obere Ende der Spanne als vorsichtigen Planungswert und nutze den count_tokens-Endpunkt der Anthropic-API, wenn du die genaue Zahl brauchst. Alles läuft lokal: Die Tokenizer-Tabellen werden von dieser Website geladen, und dein Text wird nirgendwohin gesendet.
Byte Pair Encoding begann als Kompressionstrick
Der Algorithmus hinter diesen Tokenizern wurde nicht für Sprachmodelle erfunden. Philip Gage beschrieb Byte Pair Encoding 1994 im The C Users Journal als einfaches Verfahren zur Datenkompression: das häufigste Paar benachbarter Bytes suchen, es durch ein Byte ersetzen, das in den Daten nicht vorkommt, und das so lange wiederholen, bis kein Paar mehr häufig genug ist, dass es sich lohnt.
2015 übertrugen Rico Sennrich und Kollegen die Idee auf die neuronale maschinelle Übersetzung. Statt eine Datei zu komprimieren, nutzten sie dasselbe gierige Zusammenführen, um ein Vokabular aus Wortteilen aufzubauen. So konnte ein Übersetzungsmodell seltene Wörter und Eigennamen aus vertrauten Bausteinen zusammensetzen. OpenAIs GPT-2 verlegte das Verfahren 2019 auf die Ebene der rohen Bytes, wodurch sich jede Zeichenkette in jeder Sprache und mit jedem Emoji kodieren ließ, ohne je auf ein unbekanntes Token zurückzugreifen.
Dieses Design auf Byte-Ebene erklärt, warum ein einziges Emoji mehrere Tokens belegen kann und warum ein Wort an überraschenden Stellen geteilt wird: Das Vokabular spiegelt wider, welche Bytefolgen in den Trainingsdaten häufig waren, nicht wie Menschen über Wörter denken. Es erklärt auch, warum die Vokabulare immer größer werden, von rund 50.000 Einträgen bei GPT-2 über etwa 100.000 bei cl100k_base bis zu 200.000 bei o200k_base, wobei jeder Schritt gängigen Text in weniger Tokens unterbringt.