Was sind Tokens in der KI? Wie LLMs Text zählen

Veröffentlicht:

15 Min. Lesezeit

Acar Diveroli
Autor: Acar Diveroli
Eine kurze Textzeile links zerfällt in unterschiedlich lange Stücke, die nach rechts wandern; ein blaues Stück ist ein Token

Ein Entwickler fügt einen langen Vertrag in einen Chat-Assistenten ein und erfährt, dass die Unterhaltung zu lang ist. Ein Marketingteam öffnet seine erste KI-Rechnung und sieht, dass die Nutzung in Millionen Tokens gemessen wird, nicht in Wörtern. Ein Support-Team in Türkiye stellt fest, dass derselbe Prompt auf Türkisch sein Budget schneller aufbraucht als auf Englisch. Alle drei sind derselben kleinen Einheit begegnet: dem Token.

Dieser Beitrag erklärt, was ein Token ist, wie Text in Tokens zerlegt wird (mit einem echten englischen und türkischen Beispiel), warum manche Sprachen mehr davon brauchen, wie Tokens die Kosten und Grenzen eines Modells bestimmen, wie man sie zählt und wie man weniger davon verbraucht. Am Ende stehen die anderen Bedeutungen des Wortes.

Was ist ein Token in der KI?

Ein Token ist die kleinste Texteinheit, die ein KI-Sprachmodell verarbeitet: Das Modell liest einen Prompt als Folge von Tokens und schreibt seine Antwort Token für Token. Oft ist ein Token ein ganzes Wort, etwa das englische „order“ (Bestellung), es kann aber auch ein Wortteil, ein Satzzeichen oder eine Gruppe von Ziffern sein.

Jedes Token hat eine ID-Nummer im Vokabular des Modells, der festen Liste der Stücke, die es kennt. Das Modell sieht nie Buchstaben. Es erhält eine Liste von Zahlen, sagt die Nummer des nächsten Tokens vorher, und die Software verwandelt die Zahlen wieder in Text. Ein großes Sprachmodell ist im Kern ein System, das darauf trainiert wurde, diese Vorhersage des nächsten Tokens gut zu treffen.

Modelle, die Bilder, Audio oder Video annehmen, wandeln auch diese Eingaben in Tokens um. Ein Foto oder eine Sprachaufnahme verbraucht also ebenfalls einen Teil des Budgets einer Anfrage.

Warum verwenden KI-Modelle Tokens statt Wörter?

Tokens sind ein Mittelweg zwischen Buchstaben und ganzen Wörtern. Läse ein Modell einzelne Buchstaben, würde jeder Text zu einer sehr langen Folge, deren Verarbeitung langsam und teuer ist. Läse es ganze Wörter, bräuchte sein Vokabular jedes Wort, jeden Namen, jeden Tippfehler und jede neue Marke in jeder Sprache, und trotzdem stieße es auf Wörter, die es nie gesehen hat.

Subword-Tokens, also Wortteile, lösen beide Probleme. Das Vokabular hat eine feste Größe, und ein Wort, das nicht darin steht, wird aus kleineren Stücken zusammengesetzt. Ein seltener Nachname oder ein Produktcode bringt das Modell nicht aus dem Tritt; er kostet nur ein paar Tokens mehr.

EinheitVokabularUnbekannte WörterLänge der Folge
ZeichenSehr kleinNie ein ProblemSehr lang
Ganze WörterRiesig, nie vollständigOft unbekanntKurz
Subword-TokensFest, großAus Stücken gebautDazwischen

Wie funktioniert Tokenisierung?

Tokenisierung ist der Schritt, der Text in Tokens zerlegt, bevor das Modell ihn sieht, und viele aktuelle Sprachmodelle, darunter die von OpenAI, erledigen das mit Byte Pair Encoding (BPE). BPE war ursprünglich ein Verfahren zur Datenkompression; Sennrich, Haddow und Birch passten es in einem Aufsatz von 2015 über seltene Wörter in der maschinellen Übersetzung an und kodierten seltene und unbekannte Wörter als Folgen von Subword-Einheiten.

Ein BPE-Tokenizer wird einmal gebaut, bevor das Modell trainiert wird:

  1. Mit den kleinsten Einheiten beginnen: einzelne Zeichen oder, bei Byte-Level-Tokenizern wie dem von OpenAI, rohe Bytes, damit sich Text in jeder Schrift darstellen lässt.
  2. Benachbarte Paare zählen in einer großen Stichprobe von Trainingstext, etwa t gefolgt von h im Englischen.
  3. Das häufigste Paar verschmelzen zu einem neuen Vokabulareintrag, th, der ab dann als eine Einheit gilt.
  4. Wiederholen, sodass häufige Stücke zu Silben, gängigen Endungen und schließlich zu ganzen Wörtern samt Leerzeichen wachsen, etwa the.
  5. Bei einer Zielgröße aufhören. OpenAIs Kodierung o200k_base hat zum Beispiel rund 200.000 Einträge.
  6. Neuen Text kodieren, indem die gelernten Verschmelzungen auf Ihren Prompt angewandt werden und jedes Stück durch seine ID-Nummer ersetzt wird.

Weil die Verschmelzungen der Häufigkeit folgen, werden gängige Stücke zu einzelnen Tokens, seltene bleiben zerlegt. Auch Leerzeichen zählen: In o200k_base sind price und price mit Leerzeichen zwei verschiedene Tokens.

Jede Modellfamilie hat ihren eigenen Tokenizer, deshalb ergibt derselbe Text auf verschiedenen Modellen unterschiedliche Zahlen, selbst beim selben Anbieter. Anthropic gibt an, dass Claude Opus 4.7 und spätere Modelle einen neueren Tokenizer nutzen, der für denselben Text etwa 30 Prozent mehr Tokens erzeugt als frühere Modelle.

Wie sieht ein Satz als Tokens aus?

Am schnellsten versteht man Tokens, wenn man einem echten Tokenizer beim Zerlegen eines Satzes zusieht. Wir haben zwei Sätze mit derselben Bedeutung durch die Open-Source-Bibliothek tiktoken von OpenAI (Version 0.14.0) geschickt, mit der Kodierung o200k_base, die die Bibliothek für GPT-4o verwendet. Die senkrechten Striche zeigen, wo ein Token endet und das nächste beginnt:

text
Englisch, 10 Tokens:
Your| order| has| been| shipped| and| will| arrive| tomorrow|.

Türkisch, 16 Tokens:
Sip|ariş|iniz| k|arg|oya| ver|ildi| ve| yar|ın| el|iniz|de| olacak|.
SatzZeichenWörterTokens
Englisch53910
Türkisch53716

Beide Sätze sind genau 53 Zeichen lang, und doch braucht der türkische 60 Prozent mehr Tokens. Das Beispiel zeigt die üblichen Muster:

  • Leerzeichen wandern mit dem nächsten Wort: order ist ein Token, deshalb kosten Leerzeichen selten ein eigenes Token.
  • Satzzeichen stehen oft für sich: Der Punkt ist in beiden Sätzen ein eigenes Token.
  • Häufige englische Wörter bleiben ganz, während türkische Wörter an den Suffixen und manchmal mitten im Stamm geteilt werden: kargoya („an den Paketdienst“) wird zu k, arg und oya.
  • Zahlen werden in Gruppen zerlegt: Das Datum 2026-11-18 belegt in derselben Kodierung sechs Tokens.

Diese Zahlen gelten nur für diese Kodierung; der Tokenizer eines anderen Modells zieht die Grenzen anderswo.

Warum brauchen manche Sprachen mehr Tokens als Englisch?

Manche Sprachen brauchen mehr Tokens, weil ein Tokenizer seine Stücke aus seinem Trainingstext lernt: Was dort häufig war, wird zu ganzen Tokens, was selten war, bleibt zerlegt. Ein Tokenizer, der überwiegend mit englischem Text trainiert wurde, enthält viele vollständige englische Wörter und weniger vollständige Wörter anderer Sprachen.

Der Abstand kann groß sein. In einer auf der NeurIPS 2023 vorgestellten Studie stellten Petrov und Kollegen fest, dass sich die Token-Zahl desselben Textes in verschiedenen Sprachen um bis zum 15-Fachen unterscheiden kann und dass der Abstand selbst bei Tokenizern bleibt, die für viele Sprachen gebaut wurden. Als Folgen nennen sie einen höheren Preis für dieselbe Leistung, langsamere Antworten und weniger Platz in jeder Anfrage.

Beim Türkischen kommt ein zweiter Grund hinzu. Es ist eine agglutinierende Sprache: Es hängt eine Kette von Suffixen an einen Stamm, sodass ein einziges Wort eine ganze englische Wendung tragen kann. bulamadıklarımızdan („von denen, die wir nicht finden konnten“) ist ein Wort und fünf Tokens; die englische Entsprechung from those we could not find aus sechs Wörtern braucht sechs. Pro Wort wirkt Türkisch teuer, pro Bedeutung ist der Abstand kleiner, auch wenn es in unserem Satz oben immer noch 16 gegen 10 Tokens waren.

Wie beeinflussen Tokens die Kosten von KI?

KI-APIs rechnen pro Token ab und zählen Eingabe- und Ausgabe-Tokens getrennt. Eingabe-Tokens sind alles, was Sie senden: Systemanweisungen, Gesprächsverlauf, Dokumente, Tool-Definitionen und Bilder. Ausgabe-Tokens sind das, was das Modell zurückschreibt.

Die Preislisten von OpenAI und Anthropic, geprüft am 18. November 2026, nennen beide Preise pro Million Tokens, und beide verlangen für ein Ausgabe-Token mehr als für ein Eingabe-Token. Beide bieten außerdem einen niedrigeren Satz für zwischengespeicherte Eingaben (Cached Input), also ein wiederkehrendes Präfix wie einen langen System-Prompt, das der Anbieter zwischen den Anfragen vorhält.

Zwei Details überraschen Erstnutzer. Verborgenes Reasoning wird als Ausgabe abgerechnet: Laut dem Reasoning-Leitfaden von OpenAI sind Reasoning-Tokens über die API nicht sichtbar, werden aber als Ausgabe-Tokens berechnet, und Anthropic sagt dasselbe über seine Thinking-Tokens. Außerdem schickt ein Chat über die API mit jeder neuen Nachricht meist das bisherige Gespräch noch einmal mit, sodass der Verlauf in jeder Runde erneut bezahlt wird.

Die Kosten einer Anfrage sind Eingabe-Tokens mal Eingabepreis plus Ausgabe-Tokens mal Ausgabepreis. Ein türkischer Prompt mit 60 Prozent mehr Tokens als sein englisches Gegenstück kostet beim Senden 60 Prozent mehr.

Was ist ein Token-Limit?

Ein Token-Limit ist die höchste Zahl an Tokens, die ein Modell in einer Anfrage verarbeiten kann, und davon gibt es zwei. Das Kontextfenster ist die Gesamtmenge, die das Modell auf einmal berücksichtigen kann, seine eigene Antwort eingeschlossen. Die maximale Ausgabe begrenzt, wie viele Tokens es in einer Antwort schreiben darf, und Sie können sie über die API niedriger ansetzen.

Alles zählt zum Kontextfenster: Anweisungen, Verlauf, Dokumente, Tool-Ergebnisse, Bilder und die Ausgabe. Was in dieses Fenster gehört und warum ein größeres nicht automatisch besser ist, behandelt der Beitrag Context Engineering vs. Prompt Engineering.

Was am Limit passiert, hängt davon ab, wo Sie es erreichen:

  • Schon die Eingabe ist zu lang: Die API lehnt die Anfrage ab; die von Anthropic liefert die Fehlermeldung prompt is too long.
  • Die Antwort erreicht die Ausgabegrenze: Die Generierung bricht mitten im Satz ab, und die Antwort wird als abgeschnitten markiert (stop_reason ist max_tokens bei der API von Anthropic, der Status ist incomplete bei der von OpenAI).
  • Einer Chat-App geht der Platz aus: Sie kann die ältesten Nachrichten verwerfen oder zusammenfassen, sodass der Assistent den Anfang eines langen Gesprächs „vergisst“.

Wie zählt man Tokens?

Zählen Sie Tokens mit dem Tokenizer oder Zählwerkzeug des Modells, das Sie verwenden, denn jede Modellfamilie zerlegt Text anders:

  • OpenAI veröffentlicht die oben verwendete Bibliothek tiktoken und eine Tokenizer-Webseite auf seiner Entwicklerplattform.
  • Anthropic bietet einen kostenlosen Endpunkt zum Zählen von Tokens, /v1/messages/count_tokens, der dieselbe Eingabe wie eine echte Anfrage annimmt, Bilder und PDFs eingeschlossen, und eine Schätzung zurückgibt.
  • Google stellt in der Gemini API die Methode count_tokens bereit, und seine Token-Dokumentation beschreibt, wie Bilder und Audio gezählt werden.
  • Jede API-Antwort meldet die tatsächlich verbrauchten Tokens im Feld usage, und genau diese Zahl wird Ihnen berechnet.

Für eine schnelle Schätzung nennen die Anbieter Faustregeln für Englisch. Laut der Dokumentation von OpenAI entspricht ein Token etwa 4 Zeichen oder 0,75 Wörtern englischen Textes, 1.000 Tokens sind also rund 750 Wörter; laut der von Google sind 100 Tokens etwa 60 bis 80 englische Wörter. Für andere Sprachen gilt keine der beiden Regeln: Unser türkischer Satz kam im Schnitt auf 3,3 Zeichen pro Token, der englische auf 5,3.

Wie verbrauchen Sie weniger Tokens?

Senden Sie nur den Text, den das Modell braucht, und verlangen Sie nicht mehr Ausgabe, als Sie nutzen werden:

  • Senden Sie sauberen Text statt rohem HTML. Markup, Skripte und Menüs können weit mehr kosten als der Inhalt. In unserem Test zu Web Scraping für RAG kam eine Dokumentationsseite als rohes HTML auf 21.044 Tokens und als Markdown auf 4.405.
  • Kürzen Sie den Verlauf: Behalten Sie die letzten Runden vollständig und fassen Sie den Rest zusammen.
  • Begrenzen und formen Sie die Ausgabe: Legen Sie eine Höchstlänge fest und verlangen Sie ein Format, etwa drei Stichpunkte, statt eines offenen Aufsatzes.
  • Entfernen Sie wiederkehrende Textbausteine wie ungenutzte Tool-Definitionen und doppelte Beispiele.
  • Speichern Sie feste Präfixe zwischen, wo die API das unterstützt; sie belegen weiterhin Platz, kosten aber weniger.
  • Verkleinern Sie Bilder vor dem Senden auf das, was die Aufgabe braucht.

Webseiten verdienen eine eigene Erwähnung: Retrieval-Systeme, Recherche-Agenten und Evaluationsdatensätze werden oft aus öffentlichen Seiten gebaut, und jede Seite, die an ein Modell geht, wird in Tokens bezahlt; den Hauptinhalt vorher zu extrahieren ist daher der günstigste Schritt. Wenn Sie diese Seiten in großem Umfang aus vielen Ländern sammeln, hilft ein Residential-Proxy: Er leitet jede Anfrage über einen privaten Internetanschluss im gewählten Land, sodass Sie die Seite erhalten, die lokale Besucher sehen. Sammeln Sie im Rahmen der Nutzungsbedingungen der Website und mit einer rücksichtsvollen Anfragerate.

Teams, die das Sammeln lieber nicht selbst betreiben, können unser Vertriebsteam nach der verwalteten Seitenextraktion über unsere Web Scraping API fragen; die Seite Data Scraping beschreibt unsere Proxy-Pools für die Erfassung großer Mengen.

Wo begegnen Ihnen Tokens?

Tokens begegnen Ihnen überall, wo Text in ein Sprachmodell hinein- oder aus ihm herausgeht: als Nachrichtenlimit in Chat-Assistenten, als Einheit von Rechnungen und Rate Limits in API-Dashboards, als Chunk-Größe in Retrieval-Systemen, als unterschiedlicher Preis für denselben Text in jeder Sprache eines Übersetzungsprojekts und als Kosten jedes Tool-Aufrufs in der Schleife eines KI-Agenten.

Was bedeutet „Token“ sonst noch?

Außerhalb von Sprachmodellen hat „Token“ mehrere Bedeutungen, die nichts miteinander zu tun haben und oft in denselben Suchergebnissen auftauchen:

  • Zugriffstoken: ein vorübergehender digitaler Schlüssel, den eine Website oder App nach der Anmeldung ausstellt. Wer ihn besitzt, kann in Ihrem Namen handeln; ein Discord-Token oder jedes andere Sitzungstoken darf deshalb nie weitergegeben werden.
  • Sicherheitstoken: ein Gerät oder eine App zum Erzeugen von Einmalcodes für die Anmeldung, oder ein USB-Schlüssel, der ein digitales Zertifikat speichert.
  • Krypto-Token: ein digitaler Vermögenswert, der auf einer Blockchain verbucht ist.
  • Token in der Programmierung: die kleinste bedeutungstragende Einheit, die ein Compiler im Quellcode liest, etwa ein Schlüsselwort oder ein Symbol.

Häufige Fehler

  • Tokens mit Wörtern gleichsetzen. Ein Budget von 1.000 Tokens entspricht nicht 1.000 Wörtern, und das Verhältnis ändert sich mit der Sprache.
  • Zahlen von einem Modell aufs andere übertragen. Ein Wert aus einem Tokenizer kann bei einem anderen weit danebenliegen.
  • Andere Sprachen mit der englischen Faustregel schätzen. Messen Sie eine Stichprobe im echten Tokenizer.
  • Rohes HTML an ein Modell senden. Das Markup kann den größten Teil der Rechnung ausmachen.
  • Die Ausgabeseite vergessen. Lange Antworten und verborgenes Reasoning werden zum höheren Ausgabepreis berechnet.
  • Die Abbruchmarkierung übersehen. Eine am Ausgabelimit gestoppte Antwort ist unvollständig, auch wenn sie fertig wirkt.

Entscheidungshilfe

BedarfWas zu tun ist
Kosten eines Prompts schätzenMit Tokenizer oder Endpunkt des Anbieters zählen
Grobe Größe auf Englisch prüfenEtwa 4 Zeichen oder 0,75 Wörter pro Token
Budget für eine andere SpracheEine Stichprobe in dieser Sprache messen
Webseiten an ein Modell gebenHauptinhalt extrahieren, Markdown senden
Langer Chat kostet zu vielÄltere Runden zusammenfassen, feste Präfixe zwischenspeichern
Antworten brechen mitten im Satz abAusgabelimit erhöhen oder weniger verlangen
Anfrage als zu lang abgelehntEingabe aufteilen, nur relevante Teile abrufen

Häufige Fragen

Wie viele Wörter sind 1.000 Tokens?

Im Englischen etwa 750 Wörter nach der Regel von OpenAI mit 0,75 Wörtern pro Token, oder 600 bis 800 Wörter nach der Schätzung von Google. Die meisten anderen Sprachen, Code und zahlenlastiger Text ergeben weniger Wörter pro 1.000 Tokens; nutzen Sie den Wert daher nur für englischen Fließtext.

Warum braucht Türkisch mehr Tokens?

Türkische Wörter sind in den Texten, aus denen viele Tokenizer lernen, seltener als englische, und das Türkische hängt lange Ketten von Suffixen an einen Stamm, sodass Wörter in mehrere Stücke zerfallen. In unserem Beispiel brauchte ein türkischer Satz mit derselben Länge und Bedeutung wie ein englischer 16 Tokens statt 10.

Zählen Leerzeichen und Satzzeichen als Tokens?

Ja, allerdings hängt ein Leerzeichen meist am folgenden Wort, während Satzzeichen wie ein Punkt oft ein eigenes Token sind. Zusätzliche Leerzeichen, Zeilenumbrüche und Einrückungen fügen Tokens hinzu, was vor allem bei Code und kopiertem Webtext ins Gewicht fällt.

Werden Bilder in Tokens gezählt?

Ja, und die Zahl hängt von der Bildgröße und der Formel des Anbieters ab. Die Gemini-Dokumentation von Google zählt zum Beispiel ein Bild mit höchstens 384 Pixeln auf beiden Seiten als 258 Tokens und teilt größere Bilder in Kacheln zu je 258 Tokens.

Was passiert, wenn Sie das Token-Limit erreichen?

Ist die Eingabe zu lang für das Kontextfenster, lehnt die API die Anfrage ab. Erreicht die Antwort das Ausgabelimit, bricht sie mitten im Satz ab und wird als abgeschnitten markiert. Chat-Apps können stattdessen ältere Nachrichten verwerfen oder zusammenfassen, weshalb ein langes Gespräch seinen Anfang aus dem Blick verlieren kann.

Sind KI-Tokens dasselbe wie Krypto-Tokens?

Nein. Ein KI-Token ist ein Textstück, das ein Sprachmodell liest oder schreibt, und die Einheit, mit der die Nutzung eines Modells gemessen und abgerechnet wird. Ein Krypto-Token ist ein digitaler Vermögenswert, der auf einer Blockchain verbucht ist; die beiden teilen nur den Namen.

Fazit

Ein Token ist ein Stück Text, oft ein Wort, manchmal ein Wortteil oder ein Satzzeichen, das ein Sprachmodell als Zahl aus seinem Vokabular verarbeitet. Tokenizer bauen dieses Vokabular aus häufigen Stücken ihres Trainingstextes auf, weshalb Englisch meist weniger Tokens braucht als Türkisch. Tokens bestimmen, was eine Anfrage kostet, wobei Eingabe und Ausgabe getrennt berechnet werden, und wie viel in sie hineinpasst. Zählen Sie sie mit dem Tokenizer des Modells, das Sie nutzen, messen Sie jede Sprache für sich und senden Sie sauberen Text statt roher Seiten, damit die Tokens, die Sie bezahlen, Inhalt tragen.

ChatGPT fragenClaude fragen