---
title: "Was sind Tokens in der KI? Wie LLMs Text zählen"
description: "Tokens sind Textstücke, die KI-Modelle lesen und schreiben: Wörter, Wortteile, Satzzeichen. So funktioniert Tokenisierung, so steuern Tokens Kosten und Limits."
url: https://proxynet.io/de/blog/what-are-tokens-in-ai
date: 2026-11-18
author: "Acar Diveroli"
category: "KI"
lang: de
---

# Was sind Tokens in der KI? Wie LLMs Text zählen

Ein Entwickler fügt einen langen Vertrag in einen Chat-Assistenten ein und erfährt, dass die Unterhaltung zu lang ist. Ein Marketingteam öffnet seine erste KI-Rechnung und sieht, dass die Nutzung in Millionen Tokens gemessen wird, nicht in Wörtern. Ein Support-Team in Türkiye stellt fest, dass derselbe Prompt auf Türkisch sein Budget schneller aufbraucht als auf Englisch. Alle drei sind derselben kleinen Einheit begegnet: dem Token.

Dieser Beitrag erklärt, was ein Token ist, wie Text in Tokens zerlegt wird (mit einem echten englischen und türkischen Beispiel), warum manche Sprachen mehr davon brauchen, wie Tokens die Kosten und Grenzen eines Modells bestimmen, wie man sie zählt und wie man weniger davon verbraucht. Am Ende stehen die anderen Bedeutungen des Wortes.

> **Hinweis: Kurzantwort**
>
> Ein Token ist die Texteinheit, die ein KI-Sprachmodell liest und schreibt: ein ganzes häufiges Wort, ein Teil eines längeren Wortes, ein Satzzeichen oder ein Wort samt dem Leerzeichen davor. Ein Tokenizer zerlegt Ihren Text in diese Stücke und ersetzt jedes durch eine Zahl aus einem festen Vokabular; das Modell arbeitet nur mit diesen Zahlen. Tokens sind wichtig, weil KI-APIs pro Token abrechnen, Eingabe und Ausgabe getrennt, und weil jedes Modell pro Anfrage nur eine begrenzte Zahl von Tokens verarbeiten kann. Im Englischen entspricht ein Token grob vier Zeichen oder drei Vierteln eines Wortes; die meisten anderen Sprachen, darunter Türkisch, brauchen für dieselbe Nachricht mehr Tokens.

## Was ist ein Token in der KI?

Ein Token ist die kleinste Texteinheit, die ein KI-Sprachmodell verarbeitet: Das Modell liest einen Prompt als Folge von Tokens und schreibt seine Antwort Token für Token. Oft ist ein Token ein ganzes Wort, etwa das englische „order“ (Bestellung), es kann aber auch ein Wortteil, ein Satzzeichen oder eine Gruppe von Ziffern sein.

Jedes Token hat eine ID-Nummer im Vokabular des Modells, der festen Liste der Stücke, die es kennt. Das Modell sieht nie Buchstaben. Es erhält eine Liste von Zahlen, sagt die Nummer des nächsten Tokens vorher, und die Software verwandelt die Zahlen wieder in Text. Ein [großes Sprachmodell](/de/blog/what-is-a-large-language-model) ist im Kern ein System, das darauf trainiert wurde, diese Vorhersage des nächsten Tokens gut zu treffen.

Modelle, die Bilder, Audio oder Video annehmen, wandeln auch diese Eingaben in Tokens um. Ein Foto oder eine Sprachaufnahme verbraucht also ebenfalls einen Teil des Budgets einer Anfrage.

## Warum verwenden KI-Modelle Tokens statt Wörter?

Tokens sind ein Mittelweg zwischen Buchstaben und ganzen Wörtern. Läse ein Modell einzelne Buchstaben, würde jeder Text zu einer sehr langen Folge, deren Verarbeitung langsam und teuer ist. Läse es ganze Wörter, bräuchte sein Vokabular jedes Wort, jeden Namen, jeden Tippfehler und jede neue Marke in jeder Sprache, und trotzdem stieße es auf Wörter, die es nie gesehen hat.

Subword-Tokens, also Wortteile, lösen beide Probleme. Das Vokabular hat eine feste Größe, und ein Wort, das nicht darin steht, wird aus kleineren Stücken zusammengesetzt. Ein seltener Nachname oder ein Produktcode bringt das Modell nicht aus dem Tritt; er kostet nur ein paar Tokens mehr.

| Einheit | Vokabular | Unbekannte Wörter | Länge der Folge |
|---|---|---|---|
| Zeichen | Sehr klein | Nie ein Problem | Sehr lang |
| Ganze Wörter | Riesig, nie vollständig | Oft unbekannt | Kurz |
| Subword-Tokens | Fest, groß | Aus Stücken gebaut | Dazwischen |

## Wie funktioniert Tokenisierung?

Tokenisierung ist der Schritt, der Text in Tokens zerlegt, bevor das Modell ihn sieht, und viele aktuelle Sprachmodelle, darunter die von OpenAI, erledigen das mit Byte Pair Encoding (BPE). BPE war ursprünglich ein Verfahren zur Datenkompression; Sennrich, Haddow und Birch passten es in einem [Aufsatz von 2015 über seltene Wörter in der maschinellen Übersetzung](https://arxiv.org/abs/1508.07909) an und kodierten seltene und unbekannte Wörter als Folgen von Subword-Einheiten.

Ein BPE-Tokenizer wird einmal gebaut, bevor das Modell trainiert wird:

1. **Mit den kleinsten Einheiten beginnen:** einzelne Zeichen oder, bei Byte-Level-Tokenizern wie dem von OpenAI, rohe Bytes, damit sich Text in jeder Schrift darstellen lässt.
1. **Benachbarte Paare zählen** in einer großen Stichprobe von Trainingstext, etwa `t` gefolgt von `h` im Englischen.
1. **Das häufigste Paar verschmelzen** zu einem neuen Vokabulareintrag, `th`, der ab dann als eine Einheit gilt.
1. **Wiederholen,** sodass häufige Stücke zu Silben, gängigen Endungen und schließlich zu ganzen Wörtern samt Leerzeichen wachsen, etwa ` the`.
1. **Bei einer Zielgröße aufhören.** OpenAIs Kodierung `o200k_base` hat zum Beispiel rund 200.000 Einträge.
1. **Neuen Text kodieren,** indem die gelernten Verschmelzungen auf Ihren Prompt angewandt werden und jedes Stück durch seine ID-Nummer ersetzt wird.

Weil die Verschmelzungen der Häufigkeit folgen, werden gängige Stücke zu einzelnen Tokens, seltene bleiben zerlegt. Auch Leerzeichen zählen: In `o200k_base` sind `price` und ` price` mit Leerzeichen zwei verschiedene Tokens.

Jede Modellfamilie hat ihren eigenen Tokenizer, deshalb ergibt derselbe Text auf verschiedenen Modellen unterschiedliche Zahlen, selbst beim selben Anbieter. Anthropic gibt an, dass Claude Opus 4.7 und spätere Modelle einen neueren Tokenizer nutzen, der für denselben Text etwa 30 Prozent mehr Tokens erzeugt als frühere Modelle.

## Wie sieht ein Satz als Tokens aus?

Am schnellsten versteht man Tokens, wenn man einem echten Tokenizer beim Zerlegen eines Satzes zusieht. Wir haben zwei Sätze mit derselben Bedeutung durch die Open-Source-Bibliothek [tiktoken](https://github.com/openai/tiktoken) von OpenAI (Version 0.14.0) geschickt, mit der Kodierung `o200k_base`, die die Bibliothek für GPT-4o verwendet. Die senkrechten Striche zeigen, wo ein Token endet und das nächste beginnt:

```text
Englisch, 10 Tokens:
Your| order| has| been| shipped| and| will| arrive| tomorrow|.

Türkisch, 16 Tokens:
Sip|ariş|iniz| k|arg|oya| ver|ildi| ve| yar|ın| el|iniz|de| olacak|.
```

| Satz | Zeichen | Wörter | Tokens |
|---|---|---|---|
| Englisch | 53 | 9 | 10 |
| Türkisch | 53 | 7 | 16 |

Beide Sätze sind genau 53 Zeichen lang, und doch braucht der türkische 60 Prozent mehr Tokens. Das Beispiel zeigt die üblichen Muster:

- **Leerzeichen wandern mit dem nächsten Wort:** ` order` ist ein Token, deshalb kosten Leerzeichen selten ein eigenes Token.
- **Satzzeichen stehen oft für sich:** Der Punkt ist in beiden Sätzen ein eigenes Token.
- **Häufige englische Wörter bleiben ganz,** während türkische Wörter an den Suffixen und manchmal mitten im Stamm geteilt werden: `kargoya` („an den Paketdienst“) wird zu ` k`, `arg` und `oya`.
- **Zahlen werden in Gruppen zerlegt:** Das Datum `2026-11-18` belegt in derselben Kodierung sechs Tokens.

Diese Zahlen gelten nur für diese Kodierung; der Tokenizer eines anderen Modells zieht die Grenzen anderswo.

## Warum brauchen manche Sprachen mehr Tokens als Englisch?

Manche Sprachen brauchen mehr Tokens, weil ein Tokenizer seine Stücke aus seinem Trainingstext lernt: Was dort häufig war, wird zu ganzen Tokens, was selten war, bleibt zerlegt. Ein Tokenizer, der überwiegend mit englischem Text trainiert wurde, enthält viele vollständige englische Wörter und weniger vollständige Wörter anderer Sprachen.

Der Abstand kann groß sein. In einer auf der NeurIPS 2023 vorgestellten Studie stellten [Petrov und Kollegen](https://arxiv.org/abs/2305.15425) fest, dass sich die Token-Zahl desselben Textes in verschiedenen Sprachen um bis zum 15-Fachen unterscheiden kann und dass der Abstand selbst bei Tokenizern bleibt, die für viele Sprachen gebaut wurden. Als Folgen nennen sie einen höheren Preis für dieselbe Leistung, langsamere Antworten und weniger Platz in jeder Anfrage.

Beim Türkischen kommt ein zweiter Grund hinzu. Es ist eine agglutinierende Sprache: Es hängt eine Kette von Suffixen an einen Stamm, sodass ein einziges Wort eine ganze englische Wendung tragen kann. `bulamadıklarımızdan` („von denen, die wir nicht finden konnten“) ist ein Wort und fünf Tokens; die englische Entsprechung `from those we could not find` aus sechs Wörtern braucht sechs. Pro Wort wirkt Türkisch teuer, pro Bedeutung ist der Abstand kleiner, auch wenn es in unserem Satz oben immer noch 16 gegen 10 Tokens waren.

## Wie beeinflussen Tokens die Kosten von KI?

KI-APIs rechnen pro Token ab und zählen Eingabe- und Ausgabe-Tokens getrennt. Eingabe-Tokens sind alles, was Sie senden: Systemanweisungen, Gesprächsverlauf, Dokumente, Tool-Definitionen und Bilder. Ausgabe-Tokens sind das, was das Modell zurückschreibt.

Die Preislisten von OpenAI und Anthropic, geprüft am 18. November 2026, nennen beide Preise pro Million Tokens, und beide verlangen für ein Ausgabe-Token mehr als für ein Eingabe-Token. Beide bieten außerdem einen niedrigeren Satz für zwischengespeicherte Eingaben (Cached Input), also ein wiederkehrendes Präfix wie einen langen System-Prompt, das der Anbieter zwischen den Anfragen vorhält.

Zwei Details überraschen Erstnutzer. Verborgenes Reasoning wird als Ausgabe abgerechnet: Laut dem Reasoning-Leitfaden von OpenAI sind Reasoning-Tokens über die API nicht sichtbar, werden aber als Ausgabe-Tokens berechnet, und Anthropic sagt dasselbe über seine Thinking-Tokens. Außerdem schickt ein Chat über die API mit jeder neuen Nachricht meist das bisherige Gespräch noch einmal mit, sodass der Verlauf in jeder Runde erneut bezahlt wird.

Die Kosten einer Anfrage sind Eingabe-Tokens mal Eingabepreis plus Ausgabe-Tokens mal Ausgabepreis. Ein türkischer Prompt mit 60 Prozent mehr Tokens als sein englisches Gegenstück kostet beim Senden 60 Prozent mehr.

## Was ist ein Token-Limit?

Ein Token-Limit ist die höchste Zahl an Tokens, die ein Modell in einer Anfrage verarbeiten kann, und davon gibt es zwei. Das Kontextfenster ist die Gesamtmenge, die das Modell auf einmal berücksichtigen kann, seine eigene Antwort eingeschlossen. Die maximale Ausgabe begrenzt, wie viele Tokens es in einer Antwort schreiben darf, und Sie können sie über die API niedriger ansetzen.

Alles zählt zum Kontextfenster: Anweisungen, Verlauf, Dokumente, Tool-Ergebnisse, Bilder und die Ausgabe. Was in dieses Fenster gehört und warum ein größeres nicht automatisch besser ist, behandelt der Beitrag [Context Engineering vs. Prompt Engineering](/de/blog/context-engineering-vs-prompt-engineering).

Was am Limit passiert, hängt davon ab, wo Sie es erreichen:

- **Schon die Eingabe ist zu lang:** Die API lehnt die Anfrage ab; die von Anthropic liefert die Fehlermeldung `prompt is too long`.
- **Die Antwort erreicht die Ausgabegrenze:** Die Generierung bricht mitten im Satz ab, und die Antwort wird als abgeschnitten markiert (`stop_reason` ist `max_tokens` bei der API von Anthropic, der Status ist `incomplete` bei der von OpenAI).
- **Einer Chat-App geht der Platz aus:** Sie kann die ältesten Nachrichten verwerfen oder zusammenfassen, sodass der Assistent den Anfang eines langen Gesprächs „vergisst“.

## Wie zählt man Tokens?

Zählen Sie Tokens mit dem Tokenizer oder Zählwerkzeug des Modells, das Sie verwenden, denn jede Modellfamilie zerlegt Text anders:

- **OpenAI** veröffentlicht die oben verwendete Bibliothek tiktoken und eine Tokenizer-Webseite auf seiner Entwicklerplattform.
- **Anthropic** bietet einen kostenlosen [Endpunkt zum Zählen von Tokens](https://platform.claude.com/docs/en/build-with-claude/token-counting), `/v1/messages/count_tokens`, der dieselbe Eingabe wie eine echte Anfrage annimmt, Bilder und PDFs eingeschlossen, und eine Schätzung zurückgibt.
- **Google** stellt in der Gemini API die Methode `count_tokens` bereit, und seine [Token-Dokumentation](https://aistudio.google.com/docs/tokens) beschreibt, wie Bilder und Audio gezählt werden.
- **Jede API-Antwort** meldet die tatsächlich verbrauchten Tokens im Feld `usage`, und genau diese Zahl wird Ihnen berechnet.

Für eine schnelle Schätzung nennen die Anbieter Faustregeln für Englisch. Laut der Dokumentation von OpenAI entspricht ein Token etwa 4 Zeichen oder 0,75 Wörtern englischen Textes, 1.000 Tokens sind also rund 750 Wörter; laut der von Google sind 100 Tokens etwa 60 bis 80 englische Wörter. Für andere Sprachen gilt keine der beiden Regeln: Unser türkischer Satz kam im Schnitt auf 3,3 Zeichen pro Token, der englische auf 5,3.

## Wie verbrauchen Sie weniger Tokens?

Senden Sie nur den Text, den das Modell braucht, und verlangen Sie nicht mehr Ausgabe, als Sie nutzen werden:

- **Senden Sie sauberen Text statt rohem HTML.** Markup, Skripte und Menüs können weit mehr kosten als der Inhalt. In unserem Test zu [Web Scraping für RAG](/de/blog/web-scraping-for-rag) kam eine Dokumentationsseite als rohes HTML auf 21.044 Tokens und als Markdown auf 4.405.
- **Kürzen Sie den Verlauf:** Behalten Sie die letzten Runden vollständig und fassen Sie den Rest zusammen.
- **Begrenzen und formen Sie die Ausgabe:** Legen Sie eine Höchstlänge fest und verlangen Sie ein Format, etwa drei Stichpunkte, statt eines offenen Aufsatzes.
- **Entfernen Sie wiederkehrende Textbausteine** wie ungenutzte Tool-Definitionen und doppelte Beispiele.
- **Speichern Sie feste Präfixe zwischen,** wo die API das unterstützt; sie belegen weiterhin Platz, kosten aber weniger.
- **Verkleinern Sie Bilder** vor dem Senden auf das, was die Aufgabe braucht.

Webseiten verdienen eine eigene Erwähnung: Retrieval-Systeme, Recherche-Agenten und Evaluationsdatensätze werden oft aus öffentlichen Seiten gebaut, und jede Seite, die an ein Modell geht, wird in Tokens bezahlt; den Hauptinhalt vorher zu extrahieren ist daher der günstigste Schritt. Wenn Sie diese Seiten in großem Umfang aus vielen Ländern sammeln, hilft ein [Residential-Proxy](https://proxynet.io/de/residential-proxy): Er leitet jede Anfrage über einen privaten Internetanschluss im gewählten Land, sodass Sie die Seite erhalten, die lokale Besucher sehen. Sammeln Sie im Rahmen der Nutzungsbedingungen der Website und mit einer rücksichtsvollen Anfragerate.

Teams, die das Sammeln lieber nicht selbst betreiben, können unser Vertriebsteam nach der verwalteten Seitenextraktion über unsere Web Scraping API fragen; die Seite [Data Scraping](/de/data-scraping) beschreibt unsere Proxy-Pools für die Erfassung großer Mengen.

## Wo begegnen Ihnen Tokens?

Tokens begegnen Ihnen überall, wo Text in ein Sprachmodell hinein- oder aus ihm herausgeht: als Nachrichtenlimit in Chat-Assistenten, als Einheit von Rechnungen und Rate Limits in API-Dashboards, als Chunk-Größe in Retrieval-Systemen, als unterschiedlicher Preis für denselben Text in jeder Sprache eines Übersetzungsprojekts und als Kosten jedes Tool-Aufrufs in der Schleife eines KI-Agenten.

## Was bedeutet „Token“ sonst noch?

Außerhalb von Sprachmodellen hat „Token“ mehrere Bedeutungen, die nichts miteinander zu tun haben und oft in denselben Suchergebnissen auftauchen:

- **Zugriffstoken:** ein vorübergehender digitaler Schlüssel, den eine Website oder App nach der Anmeldung ausstellt. Wer ihn besitzt, kann in Ihrem Namen handeln; ein Discord-Token oder jedes andere Sitzungstoken darf deshalb nie weitergegeben werden.
- **Sicherheitstoken:** ein Gerät oder eine App zum Erzeugen von Einmalcodes für die Anmeldung, oder ein USB-Schlüssel, der ein digitales Zertifikat speichert.
- **Krypto-Token:** ein digitaler Vermögenswert, der auf einer Blockchain verbucht ist.
- **Token in der Programmierung:** die kleinste bedeutungstragende Einheit, die ein Compiler im Quellcode liest, etwa ein Schlüsselwort oder ein Symbol.

## Häufige Fehler

- **Tokens mit Wörtern gleichsetzen.** Ein Budget von 1.000 Tokens entspricht nicht 1.000 Wörtern, und das Verhältnis ändert sich mit der Sprache.
- **Zahlen von einem Modell aufs andere übertragen.** Ein Wert aus einem Tokenizer kann bei einem anderen weit danebenliegen.
- **Andere Sprachen mit der englischen Faustregel schätzen.** Messen Sie eine Stichprobe im echten Tokenizer.
- **Rohes HTML an ein Modell senden.** Das Markup kann den größten Teil der Rechnung ausmachen.
- **Die Ausgabeseite vergessen.** Lange Antworten und verborgenes Reasoning werden zum höheren Ausgabepreis berechnet.
- **Die Abbruchmarkierung übersehen.** Eine am Ausgabelimit gestoppte Antwort ist unvollständig, auch wenn sie fertig wirkt.

## Entscheidungshilfe

| Bedarf | Was zu tun ist |
|---|---|
| Kosten eines Prompts schätzen | Mit Tokenizer oder Endpunkt des Anbieters zählen |
| Grobe Größe auf Englisch prüfen | Etwa 4 Zeichen oder 0,75 Wörter pro Token |
| Budget für eine andere Sprache | Eine Stichprobe in dieser Sprache messen |
| Webseiten an ein Modell geben | Hauptinhalt extrahieren, Markdown senden |
| Langer Chat kostet zu viel | Ältere Runden zusammenfassen, feste Präfixe zwischenspeichern |
| Antworten brechen mitten im Satz ab | Ausgabelimit erhöhen oder weniger verlangen |
| Anfrage als zu lang abgelehnt | Eingabe aufteilen, nur relevante Teile abrufen |

## Häufige Fragen

### Wie viele Wörter sind 1.000 Tokens?

Im Englischen etwa 750 Wörter nach der Regel von OpenAI mit 0,75 Wörtern pro Token, oder 600 bis 800 Wörter nach der Schätzung von Google. Die meisten anderen Sprachen, Code und zahlenlastiger Text ergeben weniger Wörter pro 1.000 Tokens; nutzen Sie den Wert daher nur für englischen Fließtext.

### Warum braucht Türkisch mehr Tokens?

Türkische Wörter sind in den Texten, aus denen viele Tokenizer lernen, seltener als englische, und das Türkische hängt lange Ketten von Suffixen an einen Stamm, sodass Wörter in mehrere Stücke zerfallen. In unserem Beispiel brauchte ein türkischer Satz mit derselben Länge und Bedeutung wie ein englischer 16 Tokens statt 10.

### Zählen Leerzeichen und Satzzeichen als Tokens?

Ja, allerdings hängt ein Leerzeichen meist am folgenden Wort, während Satzzeichen wie ein Punkt oft ein eigenes Token sind. Zusätzliche Leerzeichen, Zeilenumbrüche und Einrückungen fügen Tokens hinzu, was vor allem bei Code und kopiertem Webtext ins Gewicht fällt.

### Werden Bilder in Tokens gezählt?

Ja, und die Zahl hängt von der Bildgröße und der Formel des Anbieters ab. Die Gemini-Dokumentation von Google zählt zum Beispiel ein Bild mit höchstens 384 Pixeln auf beiden Seiten als 258 Tokens und teilt größere Bilder in Kacheln zu je 258 Tokens.

### Was passiert, wenn Sie das Token-Limit erreichen?

Ist die Eingabe zu lang für das Kontextfenster, lehnt die API die Anfrage ab. Erreicht die Antwort das Ausgabelimit, bricht sie mitten im Satz ab und wird als abgeschnitten markiert. Chat-Apps können stattdessen ältere Nachrichten verwerfen oder zusammenfassen, weshalb ein langes Gespräch seinen Anfang aus dem Blick verlieren kann.

### Sind KI-Tokens dasselbe wie Krypto-Tokens?

Nein. Ein KI-Token ist ein Textstück, das ein Sprachmodell liest oder schreibt, und die Einheit, mit der die Nutzung eines Modells gemessen und abgerechnet wird. Ein Krypto-Token ist ein digitaler Vermögenswert, der auf einer Blockchain verbucht ist; die beiden teilen nur den Namen.

## Fazit

Ein Token ist ein Stück Text, oft ein Wort, manchmal ein Wortteil oder ein Satzzeichen, das ein Sprachmodell als Zahl aus seinem Vokabular verarbeitet. Tokenizer bauen dieses Vokabular aus häufigen Stücken ihres Trainingstextes auf, weshalb Englisch meist weniger Tokens braucht als Türkisch. Tokens bestimmen, was eine Anfrage kostet, wobei Eingabe und Ausgabe getrennt berechnet werden, und wie viel in sie hineinpasst. Zählen Sie sie mit dem Tokenizer des Modells, das Sie nutzen, messen Sie jede Sprache für sich und senden Sie sauberen Text statt roher Seiten, damit die Tokens, die Sie bezahlen, Inhalt tragen.
