---
title: "O que são tokens em IA? Como os LLMs contam o texto"
description: "Tokens são os pedaços de texto que uma IA lê e escreve: palavras, partes de palavras e pontuação. Como funciona a tokenização e como definem custo e limites."
url: https://proxynet.io/pt-br/blog/what-are-tokens-in-ai
date: 2026-11-18
author: "Acar Diveroli"
category: "IA"
lang: pt-BR
---

# O que são tokens em IA? Como os LLMs contam o texto

Um desenvolvedor cola um contrato longo em um assistente de chat e recebe o aviso de que a conversa está longa demais. Uma equipe de marketing abre a primeira fatura de IA e vê o uso medido em milhões de tokens, não em palavras. Uma equipe de suporte na Türkiye percebe que o mesmo prompt em turco gasta o orçamento mais rápido do que em inglês. Os três esbarraram na mesma pequena unidade: o token.

Este post explica o que é um token, como o texto é dividido em tokens (com um exemplo real em inglês e em turco), por que alguns idiomas precisam de mais tokens, como os tokens definem o custo e os limites de um modelo, como contá-los e como usar menos. No final, ele mostra os outros significados da palavra.

> **Nota: Resposta rápida**
>
> Um token é a unidade de texto que um modelo de linguagem de IA lê e escreve: uma palavra comum inteira, um pedaço de uma palavra mais longa, um sinal de pontuação ou uma palavra junto com o espaço que vem antes dela. Um tokenizador divide o seu texto nesses pedaços e transforma cada um em um número de um vocabulário fixo; o modelo trabalha apenas com esses números. Os tokens importam porque as APIs de IA cobram por token, com entrada e saída separadas, e porque cada modelo só consegue lidar com um número limitado de tokens por requisição. Em inglês, um token equivale a cerca de quatro caracteres ou três quartos de uma palavra; a maioria dos outros idiomas, entre eles o turco, precisa de mais tokens para a mesma mensagem.

## O que é um token em IA?

Um token é a menor unidade de texto com que um modelo de linguagem de IA trabalha: o modelo lê um prompt como uma sequência de tokens e escreve a resposta um token por vez. Muitas vezes um token é uma palavra inteira, como a inglesa "order" (pedido), mas também pode ser parte de uma palavra, um sinal de pontuação ou um grupo de dígitos.

Cada token tem um número de identificação no vocabulário do modelo, a lista fixa de pedaços que ele conhece. O modelo nunca vê letras. Ele recebe uma lista de números, prevê o número do próximo token, e o software transforma os números de volta em texto. Um [modelo de linguagem grande](/pt-br/blog/what-is-a-large-language-model) é, no fundo, um sistema treinado para fazer bem essa previsão do próximo token.

Modelos que aceitam imagens, áudio ou vídeo também transformam essas entradas em tokens, então uma foto ou um clipe de voz também consome parte do orçamento de uma requisição.

## Por que os modelos de IA usam tokens em vez de palavras?

Os tokens são um meio-termo entre letras e palavras inteiras. Se um modelo lesse letras isoladas, todo texto viraria uma sequência muito longa, lenta e cara de processar. Se lesse palavras inteiras, o vocabulário precisaria de toda palavra, nome, erro de digitação e marca nova em todos os idiomas, e ainda assim o modelo encontraria palavras que nunca viu.

Os tokens de subpalavra resolvem os dois problemas. O vocabulário tem tamanho fixo, e uma palavra que não está nele é montada com pedaços menores. Um sobrenome raro ou um código de produto não quebra o modelo; só custa alguns tokens a mais.

| Unidade | Vocabulário | Palavras nunca vistas | Tamanho da sequência |
|---|---|---|---|
| Caracteres | Muito pequeno | Nunca são um problema | Muito longa |
| Palavras inteiras | Enorme, nunca completo | Muitas vezes desconhecidas | Curta |
| Tokens de subpalavra | Fixo, grande | Montadas com pedaços | Intermediária |

## Como funciona a tokenização?

A tokenização é a etapa que corta o texto em tokens antes que o modelo o veja, e muitos modelos de linguagem atuais, entre eles os da OpenAI, fazem isso com byte pair encoding (BPE, codificação por pares de bytes). O BPE começou como um método de compressão de dados; Sennrich, Haddow e Birch o adaptaram em um [artigo de 2015 sobre palavras raras na tradução automática](https://arxiv.org/abs/1508.07909), codificando palavras raras e desconhecidas como sequências de unidades de subpalavra.

Um tokenizador BPE é construído uma única vez, antes do treinamento do modelo:

1. **Comece pelas menores unidades:** caracteres isolados, ou bytes brutos em tokenizadores de nível de byte como o da OpenAI, para que texto em qualquer sistema de escrita possa ser representado.
1. **Conte os pares vizinhos** em uma grande amostra de texto de treinamento, como um `t` seguido de um `h` em inglês.
1. **Junte o par mais frequente** em uma nova entrada do vocabulário, `th`, que passa a contar como uma unidade.
1. **Repita,** para que os pedaços frequentes cresçam até virar sílabas, sufixos comuns e, por fim, palavras inteiras com o espaço incluído, como ` the`.
1. **Pare em um tamanho-alvo.** A codificação `o200k_base` da OpenAI, por exemplo, tem cerca de 200.000 entradas.
1. **Codifique o texto novo** aplicando as junções aprendidas ao seu prompt e trocando cada pedaço pelo seu número de identificação.

Como as junções seguem a frequência, os pedaços comuns viram um token só e os raros continuam divididos. Os espaços também contam: no `o200k_base`, `price` e ` price` com espaço na frente são dois tokens diferentes.

Cada família de modelos tem o próprio tokenizador, então o mesmo texto dá contagens diferentes em modelos diferentes, mesmo de um único fornecedor. A Anthropic afirma que o Claude Opus 4.7 e os modelos posteriores usam um tokenizador mais novo, que gera cerca de 30% mais tokens do que os anteriores para o mesmo texto.

## Como fica uma frase dividida em tokens?

O jeito mais rápido de entender tokens é ver um tokenizador real dividir uma frase. Passamos duas frases com o mesmo significado pela biblioteca de código aberto [tiktoken](https://github.com/openai/tiktoken) da OpenAI (versão 0.14.0) com a codificação `o200k_base`, que a biblioteca usa para o GPT-4o. As barras marcam onde um token termina e o seguinte começa:

```text
Inglês, 10 tokens:
Your| order| has| been| shipped| and| will| arrive| tomorrow|.

Turco, 16 tokens:
Sip|ariş|iniz| k|arg|oya| ver|ildi| ve| yar|ın| el|iniz|de| olacak|.
```

| Frase | Caracteres | Palavras | Tokens |
|---|---|---|---|
| Inglês | 53 | 9 | 10 |
| Turco | 53 | 7 | 16 |

As duas frases têm exatamente 53 caracteres, mas a turca precisa de 60% mais tokens. A amostra mostra os padrões de sempre:

- **Os espaços vão junto com a palavra seguinte:** ` order` é um token só, então os espaços raramente custam um token próprio.
- **A pontuação costuma ficar separada:** o ponto final é um token nas duas frases.
- **As palavras inglesas comuns ficam inteiras,** enquanto as turcas se dividem nos sufixos e às vezes dentro da raiz: `kargoya` (para a transportadora) vira ` k`, `arg` e `oya`.
- **Os números se dividem em blocos:** a data `2026-11-18` ocupa seis tokens na mesma codificação.

Essas contagens valem só para esta codificação; o tokenizador de outro modelo traça os limites em outros pontos.

## Por que alguns idiomas usam mais tokens do que o inglês?

Alguns idiomas usam mais tokens porque um tokenizador aprende os seus pedaços com o texto de treinamento: o que era frequente ali vira token inteiro, o que era raro continua dividido. Um tokenizador treinado principalmente com texto em inglês tem muitas palavras inglesas completas e menos palavras completas de outros idiomas.

A diferença pode ser grande. Em um estudo apresentado na NeurIPS 2023, [Petrov e colegas](https://arxiv.org/abs/2305.15425) constataram que o mesmo texto em idiomas diferentes pode variar até 15 vezes no número de tokens, e que a diferença continua mesmo em tokenizadores criados para muitos idiomas. Os efeitos que eles apontam são um preço mais alto pelo mesmo serviço, respostas mais lentas e menos espaço em cada requisição.

O turco tem um segundo motivo. É uma língua aglutinante: ela junta uma cadeia de sufixos a uma raiz, de modo que uma única palavra pode carregar uma expressão inglesa inteira. `bulamadıklarımızdan` ("daqueles que não conseguimos encontrar") é uma palavra e cinco tokens; o equivalente inglês de seis palavras, `from those we could not find`, ocupa seis. Por palavra, o turco parece caro; por significado, a diferença é menor, embora na nossa frase acima ainda tenham sido 16 tokens contra 10.

## Como os tokens afetam o custo da IA?

As APIs de IA cobram por token e contam separadamente os tokens de entrada e os de saída. Os tokens de entrada são tudo o que você envia: instruções de sistema, histórico da conversa, documentos, definições de ferramentas e imagens. Os tokens de saída são o que o modelo escreve de volta.

As tabelas de preços da OpenAI e da Anthropic, consultadas em 18 de novembro de 2026, informam os preços por milhão de tokens, e as duas cobram mais por um token de saída do que por um de entrada. As duas também oferecem uma tarifa menor para entrada em cache (cached input), um prefixo repetido, como um prompt de sistema longo, que o provedor guarda entre as requisições.

Dois detalhes surpreendem quem está começando. O raciocínio oculto é cobrado como saída: o guia de raciocínio da OpenAI diz que os tokens de raciocínio não ficam visíveis pela API, mas são cobrados como tokens de saída, e a Anthropic diz o mesmo sobre os seus tokens de pensamento (thinking). Além disso, um chat baseado em API normalmente reenvia a conversa anterior a cada mensagem nova, então o histórico é pago de novo a cada turno.

O custo de uma requisição é o número de tokens de entrada vezes a tarifa de entrada mais o número de tokens de saída vezes a tarifa de saída. Um prompt em turco com 60% mais tokens do que o equivalente em inglês custa 60% mais para ser enviado.

## O que é um limite de tokens?

Um limite de tokens é o número máximo de tokens que um modelo consegue processar em uma requisição, e existem dois. A janela de contexto é o total que o modelo consegue considerar de uma vez, incluindo a própria resposta. A saída máxima limita quantos tokens ele pode escrever em uma resposta, e você pode defini-la mais baixa pela API.

Tudo conta para a janela de contexto: instruções, histórico, documentos, resultados de ferramentas, imagens e a saída. O que deve entrar nessa janela, e por que uma janela maior não é automaticamente melhor, está explicado em [engenharia de contexto vs. engenharia de prompt](/pt-br/blog/context-engineering-vs-prompt-engineering).

O que acontece no limite depende de onde você o atinge:

- **A entrada sozinha já é longa demais:** a API rejeita a requisição; a da Anthropic devolve o erro `prompt is too long`.
- **A resposta atinge o teto de saída:** a geração para no meio da frase e a resposta é marcada como cortada (`stop_reason` é `max_tokens` na API da Anthropic, e o status é `incomplete` na da OpenAI).
- **Um app de chat fica sem espaço:** ele pode descartar ou resumir as mensagens mais antigas, e por isso o assistente "esquece" o começo de uma conversa longa.

## Como contar tokens?

Conte os tokens com o tokenizador ou a ferramenta de contagem do modelo que você usa, porque cada família de modelos divide o texto do seu jeito:

- **OpenAI** publica a biblioteca tiktoken usada acima e uma página web de tokenizador na sua plataforma para desenvolvedores.
- **Anthropic** oferece um [endpoint de contagem de tokens](https://platform.claude.com/docs/en/build-with-claude/token-counting) gratuito, `/v1/messages/count_tokens`, que aceita a mesma entrada de uma requisição real, incluindo imagens e PDFs, e devolve uma estimativa.
- **Google** oferece o método `count_tokens` na Gemini API, e a sua [documentação sobre tokens](https://aistudio.google.com/docs/tokens) explica como imagens e áudio são contados.
- **Toda resposta da API** informa os tokens realmente usados em um campo `usage`, e é esse número que você paga.

Para uma estimativa rápida, os fornecedores dão regras práticas para o inglês. A documentação da OpenAI diz que um token equivale a cerca de 4 caracteres ou 0,75 palavra de texto em inglês, então 1.000 tokens são aproximadamente 750 palavras; a do Google diz que 100 tokens equivalem a cerca de 60 a 80 palavras em inglês. Nenhuma das duas vale para outros idiomas: a nossa frase em turco teve média de 3,3 caracteres por token, e a frase em inglês, 5,3.

## Como usar menos tokens?

Envie apenas o texto de que o modelo precisa e não peça mais saída do que você vai usar:

- **Envie texto limpo, não HTML bruto.** Marcação, scripts e menus podem custar muito mais do que o conteúdo. No nosso teste de [web scraping para RAG](/pt-br/blog/web-scraping-for-rag), uma página de documentação ocupou 21.044 tokens como HTML bruto e 4.405 como Markdown.
- **Enxugue o histórico:** mantenha os últimos turnos completos e resuma o resto.
- **Limite e dê forma à saída:** defina um tamanho máximo e peça um formato, como três tópicos, em vez de um texto livre.
- **Remova trechos repetitivos,** como definições de ferramentas que você não usa e exemplos duplicados.
- **Use cache nos prefixos fixos** quando a API permitir; eles continuam ocupando espaço, mas custam menos.
- **Redimensione as imagens** para o que a tarefa precisa antes de enviá-las.

As páginas web merecem uma menção à parte: sistemas de recuperação (retrieval), agentes de pesquisa e conjuntos de avaliação costumam ser montados com páginas públicas, e cada página passada a um modelo é paga em tokens, então extrair antes o conteúdo principal é a etapa mais barata. Quando você coleta essas páginas de muitos países em grande escala, os [Proxies residenciais](https://proxynet.io/pt-br/residential-proxy) ajudam: eles roteiam cada requisição por uma conexão residencial no país que você escolher, e assim você recebe a página que os visitantes locais veem. Colete dentro dos termos do site e em um ritmo respeitoso.

As equipes que preferem não cuidar da coleta podem perguntar ao nosso time de vendas sobre a extração gerenciada de páginas pela nossa Web Scraping API; a página de [extração de dados](/pt-br/data-scraping) descreve os nossos pools de proxies para coleta em volume.

## Onde você encontra tokens?

Você encontra tokens onde quer que um texto entre em um modelo de linguagem ou saia dele: como limite de mensagens nos assistentes de chat, como unidade das faturas e dos limites de taxa nos painéis de API, como tamanho do chunk nos sistemas de recuperação, como preço diferente para o mesmo texto em cada idioma de um projeto de tradução e como custo de cada chamada de ferramenta no ciclo de um agente de IA.

## O que mais significa "token"?

Fora dos modelos de linguagem, "token" tem vários significados sem relação entre si, que costumam aparecer nos mesmos resultados de busca:

- **Token de acesso:** uma chave digital temporária que um site ou app emite depois que você faz login. Quem tiver esse token pode agir como você, então um token do Discord ou qualquer outro token de sessão nunca deve ser compartilhado.
- **Token de segurança:** um dispositivo ou app que gera códigos de login de uso único, ou uma chave USB que guarda um certificado digital.
- **Token cripto:** um ativo digital registrado em uma blockchain.
- **Token em programação:** a menor unidade com significado que um compilador lê no código-fonte, como uma palavra-chave ou um símbolo.

## Erros comuns

- **Tratar tokens como palavras.** Um orçamento de 1.000 tokens não é o mesmo que 1.000 palavras, e a proporção muda com o idioma.
- **Reaproveitar contagens entre modelos.** A contagem de um tokenizador pode ficar bem longe da de outro.
- **Estimar outros idiomas com a regra prática do inglês.** Meça uma amostra no tokenizador real.
- **Enviar HTML bruto a um modelo.** A marcação pode ser a maior parte da fatura.
- **Esquecer o lado da saída.** Respostas longas e raciocínio oculto são cobrados pela tarifa de saída, que é mais alta.
- **Ignorar a marcação de corte.** Uma resposta interrompida no limite de saída está incompleta, mesmo que pareça terminada.

## Guia de decisão

| Necessidade | O que fazer |
|---|---|
| Estimar o custo de um prompt | Contar com o tokenizador ou o endpoint do fornecedor |
| Checar o tamanho aproximado em inglês | Cerca de 4 caracteres ou 0,75 palavra por token |
| Orçamento para outro idioma | Medir uma amostra nesse idioma |
| Enviar páginas web a um modelo | Extrair o conteúdo principal, enviar Markdown |
| Chat longo custa demais | Resumir os turnos antigos, usar cache nos prefixos fixos |
| Respostas param no meio da frase | Aumentar o limite de saída ou pedir menos |
| Requisição rejeitada por ser longa demais | Dividir a entrada, buscar só as partes relevantes |

## Perguntas frequentes

### Quantas palavras são 1.000 tokens?

Em inglês, cerca de 750 palavras pela regra da OpenAI de 0,75 palavra por token, ou de 600 a 800 palavras pela estimativa do Google. A maioria dos outros idiomas, o código e os textos cheios de números rendem menos palavras a cada 1.000 tokens, então use esse número só para textos corridos em inglês.

### Por que o turco usa mais tokens?

As palavras turcas são menos frequentes do que as inglesas nos textos com que muitos tokenizadores aprendem, e o turco junta longas cadeias de sufixos a uma raiz, então as palavras se dividem em vários pedaços. No nosso exemplo, uma frase em turco com o mesmo tamanho e o mesmo significado de uma frase em inglês precisou de 16 tokens em vez de 10.

### Espaços e pontuação contam como tokens?

Sim, embora o espaço normalmente fique grudado na palavra seguinte, enquanto a pontuação, como o ponto final, costuma ser um token separado. Espaços extras, quebras de linha e recuos acrescentam tokens, o que pesa mais em código e em texto copiado da web.

### As imagens são contadas em tokens?

Sim, e o número depende do tamanho da imagem e da fórmula do fornecedor. A documentação do Gemini, do Google, por exemplo, conta uma imagem de até 384 pixels nos dois lados como 258 tokens e divide imagens maiores em blocos de 258 tokens cada.

### O que acontece quando você atinge o limite de tokens?

Se a entrada for longa demais para a janela de contexto, a API rejeita a requisição. Se a resposta atingir o limite de saída, ela para no meio da frase e é marcada como cortada. Os apps de chat, por outro lado, podem descartar ou resumir as mensagens mais antigas, e é por isso que uma conversa longa pode perder o fio do começo.

### Tokens de IA são a mesma coisa que tokens cripto?

Não. Um token de IA é um pedaço de texto que um modelo de linguagem lê ou escreve, e a unidade usada para medir e cobrar o uso do modelo. Um token cripto é um ativo digital registrado em uma blockchain; os dois só compartilham o nome.

## Em resumo

Um token é um pedaço de texto, muitas vezes uma palavra, às vezes parte de uma palavra ou um sinal de pontuação, que um modelo de linguagem trata como um número do seu vocabulário. Os tokenizadores montam esse vocabulário com os pedaços frequentes do texto de treinamento, e é por isso que o inglês costuma precisar de menos tokens do que o turco. Os tokens decidem quanto custa uma requisição, com entrada e saída cobradas separadamente, e quanto cabe nela. Conte-os com o tokenizador do modelo que você usa, meça cada idioma separadamente e envie texto limpo em vez de páginas brutas, para que os tokens que você paga carreguem conteúdo.
