Token Nedir? Yapay Zekâda Token ve Bağlam Penceresi

Yayın tarihi:

13 dk okuma

Acar Diveroli
Yazar: Acar Diveroli
Soldaki kısa metin satırı farklı uzunlukta çiplere bölünüp sağa savruluyor; tek mavi çip bir token'ı gösteriyor

Bir yazılımcı uzun bir sözleşmeyi sohbet asistanına yapıştırıyor ve konuşmanın çok uzun olduğu uyarısını alıyor. Bir pazarlama ekibi ilk yapay zekâ faturasını açıyor ve kullanımın kelimeyle değil, milyonlarca token'la ölçüldüğünü görüyor. Türkiye'deki bir destek ekibi ise aynı prompt'un Türkçesinin bütçeyi İngilizcesinden daha hızlı tükettiğini fark ediyor. Üçü de aynı küçük birimle karşılaşmış: token.

Bu yazıda token'ın ne olduğunu, metnin token'lara nasıl bölündüğünü (gerçek bir İngilizce ve Türkçe örnekle), bazı dillerin neden daha fazla token harcadığını, token'ların bir modelin maliyetini ve sınırlarını nasıl belirlediğini, nasıl sayıldıklarını ve nasıl daha az token kullanılacağını anlatıyoruz. Sonda sözcüğün başka anlamlarına da kısaca değiniyoruz.

Yapay zekâda token nedir?

Token, bir yapay zekâ dil modelinin işlediği en küçük metin birimidir: model prompt'u bir token dizisi olarak okur ve cevabını token token yazar. Token çoğu zaman "order" gibi bir kelimenin tamamıdır, ama bir kelimenin parçası, bir noktalama işareti ya da bir rakam grubu da olabilir.

Her token'ın, modelin bildiği parçaların sabit listesi olan sözlükte (vocabulary) bir numarası vardır. Model harf görmez. Bir numara listesi alır, sıradaki token'ın numarasını tahmin eder ve yazılım bu numaraları sizin için yeniden metne çevirir. Bir büyük dil modeli (LLM), özünde bu "sıradaki token" tahminini iyi yapmak için eğitilmiş bir sistemdir.

Görsel, ses ya da video kabul eden modeller bu girdileri de token'a çevirir; yani bir fotoğraf ya da ses kaydı da isteğin bütçesinden pay alır.

Yapay zekâ modelleri neden kelime yerine token kullanır?

Token, harf ile kelimenin tamamı arasında bir orta yoldur. Model metni harf harf okusaydı her metin çok uzun bir diziye dönüşür, işlemesi de yavaş ve pahalı olurdu. Kelime kelime okusaydı sözlüğünde her dildeki her kelime, her özel ad, her yazım hatası ve her yeni marka bulunmak zorunda kalırdı; buna rağmen hiç görmediği kelimelerle yine karşılaşırdı.

Kelime parçaları (subword) iki sorunu birden çözer. Sözlüğün boyu sabittir; sözlükte olmayan bir kelime daha küçük parçalardan kurulur. Nadir bir soyadı ya da bir ürün kodu modeli bozmaz, yalnızca birkaç token daha tutar.

BirimSözlükGörülmemiş kelimeDizi uzunluğu
HarfÇok küçükSorun olmazÇok uzun
Kelimenin tamamıÇok büyük, hiç tamamlanmazÇoğu zaman bilinmezKısa
Kelime parçasıSabit, genişParçalardan kurulurArada

Metin token'lara nasıl bölünür?

Token'lara ayırma (tokenization), metni model görmeden önce parçalara bölen adımdır ve OpenAI'ınkiler dahil birçok güncel dil modeli bunu byte pair encoding (BPE) yöntemiyle yapar. BPE aslında bir veri sıkıştırma yöntemi olarak doğdu. Sennrich, Haddow ve Birch makine çevirisinde nadir kelimeler üzerine 2015 tarihli makalelerinde yöntemi bu işe uyarladı: nadir ve bilinmeyen kelimeleri kelime parçası dizileri olarak kodladılar.

BPE tokenizer'ı, model eğitilmeden önce bir kez şu adımlarla kurulur:

  1. En küçük birimlerden başlanır: tek tek harfler ya da OpenAI'ınkiler gibi bayt düzeyinde çalışan tokenizer'larda ham baytlar; böylece her alfabedeki metin yazılabilir.
  2. Yan yana gelen çiftler sayılır. Büyük bir eğitim metni örneğinde hangi iki birimin en sık yan yana geldiğine bakılır; İngilizcede "t" ile "h" gibi.
  3. En sık çift birleştirilir. Bu çift sözlüğe yeni bir kayıt olarak ("th") eklenir ve bundan sonra tek birim sayılır.
  4. İşlem tekrarlanır. Sık geçen parçalar böylece hecelere, yaygın eklere ve sonunda önündeki boşlukla birlikte " the" gibi kelimelerin tamamına dönüşür.
  5. Hedef boyutta durulur. Örneğin OpenAI'ın o200k_base kodlamasında yaklaşık 200.000 kayıt vardır.
  6. Yeni metin kodlanır. Prompt gönderdiğinizde tokenizer öğrendiği birleştirmeleri metninize uygular ve ortaya çıkan her parçanın yerine onun numarasını koyar.

Birleştirmeler sıklığa göre yapıldığı için yaygın parçalar tek token olur, nadir olanlar bölünmüş kalır. Boşluklar da önemlidir: o200k_base kodlamasında boşluksuz price ile başında boşluk olan price iki ayrı token'dır.

Her model ailesinin kendi tokenizer'ı vardır; bu yüzden aynı metin, aynı üreticinin modellerinde bile farklı sayıda token tutabilir. Anthropic, Claude Opus 4.7 ve sonraki modellerin, aynı metin için öncekilere göre kabaca %30 daha fazla token üreten yeni bir tokenizer kullandığını belirtiyor.

Bir cümle token'lara bölününce nasıl görünür?

Token'ı anlamanın en kısa yolu, gerçek bir tokenizer'ın bir cümleyi nasıl böldüğüne bakmaktır. Aynı anlama gelen iki cümleyi OpenAI'ın açık kaynak tiktoken kütüphanesinin 0.14.0 sürümüyle ve kütüphanenin GPT-4o için kullandığı o200k_base kodlamasıyla böldük. Dikey çizgiler bir token'ın bitip diğerinin başladığı yeri gösteriyor:

text
İngilizce, 10 token:
Your| order| has| been| shipped| and| will| arrive| tomorrow|.

Türkçe, 16 token:
Sip|ariş|iniz| k|arg|oya| ver|ildi| ve| yar|ın| el|iniz|de| olacak|.
CümleKarakterKelimeToken
İngilizce53910
Türkçe53716

İki cümle de tam 53 karakter, ama Türkçesi %60 daha fazla token tutuyor. Bu küçük örnekte genel eğilimler de görülüyor:

  • Boşluk sonraki kelimeyle gider: " order" tek token'dır; bu yüzden boşluklar nadiren tek başına token tutar.
  • Noktalama çoğu zaman ayrıdır: iki cümlede de nokta ayrı bir token.
  • Yaygın İngilizce kelimeler bütün kalır, Türkçe kelimeler ise eklerden, bazen de kökün ortasından bölünür: "kargoya" sözcüğü " k", "arg" ve "oya" diye üç parçaya ayrılır.
  • Sayılar parçalara ayrılır: aynı kodlamada 2026-11-18 tarihi altı token tutuyor.

Bu sayılar yalnızca bu kodlamaya aittir; başka bir modelin tokenizer'ı sınırları başka yerden çizer.

Türkçe ve diğer diller neden daha fazla token kullanır?

Bazı dillerin daha fazla token kullanmasının nedeni, tokenizer'ın parçalarını eğitildiği metinden öğrenmesidir: o metinde sık geçen tam token olur, seyrek geçen bölünmüş kalır. Ağırlıkla İngilizce metinle eğitilmiş bir tokenizer'ın sözlüğünde çok sayıda tam İngilizce kelime, diğer dillerden ise daha az tam kelime bulunur.

Fark büyük olabilir. NeurIPS 2023'te sunulan bir çalışmada Petrov ve arkadaşları, aynı metnin farklı dillerdeki token sayısının 15 kata kadar değişebildiğini ve bu farkın birçok dil için kurulmuş tokenizer'larda bile sürdüğünü buldu. Sıraladıkları sonuçlar şunlar: aynı hizmet için daha yüksek ücret, daha yavaş cevap ve her istekte içeriğe kalan daha az yer.

Türkçede ikinci bir neden daha var. Türkçe sondan eklemeli bir dildir: köke art arda ekler getirerek anlam kurar, bu yüzden tek bir kelime İngilizcede bir öbeğin söylediğini taşıyabilir. bulamadıklarımızdan tek kelimedir ve beş token tutar; İngilizcedeki altı kelimelik karşılığı ("from those we could not find") altı token tutar. Kelime başına bakınca Türkçe pahalı görünür; anlam başına bakınca fark küçülür, ama yukarıdaki cümlemizde yine de 10'a karşı 16 token çıktı.

Token'lar yapay zekânın maliyetini nasıl etkiler?

Yapay zekâ API'leri ücreti token başına alır ve girdi token'larını çıktı token'larından ayrı sayar. Girdi token'ları gönderdiğiniz her şeydir: sistem talimatları, konuşma geçmişi, belgeler, araç tanımları ve görseller. Çıktı token'ları ise modelin size yazdığı cevaptır.

OpenAI ve Anthropic'in 18 Kasım 2026'da baktığımız fiyat listeleri ücreti milyon token başına veriyor ve ikisinde de bir çıktı token'ı bir girdi token'ından pahalı. İkisi de önbelleğe alınmış girdi (cached input) için daha düşük bir ücret uyguluyor; bu, sağlayıcının istekler arasında sakladığı uzun bir sistem talimatı gibi tekrar eden bir başlangıç bölümüdür.

İki ayrıntı ilk kez kullananları çoğu zaman şaşırtır. Görünmeyen akıl yürütme de çıktı olarak ücretlendirilir: OpenAI'ın akıl yürütme rehberi, akıl yürütme token'larının API üzerinden görünmediğini ama çıktı token'ı olarak faturalandığını söylüyor; Anthropic de düşünme (thinking) token'ları için aynısını belirtiyor. Ayrıca API üzerine kurulu bir sohbet genellikle her yeni mesajda önceki konuşmayı da yeniden gönderir; geçmiş her turda bir kez daha ödenir.

Bir isteğin maliyeti, girdi token'ları çarpı girdi ücreti artı çıktı token'ları çarpı çıktı ücretidir. İngilizce karşılığından %60 fazla token tutan bir Türkçe prompt'u göndermek de %60 daha pahalıdır.

Token limiti ve bağlam penceresi nedir?

Token limiti, bir modelin tek bir istekte işleyebileceği en fazla token sayısıdır; aslında iki ayrı sınır vardır. Bağlam penceresi, modelin aynı anda dikkate alabileceği toplam token sayısıdır; yazmakta olduğu cevap da buna dahildir. Azami çıktı ise modelin tek bir cevapta yazabileceği token sayısının üst sınırıdır ve API üzerinden daha düşük bir değere ayarlanabilir.

Bağlam penceresine her şey sayılır: talimatlar, geçmiş, belgeler, araç sonuçları, görseller ve modelin kendi çıktısı. Bu pencereye nelerin girmesi gerektiğini ve daha büyük bir pencerenin neden kendiliğinden daha iyi olmadığını context engineering ve prompt engineering farkları yazımızda anlatıyoruz.

Sınıra ulaşınca ne olacağı, hangi sınıra takıldığınıza bağlıdır:

  • Girdi tek başına çok uzunsa: API isteği reddeder; örneğin Anthropic'in API'si "prompt is too long" hatası döndürür.
  • Cevap çıktı sınırına ulaşırsa: üretim cümlenin ortasında durur ve cevap kesilmiş olarak işaretlenir (Anthropic'in API'sinde stop_reason değeri max_tokens, OpenAI'ınkinde yanıtın durumu incomplete olur).
  • Bir sohbet uygulamasının yeri dolarsa: en eski mesajları atabilir ya da özetleyebilir; asistanın uzun bir konuşmanın başını "unutması" bundandır.

Token sayısı nasıl hesaplanır?

Token'ları kullandığınız modelin kendi tokenizer'ı ya da sayma aracıyla hesaplayın, çünkü her model ailesi metni farklı böler:

  • OpenAI, yukarıdaki örnekte kullandığımız tiktoken kütüphanesini ve geliştirici platformunda bir tokenizer sayfasını sunuyor.
  • Anthropic, gerçek bir istekle aynı girdiyi (görseller ve PDF'ler dahil) kabul eden ve tahmini girdi token sayısını döndüren ücretsiz bir token sayma uç noktası sunuyor: /v1/messages/count_tokens.
  • Google, Gemini API'de bir count_tokens yöntemi sağlıyor; token belgeleri görsellerin ve sesin nasıl sayıldığını da açıklıyor.
  • Her API yanıtı, gerçekten kullanılan token'ları usage alanında bildirir; faturalanan sayı da budur.

Araç kullanmadan hızlı bir tahmin için üreticiler İngilizceye özgü pratik kurallar veriyor. OpenAI'ın belgelerine göre bir token İngilizce metinde yaklaşık 4 karakter ya da 0,75 kelimedir; yani 1.000 token kabaca 750 İngilizce kelimedir. Google'ın belgelerine göre ise 100 token yaklaşık 60-80 İngilizce kelimedir. Bu kurallar başka dillerde geçerli değildir: yukarıdaki Türkçe cümlemizde token başına ortalama 3,3 karakter düştü, İngilizcesinde 5,3.

Daha az token nasıl kullanılır?

Modele yalnızca ihtiyaç duyduğu metni gönderin ve kullanacağınızdan uzun bir çıktı istemeyin:

  • Ham HTML yerine temiz metin gönderin. İşaretleme, betikler ve menüler içeriğin kendisinden çok daha fazla token tutabilir. RAG için web verisini Markdown'a çevirdiğimiz ölçümde bir dokümantasyon sayfası ham HTML olarak 21.044, Markdown olarak 4.405 token tuttu.
  • Geçmişi kısaltın: son birkaç turu olduğu gibi tutun, öncesini kısa bir özetle değiştirin.
  • Çıktıyı sınırlayın ve biçimlendirin: bir azami uzunluk belirleyin ve uzun bir metin yerine örneğin üç madde gibi belirli bir biçim isteyin.
  • Tekrar eden kalıp metinleri çıkarın: kullanılmayan araç tanımları ve kopyalanmış örnekler gibi.
  • Sabit başlangıç bölümlerini önbelleğe alın: API destekliyorsa bu bölümler pencerede yine yer tutar ama daha ucuza gelir.
  • Görselleri işin gerektirdiği boyuta küçültün, sonra gönderin.

Web sayfalarını ayrıca anmak gerekir: getirme (retrieval) sistemleri, araştırma ajanları ve değerlendirme setleri çoğu zaman herkese açık sayfalardan kurulur ve modele verilen her sayfa token olarak ödenir; bu yüzden en ucuz adım, ana içeriği önceden çıkarmaktır. Bu sayfaları birçok ülkeden ve büyük ölçekte toplarken Residential Proxy işe yarar: her isteği seçtiğiniz ülkedeki bir ev bağlantısı üzerinden gönderir, böylece yerel ziyaretçilerin gördüğü sayfayı alırsınız. Toplamayı sitenin kullanım şartları içinde ve siteyi yormayan bir hızla yapın.

Toplama işini kendiniz yürütmek istemiyorsanız Web Scraping API'miz üzerinden sunduğumuz yönetilen sayfa çıkarma hizmeti için satış ekibimizle görüşebilirsiniz; büyük hacimde toplama için proxy havuzlarımızı veri kazıma sayfamızda anlatıyoruz.

Token'larla nerede karşılaşırsınız?

Token'larla, bir dil modeline metnin girdiği ya da modelden metnin çıktığı her yerde karşılaşırsınız: sohbet asistanlarında mesaj sınırı olarak, API panellerinde faturanın ve hız sınırının (rate limit) birimi olarak, getirme sistemlerinde parça (chunk) boyutu olarak, çeviri projelerinde aynı metnin her dilde farklı tutan fiyatı olarak ve bir yapay zekâ ajanının döngüsündeki her araç çağrısının maliyeti olarak.

"Token" başka ne anlama gelir?

Dil modellerinin dışında "token" sözcüğünün birbiriyle ilgisiz birkaç anlamı daha vardır ve arama sonuçlarında çoğu zaman bir arada çıkar:

  • Erişim token'ı (access token): bir sitenin ya da uygulamanın oturum açtıktan sonra verdiği geçici dijital anahtar. Onu ele geçiren sizin yerinize işlem yapabilir; Discord token'ı ya da başka bir oturum token'ı bu yüzden asla paylaşılmamalıdır.
  • Güvenlik token'ı: tek kullanımlık giriş kodları üreten cihaz ya da uygulama; e-imza sertifikası gibi dijital bir sertifikayı saklayan USB anahtara da bu ad verilir.
  • Kripto token: bir blokzincirde kayıtlı dijital varlık.
  • Yazılımda token: derleyicinin kaynak kodda okuduğu, anahtar kelime ya da sembol gibi en küçük anlamlı birim.

Sık yapılan hatalar

  • Token'ı kelime sanmak. 1.000 token'lık bütçe 1.000 kelime değildir ve oran dile göre değişir.
  • Sayıları modeller arasında taşımak. Bir tokenizer'la ölçülen sayı başka bir modelde epey farklı çıkabilir.
  • Başka dilleri İngilizcenin pratik kuralıyla tahmin etmek. Gerçek tokenizer'da bir örnek ölçün.
  • Modele ham HTML göndermek. Faturanın büyük kısmını işaretleme oluşturabilir.
  • Çıktı tarafını unutmak. Uzun cevaplar ve görünmeyen akıl yürütme, daha yüksek olan çıktı ücretinden faturalanır.
  • Kesilme işaretini görmezden gelmek. Çıktı sınırında durmuş bir cevap, bitmiş gibi görünse de eksiktir.

Karar rehberi

İhtiyaçNe yapmalı?
Bir prompt'un maliyetini tahmin etmekÜreticinin tokenizer'ı ya da sayma aracıyla sayın
İngilizcede kaba bir boyut tahminiToken başına yaklaşık 4 karakter ya da 0,75 kelime
Türkçe ya da başka bir dil için bütçeO dilde bir örnek ölçün
Modele web sayfası vermekAna içeriği çıkarın, Markdown gönderin
Uzun sohbetin maliyeti yüksekEski turları özetleyin, sabit bölümü önbelleğe alın
Cevaplar cümlenin ortasında kesiliyorÇıktı sınırını artırın ya da daha kısa cevap isteyin
İstek çok uzun diye reddediliyorGirdiyi bölün, yalnızca ilgili kısımları getirin

Sıkça sorulan sorular

1.000 token kaç kelimedir?

İngilizcede, OpenAI'ın token başına 0,75 kelime kuralına göre yaklaşık 750 kelime, Google'ın tahminine göre 600-800 kelimedir. Türkçe dahil çoğu dilde, kodda ve sayı ağırlıklı metinde 1.000 token daha az kelimeye karşılık gelir; bu rakamı yalnızca İngilizce düz yazı için kullanın.

Türkçe neden daha fazla token kullanır?

Birçok tokenizer'ın öğrendiği metinde Türkçe kelimeler İngilizce kelimelerden daha seyrek geçer; Türkçe ayrıca köke uzun ek zincirleri getirir, bu yüzden kelimeler birkaç parçaya bölünür. Örneğimizde aynı uzunlukta ve aynı anlamdaki bir Türkçe cümle, İngilizcesindeki 10 token yerine 16 token tuttu.

Boşluk ve noktalama işaretleri token sayılır mı?

Sayılır, ama boşluk genellikle kendisinden sonra gelen kelimeye eklenir; nokta gibi noktalama işaretleri ise çoğu zaman ayrı bir token'dır. Fazladan boşluklar, satır sonları ve girintiler token ekler; bu en çok kodda ve kopyalanmış web metninde hissedilir.

Görseller token olarak sayılır mı?

Evet; sayı, görselin boyutuna ve üreticinin formülüne bağlıdır. Örneğin Google'ın Gemini belgeleri, iki kenarı da en fazla 384 piksel olan bir görseli 258 token sayar, daha büyük görselleri ise her biri 258 token tutan karolara böler.

Token limitine ulaşınca ne olur?

Girdi bağlam penceresine sığmayacak kadar uzunsa API isteği reddeder. Cevap çıktı sınırına ulaşırsa cümlenin ortasında durur ve kesilmiş olarak işaretlenir. Sohbet uygulamaları ise eski mesajları atabilir ya da özetleyebilir; uzun bir konuşmada asistanın baştakileri kaçırması bundandır.

Yapay zekâ token'ı ile kripto token aynı şey mi?

Hayır. Yapay zekâ token'ı, bir dil modelinin okuduğu ya da yazdığı metin parçasıdır ve model kullanımının ölçülüp faturalandığı birimdir. Kripto token ise bir blokzincirde kayıtlı dijital bir varlıktır; ikisinin ortak yanı yalnızca adıdır.

Özet

Token, bir dil modelinin sözlüğündeki bir numara olarak işlediği metin parçasıdır: çoğu zaman bir kelime, bazen bir kelimenin parçası ya da bir noktalama işareti. Tokenizer'lar bu sözlüğü eğitim metinlerindeki sık parçalardan kurar; İngilizcenin genellikle Türkçeden daha az token tutması bundandır. Token'lar bir isteğin maliyetini (girdi ve çıktı ayrı ayrı) ve bağlam penceresine ne kadar şey sığacağını belirler. Onları kullandığınız modelin tokenizer'ıyla sayın, her dili ayrı ölçün ve modele ham sayfa yerine temiz metin gönderin; böylece ödediğiniz token'lar gerçekten içerik taşır.

ChatGPT'ye sorClaude'a sor