Token Nedir? Yapay Zekada Tokenizasyon ve Maliyet İlişkisi

Token nedir? Token, bir dil modelinin metni işlerken kullandığı en küçük anlam parçasıdır; bir kelime, bir kelime parçası veya bir noktalama işareti olabilir. Bir yapay zeka modeli metni bizim gördüğümüz gibi harf harf değil, token adı verilen bu parçaların dizisi olarak görür ve tüm hesabını bu diziler üzerinden yapar.

Bu kavram teknik bir ayrıntı gibi görünse de pratikte iki kritik şeyi doğrudan belirler: bir modelin tek seferde ne kadar metin işleyebileceği ve bir API çağrısının ne kadara mal olacağı. Token'ı anlamadan LLM maliyetini de bağlam sınırlarını da anlamak mümkün değildir. Bu rehber token nedir, tokenizasyon nasıl çalışır ve token'ın maliyetle ilişkisi sorularını yanıtlıyor.

Metni token'lara bölme işlemine tokenizasyon denir. Model, aldığı ham metni önce bir "tokenizer" (parçalayıcı) aracılığıyla token dizisine çevirir, sonra bu diziyi işler. Tokenizasyon her zaman kelime sınırlarında olmaz: sık kullanılan kısa kelimeler tek bir token olabilirken, uzun veya nadir kelimeler birkaç parçaya bölünür.

Bu, Türkçe için özellikle önemlidir. Türkçenin çekimli ve eklemeli yapısı yüzünden "evlerimizden" gibi bir kelime, İngilizcedeki karşılığından çok daha fazla token'a bölünür. Sonuç pratik bir gerçektir: aynı anlamı taşıyan bir metin, Türkçede İngilizceye göre daha fazla token tüketir — bu da hem bağlam penceresini daha hızlı doldurur hem de LLM maliyetini artırır. Türkçe içerik üreten kurumlar için bu, göz ardı edilmemesi gereken bir tasarım kısıtıdır.

Modern tokenizasyon çoğunlukla "alt-kelime" (subword) yöntemleriyle yapılır: sık geçen kök ve ekler kendi token'larına sahip olur, nadir kelimeler ise bilinen parçalara bölünür. Bu sayede model, daha önce hiç görmediği bir kelimeyi bile parçalarından anlamlandırabilir. Önemli bir ayrıntı da her modelin kendi tokenizer'ının olmasıdır: aynı metin, farklı modellerde farklı sayıda token'a bölünebilir. Bu yüzden bir modelin token sayımı, başka bir modele birebir taşınmaz; maliyet ve bağlam hesabı her zaman kullandığınız modelin tokenizer'ına göre yapılmalıdır.

Bir dil modelinin tek seferde "görebildiği" maksimum token sayısına bağlam penceresi (context window) denir. Bu, modelin kısa süreli hafıza sınırı gibidir: gönderdiğiniz prompt, önceki konuşma ve modelin ürettiği yanıt — hepsi aynı bağlam penceresine sığmak zorundadır.

Bağlam penceresi token cinsinden ölçüldüğü için, uzun bir belgeyi işlemek istediğinizde token sayısı hızla sınıra dayanır. Bu noktada iki yaygın çözüm vardır: belgeyi anlamlı parçalara bölmek (chunking) veya modeli yalnızca ilgili parçalarla besleyen bir RAG mimarisi kurmak. Yani token, bağlam penceresi ve belge işleme stratejisi birbirine sıkıca bağlıdır.

Bağlam penceresinin büyümesi her sorunu çözmez. Pencere ne kadar genişlerse, her istekte işlenen token sayısı ve dolayısıyla gecikme ile maliyet de artar; ayrıca modeller çok uzun bağlamın ortasındaki bilgiyi bazen gözden kaçırabilir. Bu yüzden pratikte doğru yaklaşım, bağlam penceresini sonuna kadar doldurmak değil, modele yalnızca göreve gerçekten gerekli token'ları vermektir.

Token'ın en somut etkisi maliyettedir. Neredeyse tüm sağlayıcılarda API fiyatlandırması token bazlıdır: modele gönderdiğiniz girdi token'ları ve modelin ürettiği çıktı token'ları ayrı ayrı ücretlendirilir; genellikle çıktı token'ı girdiden daha pahalıdır. Bu yüzden uzun promptlar ve uzun yanıtlar LLM maliyetini doğrudan büyütür.

Maliyeti kontrol etmenin yolu token tüketimini yönetmekten geçer: gereksiz bağlamı kırpmak, promptu sadeleştirmek, çıktı uzunluğunu sınırlamak ve yüksek hacimde önbellekleme kullanmak. Göreve göre daha küçük ve ucuz bir model seçmek de çoğu zaman en büyük tasarrufu sağlar. Kısacası API fiyatlandırmasını ve LLM maliyetini planlamak, önce "bu iş kaç token eder?" sorusunu sormaktır.

Bir metnin kaç token olduğunu tahmin etmenin pratik yolları vardır. Çoğu sağlayıcı, bir metni girip token sayısını anında gösteren çevrimiçi tokenizer araçları sunar; geliştiriciler için de metni programatik olarak token'a çeviren kütüphaneler mevcuttur. Çok kaba bir tahmin için İngilizcede token sayısını kelime sayısının biraz üzerinde, Türkçede ise belirgin biçimde daha yüksek varsayabilirsiniz.

Ama üretim ortamı için tahmin yeterli değildir. Tipik girdi ve çıktı uzunluklarınızı, gerçekten kullandığınız modelin tokenizer'ıyla ölçmek; LLM maliyetini öngörülebilir kılar, bütçelemeyi mümkün hâle getirir ve bir prompt değişikliğinin maliyete etkisini önceden görmenizi sağlar. Token'ı ölçmek, onu yönetmenin ilk adımıdır.

Bir token kaç kelimeye denk gelir?

Kesin bir oran yoktur; İngilizcede ortalama bir token yaklaşık dörtte üç kelimeye denk gelir. Türkçede ise çekimli yapı nedeniyle bir kelime çoğu zaman iki veya daha fazla token'a bölünür, bu yüzden aynı metin Türkçede daha fazla token tüketir.

Token ile karakter arasındaki fark nedir?

Karakter tek bir harf veya semboldür; token ise modelin anlamlı bulduğu, bir veya birkaç karakterden oluşan parçadır. Modeller metni karakter karakter değil, token dizisi olarak işler; bu yüzden harf sayma gibi görevlerde beklenmedik hatalar yapabilirler.

Neden API ücretleri token bazlı?

Çünkü bir modelin hesaplama yükü, işlediği token sayısıyla doğru orantılıdır. API fiyatlandırması hem girdi hem çıktı token'ını ayrı ayrı ücretlendirir; uzun promptlar ve uzun yanıtlar LLM maliyetini doğrudan artırır.

Token sayısını nasıl azaltırım?

Gereksiz bağlamı kırpmak, promptu sadeleştirmek, uzun belgeleri özetleyip vermek ve çıktı uzunluğunu sınırlamak token tüketimini düşürür. Yüksek hacimli sistemlerde önbellekleme ve göreve göre daha küçük model seçimi de maliyeti belirgin biçimde azaltır.

Özetle token nedir sorusunun cevabı şudur: bir dil modelinin metni işlerken kullandığı en küçük parça. Basit görünür ama modern yapay zekanın iki temel kısıtını — bağlam penceresi ve maliyet — doğrudan belirler. Token'ları anlayan ekipler daha ucuz, daha hızlı ve daha öngörülebilir sistemler kurar. Daha geniş çerçeve için LLM nedir ve yapay zeka nedir rehberlerine göz atabilir, kurumsal bir çözüm için yapay zeka danışmanlığı sayfasından başlayabilirsiniz.