Tokenizer Savaşları: GPT, Claude, Gemini, Llama, Mistral ve DeepSeek Aynı Türkçe Metni Nasıl Bölüyor?

# tokenizer_compare.py
import tiktoken
from anthropic import Anthropic
from transformers import AutoTokenizer
 
texts = {
    "A — Konuşma": "Merhaba, geçen hafta sipariş ettiğim ürünü hâlâ alamadım. Kargo durumumu kontrol edebilir misiniz lütfen?",
    "B — Teknik": "Vektör veritabanlarında HNSW algoritması, yaklaşık en yakın komşu aramasını logaritmik karmaşıklıkta gerçekleştirir ve milyonlarca embedding arasından milisaniyeler içinde benzerlik sonuçları üretir.",
    "C — Edebi": "Şehrin damarlarında dolaşan o tuhaf yalnızlık, herkesin omzunda taşıdığı sessiz bir konuşmaya dönüşmüştü.",
}
 
# 1. GPT-4o / GPT-5 (o200k_base)
gpt_enc = tiktoken.encoding_for_model("gpt-4o")
 
# 2. Claude (Anthropic count_tokens API)
anthropic = Anthropic()
 
# 3-6. Hugging Face tokenizer'ları
hf_tokenizers = {
    "Gemini":    AutoTokenizer.from_pretrained("google/gemma-2b"),  # benzer SentencePiece
    "Llama 3":   AutoTokenizer.from_pretrained("meta-llama/Llama-3.1-8B"),
    "Mistral":   AutoTokenizer.from_pretrained("mistralai/Mistral-7B-v0.1"),
    "DeepSeek":  AutoTokenizer.from_pretrained("deepseek-ai/DeepSeek-V3"),
}
 
def count(name, text):
    if name == "GPT-4o":
        return len(gpt_enc.encode(text))
    if name == "Claude":
        return anthropic.messages.count_tokens(
            model="claude-sonnet-4-6",
            messages=[{"role": "user", "content": text}],
        ).input_tokens
    return len(hf_tokenizers[name].encode(text, add_special_tokens=False))
 
models = ["GPT-4o", "Claude", "Gemini", "Llama 3", "Mistral", "DeepSeek"]
for tname, text in texts.items():
    print(f"\n{tname}")
    print(f"  Karakter: {len(text)} | Kelime: {len(text.split())}")
    for m in models:
        print(f"  {m:10}: {count(m, text):3} token")

import tiktoken
enc = tiktoken.encoding_for_model("gpt-4o")
 
text = "öğretilebilirim, bu kursta öğretilebilirim."
tokens = enc.encode(text)
 
print(f"Token sayısı: {len(tokens)}")
print("Parçalar:")
for tid in tokens:
    chunk = enc.decode_single_token_bytes(tid).decode('utf-8', errors='replace')
    print(f"  [{tid:6}] \"{chunk}\"")
 
# Çıktı (GPT-4o):
# Token sayısı: 17
# [9094  ] "ö"
# [37   ] "ğ"
# [22293] "ret"  ← biraz daha verimli BPE
# [11066] "ileb"
# [26491] "ilir"
# [318  ] "im"
# [11   ] ","
# [220  ] " "
# [3122 ] "bu"
# ...