Tokenization as Part of the Mental Model: Token Economics, Turkish Pitfalls, and Glitch Tokens

Ders Haritası#

1. Tokenization neden lazım? Bir LLM'in input/output dili
2. BPE algorithmasının özü (Modül 6'ya hızlı önizleme)
3. Token boundary effect: tahminleri nasıl şekillendiriyor
4. Türkçe token ekonomisi: korkunç gerçek
5. Leading whitespace tuzağı — " hello" vs "hello"
6. Special tokens: BOS, EOS, PAD, special role
7. Glitch tokens: SolidGoldMagikarp tarihi
8. Prompt'un token-level analizi
9. tiktoken
   ve
   tokenizers
   pratik
10. Token-aware prompt engineering

1. Tokenization Neden Lazım?#

Üç seviye#

LLM'in dünya algısı#

"Merhaba dünya!" → tokenize → [42, 7891, 287, 0] (4 token)
                  → vocab lookup → 4 embedding vector
                  → forward pass
                  → predict next token ID

2. BPE Algoritmasının Özü#

BPE adımları#

1. Başlangıç: tüm karakterler (veya bytes) vocab'ta
2. Tekrarla:
   • Corpus'ta en sık görülen bigram'ı bul
   • Bunu yeni bir token olarak vocab'a ekle
   • Corpus'ta bu bigram'ı yeni token ile değiştir
3. Stop: vocab boyutu hedefe ulaşınca dur (örn. 50K)

Örnek#

• Başlangıç:
  {l, o, w, e, r, n, ' '}
• Sık bigram:
  lo
  → vocab'a ekle,
  low
  →
  lo+w
• Sonraki sık:
  er
• Devam ederek:
  low
  ,
  lower
  ,
  newer
  gibi anlamlı birimler oluşuyor

Önemli özellikler#

• Sub-word: kelimenin yapı taşlarına ayrılır
• Frequency-driven: yaygın kelimeler tek token, nadirler çok token
• No OOV: en azından karakter seviyesine inebilir
• Language-specific: corpus dağılımına bağlı

Pratik etki#

3. Token Boundary Effect — Tahminleri Nasıl Şekillendiriyor#

Klasik örnek (GPT-2/3 döneminden)#

"123" → [123] (single token)
"1234" → [12, 34] (2 token)
"12345" → [12, 345] (2 token)
"123456" → [123, 456] (2 token)

Türkçe örnek#

"İstanbul" tek başına → ["İstanbul"] tek token (yaygın)
"İstanbulluyum" → ["İstanbul", "lu", "yum"] (3 token)
"İstanbulluymuşsunuz" → ["İstanbul", "lu", "ymuş", "sunuz"] (4 token)

Spelling sorunları#

4. Türkçe Token Ekonomisi — Korkunç Gerçek#

Sayısal etki (GPT-4 cl100k_base)#

Maliyet etkisi#

• İngilizce: 100 token → $0.000125
• Türkçe: 250 token → $0.0003

Context length etkisi#

Çözüm#

• Türkçe-optimized tokenizer: BERTurk, Türkçe BPE — ~%30-50 tasarruf
• Multilingual tokenizer: mistral, qwen, llama 3 — biraz daha iyi
• Custom domain tokenizer: spesifik corpus'ta train — büyük tasarruf

5. Leading Whitespace Tuzağı#

" Ankara" → [" Ankara"] (1 token, leading space dahil)
"Ankara" → ["Ank", "ara"] (2 token, leading space yok)

Prompt'ta etki#

Prompt: "The capital is " (sonu boşluk)
Modelin beklediği: "Ankara" (boşluksuz) — çünkü " Ankara" yerine başka bir token aramaya başlar

Prompt: "The capital is" (boşluksuz)
Modelin beklediği: " Ankara" (boşluklu) — doğal devam

Hata: trailing space koyma#

Doğru pattern#

prompt = "The capital is"           # ✓ son boşluk yok
prompt = "The capital is Ank"        # ✓ devam edecek model "ara" üretir
prompt = "The capital is " + ...     # ✗ trailing space — kaçın

Chat template'lerin çözümü#

6. Special Tokens — BOS, EOS, PAD ve Daha Fazla#

Yaygın special tokens#

Chat template örneği (Llama 3)#

<|begin_of_text|><|start_header_id|>system<|end_header_id|>
You are a helpful AI assistant.<|eot_id|><|start_header_id|>user<|end_header_id|>
Hello!<|eot_id|><|start_header_id|>assistant<|end_header_id|>
Hi! How can I help you?<|eot_id|>

Pratik#

from transformers import AutoTokenizer
tok = AutoTokenizer.from_pretrained("meta-llama/Llama-3.1-8B-Instruct")
messages = [
    {"role": "system", "content": "You are helpful."},
    {"role": "user", "content": "Hi!"},
]
prompt = tok.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
print(prompt)   # Llama 3 chat format ile dolu

7. Glitch Tokens — SolidGoldMagikarp Tarihi#

Olay#

Diğer glitch tokens#

• petertodd
  (Bitcoin developer)
• davidjl
  (Reddit username)
• Streamerbot
  (Twitch bot)
• StreamerBot
  (case sensitive variant)
• Birçok Reddit username

Pratik etki#

• Prompt injection: kötü niyetli kişi glitch token'ı prompt'a yerleştirerek modeli karıştırabilir
• Hallucination kaynağı: nadir bir input bazen glitch token üretir
• Tokenization audit: modern güvenli LLM'ler tokenizer audit yapıyor

Modern modellerde#

• GPT-4 cl100k_base: çoğu glitch token temizlendi
• GPT-5 o200k_base: tokenizer revize edildi
• Llama 3, Qwen, Mistral: dikkatli tokenizer training

Senin için#

8. Token-Aware Prompt Engineering#

1. Prompt'unu tokenize et#

import tiktoken
enc = tiktoken.get_encoding("cl100k_base")
prompt = "Your long detailed prompt..."
print(f"Tokens: {len(enc.encode(prompt))}")

2. Token bütçesi planı#

• Input + output toplam
• System prompt + user prompt + history + RAG context + output

3. Compression teknikleri#

• Prompt compression: LLMLingua, AutoCompressor — %50-70 tasarruf
• Caching: prompt prefix'i cache (Anthropic, OpenAI) — %90 cost savings cached için
• Summary instead of full context: önceki mesajları LLM ile özetle

4. Whitespace ve format#

• Trailing space yok
• Markdown formatting token tüketir ama clarity'i artırır → trade-off
• Inline code tokenization — backtick'ler ekstra token

5. Multi-language strategy#

• System prompt İngilizce (token tasarrufu)
• User content native dilde
• Bir Türkçe input → bazen İngilizce-equivalent expand et

9. Mini Egzersizler#

1. Token count tahmini: "Bir LLM mühendisinin günde 100 prompt yazdığını düşün." Türkçe ve İngilizce'de tahmini token sayısı?
2. Glitch token detection: Bir LLM tokenizer'ında bir token'ın 'glitch' olduğunu nasıl test edersin? Algoritma yaz.
3. Trailing space etkisi: "The Eiffel Tower is in " (boşluklu) vs "The Eiffel Tower is in" (boşluksuz) modeline ver. Hangisinin perplexity'si düşük olur?
4. Türkçe tokenization optimization: Bir e-ticaret şirketi GPT-5 ile Türkçe support yapacak. Yıllık maliyet $50K. Token tasarrufu için 3 strateji önerin.
5. Sayı tokenization: "1234567" GPT-2 ve GPT-5'te kaç token olur? Bu farkın matematik benchmark'larda etkisi nedir?

Bu Derste Neler Öğrendik?#

Sıradaki Ders#