GPT-2/GPT-4 Byte-Level BPE + tiktoken Regex: Anatomy of the Modern Standard

Ders Haritası#

1. Tarihsel kontekst: GPT-2 (2019) → GPT-3 → GPT-3.5 (cl100k) → GPT-4o (o200k)
2. Byte-level BPE mantığı: UTF-8 byte'lar → 256 base vocab
3. Niye byte-level: UNK eliminasyonu + reversibility
4. GPT-2 regex pattern'i satır satır:
   's|'t|...
5. GPT-4 cl100k regex: değişiklikler ve sebepleri
6. GPT-4o o200k: 200K vocab + multilingual genişleme
7. tiktoken library: API ve Rust performansı
8. Token counting — niye API çağrısı öncesi şart
9. Türkçe maliyet ekonomisi — gerçek sayılar
10. Llama-3'ün tiktoken'a geçişi — sebep ve etki
11. Special tokens: ChatGPT chat format'ı
12. Egzersizler + summary + FAQ

1. Tarihsel Kontekst: 2019'dan 2026'ya#

GPT-2 (Radford et al., 2019)#

• Vocab: 50,257 tokens
• Algorithm: Byte-level BPE (yeni tasarım)
• Pre-tokenizer: regex pattern (aşağıda)
• Encoding: Bytes-to-unicode mapping → bytes never lost

GPT-3 (2020)#

Codex / GPT-3.5 (2022)#

• p50k_base: GPT-3'le aynı vocab ama whitespace handling iyileştirildi (kod için).
• p50k_edit: edit endpoint için.

GPT-3.5-turbo / GPT-4 (2023)#

• cl100k_base: 100,256 token vocab. Tamamen yeni.
• Regex pattern güncellendi (özellikle apostrophe handling).
• Multilingual ciddi iyileştirildi.

GPT-4o (2024)#

• o200k_base: 200,019 token vocab. cl100k'nın 2x'i.
• Türkçe, Arapça, Hintçe, Çince, Japonca fertility ciddi düştü.
• Regex pattern minor changes.

Llama-3 (2024)#

• Meta tiktoken'a geçti. Vocab 128K, cl100k benzeri ama Meta-trained.
• SentencePiece terk edildi.

2026 trendi#

2. Byte-Level BPE Mantığı#

Klasik BPE (Modül 6.2-6.3) ile başlangıç#

Sorun: ne kadar karakter destekleyeceğiz?#

• Latin chars
• Cyrillic, Greek, Arabic, Hebrew, Chinese, Japanese, Korean, Thai, ...
• Emojis (U+1F000+)
• Symbols (math, currency, dingbats)
• Private use areas (PUA)

GPT-2 çözümü: UTF-8 byte-level#

"Merhaba" → UTF-8 bytes:
M = 0x4D = 77
e = 0x65 = 101
r = 0x72 = 114
h = 0x68 = 104
a = 0x61 = 97
b = 0x62 = 98
a = 0x61 = 97

"İstanbul" → İ (0xC4 0xB0) + s (0x73) + t (0x74) + a (0x61) + n (0x6E) + b (0x62) + u (0x75) + l (0x6C)
            = 9 bytes (İ özel, 2 byte; diğerleri ASCII, 1 byte each)

Base vocab: 256 byte#

Bytes-to-Unicode trick (GPT-2 özel)#

byte 0   → 'Ā'  (U+0100)
byte 1   → 'ā'  (U+0101)
...
byte 32  → 'Ġ'  (U+0120)   # space!
byte 65  → 'A'  (kendisi)
...

Sonuç: BPE üzerinde ilerle#

(0x4D, 0x65) → "Me" pair
("Me", 0x72) → "Mer" pair
...

3. Byte-Level'in Üç Süper Gücü#

3.1 Hiçbir UNK#

3.2 Lossless / reversible#

3.3 Multilingual ready#

Trade-off#

• ASCII char: 1 byte → potentially 1 token
• Türkçe char (ÇĞİ etc.): 2 byte → 2 token (eğer vocab'da merge yoksa)
• Çince char: 3 byte → 3 token
• Emoji: 4 byte → 4 token

4. GPT-2 Regex Pre-tokenizer Satır Satır#

Pattern (Python regex)#

GPT2_PATTERN = r"""'s|'t|'re|'ve|'m|'ll|'d| ?\p{L}+| ?\p{N}+| ?[^\s\p{L}\p{N}]+|\s+(?!\S)|\s+"""

Token 1-7: İngilizce apostroflar#

's | 't | 're | 've | 'm | 'll | 'd

• "it's" → ["it", "'s"]
• "don't" → ["don", "'t"]
• "I'm" → ["I", "'m"]
• "they're" → ["they", "'re"]
• "we've" → ["we", "'ve"]
• "he'll" → ["he", "'ll"]
• "we'd" → ["we", "'d"]

Token 8:

?\p{L}+

#

• ?
  = opsiyonel space
• \p{L}
  = Unicode letter category (her dildeki harf)
• +
  = bir veya daha fazla

" merhaba" → matches " merhaba"
"merhaba" → matches "merhaba"
"İstanbul" → matches "İstanbul"

Token 9:

?\p{N}+

#

• \p{N} = Unicode digit category
• Sayılar grup olarak

"2026" → matches "2026"
" 14:32" → matches " 14", sonra ":" non-letter, sonra "32"

Token 10:

?[^\s\p{L}\p{N}]+

#

• Whitespace, letter, digit OLMAYAN karakterler (yani punctuation, symbols)

"!" → matches "!"
"!!!" → matches "!!!"
" -" → matches " -"

Token 11:

\s+(?!\S)

#

• Whitespace ending at end-of-string (negative lookahead: not followed by non-whitespace)

"hello   " → trailing whitespace match

Token 12:

\s+

#

• Any whitespace (catch-all)

Etkileri#

1. Space token'a önek olarak gelir:
   merhaba
   tek token (vocab'da
   Ġmerhaba
   olarak). Bu vocab'ı 2x büyütmüş gibi (her word'ün hem solo hem space-prefixed versiyonu var).
2. Number splitting: "2026-05-12" → ["2026", "-", "05", "-", "12"] (4 token).
3. Apostrophe English-only: Türkçe
   'da
   ,
   'nın
   ayrı token olur.

5. GPT-4 cl100k_base — Modern Standard#

Pattern (modern, updated)#

CL100K_PATTERN = r"""(?i:'s|'t|'re|'ve|'m|'ll|'d)|[^\r\n\p{L}\p{N}]?\p{L}+|\p{N}{1,3}| ?[^\s\p{L}\p{N}]+[\r\n]*|\s*[\r\n]+|\s+(?!\S)|\s+"""

Değişiklikler GPT-2'den#

1. (?i:...)
   — case-insensitive apostroflar. "It's" ve "it's" aynı işlenir.
2. [^\r\n\p{L}\p{N}]?\p{L}+
   — letter'lar opsiyonel pre-char ile match (whitespace yerine). Bu Çince, Japonca gibi whitespace'siz dilleri better handle.
3. \p{N}{1,3}
   — sayılar max 3 digit chunks. "2026" artık ["202", "6"] olabilir (vocab'a göre). Bu büyük sayıları tutarlı tokenize eder ("$1,000,000" → ["$1", ",000", ",000"] etc.).
4. [\r\n]*
   — punctuation sonrası newline'lar ekli.
5. \s*[\r\n]+
   — explicit newline handling.

Niye max 3 digit#

"1234567" → ["123", "456", "7"]  veya ["1,234,567"] eğer comma var

Vocab değişiklikleri#

• 50K → 100K (yaklaşık 2x)
• Multilingual coverage dramatically artırıldı: Çince, Japonca, Korece, Arapça single token coverage çok daha iyi
• Türkçe için minor improvement (TR vocab share GPT-2'ye göre ~2x ama hâlâ İngilizce-dominant)

tiktoken adı#

import tiktoken
enc = tiktoken.get_encoding("cl100k_base")

6. GPT-4o o200k_base — 200K Vocab, Multilingual Patlama#

Vocab boyutu#

• cl100k: 100,256
• o200k: 200,019 (~2x)

Pattern (very similar to cl100k, minor tweaks)#

Multilingual dramatic improvement#

• Çince: cl100k vs o200k → ~%40 token reduction
• Japonca: %35 reduction
• Korece: %30 reduction
• Arapça: %35 reduction
• Türkçe: ~%20 reduction
• Hintçe: %50 reduction
• Vietnamca: %45 reduction

Türkçe örnek#

• GPT-2 (50K): ~18 token
• cl100k (GPT-4): ~12 token
• o200k (GPT-4o): ~9 token
• Trendyol-LLM TR (32K, TR-balanced): ~7 token

tiktoken adı#

enc = tiktoken.get_encoding("o200k_base")

7. tiktoken Library — Rust Performansı, Python API'si#

Performans#

• Rust-backed, 3-6x faster than HuggingFace tokenizers (her ikisi de Rust ama tiktoken daha optimize)
• 1M token/sec single thread (Apple M2 benchmark)
• Token counting çok hızlı, prompt engineering pipeline'lara fit

tiktoken vs HuggingFace tokenizers#

• OpenAI API ile çalışıyorsan: tiktoken.
• Kendi model'in için: HuggingFace tokenizers (training + serving).

8. Token Counting — Niye Production-Critical#

Sebep 1: API Cost Hesaplama#

• Input: $2.50 / 1M token
• Output: $10.00 / 1M token

Sebep 2: Context Window Yönetimi#

• GPT-4o: 128K token context
• Long input → truncation gerekli (eski mesajları kes)

def truncate_to_window(messages, max_tokens=120000, encoding="o200k_base"):
    enc = tiktoken.get_encoding(encoding)
    total = 0
    kept = []
    for msg in reversed(messages):
        n = len(enc.encode(msg["content"]))
        if total + n > max_tokens:
            break
        kept.insert(0, msg)
        total += n
    return kept

Sebep 3: Streaming Cost Estimation#

Sebep 4: Multi-Turn Memory#

Pratik formül: messages → token count#

def num_tokens_from_messages(messages, model="gpt-4o"):
    """OpenAI'ın resmi formülü."""
    enc = tiktoken.encoding_for_model(model)
    if model in {"gpt-3.5-turbo-0613", "gpt-4-0314", "gpt-4-0613", "gpt-4o"}:
        tokens_per_message = 3   # <|im_start|>{role}\n{content}<|im_end|>\n
        tokens_per_name = 1
    else:
        tokens_per_message = 4

    num_tokens = 0
    for message in messages:
        num_tokens += tokens_per_message
        for key, value in message.items():
            num_tokens += len(enc.encode(value))
            if key == "name":
                num_tokens += tokens_per_name
    num_tokens += 3   # Every reply is primed with <|start|>assistant<|message|>
    return num_tokens

messages = [
    {"role": "system", "content": "Sen yardımsever bir Türkçe asistansın."},
    {"role": "user", "content": "Merhaba, nasılsın?"},
]
n = num_tokens_from_messages(messages)
print(f"Total tokens: {n}")   # ~20 token
print(f"Cost: ${n * 2.5 / 1_000_000:.6f}")  # ~$0.00005

9. Türkçe Maliyet Ekonomisi — Gerçek Sayılar#

Test: 1 sayfalık Türkçe metin (300 kelime)#

"İstanbul'un kalbinde, Boğaz'ın iki yakasını birleştiren köprülerin altından geçen vapurlar, sabahın erken saatlerinde yolcularını bir yakadan diğerine taşırken, balıkçılar günün ilk avlarını çıkarmaya başlıyorlar..."
[300 kelime, ~1800 karakter]

Token sayıları#

Maliyet karşılaştırması (GPT-4o, 2026 May fiyatları, 1M call)#

1M call × 430 input token = 4.3 × 10^8 token
Cost: 4.3 × 10^8 × $2.5/10^6 = $1,075

1M call × 360 input token = 3.6 × 10^8 token
Cost equivalent rate: 3.6 × 10^8 × $2.5/10^6 = $900

İngilizce vs Türkçe#

• o200k (GPT-4o): ~240 token (Türkçe 430'a karşı)

Çözüm yolları#

1. Türkçe-balanced tokenizer: TR-only modellerde o200k yerine custom (Trendyol-LLM pattern).
2. Bigger vocab: o200k → o500k (henüz yok ama trend).
3. Multilingual-balanced training: corpus'ta Türkçe oranı artır.
4. Prompt optimization: gereksiz Türkçe açıklamalar yerine İngilizce reasoning.

10. Llama-3'ün tiktoken'a Geçişi (2024)#

Llama-2 (2023): SentencePiece BPE 32K#

Llama-3 (2024): tiktoken-style BPE 128K#

• SP'nin getirdiği avantajlar (▁ marker, byte fallback) artık önemli değil (byte-level BPE same coverage).
• 4x daha büyük vocab + Meta-trained multilingual corpus → tüm dillerde fertility ciddi düştü.
• Implementation:
  tokenizers
  library, tiktoken-compatible format.

Türkçe fertility comparison#

Llama-2 (SP BPE 32K):    2.4 token/word
Llama-3 (tiktoken 128K): 1.6 token/word    (-33%)
Llama-3.1 (same 128K):   1.6 token/word

Sonuç: Türkçe için Llama-3 önemli upgrade#

Eko-sistem etkisi#

• Mistral
• Cohere Command R
• Anthropic Claude (tokenizer details kapalı, ama benzer pattern)
• Trendyol-LLM (custom variant)

11. ChatGPT Chat Format Special Tokens#

OpenAI chat template special tokens (cl100k, o200k)#

<|im_start|>     # <message_start>
<|im_end|>       # <message_end>
<|im_sep|>       # <message_separator>
<|endoftext|>    # <document_end>

Chat format örneği#

<|im_start|>system
Sen yardımsever bir asistansın.<|im_end|>
<|im_start|>user
Merhaba!<|im_end|>
<|im_start|>assistant
Merhaba! Nasıl yardımcı olabilirim?<|im_end|>

Token IDs (cl100k)#

• <|im_start|>
  : 100264
• <|im_end|>
  : 100265
• <|endoftext|>
  : 100257

Tüm encoding'lerde aynı mı?#

Custom special tokens (chat-finetuning için)#

• Llama-3-Instruct:
  <|begin_of_text|>
  ,
  <|start_header_id|>
  ,
  <|end_header_id|>
  ,
  <|eot_id|>
• Mistral-Instruct:
  [INST]
  ,
  [/INST]
  ,
  <s>
  ,
  </s>

Tehlike: special token leak#

tokens = enc.encode("merhaba <|im_end|> dünya", disallowed_special="all")
# Raises error — special token in user input not allowed

12. Egzersizler#

Egzersiz 1#

Egzersiz 2#

Egzersiz 3#

Egzersiz 4#

Egzersiz 5#

Egzersiz 6#

Sıradaki Ders: Special Tokens + Chat Templates + ChatML#