BPE / SentencePiece / Unigram: Tokenizer Algoritmalarının Matematiği ve Sıfırdan TR-Aware Eğitim

# === RTX 4090 + 1.5GB TR corpus → 50K-vocab BPE eğitimi ===
from tokenizers import Tokenizer, models, normalizers, pre_tokenizers, trainers, decoders, processors
import json
 
# 1. Corpus path (HF dataset'ten ya da local)
files = ["/data/tr-corpus/oscar-tr.txt", "/data/tr-corpus/kapar-tr.txt",
         "/data/tr-corpus/wiki-tr.txt"]
 
# 2. Tokenizer skeleton
tok = Tokenizer(models.BPE(unk_token="<|unk|>"))
 
tok.normalizer = normalizers.Sequence([
    normalizers.NFC(),                              # Unicode normalize
    # NOT: lowercase yok — Türkçe Şüphe ≠ şüphe distinction önemli
])
 
tok.pre_tokenizer = pre_tokenizers.ByteLevel(add_prefix_space=False)
tok.decoder = decoders.ByteLevel()
tok.post_processor = processors.ByteLevel(trim_offsets=False)
 
# 3. Trainer
trainer = trainers.BpeTrainer(
    vocab_size=50_000,
    min_frequency=2,
    special_tokens=[
        "<|begin_of_text|>", "<|end_of_text|>",
        "<|im_start|>", "<|im_end|>",                # chat template
        "<|user|>", "<|assistant|>", "<|system|>",
        "<|pad|>", "<|unk|>",
    ],
    initial_alphabet=pre_tokenizers.ByteLevel.alphabet(),
    show_progress=True,
)
 
# 4. Train (~12 dakika RTX 4090 yan-CPU 16 thread)
tok.train(files, trainer)
 
# 5. Save
tok.save("tr_bpe_50k.json")
 
# 6. Quick eval: token/word ratio
import statistics
sample_sentences = [
    "Şirketler arası birleşmelerden hisse senedi pazarına yansıyan etki incelendi.",
    "Akşam yemekte ne yiyeceğimizi henüz konuşmadık ama dışarı çıkmak istiyoruz.",
    "Yapay zekâ ile insan kararının kavşağında etik kurullar yeni rol üstleniyor.",
    "İstanbul Boğazı'nın iki yakasını birleştiren köprülerden geçen araç sayısı arttı.",
]
ratios = []
for s in sample_sentences:
    n_tokens = len(tok.encode(s).tokens)
    n_words = len(s.split())
    ratios.append(n_tokens / n_words)
print(f"TR-BPE mean tokens/word: {statistics.mean(ratios):.2f}")
# Beklenen: 1.85-1.95
 
# Llama-3 baseline karşılaştırma
from transformers import AutoTokenizer
llama_tok = AutoTokenizer.from_pretrained("meta-llama/Meta-Llama-3.1-8B")
llama_ratios = [len(llama_tok.encode(s)) / len(s.split()) for s in sample_sentences]
print(f"Llama-3 default mean tokens/word: {statistics.mean(llama_ratios):.2f}")
# Beklenen: 3.0-3.5