# SentencePiece + Unigram LM (Kudo 2018): Olasılıksal Tokenizasyon ve Subword Regularization

> Source: https://sukruyusufkaya.com/learn/llm-muhendisligi/sentencepiece-unigram-lm-kudo
> Updated: 2026-08-22T11:04:01.274Z
> Category: LLM Mühendisliği
> Module: Modül 6: Tokenization Mikro-Cerrahisi
**TLDR:** SentencePiece framework + Unigram language model algoritması. Kudo 2018'in olasılıksal yaklaşımı: büyük vocab'tan başla, EM ile budama. Viterbi forward encoding, subword regularization, ▁ whitespace-as-character. Llama, T5, Mistral'in tercihi. Türkçe ve multilingual avantajları.