Kavram SözlüğüÜretken Yapay Zekâ ve LLM
Tokenizer
Metni modelin işleyebileceği token birimlerine dönüştüren temel ara katman.
Tokenizer, büyük dil modelinin dili nasıl gördüğünü belirleyen kritik altyapıdır. Aynı içerik farklı tokenizer tasarımları altında farklı maliyet, kapsama ve hata davranışı üretebilir. Dil çeşitliliği, kod, özel semboller ve eklemeli yapılar üzerinde tokenizer seçimi model kullanım deneyimini doğrudan etkiler.
İlginizi Çekebilir
Yapay zeka yolculuğunuza devam etmek için bu kavramlara da göz atabilirsiniz.
