Decoder-Only Transformer

Otokorelasyonlu biçimde bir sonraki tokenı tahmin ederek üretim yapan modern büyük dil modeli mimarisi.

Decoder-only Transformer yapısı, günümüz büyük dil modellerinin çoğunun temelini oluşturur. Geçmiş bağlama bakarak bir sonraki tokenı tahmin etme mantığıyla üretim yapar. Basit eğitim hedefi ile çok geniş ölçekli ön eğitim arasında güçlü uyum sağlar. Metin üretimi, kod üretimi ve genel amaçlı dil modelleme görevlerinde baskın mimari haline gelmiştir.