İçeriğe geç
Kavram SözlüğüDerin Öğrenme

Encoder-Only Transformer

Bağlamsal temsil öğrenmeye odaklanan ve çoğunlukla anlama görevlerinde kullanılan Transformer mimarisi.

Encoder-only Transformer yapıları, girdiyi zengin bağlamsal temsillere dönüştürmek için tasarlanır. Sınıflandırma, etiketleme, arama ve anlamsal temsil çıkarımı gibi görevlerde çok güçlüdür. Her token çevresindeki hem sol hem sağ bağlamdan yararlanabildiği için anlama odaklı uygulamalarda yüksek performans sunar. BERT ailesi bu yapının en bilinen örneklerindendir.