Kavram SözlüğüDerin Öğrenme
Additive Attention
Sorgu ve bağlam temsillerini öğrenilebilir bir birleşim fonksiyonu ile karşılaştıran erken dönem dikkat yaklaşımı.
Additive attention, özellikle erken seq2seq mimarilerinde kullanılan önemli bir dikkat mekanizmasıdır. Noktasal çarpım yerine öğrenilebilir doğrusal dönüşümler üzerinden skor üretir. Bazı durumlarda daha esnek hizalama davranışı sağlayabilir. Dikkat fikrinin modern derin öğrenmedeki gelişimini anlamak için tarihsel olarak da önemlidir.
İlginizi Çekebilir
Yapay zeka yolculuğunuza devam etmek için bu kavramlara da göz atabilirsiniz.
