Kavram SözlüğüDerin Öğrenme
Self-Attention
Bir sekans içindeki her öğenin diğer öğelerle ilişkisini doğrudan modelleyen dikkat mekanizması.
Self-attention, sekans içindeki her token veya öğenin diğer tüm öğelerle etkileşime girmesine izin verir. Bu sayede uzun mesafeli bağımlılıklar doğrudan yakalanabilir ve bilgi akışı sıralı işleme zorunluluğundan kurtulur. Transformer devriminin merkezinde yer alan temel fikirlerden biridir. Özellikle paralel hesaplama ve bağlam modelleme gücü nedeniyle modern NLP'nin omurgasını oluşturur.
İlginizi Çekebilir
Yapay zeka yolculuğunuza devam etmek için bu kavramlara da göz atabilirsiniz.
