Kavram SözlüğüDerin Öğrenme
Seyrek Attention
Her öğenin tüm sekansa değil yalnızca seçili bölgelere dikkat etmesini sağlayarak maliyeti düşüren attention yaklaşımı.
Seyrek attention, standart self-attentionın karesel karmaşıklığını azaltmak için geliştirilmiştir. Uzun bağlamlı görevlerde her tokenın tüm diğer tokenlara bakması maliyetli olduğundan, yalnızca belirli dikkat örüntüleri seçilir. Bu yaklaşım uzun belge modelleme, genomik veriler ve büyük bağlamlı dil modelleri için önemlidir. Hesaplama verimliliği ile temsil zenginliği arasında yeni denge noktaları kurar.
İlginizi Çekebilir
Yapay zeka yolculuğunuza devam etmek için bu kavramlara da göz atabilirsiniz.
