Kavram SözlüğüDerin Öğrenme

Linear Attention

Attention hesaplamasını daha ölçeklenebilir hale getirmek için karmaşıklığı yaklaşık doğrusal düzeye indirmeyi hedefleyen yaklaşım.

Linear attention yöntemleri, çok uzun sekanslarda standart attention maliyetini aşmak için geliştirilmiştir. Çekirdek yaklaşım veya yeniden düzenlenmiş hesaplama gibi fikirlerle tam dikkat matrisini oluşturmadan benzer etki elde edilmeye çalışılır. Bu yaklaşım özellikle uzun bağlamlı metin, video ve genom dizileri gibi alanlarda ilgi görmektedir. Ölçeklenebilir Transformer araştırmalarının merkezindeki önemli kavramlardan biridir.