Cross-Attention

Bir temsil kümesinin başka bir temsil kümesinden bağlam almasını sağlayan dikkat mekanizması.

Cross-attention, özellikle encoder-decoder yapılarında veya çok modlu sistemlerde kritik öneme sahiptir. Bir taraf sorgu rolündeyken diğer taraf bağlam kaynağı olarak kullanılır. Bu mekanizma çeviri, görsel altyazılama, soru-cevap ve çok modlu üretim gibi görevlerde güçlü eşleştirme yapıları sağlar. Farklı bilgi kaynakları arasında öğrenilebilir köprü kurar.