Attention

Modelin karar verirken girdinin hangi bölümlerine daha fazla odaklanacağını öğrenmesini sağlayan mekanizma.

Attention mekanizması, tüm girdiyi eşit ağırlıkla işlemek yerine bilgi açısından daha önemli bölgelere daha fazla odaklanmayı mümkün kılar. Bu fikir, özellikle uzun sekanslar ve karmaşık temsil problemlerinde model kapasitesini daha verimli kullanmasını sağlar. Dil işleme, görsel dikkat ve çok modlu öğrenme gibi alanlarda derin etkiler yaratmıştır. Modern yapay zekâ sistemlerinin çoğu dikkat kavramı etrafında inşa edilir.