Ölçeklenmiş Noktasal Çarpım Attention

Sorgu ve anahtar vektörleri arasındaki benzerliği ölçekleyerek dikkat ağırlıkları üreten temel Transformer işlemi.

Ölçeklenmiş noktasal çarpım attention, Transformer içindeki temel dikkat hesabıdır. Query ile key arasındaki benzerlikler hesaplanır, ölçeklenir ve softmax ile ağırlıklara dönüştürülür. Bu sayede model hangi tokenların hangi tokenlara daha fazla odaklanması gerektiğini öğrenir. Hem basit hem de paralel hesaplamaya uygun olması nedeniyle modern dikkat mimarilerinin merkezindedir.