Pozisyon Kodlama

Transformer modellerine sıradaki konum bilgisini ekleyerek sekans düzenini görünür kılan yöntem.

Transformer yapıları doğal olarak sıralı konum bilgisini içermez; bu nedenle pozisyon kodlama sekans düzenini modele tanıtmak için kullanılır. Sinüsoidal veya öğrenilebilir pozisyon temsilleri bu amaçla tercih edilebilir. Konum bilgisi olmadan kelimelerin veya öğelerin sırası kaybolur ve anlamsal yapı zayıflar. Bu nedenle positional encoding, dikkat temelli mimarilerde temel yapı taşlarından biridir.