Rotary Positional Embedding

Konum bilgisini vektör uzayında döndürme işlemleriyle kodlayan modern pozisyon temsil yöntemi.

Rotary positional embedding, pozisyon bilgisini doğrudan dikkat hesaplarına geometrik biçimde entegre eder. Bu yaklaşım özellikle uzun bağlamlı Transformer modellerinde dikkatli konum genellemesi açısından avantaj sağlayabilir. Büyük dil modellerinde yaygınlaşmasının nedeni, klasik sabit veya öğrenilebilir pozisyon kodlamalarına göre daha esnek davranış sunabilmesidir.