Attention Mask

Modelin dikkat hesaplamasında hangi konumları görebileceğini veya göremeyeceğini belirleyen kontrol yapısı.

Attention mask, dikkat mekanizmasının bağlam erişimini kurallı hale getirir. Padding tokenlarını yok saymak, geleceği gizlemek veya belirli bölgeleri sınırlandırmak için kullanılır. Bu yapı olmadan model gereksiz veya yasak bilgiye odaklanabilir. Özellikle Transformer eğitiminde doğru maskeleme, mimarinin semantik doğruluğu için temel gerekliliktir.