Kavram SözlüğüDerin Öğrenme
Nedensel Attention
Bir tokenın yalnızca kendisinden önceki konumlara bakmasına izin veren otoregresif dikkat yapısı.
Nedensel attention, üretici dil modellerinde geleceğe bakmayı engelleyerek zaman yönünü korur. Bu sayede model bir sonraki tokenı tahmin ederken yalnızca geçmiş bağlamı kullanır. Otoregresif üretimin mantıksal tutarlılığı bu maskeleme yapısına dayanır. Modern büyük dil modellerinin çoğu bu dikkat kısıtıyla eğitilir.
İlginizi Çekebilir
Yapay zeka yolculuğunuza devam etmek için bu kavramlara da göz atabilirsiniz.
