Kavram SözlüğüDerin Öğrenme
Post-Norm Transformer
Normalization katmanını dikkat veya FFN bloğundan sonra uygulayan klasik Transformer varyantı.
Post-norm Transformer, orijinal Transformer tasarımında kullanılan düzeni temsil eder. Bazı görevlerde iyi çalışsa da çok derin modellerde optimizasyon kararlılığı açısından zorluklar yaratabilir. Pre-norm tasarımının yükselişi bu farkların pratik sonuçlarını görünür hale getirmiştir. Yine de mimari davranışı anlamak açısından iki tasarımın karşılaştırılması önemlidir.
İlginizi Çekebilir
Yapay zeka yolculuğunuza devam etmek için bu kavramlara da göz atabilirsiniz.
