Kavram SözlüğüDerin Öğrenme
Layer Normalization
Aktivasyonları örnek bazında normalize ederek özellikle sekans modellerinde daha kararlı eğitim sağlayan teknik.
Layer normalization, batch boyutuna bağımlı olmadan her örnek içinde aktivasyonların normalize edilmesini sağlar. Bu nedenle RNN, Transformer ve küçük batchli eğitim senaryolarında batch normalizationa göre daha uygundur. Eğitim kararlılığını artırır ve derin mimarilerde gradyan davranışını iyileştirebilir. Modern Transformer tasarımlarında temel yapı taşlarından biri haline gelmiştir.
İlginizi Çekebilir
Yapay zeka yolculuğunuza devam etmek için bu kavramlara da göz atabilirsiniz.
