Gradyan Akışı

Öğrenme sinyalinin ağ katmanları boyunca ne kadar sağlıklı taşındığını ifade eden temel eğitim dinamiği kavramı.

Gradyan akışı, derin bir ağda öğrenme bilgisinin hangi katmanlara ne ölçüde ulaştığını anlamak için kritik bir kavramdır. Eğer gradyanlar çok küçülürse erken katmanlar öğrenemez; aşırı büyürse eğitim kararsız hale gelir. Bu nedenle aktivasyon fonksiyonları, normalizasyon katmanları, residual bağlantılar ve başlatma stratejileri gradyan akışını doğrudan etkiler. Başarılı derin öğrenme mühendisliği büyük ölçüde sağlıklı gradyan akışı kurabilme becerisidir.