Kavram SözlüğüDerin Öğrenme
Gradyan Patlaması
Geri yayılım sırasında gradyanların aşırı büyüyerek eğitimi kararsız hale getirdiği optimizasyon sorunu.
Gradyan patlaması, özellikle çok derin veya uzun sekanslı ağlarda geri yayılım sırasında türevlerin aşırı büyümesiyle ortaya çıkar. Bu durum parametre güncellemelerini kontrolsüz hale getirir ve modelin sayısal olarak kararsız davranmasına yol açabilir. Öğrenme oranı seçimi, başlatma stratejisi ve gradient clipping gibi yöntemler bu sorunu hafifletmek için kullanılır.
İlginizi Çekebilir
Yapay zeka yolculuğunuza devam etmek için bu kavramlara da göz atabilirsiniz.
