Kavram SözlüğüDerin Öğrenme
Leaky ReLU
Negatif bölgede küçük ama sıfır olmayan eğim bırakarak dying ReLU sorununu hafifletmeye çalışan aktivasyon fonksiyonu.
Leaky ReLU, standart ReLU'nun negatif bölgede tamamen sıfırlama yapmasından kaynaklanan öğrenme kaybını azaltmak için geliştirilmiştir. Negatif girdiler için küçük bir eğim koruyarak bazı nöronların tamamen pasif hale gelmesini önleyebilir. Özellikle daha kırılgan optimizasyon koşullarında veya küçük veri senaryolarında daha istikrarlı eğitim davranışı sağlayabilir.
İlginizi Çekebilir
Yapay zeka yolculuğunuza devam etmek için bu kavramlara da göz atabilirsiniz.
