SELU Aktivasyonu

Kendi kendini normalize eden ağ davranışını desteklemek amacıyla tasarlanmış aktivasyon fonksiyonu.

SELU, belirli başlatma ve mimari koşulları altında aktivasyonların istatistiksel olarak dengede kalmasına yardımcı olmayı hedefler. Bu fikir, çok derin ağlarda dağılım kaymasının ve kararsız eğitim dinamiklerinin hafifletilmesine yöneliktir. Her ne kadar evrensel standart haline gelmemiş olsa da kendi kendini normalize eden ağ tasarımı açısından önemli bir araştırma çizgisi sunar. Aktivasyon fonksiyonlarının sadece doğrusal olmama değil, eğitim dinamiği tasarlama aracı olduğunu gösterir.