Tanh Aktivasyon

Girdileri -1 ile 1 arasına taşıyan sıfır merkezli aktivasyon fonksiyonu.

Tanh aktivasyon, sigmoid fonksiyonuna benzer biçimde doygunluk davranışı gösterir ancak çıktısının sıfır merkezli olması optimizasyon açısından bazı avantajlar sağlayabilir. Özellikle eski RNN ve sıralı model yapılarında sık kullanılmıştır. Negatif ve pozitif değerleri simetrik biçimde taşıdığı için bazı gizli durum modellemelerinde daha dengeli temsil sunabilir. Bununla birlikte derin yapılarda gradyan sönmesi problemi nedeniyle modern ağlarda kullanım alanı daha sınırlıdır.