GELU Aktivasyon

Girdileri sert eşik yerine olasılıksal yumuşaklıkla dönüştüren modern aktivasyon fonksiyonu.

GELU, özellikle Transformer tabanlı modellerde yaygınlaşmış modern bir aktivasyon fonksiyonudur. ReLU gibi keskin bir eşik yerine girdiyi yumuşak biçimde ölçekler ve bu durum bazı mimarilerde daha dengeli öğrenme davranışı sağlayabilir. Büyük dil modelleri ve ileri seviye dikkat mimarilerinde sık görülür. Hesaplama açısından biraz daha karmaşık olsa da performans katkısı nedeniyle tercih edilir.