Öğrenme Oranı

Model parametrelerinin her güncellemede ne kadar değişeceğini belirleyen temel hiperparametre.

Öğrenme oranı, eğitim sürecinin temposunu belirleyen en kritik hiperparametrelerden biridir. Çok yüksek seçildiğinde model kararsız davranabilir ve iyi çözümleri kaçırabilir; çok düşük seçildiğinde ise eğitim aşırı yavaşlar ya da verimsiz hale gelir. Bu yüzden learning rate seçimi çoğu zaman model başarımı üzerinde doğrudan etkilidir. Güçlü bir optimizasyon süreci yalnızca doğru algoritmaya değil, doğru öğrenme oranı ayarına da bağlıdır. Küçük görünen bu ayar, bazen modelin başarısı ile başarısızlığı arasındaki farkı belirler.