Momentum

Momentum, optimizasyon sürecine bir tür hareket hafızası ekler. Standart gradyan inişinde her adım sadece mevcut gradyana göre atılırken, momentum geçmiş güncellemelerin yönünü de dikkate alır. Bu sayede yüzey üzerinde daha kararlı ilerleme sağlanabilir ve özellikle dar vadilerde daha hızlı yakınsama elde edilir. Derin öğrenme eğitimlerinde sık kullanılan bu yaklaşım, hem verimlilik hem de eğitim kararlılığı açısından önemli faydalar sağlayabilir. Basit bir ek gibi görünse de, etkisi çoğu zaman ciddi düzeydedir.