Gradyan Gürültü Ölçeği

Stokastik optimizasyonda gradyan tahminlerinin ne kadar gürültülü olduğunu karakterize eden eğitim dinamiği ölçütü.

Gradyan gürültü ölçeği, mini-batch temelli öğrenmede güncelleme sinyalinin ne kadar istikrarlı olduğunu anlamaya yarar. Çok küçük batchler daha gürültülü ama bazen daha iyi genelleyen gradyanlar üretebilirken, büyük batchler daha deterministik davranabilir. Bu kavram, batch büyüklüğü seçimi ile optimizasyon verimliliği arasındaki ilişkiyi daha bilimsel biçimde incelemek için kullanılır. Büyük ölçekli eğitim sistemlerinde giderek daha önemli hale gelmiştir.