Kavram SözlüğüMatematik, İstatistik ve Optimizasyon

Mini-Batch Gradyan İnişi

Eğitim verisini küçük partilere bölerek hem verimlilik hem de kararlılık sağlayan yaygın optimizasyon yaklaşımı.

Mini-batch gradyan inişi, tam veriyle çalışan batch yöntem ile tek örnekli SGD arasında pratik bir denge sunar. Veriyi küçük parçalara ayırarak her adımda bu parçalar üzerinden güncelleme yapılır. Bu sayede hem paralel hesaplama avantajı elde edilir hem de tek örnekli güncellemelerin aşırı gürültüsü azaltılır. Derin öğrenmede mini-batch yaklaşımı, eğitim performansı ve donanım verimliliği açısından en yaygın tercih edilen yöntemlerden biridir. Batch size seçimi ise model davranışı üzerinde beklenenden daha fazla etki yaratabilir.