Parametre ve Hiperparametre

Parametreler, modelin eğitim sırasında veriden öğrendiği sayısal değerlerdir; örneğin sinir ağlarındaki ağırlıklar ve bias terimleri. Hiperparametreler ise modelin veriden öğrenmediği, dışarıdan belirlenen ayarlardır; öğrenme oranı, batch size, katman sayısı veya düzenlileştirme katsayısı gibi. Bu ayrım çok önemlidir çünkü parametreler modelin iç davranışını belirlerken, hiperparametreler o davranışın nasıl öğrenileceğini belirler. Kısacası biri modelin “ne öğrendiği”, diğeri ise “nasıl öğrendiği” ile ilgilidir. İyi bir AI sistemi kurmak için yalnızca güçlü veri değil, güçlü hiperparametre disiplini de gerekir.