Optimizer, Learning Rate ve Loss Function Seçimi: Ne Zaman Ne Kullanılmalı?

Derin öğrenme projelerinde model mimarisi çoğu zaman en çok konuşulan bileşendir. Transformer mı kullanılacak, CNN mi tercih edilecek, kaç katman olacak, embedding boyutu ne kadar seçilecek, attention yapısı nasıl kurulacak gibi sorular çok görünürdür. Ancak pratikte eğitim başarısını en az mimari kadar, bazen ondan daha fazla etkileyen üç kritik unsur vardır: optimizer, learning rate ve loss function. Aynı model, aynı veri üzerinde, yalnızca bu üçlüde yapılan değişikliklerle çok daha hızlı öğrenebilir, çok daha kararlı hale gelebilir, aşırı uyum gösterebilir, kötü genelleştirebilir ya da tamamen başarısız olabilir.

Bunun temel nedeni şudur: model mimarisi kapasiteyi tanımlar, ama öğrenmenin gerçekten nasıl gerçekleşeceğini bu üçlü belirler. Optimizer, parametrelerin hangi yönde ve hangi mekanik kuralla güncelleneceğini belirler. Learning rate, bu güncellemelerin ne kadar büyük olacağını belirler. Loss function ise modelin hangi hatayı azaltmaya çalıştığını, yani gerçekte neyi “başarı” saydığını tanımlar. Bu yüzden bu üç bileşen birbirinden bağımsız kararlar değildir; birlikte çalışan tek bir öğrenme dinamiğinin parçalarıdır.

Derin öğrenmede birçok başarısız eğitimin kök nedeni mimarinin zayıflığı değil, bu eğitim dinamiğinin yanlış kurulmasıdır. Çok agresif learning rate, iyi bir optimizer’ı anlamsız hale getirebilir. Yanlış loss seçimi, modelin yanlış hedefe optimize olmasına yol açabilir. Uygun olmayan optimizer, iyi tanımlanmış bir loss fonksiyonu olsa bile eğitimi yavaş veya kararsız hale getirebilir. Özellikle sınıf dengesizliği, gürültülü etiketler, regresyon hataları, uzun kuyruklu dağılımlar, büyük batch eğitimi, foundation model fine-tuning’i ve düşük kaynaklı görevler söz konusu olduğunda bu üçlü arasındaki ilişki daha da kritik hale gelir.

Bu yazıda optimizer, learning rate ve loss function seçimlerini sistematik biçimde ele alacağım. Önce bu üç bileşenin eğitim dinamiğinde ne rol oynadığını netleştireceğim. Ardından en yaygın optimizer ailelerini, learning rate stratejilerini ve loss function türlerini ayrı ayrı inceleyeceğim. Sonrasında bunların birlikte nasıl düşünülmesi gerektiğini, hangi görevde neyin daha doğru başlangıç noktası olduğunu, en sık yapılan hataları ve kurumsal ekiplerin daha sağlam eğitim stratejileri kurmak için nelere dikkat etmesi gerektiğini detaylı biçimde anlatacağım.

Bir derin öğrenme modeli eğitim sırasında temelde tek bir şey yapar: tanımlanmış bir hata fonksiyonunu azaltmak için parametrelerini iteratif biçimde günceller. Bu cümledeki her bölüm, üçlü yapıdan birine karşılık gelir:

• Loss function: Azaltılmaya çalışılan hata nedir?
• Optimizer: Bu hatayı azaltmak için parametreleri nasıl güncelleyeceğiz?
• Learning rate: Her güncellemede ne kadar büyük adım atacağız?

Dolayısıyla bu üç unsur birlikte şu sorunun cevabını verir: Model, hedefe doğru nasıl öğrenecek?

Bu çerçevede düşünülürse, optimizer iyi ama loss yanlışsa model yanlış hedefe iyi şekilde gider. Loss doğru ama learning rate kötü seçilmişse model hedefi görür ama ona istikrarlı ulaşamaz. Learning rate iyi ama optimizer problem yapısına uygun değilse, model teorik olarak doğru yönde ilerler ama pratikte yavaşlar veya kötü geneller.

"

Kritik gerçek: Loss, nereye gideceğini; optimizer, nasıl gideceğini; learning rate ise ne kadar hızlı ve ne kadar sert gideceğini belirler.

Loss function, modelin tahmini ile hedef arasında neyin “hata” sayılacağını tanımlar. Bu, son derece kritik bir karardır; çünkü model kendiliğinden doğru davranışı bilmez. Hangi hata fonksiyonunu verirseniz, model o sinyali azaltmaya çalışır. Bu nedenle loss function sadece matematiksel bir detay değil; model davranışını belirleyen iş tanımıdır.

Loss Function Neden Bu Kadar Kritik?

• Modelin hangi tür hatalara daha duyarlı olacağını belirler
• Aykırı değerlere, dengesiz sınıflara veya belirsiz etiketlere karşı hassasiyeti değiştirir
• Gradient yapısını etkileyerek optimizasyon zorluğunu değiştirir
• Doğrudan iş metriğiyle uyumlu veya uyumsuz olabilir

Başka bir ifadeyle, yanlış loss seçimi çoğu zaman modeli “yanlış şeyi doğru şekilde optimize eden” sisteme dönüştürür.

MSE, özellikle regresyon problemlerinde klasik başlangıç noktasıdır. Tahmin ile gerçek değer arasındaki farkın karesini alır ve büyük hataları daha sert cezalandırır.

Ne Zaman Güçlüdür?

• Sürekli değer tahmini yapan klasik regresyon görevlerinde
• Büyük hata yapmanın gerçekten daha maliyetli olduğu durumlarda
• Noise yapısı yaklaşık Gauss varsayımına yakınsa

Temel Sınırı

Aykırı değerlere karşı hassastır. Veri setinde outlier fazla ise model bu örneklere aşırı duyarlı hale gelebilir.

MAE, hata mutlak değerini optimize eder. MSE’ye göre aykırı değerlere daha dayanıklıdır; çünkü karesel cezalandırma yoktur.

Ne Zaman Güçlüdür?

• Outlier etkisini sınırlamak istendiğinde
• Medyan-benzeri dayanıklı davranış istenen regresyon görevlerinde

Temel Sınırı

Gradient davranışı MSE kadar pürüzsüz değildir ve bazı optimizasyon senaryolarında daha yavaş yakınsama gözlenebilir.

Huber loss, küçük hatalarda MSE gibi, büyük hatalarda MAE gibi davranır. Bu yüzden birçok pratik regresyon ve detection probleminde güçlü bir dengedir.

Ne Zaman Güçlüdür?

• Hem kararlı gradient hem de outlier dayanıklılığı istendiğinde
• Bounding box regression gibi detection görevlerinde
• Gerçek dünya regresyon verisinde gürültü bulunduğunda

Sınıflandırma problemlerinin en yaygın loss fonksiyonlarından biridir. Modelin tahmin ettiği sınıf dağılımı ile gerçek etiket arasındaki farkı ölçer. Çok sınıflı sınıflandırmada çoğu zaman varsayılan tercihtir.

Ne Zaman Güçlüdür?

• Tek etiketli sınıflandırma görevlerinde
• Probabilistik çıktı gerektiğinde
• Logit tabanlı modern sınıflandırma mimarilerinde

Temel Sınırı

Sınıf dengesizliği yüksekse azınlık sınıflarını zayıf öğrenebilir. Ayrıca gürültülü etiketlerde aşırı güven üretme eğilimi yaratabilir.

İkili sınıflandırma ve multi-label görevlerde yaygın kullanılır. Her etiket için bağımsız olasılık tahmini yapılır.

Ne Zaman Güçlüdür?

• Binary classification
• Bir örneğin birden fazla etikete sahip olabildiği multi-label problemler

Focal loss, kolay örneklerin loss katkısını azaltıp zor örneklere daha fazla odaklanır. Özellikle sınıf dengesizliğinin yüksek olduğu detection ve classification problemlerinde önemlidir.

Ne Zaman Güçlüdür?

• Uzun kuyruklu sınıf dağılımı varsa
• Kolay negatif örnekler çok fazlaysa
• Nadir sınıflar kritik öneme sahipse

Temel Sınırı

Ek hiperparametre hassasiyeti getirir. Yanlış ayarlanırsa öğrenmeyi gereksiz zorlaştırabilir.

Bu loss’lar sınıf etiketi tahmin etmekten çok, temsil uzayını düzenlemeyi amaçlar. Benzer örnekleri yakınlaştırır, farklıları uzaklaştırır.

Ne Zaman Güçlüdür?

• Yüz tanıma
• Retrieval sistemleri
• Embedding tabanlı arama ve eşleme
• Verification görevleri

Semantic segmentation ve medical imaging gibi alanlarda piksel seviyesinde sınıf dengesizliği sık görülür. Bu yüzden sadece pixel-wise cross entropy yeterli olmayabilir. Dice loss veya IoU temelli loss’lar bölge örtüşmesine odaklanır.

Teacher-student öğrenme, probability matching ve bazı generative veya representation learning görevlerinde kullanılır. Özellikle distillation süreçlerinde önemlidir.

Asıl soru “hangi loss popüler?” değil; “hangi hata türünü daha fazla önemsemeliyim?” sorusudur. Çünkü doğru loss seçimi, iş metriğine ve hatanın maliyet yapısına bağlıdır.

Örnekler

• Tüm hatalar eşit değilse, standart loss yetmeyebilir
• Nadir sınıf daha önemliyse class weighting veya focal yaklaşım gerekebilir
• Aykırı değerler yoğunsa MSE yerine Huber daha doğru olabilir
• Temsil uzayı isteniyorsa sınıflandırma loss’u yerine metric learning loss’u gerekebilir

Optimizer, loss function’ın ürettiği gradient bilgisini kullanarak model parametrelerini nasıl güncelleyeceğimizi belirler. Yani loss nerede hata olduğunu söyler; optimizer bu hatayı azaltmak için hangi güncelleme kuralını uygulayacağımızı belirler.

Optimizer Seçimi Neyi Etkiler?

• Yakınsama hızı
• Eğitim kararlılığı
• Saddle point ve dar vadilerde hareket kabiliyeti
• Genelleme davranışı
• Büyük batch veya gürültülü gradient durumlarındaki performans

Yani optimizer sadece hız değil, kalite ve genelleme profili üzerinde de etkilidir.

SGD en temel optimizer’dır. Gradient yönünde parametreleri günceller. Saf haliyle basittir ama çoğu zaman momentum ile birlikte kullanılır.

Ne Zaman Güçlüdür?

• Büyük ölçekli görsel görevlerde
• İyi ayarlanmış LR schedule ile güçlü genelleme gerektiğinde
• Daha az adaptif ama daha kontrollü optimizasyon tercih edildiğinde

Temel Sınırı

İyi learning rate ve schedule gerektirir. Başlangıçta Adam benzeri optimizer’lara göre daha zor ayarlanabilir.

Momentum, geçmiş gradient yönlerinin etkisini biriktirerek daha kararlı ve hızlı ilerleme sağlar. Derin öğrenmede klasik güçlü başlangıçlardan biridir.

Ne Zaman Güçlüdür?

• Computer vision eğitimlerinde
• Kararlı, iyi genelleyen eğitim dinamiği istendiğinde
• Büyük veri ve uzun eğitim senaryolarında

Gradient karelerinin hareketli ortalamasını kullanarak her parametre için adım büyüklüğünü uyarlayan optimizer’dır. Özellikle daha eski sequence modellerde sık kullanılmıştır.

Adam, momentum ve adaptif learning rate mantığını birleştirir. Hızlı yakınsaması ve görece kolay başlangıç ayarları nedeniyle çok yaygındır.

Ne Zaman Güçlüdür?

• NLP ve transformer tabanlı eğitimlerde
• Hızlı prototiplemede
• Gradient ölçeklerinin parametreler arasında çok değiştiği durumlarda
• Küçük ve orta ölçekli veri senaryolarında

Temel Sınırı

Bazı görevlerde hızlı optimize eder ama SGD kadar iyi genellemeyebilir. Weight decay ile birlikte kullanımı dikkat ister.

AdamW, klasik Adam’dan farklı olarak weight decay’i daha doğru ayrıştırılmış biçimde uygular. Özellikle transformer ve modern fine-tuning senaryolarında yaygın varsayılandır.

Ne Zaman Güçlüdür?

• Foundation model fine-tuning
• Transformer eğitimi
• Regularization’ın daha kontrollü olması istendiğinde

Bu optimizer’lar belirli özel durumlarda işe yarayabilir; ancak modern pratikte en baskın seçimler çoğu zaman SGD+Momentum ve Adam/AdamW etrafında toplanır. Özel araştırma veya niş problem yapısı yoksa başlangıç kararı genellikle bu ailelerden biri olur.

Asıl soru “hangi optimizer en iyi?” değildir. Çünkü optimizer başarısı; görev türüne, veri ölçeğine, batch büyüklüğüne, mimariye, regularization stratejisine ve learning rate planına bağlıdır.

Pratik Sezgiler

• Transformer ve dil modellerinde AdamW çoğu zaman doğal başlangıçtır
• Görsel görevlerde iyi ayarlı SGD+Momentum hâlâ çok güçlüdür
• Hızlı deneme ve prototiplemede Adam daha hızlı sonuç verir
• Genelleme kritik ve eğitim uzun ise SGD tabanlı seçenekler daha avantajlı olabilir

Learning rate, optimizer’ın her güncellemede ne kadar büyük adım atacağını belirler. Çok küçük learning rate, eğitimi gereksiz yavaşlatır veya modelin kötü yerel davranışta takılmasına yol açabilir. Çok büyük learning rate ise osilasyon, diverge olma veya kararsız gradient davranışı yaratabilir.

Bu yüzden learning rate çoğu zaman eğitimin en hassas hiperparametresi olarak görülür.

Çok Küçük Learning Rate Ne Yapar?

• Yavaş yakınsama
• Uzun eğitim süresi
• Bazı düz bölgelerde ilerleyememe
• Gereksiz compute maliyeti

Çok Büyük Learning Rate Ne Yapar?

• Loss’un patlaması
• Kararsız eğitim eğrileri
• Minimum çevresinde zıplama
• Özellikle mixed precision ve büyük batch eğitimlerde kırılganlık

Modern derin öğrenmede learning rate çoğu zaman sabit tutulmaz. Çünkü eğitimin başında büyük adımlar faydalı olabilirken, sonlara doğru daha ince ayar gerekir. Bu nedenle schedule tasarımı kritik hale gelir.

1. Constant LR

Basit ama çoğu modern büyük eğitim için yetersiz olabilir. Küçük deneylerde kullanılabilir.

2. Step Decay

Belirli epoch’larda learning rate düşürülür. Klasik ve etkili ama daha kaba bir stratejidir.

3. Exponential Decay

LR sürekli biçimde azalır. Bazı görevlerde pürüzsüz geçiş sağlar.

4. Cosine Annealing

Özellikle modern derin öğrenmede çok yaygındır. LR’yi pürüzsüz şekilde azaltır ve çoğu zaman güçlü sonuç verir.

5. Warmup + Decay

Özellikle transformer eğitiminde kritik hale gelmiştir. Başta düşük LR ile güvenli ısınma yapılır, sonra planlı düşüş uygulanır.

6. One-Cycle Policy

LR önce yükselip sonra düşer. Özellikle daha kısa eğitimlerde güçlü pratik sonuçlar verebilir.

• Model mimarisi
• Optimizer tipi
• Batch size
• Dataset büyüklüğü
• Full training mi fine-tuning mi yapıldığı
• Mixed precision veya distributed training kullanılıp kullanılmadığı

Özellikle fine-tuning senaryolarında learning rate daha da hassas hale gelir. Çünkü önceden öğrenilmiş parametreleri agresif güncellemek, modelin yararlı temsillerini bozabilir. Bu yüzden foundation model fine-tuning’inde daha küçük learning rate ve warmup stratejileri sık kullanılır.

En büyük hata, optimizer, learning rate ve loss function’ı bağımsız menü seçimleri gibi görmektir. Oysa bunlar birbirine bağlıdır.

Örnek 1: AdamW + Büyük LR + Gürültülü Veri

AdamW adaptif yapı sunsa da, büyük learning rate ile gürültülü veri birleşince kararsızlık yaratabilir.

Örnek 2: SGD + Düşük LR + Dengesiz Sınıflar

SGD kararlı olabilir ama loss tarafında class weighting yoksa azınlık sınıflar zayıf öğrenilebilir.

Örnek 3: MSE + Outlier Ağırlıklı Regresyon + Adam

Optimizer hızlı çalışsa da, loss outlier’lara fazla odaklandığı için model genel yapıyı bozabilir. Burada Huber daha doğru olabilir.

Örnek 4: Cross Entropy + Class Imbalance + Küçük LR

Model güvenli ama yavaş öğrenebilir ve nadir sınıflar yine baskılanabilir. Focal loss veya class weighting daha iyi olabilir.

Yani doğru seçim, bu üç bileşenin birlikte oluşturduğu eğitim davranışını okumayı gerektirir.

• Optimizer: SGD + Momentum
• LR: Step decay veya cosine
• Loss: Cross entropy

Dengesiz sınıflarda class weighting veya focal loss değerlendirilebilir.

• Optimizer: AdamW
• LR: Düşük başlangıç + warmup + decay
• Loss: Cross entropy veya görev-özel loss

• Optimizer: Adam veya AdamW
• LR: Orta-küçük, pürüzsüz decay
• Loss: Huber / Smooth L1

• Optimizer: AdamW veya SGD, mimariye göre
• LR: Dikkatli schedule
• Loss: Focal loss veya weighted cross entropy

• Optimizer: AdamW yaygın başlangıç olabilir
• LR: Kararlı ama agresif olmayan schedule
• Loss: Contrastive / triplet / InfoNCE benzeri loss’lar

1. Loss function’ı görev metriğiyle ilişkisiz seçmek
2. Optimizer’ı “her yerde en iyi” gibi görmek
3. Learning rate’i tek kez seçip hiç schedule düşünmemek
4. Fine-tuning’de pretraining bilgisini koruyacak kadar küçük LR kullanmamak
5. Class imbalance varken standart cross entropy ile yetinmek
6. Outlier yoğun regresyonda MSE’ye körü körüne bağlı kalmak
7. Warmup gerektiren mimarilerde doğrudan yüksek LR ile başlamak
8. Training stability sorunlarını sadece modele bağlamak
9. Loss düşmesini otomatik olarak iyi genelleme sanmak
10. Optimizer ve regularization etkileşimini küçümsemek
11. LR aralığını sistematik test etmeden rastgele seçmek
12. Tek bir iyi reçeteyi tüm projelere taşımaya çalışmak

Bileşen	Temel Soru	Yanlış Seçim Riski
Loss Function	Model tam olarak hangi hatayı azaltmalı?	Yanlış hedefe optimizasyon
Optimizer	Parametre uzayında nasıl hareket edeceğiz?	Yavaş, kararsız veya zayıf genelleyen eğitim
Learning Rate	Bu hareketin adım büyüklüğü ne olmalı?	Divergence, osilasyon veya aşırı yavaş öğrenme

1. Önce İş Metriklerini Anla, Sonra Loss Seç

İş açısından hangi hata pahalıysa, loss bunu yansıtmalıdır.

2. Optimizer’ı Varsayılan Değil, Göreve Uygun Başlangıç Noktası Olarak Gör

AdamW, SGD veya başka seçimler görev yapısına göre düşünülmelidir.

3. Learning Rate’i Tek Sayı Değil, Eğitim Politikası Olarak Ele Al

Warmup, decay ve schedule tasarımı çoğu zaman optimizer kadar önemlidir.

4. Üçlüyü Ayrı Ayrı Değil, Eğitim Dinamiği Olarak Test Et

Aynı loss farklı optimizer ile farklı davranır; aynı optimizer farklı LR ile bambaşka sonuç verir.

5. Stabilite ile Genellemeyi Birlikte İzle

Hızlı yakınsama her zaman en iyi genel performans anlamına gelmez.

İlk 30 Gün: Hata Yapısını Anla

• Görevde hangi hata türlerinin daha maliyetli olduğunu çıkar
• Loss function’ı iş metriğiyle hizala
• Optimizer ve LR için birden fazla kontrollü başlangıç denemesi planla

31-60 Gün: Eğitim Dinamiğini Karşılaştır

• SGD tabanlı ve Adam tabanlı eğitimleri karşılaştır
• Farklı learning rate schedule’larının stability ve generalization etkisini ölç
• Loss varyantlarını class imbalance, outlier ve rare case bazında değerlendir

61-90 Gün: Standardizasyon ve Üretim Hazırlığı

• En iyi çalışan optimizer-LR-loss kombinasyonunu standartlaştır
• Bu kombinasyonun farklı veri split’lerinde ve farklı seed’lerde kararlılığını test et
• İlk kurumsal training recipe standardını yayınla

Optimizer, learning rate ve loss function seçimi derin öğrenme projelerinde ikincil ayar değil, doğrudan öğrenmenin mantığını belirleyen çekirdek kararlardır. Loss function modelin neyi başarmaya çalıştığını, optimizer bu amaca nasıl ilerlediğini, learning rate ise bu ilerleyişin temposunu belirler. Bu nedenle bu üçlü doğru kurulmadan, en güçlü mimari bile potansiyelinin altında kalabilir.

Başarılı ekipler, yalnızca model mimarisi seçen ekipler değildir. Onlar, eğitim dinamiğini okuyabilen, hangi hatanın gerçekten önemli olduğunu bilen, optimizer davranışını görev yapısıyla eşleştiren ve learning rate’i yalnızca sayı değil strateji olarak tasarlayan ekiplerdir. Uzun vadede eğitim başarısını belirleyen şey çoğu zaman modelin büyüklüğü değil; bu üç bileşenin ne kadar bilinçli seçildiğidir.

Her görev için en iyi optimizer hangisidir?

Tek evrensel en iyi optimizer yoktur. Transformer fine-tuning’de AdamW sık tercih edilirken, bazı görsel görevlerde iyi ayarlanmış SGD+Momentum daha güçlü genelleme verebilir.

Learning rate neden bu kadar hassas bir hiperparametredir?

Çünkü optimizer’ın attığı her adımın büyüklüğünü belirler. Çok büyükse eğitim patlayabilir, çok küçükse model verimsiz öğrenir.

Cross entropy her sınıflandırma problemi için yeterli midir?

Hayır. Sınıf dengesizliği, nadir olaylar veya farklı hata maliyetleri varsa focal loss, weighted cross entropy veya başka görev-özel loss’lar daha uygun olabilir.

Regresyonda MSE yerine ne zaman Huber tercih edilmelidir?

Outlier etkisini azaltmak ama yine de pürüzsüz optimizasyon davranışı korumak istendiğinde Huber genellikle güçlü bir alternatiftir.

Optimizer mı daha önemli, learning rate mi?

Pratikte ikisi ayrılmaz biçimde bağlıdır. Çok iyi optimizer bile kötü learning rate ile başarısız olabilir; iyi learning rate planı da yanlış loss ile yanlış hedefi optimize edebilir.