Çapraz Entropi (Cross Entropy) Nedir? Sınıflandırma Kaybı Rehberi

Çapraz entropi nedir? Çapraz entropi (cross entropy), bir modelin tahmin ettiği olasılık dağılımı ile gerçek etiket arasındaki farkı ölçen bir kayıp fonksiyonudur (loss function, modelin ne kadar hata yaptığını gösteren sayı). Model doğru sınıfa yüksek olasılık verdiğinde çapraz entropi küçülür; emin olduğu hâlde yanıldığında ise hızla büyür.

Bu iki cümle, sınıflandırma yapan neredeyse her modern yapay zeka modelinin eğitim kalbini özetler. Bir dil modelinin bir sonraki kelimeyi seçmesinden bir görüntü sınıflandırıcının kediyi köpekten ayırmasına kadar, arka planda çoğunlukla çapraz entropi çalışır. Bu rehber çapraz entropi nedir, entropi ve softmax ile nasıl bağlantılıdır ve neden sınıflandırma kaybının fiili standardı hâline geldiğini ele alıyor.

Tanım

Çapraz Entropi (Cross Entropy)

Bir sınıflandırma modelinin tahmin ettiği olasılık dağılımı ile gerçek etiket arasındaki farkı ölçen bir kayıp fonksiyonu. Bilgi kuramındaki entropi kavramından türer; doğru sınıfa yüksek olasılık verildiğinde küçülür, emin ama yanlış tahminlerde hızla büyür ve modele eğitim sırasında güçlü bir düzeltme sinyali verir.

Ayrıca: Cross entropy, çapraz entropi kaybı, log kaybı, log loss, sınıflandırma kaybı

Bir modelin öğrenmesi için, ne kadar yanıldığını sayısal olarak bilmesi gerekir. Bu görevi kayıp fonksiyonu üstlenir: modelin tahmini ile gerçek arasındaki farkı tek bir sayıya indirger. Eğitim, bu sayıyı — yani kaybı — mümkün olduğunca küçültme sürecidir; model her adımda ağırlıklarını, kaybı azaltacak yönde ayarlar.

Sınıflandırma problemlerinde, yani bir girdinin hangi kategoriye ait olduğunu tahmin eden görevlerde, tercih edilen kayıp fonksiyonu çapraz entropidir. Regresyonda ortalama kare hata kullanılırken, sınıflandırmada çapraz entropi standarttır. Bunun nedeni, sınıflandırma modelinin çıktısının bir olasılık dağılımı olması ve çapraz entropinin tam olarak iki olasılık dağılımını karşılaştırmak için tasarlanmış olmasıdır. Bu temel mantığı makine öğrenmesi nedir ve derin öğrenme nedir rehberlerinde daha geniş bağlamda ele alıyoruz.

Çapraz entropiyi anlamak için önce entropi kavramına bakmak gerekir. Bilgi kuramında entropi, bir olasılık dağılımının içindeki belirsizliğin ölçüsüdür: bir olayın sonucu ne kadar öngörülemezse, entropi o kadar yüksektir. Adil bir madeni paranın entropisi, hileli bir paranınkinden yüksektir çünkü sonucu daha belirsizdir.

Çapraz entropi ise bu fikri iki dağılıma taşır. Elimizde gerçek dağılım (doğru etiket) ve modelin tahmin ettiği dağılım vardır. Çapraz entropi, "modelin tahminini kullanarak gerçek sonucu kodlamanın ortalama maliyeti nedir?" sorusuna yanıt verir. Model gerçeğe ne kadar yaklaşırsa bu maliyet o kadar düşer; tahmin gerçekle tam örtüştüğünde çapraz entropi, gerçek dağılımın entropisine eşitlenir. Aradaki fazlalık — teknik adıyla Kullback-Leibler ıraksaması — tam olarak modelin hatasıdır. Yani çapraz entropi, entropi artı modelin gerçeğe olan uzaklığıdır.

Sınıflandırma modelleri ham skorlar (logit) üretir; bunlar olasılık değildir, herhangi bir sayı olabilir. Bu skorları anlamlı bir olasılık dağılımına çevirmek için softmax fonksiyonu kullanılır. Softmax, tüm skorları üstel alıp normalize ederek toplamı bir olan, her biri sıfır ile bir arasında olasılıklara dönüştürür. Böylece model "yüzde 80 kedi, yüzde 15 köpek, yüzde 5 kuş" gibi bir çıktı verebilir.

Çapraz entropi tam da bu noktada devreye girer: softmax'ın ürettiği olasılık dağılımını, gerçek etiketle karşılaştırır. İkilinin birlikte bu kadar yaygın olmasının nedeni yalnızca uyum değil, matematiksel zarafettir.

İkili sınıflandırmada softmax yerine sigmoid kullanılır ama fikir aynıdır: model bir olasılık üretir, çapraz entropi onu gerçekle karşılaştırır. Bu yapı, yapay sinir ağı temelli modellerin son katmanında neredeyse evrenseldir.

Çapraz entropinin iki temel varyantı vardır ve hangisini kullanacağınız sınıf sayısına bağlıdır. Aşağıdaki tablo bu iki varyantı ve tipik kullanımlarını karşılaştırır.

İkili ve kategorik çapraz entropi karşılaştırması

Özellik	İkili çapraz entropi	Kategorik çapraz entropi
Sınıf sayısı	İki sınıf (evet/hayır)	İkiden fazla sınıf
Çıktı katmanı	Tek sigmoid çıktısı	Softmax dağılımı
Tipik örnek	Spam / spam değil	Kedi / köpek / kuş
Etiket biçimi	0 veya 1	One-hot vektör veya sınıf indeksi
Kullanım alanı	İkili karar, çoklu etiket	Tek etiketli çok sınıflı sınıflandırma

İkili çapraz entropi (binary cross entropy), yalnızca iki olası sonucun olduğu problemlerde kullanılır: bir e-postanın spam olup olmadığı, bir işlemin dolandırıcılık olup olmadığı gibi. Kategorik çapraz entropi ise ikiden fazla sınıf olduğunda devreye girer ve softmax ile birlikte çalışır. Aynı matematiksel iskeletin farklı sınıf sayılarına uyarlanmış hâlleridir; kavramsal olarak tek bir fikri paylaşırlar.

Çapraz entropinin kapsamı, akademik bir ayrıntı olmanın çok ötesindedir; bugün üretimdeki modellerin büyük kısmının eğitim motorudur. Dil modelleri, bir sonraki token'ı (kelime parçasını) tahmin etmeyi devasa bir sınıflandırma problemi olarak ele alır: sözlükteki her token bir sınıftır ve model doğru olana yüksek olasılık vermeye çalışır. Bu eğitim, doğrudan çapraz entropi ile yapılır; kavramın bugünkü yapay zekadaki merkezî rolü buradan gelir.

Türkiye ve sektör bağlamında da örnekler somuttur. Bir bankada dolandırıcılık tespiti, gelen işlemi "dolandırıcılık / normal" olarak sınıflandırır ve model ikili çapraz entropi ile eğitilir. Bir e-ticaret platformunda ürün görselini kategoriye atayan bir sınıflandırıcı, kategorik çapraz entropi kullanır. Bir müşteri hizmetleri sisteminde gelen talebi doğru departmana yönlendiren metin sınıflandırıcı da aynı kayıp fonksiyonuna dayanır. Bu tür kurumsal senaryoları uçtan uca tasarlarken kayıp fonksiyonu seçimi kritik bir karardır; bu tür kararlarda yapay zeka danışmanlığı ile bir yol haritası çıkarmak, modelin gerçek iş metrikleriyle hizalanmasını sağlar.

Yeni başlayanların sık sorduğu bir soru şudur: neden sınıflandırmada ortalama kare hata (MSE) yerine çapraz entropi kullanılır? İkisi de kayıp fonksiyonudur, ama farklı problem türlerine uygundur. Ortalama kare hata, sürekli sayısal değerler tahmin eden regresyon için doğaldır: tahmin ile gerçek arasındaki farkın karesini alır.

Sınıflandırmada ise çapraz entropi belirgin biçimde üstündür. Nedeni, gradyanların davranışıdır: olasılık üreten bir çıktı katmanıyla birleştiğinde, çapraz entropi model çok yanıldığında güçlü, doğruya yaklaştığında yumuşak bir sinyal verir. Ortalama kare hata ise sınıflandırmada, model çok emin ve çok yanlış olduğunda bile zayıf gradyan üretebilir; bu, öğrenmeyi yavaşlatır. Bu yüzden pratikte sınıflandırma kaybı denince akla çapraz entropi gelir.

Çapraz entropi güçlüdür ama körü körüne uygulanacak bir formül değildir. En yaygın sorunlardan biri sınıf dengesizliğidir: veride bir sınıf ezici çoğunluktaysa, model çoğunluğu tahmin ederek düşük çapraz entropi kaybı alabilir ama azınlık sınıfını hiç öğrenmez. Bu durumda düşük kayıp yanıltıcıdır ve sınıf ağırlıklandırma veya farklı metrikler gerekir.

İkinci sorun aşırı güvendir: çapraz entropi, doğru olduğu sürece modeli daha da emin olmaya teşvik eder; bu, kalibrasyonu bozabilir ve model gereksiz yere "yüzde 99,9 eminim" demeye başlayabilir. Üçüncüsü, gürültülü veya yanlış etiketlerdir: çapraz entropi emin-ama-yanlış tahminleri sert cezalandırdığından, hatalı etiketli örnekler eğitimi orantısız biçimde etkileyebilir. Bu sınırları bilmek, çapraz entropiyi bilinçli kullanmanın ön koşuludur.

Çapraz entropi ile entropi arasındaki fark nedir?

Entropi tek bir olasılık dağılımının belirsizliğini ölçer. Çapraz entropi ise iki dağılım arasındaki farkı ölçer: modelin tahmini ile gerçek etiket. Model gerçeğe ne kadar yaklaşırsa çapraz entropi entropiye o kadar yaklaşır; aradaki fazlalık, modelin hatasıdır.

Çapraz entropi neden softmax ile birlikte kullanılır?

Softmax, modelin ham skorlarını toplamı bir olan bir olasılık dağılımına çevirir; çapraz entropi de tam olarak olasılık dağılımları üzerinde tanımlıdır. İkisi birleştiğinde gradyan sadeleşir ve eğitim hem sayısal olarak kararlı hem de hızlı olur. Bu yüzden çok sınıflı sınıflandırmada softmax + çapraz entropi standart ikilidir.

İkili ve kategorik çapraz entropi arasındaki fark nedir?

İkili çapraz entropi (binary cross entropy) iki sınıflı problemlerde, tek bir sigmoid çıktısıyla kullanılır (örneğin spam / spam değil). Kategorik çapraz entropi ise ikiden fazla sınıfta, softmax çıktısıyla kullanılır (örneğin bir görüntünün kedi, köpek veya kuş olması). Matematiksel olarak ikisi aynı fikrin farklı sınıf sayısına uyarlanmış hâlidir.

Çapraz entropi neden yanlış tahminleri sert cezalandırır?

Çapraz entropi, doğru sınıfa verilen olasılığın logaritmasını kullanır. Model doğru sınıfa çok düşük olasılık verirse, logaritma çok büyük negatif bir değere gider ve kayıp fırlar. Bu, modeli 'emin olduğun yerde yanılma' yönünde eğitir; ama aşırı emin yanlış tahminler eğitimde dengesizlik yaratabilir.

Çapraz entropi kaybı düşükse model iyi mi demektir?

Genellikle evet, ama tek başına yeterli değildir. Düşük çapraz entropi kaybı, modelin doğru sınıflara yüksek ve kalibre olasılık verdiğini gösterir. Ancak dengesiz veride model çoğunluk sınıfını ezberleyip düşük kayıp alabilir; bu yüzden doğruluk, kesinlik, duyarlılık gibi metriklerle birlikte değerlendirmek gerekir.

Özetle çapraz entropi nedir sorusunun cevabı şudur: modelin tahmin ettiği olasılık dağılımının gerçek etiketten ne kadar saptığını ölçen, sınıflandırmanın standart kayıp fonksiyonu. Bilgi kuramındaki entropiden türer, softmax ve sigmoid çıktılarıyla uyumludur ve ikili ile kategorik varyantlarıyla neredeyse her sınıflandırma modelinin eğitim motorudur. Emin ama yanlış tahminleri sert cezalandırması, onu hem güçlü hem de dikkatle kullanılması gereken bir sınıflandırma kaybı yapar. Temel için makine öğrenmesi nedir, derin öğrenme nedir ve lojistik regresyon nedir rehberlerine, dil modellerinin nasıl eğitildiğini görmek için LLM nedir ve token nedir yazılarına göz atabilir, kurumsal model geliştirme için yapay zeka danışmanlığı ile başlayabilirsiniz.