Kavram SözlüğüMatematik, İstatistik ve Optimizasyon

KL Divergence

Bir olasılık dağılımının başka bir dağılımdan ne kadar saptığını ölçen yönlü ayrışma metriği.

KL Divergence, iki olasılık dağılımı arasındaki farkı ölçmek için kullanılan temel bilgi teorisi araçlarından biridir. Bu ölçü simetrik değildir; yani bir dağılımın diğerinden sapması ile ters yön aynı şeyi söylemez. Varyasyonel yöntemler, dil modelleri, dağılım eşleme ve bilgi kaybı analizi gibi alanlarda çok önemli rol oynar. Özellikle modelin gerçek dağılıma ne kadar yakın olduğunu değerlendirmek için güçlüdür. KL Divergence, olasılıksal modellemenin “ne kadar yanlışsın?” sorusuna verdiği sofistike cevaplardan biridir.