Kavram SözlüğüMatematik, İstatistik ve Optimizasyon

Bilgi Kazancı

Bir özelliğin, belirsizliği ne kadar azalttığını ölçen ve özellikle karar ağaçlarında kullanılan bilgi teorisi kavramı.

Bilgi kazancı, bir değişkenin hedef değişken hakkındaki belirsizliği ne kadar azalttığını ölçer. Bu nedenle karar ağaçlarında hangi özelliğin bölme için seçileceğini belirlemede çok yaygın kullanılır. Entropi farkı üzerinden hesaplanır ve hangi özelliğin veri yapısını en anlamlı biçimde ayırdığını gösterir. Özellik seçimi ve açıklayıcı analiz açısından da çok değerlidir. Bilgi kazancı, “hangi değişken gerçekten bilgi taşıyor?” sorusunun bilgi teorisi tabanlı cevabıdır.