Kavram SözlüğüMatematik, İstatistik ve Optimizasyon

Bilgi Miktarı

Tek bir olayın gerçekleşmesiyle elde edilen bilginin miktarını ölçen bilgi teorisi kavramı.

Bilgi miktarı, belirli bir olay gerçekleştiğinde ne kadar “sürpriz” yaşadığımızı ölçer. Olay ne kadar nadirse, gerçekleştiğinde taşıdığı bilgi miktarı da o kadar yüksek olur. Çok sık beklenen olaylar ise daha az yeni bilgi üretir. Bu kavram, entropinin temel bileşenlerinden biridir ve bilgi teorisinin sezgisel tarafını anlamayı kolaylaştırır. Makine öğrenmesinde olasılık tahmini, sınıflandırma ve kodlama problemlerinde bu mantığın etkisini dolaylı olarak sıkça görürüz.