Entropi

Entropi, bilgi teorisinin en temel kavramlarından biridir ve bir sistemdeki belirsizliğin ne kadar yüksek olduğunu ölçer. Olasılıklar ne kadar dengeli ve tahmin edilmesi zor ise entropi o kadar yüksektir. Buna karşılık tek bir sonucun çok baskın olduğu durumlarda entropi düşer. Karar ağaçlarından dil modellerine, sıkıştırmadan belirsizlik ölçümüne kadar çok sayıda alanda kullanılır. Entropi, yalnızca teknik bir hesap değil; “bu sistem hakkında ne kadar bilgi sahibi değiliz?” sorusunun sayısal karşılığıdır.