Minimum Description Length (MDL)

MDL ilkesi, model seçimine bilgi teorisi açısından yaklaşır. Temel fikir şudur: iyi bir model, veriyi ne aşırı karmaşık ne de aşırı kaba biçimde açıklamalıdır; mümkün olan en kısa ama yeterli açıklamayı sunmalıdır. Bu yaklaşım, model karmaşıklığı ile veri uyumu arasındaki dengeyi farklı bir çerçevede düşünmemizi sağlar. Aşırı uyum sorununu anlamak, bilgi sıkıştırma ile modelleme arasındaki ilişkiyi görmek ve açıklama ekonomisini değerlendirmek açısından son derece öğreticidir. MDL, “iyi model = iyi açıklama” fikrinin matematiksel versiyonudur.