# Entropi, Cross-Entropy, KL Divergence ve Mutual Information: Bilgi Teorisinin LLM'deki Hayatı

> Source: https://sukruyusufkaya.com/learn/llm-muhendisligi/entropi-kl-divergence-mutual-information
> Updated: 2026-08-18T15:29:59.189Z
> Category: LLM Mühendisliği
> Module: Modül 1: AI Engineer'ın Matematiksel Cephaneliği
**TLDR:** Shannon entropisi, cross-entropy'nin LLM loss olarak gerçek anlamı, KL divergence'ın asimetrisi ve forward vs reverse KL (mode covering vs mode seeking), RLHF/DPO'da KL constraint'in rolü, JS ve Wasserstein, mutual information, knowledge distillation matematik.