Benchmark Anatomi: MMLU'dan LMSys Arena'ya — LLM Kalitesini Ölçmenin Bilimi ve Sanatı

Bu Derste Neler Var? (12 Bölüm)#

1. Benchmark felsefesi — niye ölçmek zor
2. MMLU (Hendrycks 2020) — 57 task akademik knowledge
3. HumanEval (Chen 2021) — Python kod
4. MT-Bench (Zheng 2023) — multi-turn chat
5. LMSys Chatbot Arena — community ELO
6. GPQA (Rein 2023) — PhD-level reasoning
7. TR-MMLU + Türkçe benchmark'lar
8. MUKAYESE — Türkçe NLP benchmark
9. Benchmark contamination problemi
10. 'Saturated' benchmark'lar — niye yeni olanlara ihtiyaç var
11. Holistic evaluation — birden fazla benchmark birleştirme
12. Egzersizler

2-4. MMLU, HumanEval, MT-Bench Detay#

2.1 MMLU (Hendrycks 2020)#

• GPT-3 (2020): %43.9
• GPT-3.5 (2022): %70
• GPT-4 (2023): %86.4
• Claude 3.5 Sonnet (2024): %88.7
• o1 (2024): %91+

2.2 MMLU'nun sınırları#

• Çoktan seçmeli format: gerçek dünyada cevaplar çoktan seçmeli değil
• Memorization risk: bilgi-yoğun, modeller training corpus'tan ezberleyebilir
• Ahlaki sorular tartışmalı: 'doğru cevap' bazen kültürel tartışmalı
• Türkçe yok: tamamen İngilizce

3.1 HumanEval (Chen 2021)#

• Codex (2021): %28.8 (pass@1)
• GPT-4 (2023): %67
• Claude 3.5 Sonnet (2024): %92
• o1 (2024): %95+

4.1 MT-Bench (Zheng 2023)#

• GPT-3.5: 7.94
• GPT-4: 8.99
• Claude 3 Opus: 9.0+

4.2 MT-Bench limitleri#

• GPT-4 hakem bias'ı: GPT-4'ün kendi yanıtlarını yüksek puanlar (kanıtlanmış)
• Sadece 80 soru: dar coverage
• Türkçe sınırlı: çoğu MT-Bench testleri İngilizce, MT-Bench-TR (Türkçe çeviri) küçük ölçek

5-8. LMSys Arena + GPQA + Türkçe + Contamination#

5.1 LMSys Chatbot Arena#

• Gerçek kullanıcı tercihi ölçüyor (otomatik metric değil)
• Çeşitli kullanım kapsıyor (her tipte soru)
• Anonimite + çok oy → bias minimize

5.2 Arena leaderboard (Mart 2025)#

• GPT-4o: 1287
• Claude 3.5 Sonnet: 1283
• Gemini 1.5 Pro: 1268
• DeepSeek-V3: 1265
• Llama-3.1-405B: 1252
• GPT-4 turbo: 1245

5.3 Arena limitleri#

• English-skewed: oy verenlerin çoğu İngilizce
• Style bias: 'iyi format' çok önemli (gerçek faktualite kadar)
• Cherry-picked queries: kullanıcı kendi sorularını sorar — uniform distribution değil

6.1 GPQA (Rein 2023)#

• Insan PhD (alanlarında): %65 (zaman kısıtsız)
• Insan PhD (alan dışı + Google): %34
• GPT-4 (2023): %35
• Claude 3 Opus: %50
• o1 (2024): %78 (PhD seviyesini geçti!)

7.1 Türkçe Benchmarks — TR-MMLU#

• Llama-3-8B (multilingual): %47
• Llama-3-70B: %63
• GPT-4o: %75
• Türkçe-fine-tuned Llama (Modül 15.6 capstone): %52 (+%5 base)

7.2 MUKAYESE (Türkçe NLP Suite)#

2022. Boğaziçi'nden Mukayese projesi (Safaya, Şahin, vs.). Türkçe NLP benchmark suite:

• NER: named entity recognition (Türkçe haber metni)
• Sentiment: Türkçe ürün yorumu sınıflama
• NLI: doğal dil çıkarımı (Türkçe XNLI)
• Summarization: Türkçe haber özetleme

7.3 Türkçe specific gözlemler#

• TR-MMLU'da en güçlü domain: Türk tarihi (modeller corpus'tan iyi öğrenmiş)
• En zayıf: Türk hukuku (özel terminology, sürekli değişen mevzuat)
• LLama-3 multilingual training Türkçe için makul, ama GPT-4o net üstün
• DeepSeek-V3 Türkçe quality 2024 sonu itibarıyla GPT-4o ile başa baş

8.1 Benchmark Contamination — Ciddi Problem#

• Roberts et al. 2023 paper'ı: 'Data Contamination Through the Lens of Time'
• GPT-4 MMLU sorularını kelime kelime hatırlıyor — bazıları memorized

1. Live benchmark'lar: LiveCodeBench (2024) — sürekli yeni problem ekleniyor, modellerden saklanıyor
2. Closed evaluation: skor public, sorular kapalı (HuggingFace OpenLLM Leaderboard 2.0 yaklaşımı)
3. Adversarial test: model'in 'kolaylıkla cevap verdiği' sorular flag
4. Held-out test sets: production-internal test setleri

8.2 Pratik öneri#

• MMLU + HumanEval (akademik) — minimum filtre
• LMSys Arena (gerçek kullanıcı tercih) — production yakın gerçek
• Use-case spesifik test (kendi domain'in için)
• Sürekli güncellenen Live benchmark'lar (LiveCodeBench)

Sonraki Ders: Production Evaluation Framework#