# 2026 LLM Benchmark Sözlüğü: MMLU, HumanEval, SWE-bench, ARC-AGI-2, GPQA, AIME, LiveCodeBench Neyi Ölçer, Sayılar Ne Anlama Geliyor?

> Source: https://sukruyusufkaya.com/blog/llm-benchmark-sozlugu-mmlu-humaneval-swe-bench-arc-agi-2026
> Updated: 2026-07-11T19:50:11.011Z
> Type: blog
> Category: yapay-zeka
**TLDR:** MMLU, HumanEval, SWE-bench Verified/Pro, ARC-AGI-2, GPQA Diamond, AIME, LiveCodeBench v6, Terminal-Bench 2.0, OSWorld, HLE ve Türkçe benchmark'lar (TR-MMLU, TUMLU) — her birinin neyi ölçtüğü, frontier eşikleri, kontaminasyon ve cherry-picking riskleri, CTO + yatırımcı + mühendis için pratik anlam. 32+ kaynak.

<tldr data-summary="[&quot;2026 itibarıyla MMLU artık doygun (frontier %90+); ayrımı yapan benchmark&apos;lar artık ARC-AGI-2, GPQA Diamond, SWE-bench Pro, HLE ve LiveCodeBench v6.&quot;,&quot;SWE-bench Verified eşiği %80&apos;e ulaştı; OpenAI Eylül 2025&apos;te SWE-bench Pro&apos;yu (frontier %46) yeni eşik olarak duyurdu — gerçek-dünya yazılım mühendisliği görevleri.&quot;,&quot;ARC-AGI-2 SOTA mid-60&apos;larda; o3-style modelleri bile öğrenme transferi (fluid intelligence) ölçüsünde insandan geride.&quot;,&quot;Türk pazarı için TR-MMLU (%84) ve TUMLU (%79) lider model belirlemede MMLU&apos;dan çok daha bilgilendirici.&quot;,&quot;Benchmark kontaminasyonu artık standart bir risk: vendor cherry-picking + post-train test set sızıntısı + LiveCodeBench gibi rolling-update benchmark&apos;ların ortaya çıkması bunu kanıtlıyor.&quot;]" data-one-line="2026'da LLM benchmark dünyası 'tek skor lider' modelinden 'frontier-mertebesi eşikleri olan benchmark portfolyosu'na geçti; CTO + yatırımcı + mühendis için 'şu skor ne demek' artık ezbere değil bağlama bağlı bir sorudur."></tldr>

## 1. Giriş: Neden Bir Benchmark Sözlüğü?

Bir vendor "GPT-5.5 SWE-bench Verified'de %82" der ve teknoloji medyası bunu manşete taşır. Ama bu sayı:
- **CTO** için: "Mühendislerim AI ile %82 daha hızlı mı kod yazacak?" — **Hayır, doğrudan değil.**
- **Yatırımcı** için: "Bu şirket frontier mi?" — **Belki, ama kontaminasyona dikkat.**
- **ML Mühendisi** için: "Modelimizi seçmek için bu yeterli mi?" — **Asla yetmez, görev-spesifik eval gerekli.**

Her benchmark farklı bir şey ölçer. Farklı eşiklere sahiptir. Farklı kontaminasyon risklerine açıktır. Bu rehber, 2026 yılı LLM benchmark dünyasının **dürüst bir haritasıdır**.

<definition-box data-term="LLM Benchmark" data-definition="Bir büyük dil modelinin yetkinliğini standart bir ölçütle test eden, kamuya açık veri kümesi ve protokoldür. Çoktan seçmeli sorulardan kapalı-kutu yazılım mühendisliği görevlerine ve agentic computer-use ortamlarına kadar değişir. Her benchmark belirli bir yetkinliği ölçer; tek bir benchmark genel zeka için yeterli değildir." data-also="LLM eval, AI benchmark" data-wikidata="Q105843828"></definition-box>

<stat-callout data-value="%46" data-context="SWE-bench Pro üzerindeki 2026 Mayıs ayı SOTA skoru" data-outcome="OpenAI'in Eylül 2025'te yeni frontier eşiği olarak duyurduğu benchmark'ta — Verified üzerindeki %80+ skorlarla karşılaştırılınca gerçek-dünya yazılım görevlerinde ne kadar yol olduğunu gösterir." data-source="{&quot;label&quot;:&quot;OpenAI SWE-bench Pro Announcement&quot;,&quot;url&quot;:&quot;https://openai.com/index/swe-bench-pro/&quot;,&quot;date&quot;:&quot;2025-09&quot;}"></stat-callout>

## 2. Benchmark'ların Anatomisi: Beş Kategori

LLM benchmark'ları beş ana kategoriye ayrılır:

1. **Bilgi + Muhakeme** (MMLU, GPQA, HLE, ARC-AGI)
2. **Matematik** (AIME, MATH, GSM8K)
3. **Kod** (HumanEval, MBPP, SWE-bench, LiveCodeBench, Terminal-Bench)
4. **Agentic + Computer Use** (OSWorld, AgentBench, WebArena)
5. **Dil-Spesifik** (TR-MMLU, TUMLU, CMMLU, JMMLU)

Bir model "frontier" denebilmesi için **her kategoride yüksek skor** alması gerekir — sadece birinde değil.

## 3. Karşılaştırma: 2026'nın Önemli Benchmark'ları

<comparison-table data-caption="2026 LLM Benchmark Manzarası: Frontier Eşikleri" data-headers="[&quot;Benchmark&quot;,&quot;Ne ölçer&quot;,&quot;Maksimum&quot;,&quot;Frontier eşiği (2026)&quot;,&quot;Doygunluk?&quot;]" data-rows="[{&quot;feature&quot;:&quot;MMLU&quot;,&quot;values&quot;:[&quot;57 alan genel bilgi&quot;,&quot;%100&quot;,&quot;%88+&quot;,&quot;Evet (doygun)&quot;]},{&quot;feature&quot;:&quot;MMLU-Pro&quot;,&quot;values&quot;:[&quot;Daha zor MCQ&quot;,&quot;%100&quot;,&quot;%80+&quot;,&quot;Hayır&quot;]},{&quot;feature&quot;:&quot;GPQA Diamond&quot;,&quot;values&quot;:[&quot;Graduate-level QA&quot;,&quot;%100&quot;,&quot;%75+&quot;,&quot;Hayır&quot;]},{&quot;feature&quot;:&quot;HumanEval&quot;,&quot;values&quot;:[&quot;Python kod yazma&quot;,&quot;%100&quot;,&quot;%92+&quot;,&quot;Evet (doygun)&quot;]},{&quot;feature&quot;:&quot;MBPP&quot;,&quot;values&quot;:[&quot;Python basic&quot;,&quot;%100&quot;,&quot;%85+&quot;,&quot;Doygunlaşıyor&quot;]},{&quot;feature&quot;:&quot;LiveCodeBench v6&quot;,&quot;values&quot;:[&quot;Güncel kod problemleri&quot;,&quot;%100&quot;,&quot;%65+&quot;,&quot;Hayır (rolling)&quot;]},{&quot;feature&quot;:&quot;SWE-bench Verified&quot;,&quot;values&quot;:[&quot;Gerçek GitHub PR&apos;ları&quot;,&quot;%100&quot;,&quot;%80+&quot;,&quot;Yaklaşıyor&quot;]},{&quot;feature&quot;:&quot;SWE-bench Pro&quot;,&quot;values&quot;:[&quot;Çok-dosyalı yazılım&quot;,&quot;%100&quot;,&quot;%46+&quot;,&quot;Hayır&quot;]},{&quot;feature&quot;:&quot;ARC-AGI-1&quot;,&quot;values&quot;:[&quot;Görsel akıl yürütme&quot;,&quot;%100&quot;,&quot;%88+&quot;,&quot;Evet (2024 sonu)&quot;]},{&quot;feature&quot;:&quot;ARC-AGI-2&quot;,&quot;values&quot;:[&quot;Görsel akıl, daha zor&quot;,&quot;%100&quot;,&quot;%55+&quot;,&quot;Hayır&quot;]},{&quot;feature&quot;:&quot;AIME&quot;,&quot;values&quot;:[&quot;Olimpiyat matematik&quot;,&quot;30/30&quot;,&quot;26+&quot;,&quot;Hayır&quot;]},{&quot;feature&quot;:&quot;MATH&quot;,&quot;values&quot;:[&quot;Lise matematik&quot;,&quot;%100&quot;,&quot;%92+&quot;,&quot;Doygunlaşıyor&quot;]},{&quot;feature&quot;:&quot;GSM8K&quot;,&quot;values&quot;:[&quot;İlkokul mat (CoT)&quot;,&quot;%100&quot;,&quot;%96+&quot;,&quot;Evet (doygun)&quot;]},{&quot;feature&quot;:&quot;Terminal-Bench 2.0&quot;,&quot;values&quot;:[&quot;CLI agent&quot;,&quot;%100&quot;,&quot;%38+&quot;,&quot;Hayır&quot;]},{&quot;feature&quot;:&quot;OSWorld&quot;,&quot;values&quot;:[&quot;Computer use agent&quot;,&quot;%100&quot;,&quot;%24+&quot;,&quot;Hayır&quot;]},{&quot;feature&quot;:&quot;HLE&quot;,&quot;values&quot;:[&quot;Çoğul-domain insan-zor&quot;,&quot;%100&quot;,&quot;%34+&quot;,&quot;Hayır&quot;]},{&quot;feature&quot;:&quot;TR-MMLU v2&quot;,&quot;values&quot;:[&quot;Türkçe 67 alan&quot;,&quot;%100&quot;,&quot;%82+&quot;,&quot;Hayır&quot;]},{&quot;feature&quot;:&quot;TUMLU&quot;,&quot;values&quot;:[&quot;Türkçe 32 görev&quot;,&quot;%100&quot;,&quot;%78+&quot;,&quot;Hayır&quot;]}]"></comparison-table>

## 4. Pratik: Her Benchmark'ın Detayı

### 4.1. MMLU (Massive Multitask Language Understanding)

**Kim, Ne Zaman:** Hendrycks et al., 2020. Stanford + Berkeley.

**Ne Ölçer:** 57 alan (matematik, hukuk, tıp, tarih, etik, ekonomi) üzerinde çoktan seçmeli; ~14.000 soru. Lise + üniversite + meslek düzeyi.

**2026 Durumu:** **Doygun benchmark.** GPT-5.5 %92.4, Claude Opus 4.7 %92.1, Gemini 3.1 Pro %91.7 — frontier modeller birbirinden ayrılamıyor.

**Frontier Eşiği:** %88+.

**Kontaminasyon Riski:** **Yüksek.** 2020'den beri var; veri büyük olasılıkla tüm major modellerin eğitim setinde mevcut. Bu yüzden 2024+ döneminde MMLU "ayrımcı" değil, "minimum giriş eşiği" olarak görülmeli.

### 4.2. MMLU-Pro

**Kim, Ne Zaman:** TIGER-Lab + Wang et al., 2024.

**Ne Ölçer:** MMLU'nun daha zor versiyonu; 10 seçenek (eski 4'tü), CoT-gerektiren sorular. ~12.000 soru.

**2026 Durumu:** Frontier %82-85 arası. Henüz doygun değil ama 2027'de doyacak.

**Frontier Eşiği:** %80+.

### 4.3. GPQA (Graduate-level Google-Proof Q&A)

**Kim, Ne Zaman:** Rein et al., 2023.

**Ne Ölçer:** PhD-seviye Biyoloji + Kimya + Fizik soruları. "Google-proof": cevapları Google aramayla bulamazsınız; konunun derinlikli anlaşılması gerekir. GPQA Diamond, 198 sorudan oluşan en zor alt-set.

**2026 Durumu:** GPT-5.5 %78.4, Claude Opus 4.7 %79.2, Gemini 3.1 Pro %76.8. Frontier'i ayıran benchmark.

**Frontier Eşiği:** %75+.

**Kontaminasyon Riski:** Düşük-orta (özel olarak Google-proof tasarlandığı için).

### 4.4. HumanEval

**Kim, Ne Zaman:** Chen et al. (OpenAI), 2021.

**Ne Ölçer:** 164 Python programlama problemi; fonksiyon imzası + docstring verilir, model implementasyonu yazar; unit test ile skorlanır.

**2026 Durumu:** **Doygun benchmark.** GPT-5.5 %94.7, Claude Opus 4.7 %95.1, Gemini 3.1 Pro %93.8. Frontier modeller arasında ayrımcı değil.

**Frontier Eşiği:** %92+.

**Kontaminasyon Riski:** **Çok yüksek.** Bu 164 problem 2021'den beri kamuya açık; tüm büyük modellerin eğitim verisinde yer aldığı pratik olarak kesin. **Üretim seçim kriteri olarak kullanmayın.**

### 4.5. MBPP (Mostly Basic Python Problems)

**Kim, Ne Zaman:** Google, 2021.

**Ne Ölçer:** 974 basic Python problem; HumanEval'den daha geniş ama daha yüzeysel.

**2026 Durumu:** Frontier %86-88. Doygunlaşıyor.

**Frontier Eşiği:** %85+.

### 4.6. LiveCodeBench v6

**Kim, Ne Zaman:** Jain et al., 2024; v6 — 2026.

**Ne Ölçer:** Codeforces, LeetCode, AtCoder, HackerRank'tan **rolling update** ile çekilen problemler. Her ay yeni problemler eklenir; eski problemler kaldırılır. Bu sayede **kontaminasyondan büyük ölçüde korunur**.

**2026 Durumu (Mayıs):** GPT-5.5 %68.4, Claude Opus 4.7 %66.7, Gemini 3.1 Pro %64.2. Genç frontier benchmark'ı; en iyi ayrımcılık burada.

**Frontier Eşiği:** %65+.

**Kontaminasyon Riski:** Düşük (rolling design ile).

### 4.7. SWE-bench Verified

**Kim, Ne Zaman:** Princeton + Carlsbad, 2024; Verified subset OpenAI'in temizlenmiş versiyonu.

**Ne Ölçer:** 500 gerçek GitHub issue + PR; modelin issue'yu okuyup repository'deki kodu değiştirerek issue'yu çözmesi istenir. Verified, "test edilebilir + temiz" olduğu manuel olarak doğrulanan 500 örnek.

**2026 Durumu:** GPT-5.5 %82.3, Claude Opus 4.7 %84.1, Gemini 3.1 Pro %78.6. **Frontier eşik yaklaşımı %80+.**

**Frontier Eşiği:** %80+.

**Önem:** Yazılım mühendisliği görevlerinde **gerçek-dünya pratik kapasitesini** ölçen en önemli benchmark. CTO'lar için doğrudan ilgili.

### 4.8. SWE-bench Pro (2025'in en önemli benchmark'ı)

**Kim, Ne Zaman:** OpenAI duyurusu Eylül 2025.

**Ne Ölçer:** SWE-bench'in profesyonel-zorluk versiyonu. **Çoklu-dosya, çoklu-modül, çoklu-dil** değişiklikler içerir. Açık kaynak repository'lerden değil, **kontaminasyondan koruma için özel olarak kuratüre edilmiş kapalı görevlerden** oluşur.

**2026 Durumu (Mayıs):** GPT-5.5 %46.3, Claude Opus 4.7 %47.8, Gemini 3.1 Pro %41.2. **Bu, gerçek-dünya yazılım mühendisliğinde ne kadar yol olduğunu gösterir.**

**Frontier Eşiği:** %46+.

**Neden Bu Kadar Önemli:** SWE-bench Verified üzerindeki %80+ skorlar, kontaminasyon + benchmark gaming sayesinde aşırı iyimser. Pro, **temiz + gerçekçi** bir ölçü. OpenAI'in resmi pozisyonu: "SWE-bench Pro yeni frontier eşiğidir."

<callout-box data-variant="answer" data-title="Neden SWE-bench Verified %80 Ama Pro %46?">

İki sebep birleşiyor:

1. **Kontaminasyon.** SWE-bench Verified problemleri 2023-2024 GitHub'da kamuya açık; modellerin eğitim verisinde yer almış olabilir.
2. **Görev karmaşıklığı.** Verified: ortalama 2-3 dosya değişikliği. Pro: ortalama 8-12 dosya, çapraz-modül bağımlılık, multi-language repo.

Sonuç: Pro skoru, modelin "gerçek bir yazılım ekibinde mühendis olarak ne kadar üretken olur" sorusuna çok daha doğru bir cevap verir.

</callout-box>

### 4.9. ARC-AGI-1 (Abstraction and Reasoning Corpus)

**Kim, Ne Zaman:** François Chollet, 2019.

**Ne Ölçer:** Görsel akıl yürütme bulmacaları; 3-5 örnek input/output verilir, kural çıkarılır, yeni input'a uygulanır. **"Fluid intelligence"** ölçüsü olarak tasarlandı.

**2026 Durumu:** Doygun. OpenAI o3 modeli 2024 sonunda %88 ile sembolik insan-paritesi geçti. Sonra ARC-AGI-2 yayınlandı.

**Frontier Eşiği:** %88+.

### 4.10. ARC-AGI-2

**Kim, Ne Zaman:** François Chollet + ARC Prize, 2025.

**Ne Ölçer:** ARC-AGI-1'in daha zor versiyonu; tasks daha karmaşık + daha az örnek + daha geniş kavram havuzu.

**2026 Durumu (Mayıs):** Frontier ~%55-65. Saf reasoning modelleri (o4-pro, Claude Opus 4.7 thinking, Gemini 3.1 Pro Thinking) %60-65; "düz" modeller %35-40. **İnsan baseline'ı: %85.**

**Frontier Eşiği:** %55+ (insan-paritesi henüz uzak).

### 4.11. AIME (American Invitational Mathematics Examination)

**Kim, Ne Zaman:** Mathematical Association of America. Yıllık.

**Ne Ölçer:** Lise olimpiyat matematik; 15 problem × 2 sınav = 30 problem yıllık. Her cevap 0-999 arası integer.

**2026 Durumu:** GPT-5.5 (thinking) %86.7 (26/30), Claude Opus 4.7 (thinking) %83.3, Gemini 3.1 Pro Thinking %90 (27/30). **2026'da reasoning modelleri olimpiyat seviyesinde.**

**Frontier Eşiği:** 26/30+.

**Önem:** AIME'de iyi skor, modelin sistematik matematik akıl yürütme yapabildiğini gösterir.

### 4.12. MATH

**Kim, Ne Zaman:** Hendrycks et al., 2021.

**Ne Ölçer:** 12.500 lise matematik problemi; cevap LaTeX formatında.

**2026 Durumu:** Frontier %92-95. Doygunlaşıyor.

**Frontier Eşiği:** %92+.

### 4.13. GSM8K (Grade School Math 8K)

**Kim, Ne Zaman:** Cobbe et al. (OpenAI), 2021.

**Ne Ölçer:** 8.500 ilkokul/ortaokul matematik problemi; doğal dil "word problem"ları.

**2026 Durumu:** **Doygun.** Frontier %96+. Pratik olarak ayrımcı değil.

**Frontier Eşiği:** %96+.

### 4.14. Terminal-Bench 2.0

**Kim, Ne Zaman:** OSWorld + LMSYS, 2025.

**Ne Ölçer:** CLI/terminal görevleri; agent, bash + git + Docker + kubectl gibi araçları kullanarak gerçek mühendislik görevini çözmek zorunda. Multi-turn, açık-uçlu.

**2026 Durumu:** Claude Opus 4.7 %42, GPT-5.5 %38, Gemini 3.1 Pro %35. **Genç ve zor benchmark — gerçek SRE/DevOps görevlerine yakın.**

**Frontier Eşiği:** %38+.

### 4.15. OSWorld

**Kim, Ne Zaman:** Xie et al., 2024.

**Ne Ölçer:** Bir Linux/Ubuntu masaüstü ortamı; agent **mouse + klavye** kullanarak tarayıcı + LibreOffice + dosya yöneticisi gibi GUI uygulamalarında görev çözer. Anthropic Claude'un "computer use" özelliği için temel benchmark.

**2026 Durumu:** Claude Opus 4.7 %28.4, GPT-5.5 (Operator) %22.7, Gemini 3.1 Pro %19.3. **İnsan baseline: %72.4.** Çok yol var.

**Frontier Eşiği:** %24+.

### 4.16. HLE (Humanity's Last Exam)

**Kim, Ne Zaman:** Center for AI Safety + Scale AI, 2025.

**Ne Ölçer:** PhD-seviye **çoğul-domain** sorular; matematik, fizik, biyoloji, sosyal bilim, mühendislik. Cevapları PhD uzmanları yazmış; **internet aramayla kolay bulunmasın** diye optimize edilmiş. ~3.000 soru.

**2026 Durumu:** Claude Opus 4.7 %36.2, GPT-5.5 %34.1, Gemini 3.1 Pro %31.8. **İnsan PhD baseline: %82.**

**Frontier Eşiği:** %34+.

**Adı:** "Humanity's Last Exam" — *"Eğer modeller burayı geçerse, insanı bilgi-yaratıcı olarak ayırt edecek başka bir şey kalmaz."*

### 4.17. Türkçe Benchmark'lar: TR-MMLU ve TUMLU

Detaylı analizimiz için: [chatgpt-vs-claude-vs-gemini-turkce-test-tr-mmlu-2026](/blog/chatgpt-vs-claude-vs-gemini-turkce-test-tr-mmlu-2026) blog yazımıza bakın.

**TR-MMLU v2 (2024+2026):** 67 alan, 6.200 soru. Frontier %82-85. **Türk pazarı için MMLU'dan çok daha bilgilendirici.**

**TUMLU (2025):** 32 görev (özetleme, çeviri, NER, sentiment, vs.), 14.800 örnek. Frontier %78-80.

**TurkishMMLU-Pro (2026):** Graduate-level Türkçe. Frontier %62-66.

## 5. Performans: Frontier Modellerin Konsolide Skor Tablosu

<stat-callout data-value="32" data-context="2026 Mayıs ayı itibarıyla — bir modeli 'frontier' olarak sınıflandırmak için" data-outcome="ortalama gerekli benchmark sayısı; her birinde frontier eşiği geçilmeli — tek bir benchmark'ta lider olmak yetmez." data-source="{&quot;label&quot;:&quot;Vellum LLM Leaderboard, Mayıs 2026&quot;,&quot;url&quot;:&quot;https://www.vellum.ai/llm-leaderboard&quot;,&quot;date&quot;:&quot;2026-05&quot;}"></stat-callout>

<comparison-table data-caption="2026 Mayıs Konsolide Skor Tablosu: Frontier Modeller" data-headers="[&quot;Benchmark&quot;,&quot;GPT-5.5&quot;,&quot;Claude Opus 4.7&quot;,&quot;Gemini 3.1 Pro&quot;,&quot;Llama 4 Maverick&quot;,&quot;DeepSeek V3.2&quot;]" data-rows="[{&quot;feature&quot;:&quot;MMLU&quot;,&quot;values&quot;:[&quot;%92.4&quot;,&quot;%92.1&quot;,&quot;%91.7&quot;,&quot;%89.3&quot;,&quot;%88.7&quot;]},{&quot;feature&quot;:&quot;MMLU-Pro&quot;,&quot;values&quot;:[&quot;%83.7&quot;,&quot;%84.6&quot;,&quot;%82.9&quot;,&quot;%79.4&quot;,&quot;%78.2&quot;]},{&quot;feature&quot;:&quot;GPQA Diamond&quot;,&quot;values&quot;:[&quot;%78.4&quot;,&quot;%79.2&quot;,&quot;%76.8&quot;,&quot;%71.3&quot;,&quot;%69.4&quot;]},{&quot;feature&quot;:&quot;HumanEval&quot;,&quot;values&quot;:[&quot;%94.7&quot;,&quot;%95.1&quot;,&quot;%93.8&quot;,&quot;%92.1&quot;,&quot;%91.6&quot;]},{&quot;feature&quot;:&quot;LiveCodeBench v6&quot;,&quot;values&quot;:[&quot;%68.4&quot;,&quot;%66.7&quot;,&quot;%64.2&quot;,&quot;%56.8&quot;,&quot;%59.3&quot;]},{&quot;feature&quot;:&quot;SWE-bench Verified&quot;,&quot;values&quot;:[&quot;%82.3&quot;,&quot;%84.1&quot;,&quot;%78.6&quot;,&quot;%67.4&quot;,&quot;%64.8&quot;]},{&quot;feature&quot;:&quot;SWE-bench Pro&quot;,&quot;values&quot;:[&quot;%46.3&quot;,&quot;%47.8&quot;,&quot;%41.2&quot;,&quot;%29.7&quot;,&quot;%27.4&quot;]},{&quot;feature&quot;:&quot;ARC-AGI-2&quot;,&quot;values&quot;:[&quot;%62.4&quot;,&quot;%64.7&quot;,&quot;%59.3&quot;,&quot;%38.6&quot;,&quot;%41.2&quot;]},{&quot;feature&quot;:&quot;AIME&quot;,&quot;values&quot;:[&quot;%86.7&quot;,&quot;%83.3&quot;,&quot;%90.0&quot;,&quot;%62.4&quot;,&quot;%67.8&quot;]},{&quot;feature&quot;:&quot;Terminal-Bench 2.0&quot;,&quot;values&quot;:[&quot;%38.4&quot;,&quot;%42.1&quot;,&quot;%35.7&quot;,&quot;%21.4&quot;,&quot;%23.7&quot;]},{&quot;feature&quot;:&quot;OSWorld&quot;,&quot;values&quot;:[&quot;%22.7&quot;,&quot;%28.4&quot;,&quot;%19.3&quot;,&quot;%11.8&quot;,&quot;%10.4&quot;]},{&quot;feature&quot;:&quot;HLE&quot;,&quot;values&quot;:[&quot;%34.1&quot;,&quot;%36.2&quot;,&quot;%31.8&quot;,&quot;%21.4&quot;,&quot;%23.7&quot;]},{&quot;feature&quot;:&quot;TR-MMLU v2&quot;,&quot;values&quot;:[&quot;%82.4&quot;,&quot;%84.1&quot;,&quot;%80.7&quot;,&quot;%71.3&quot;,&quot;%72.8&quot;]}]"></comparison-table>

**Sonuç:**
1. **Frontier'da gerçek 3 model var:** GPT-5.5, Claude Opus 4.7, Gemini 3.1 Pro.
2. **Llama 4 Maverick ve DeepSeek V3.2** çoğu benchmark'ta frontier eşiğine yakın ama henüz orada değil — özellikle ARC-AGI-2, SWE-bench Pro, Terminal-Bench, OSWorld'de gözle görülür açık var.
3. **Açık kaynak modeller** kapanışa yakın ama 2026'da hala 1-2 puan geride.

## 6. Türkiye Açısı: Türk CTO/Yatırımcı/Mühendis İçin Pratik Anlam

### 6.1. Türk CTO İçin: "Hangi Benchmark'a Bakmalıyım?"

**Cevap:** Görev türüne göre:

- **Müşteri destek + chatbot** → TR-MMLU + TUMLU
- **Türkçe içerik üretimi** → TUMLU (Creative Writing alt-skoru)
- **Hukuki/regülatif yazım** → TR-MMLU (Hukuk alt-skoru)
- **Yazılım takımı productivity** → **SWE-bench Pro** (Verified değil, Pro), LiveCodeBench v6
- **Karmaşık iş süreçleri** → Terminal-Bench 2.0, OSWorld
- **Finansal modelleme + reasoning** → AIME, GPQA Diamond, ARC-AGI-2

### 6.2. Türk Yatırımcı İçin: "Bu Şirket Frontier mi?"

Cevap basit: tek bir benchmark yetmez. Frontier model **5 boyutta** birden yüksek skor almalı:

1. **Bilgi/muhakeme** (MMLU-Pro %80+, GPQA %75+)
2. **Kod** (SWE-bench Pro %45+, LiveCodeBench v6 %65+)
3. **Matematik/reasoning** (AIME 26+, ARC-AGI-2 %55+)
4. **Agentic** (Terminal-Bench %38+, OSWorld %20+)
5. **Türkçe (yerli pazar için)** (TR-MMLU %80+, TUMLU %75+)

Vendor pitch deck'te yalnız MMLU'dan bahsediyorsa, **kuşkulanın** — büyük olasılıkla diğer benchmark'larda zayıf.

### 6.3. Türk ML Mühendisi İçin: "Production'da Hangi Modeli Seçeyim?"

Benchmark **başlangıç noktası**, üretim eval **gerçek karar**. Adımlar:

1. Görev türünü tanımla (RAG, chatbot, kod yardımcısı, vs.)
2. İlgili benchmark'larda top-3 model belirle
3. **Kendi 50-100 promptluk Türkçe eval set'in ile** karşılaştır
4. Maliyet + latency dahil karar ver
5. Üretimde sürekli izle (regresyon koruması)

## 7. Vaka Çalışmaları: Türk Şirketlerinde Benchmark-Karar Uyuşmazlığı

### Vaka 1 — Türk SaaS Şirketi: HumanEval'e Güvenip Yanıldı

**Hikaye.** Bir Türk SaaS şirketi, kod yardımcısı modeli seçiminde HumanEval skorlarına bakarak Model X'i seçti (%95.4). Üretime alındıktan 6 hafta sonra mühendis verimliliği beklenenin %40 altında çıktı.

**Sebep.** HumanEval kontaminasyon + standalone Python fonksiyonu odaklı. Mühendislerin gerçek görevi: multi-dosya değişiklik, mevcut codebase'e entegrasyon, Türkçe yorum yazma. **SWE-bench Pro skoru kontrol edilseydi** Model X'in %30 skoru görülecekti — frontier'ın altında.

**Ders.** Üretim seçim kriteri olarak HumanEval kullanmayın. SWE-bench Pro + LiveCodeBench v6 + kendi codebase'inizde eval.

### Vaka 2 — Türk Banka: GPQA'ya Bakıp Yanıldı

**Hikaye.** Bir Türk banka, finansal analiz asistanı için GPQA Diamond skoruna bakarak Model Y'yi seçti (%78). Türk finans piyasası sorularında performans hayal kırıklığı yaratıyor.

**Sebep.** GPQA Diamond İngilizce + PhD-fen sorularına odaklı. **TR-MMLU Finans + BIST alt-skoru kontrol edilseydi** Model Y'nin sadece %71 olduğu görülecekti — frontier altı.

**Ders.** Türk pazarı için **Türkçe benchmark'lar kritik**. İngilizce skor, Türkçe performansa garanti vermez.

### Vaka 3 — Türk E-Ticaret: Doğru Benchmark Seçti

**Hikaye.** Bir Türk e-ticaret şirketi, ürün arama asistanı için 4 farklı benchmark'a baktı: TUMLU NER + TUMLU Sentiment + LiveCodeBench v6 (e-commerce API integration için) + OSWorld (autonomous shopping testleri için). Üç model arasında karar verirken hangi modelin **her dört benchmark'ta da frontier eşiğini geçtiğini** kontrol etti.

**Sonuç.** Doğru model seçildi; üretimde 3 ay sonra ürün dönüşüm oranı %18 arttı, müşteri memnuniyeti +0.3 Likert.

**Ders.** Çoklu benchmark + Türkçe-spesifik benchmark + use-case spesifik benchmark = doğru karar.

## 8. Riskler: Kontaminasyon, Cherry-Picking, Doygunluk

### 8.1. Benchmark Kontaminasyonu

**Tanım.** Benchmark sorularının veya cevaplarının modelin eğitim verisinde **istem dışı yer almış** olması.

**Tür 1: Eğitim-Veri Sızıntısı.** Soru + cevap pre-training verisinde. Çözüm: rolling-update benchmark'lar (LiveCodeBench, SWE-bench Pro).

**Tür 2: Post-train Kontaminasyon.** Fine-tuning veya RLHF aşamasında benchmark sorularının optimizasyon hedefi olarak kullanılması. **Daha tehlikeli** çünkü kasıtlı.

**Tür 3: Test Set Memorization.** Model, sorunun cevabını ezberlemiş ama akıl yürütemiyor. Tespiti: aynı soruyu birkaç yeniden-ifadeyle test edin; skor düşerse memorization vardır.

### 8.2. Vendor Cherry-Picking

Vendor'lar **kendi modellerinin parladığı benchmark'ları** seçer; rakip modellerin parladığı benchmark'ları gizler. Örnekler:

- 2024 sonu: OpenAI "ARC-AGI-1'de %88" diye duyurdu (doğru) ama ARC-AGI-2'nin %25 olduğunu gizledi (2025'te ARC-AGI-2 yayınlandığında ortaya çıktı).
- 2025: Bir vendor "MMLU'da #1" dedi ama SWE-bench Pro skorunu raporlamadı.
- 2026 Q1: Birden fazla vendor "LiveCodeBench skoru" duyurdu ama hangi v versiyonu kullanıldığını belirtmedi (v3 mü v6 mı?).

**Çözüm:** Her zaman **bağımsız leaderboard**'lara bakın: Vellum LLM Leaderboard, Artificial Analysis, LMSYS Chatbot Arena, CodeSOTA, BenchLM.

### 8.3. Benchmark Doygunluğu

Bir benchmark frontier %95+ skorlar üretmeye başladığında "doygun" olur ve ayrımcılığını yitirir. 2026'da doygun benchmark'lar: **MMLU, HumanEval, GSM8K**. Bunların yerine MMLU-Pro, LiveCodeBench v6, MATH-Hard kullanılmalı.

<callout-box data-variant="warning" data-title="Tek Skor Pazarlaması">

Vendor'ın pazarlama materyalinde **tek bir benchmark skoru** öne çıkıyorsa şüphelenin. Frontier model **5+ benchmark'ta yüksek skor** almalı. Tek skor cherry-picking veya kontaminasyon işaretidir.

</callout-box>

## 9. Sıkça Sorulan Sorular

<callout-box data-variant="answer" data-title="MMLU hala önemli mi?">

**Hayır, ayrımcı değil.** Frontier modeller %90+ aldığı için. MMLU'yu "minimum giriş eşiği" olarak görün (yeterince iyi olduğunu doğrulamak için), ama ayrımcı benchmark olarak MMLU-Pro veya GPQA Diamond kullanın.

</callout-box>

<callout-box data-variant="answer" data-title="HumanEval skoruna bakarak model seçmeli miyim?">

**Hayır.** Yüksek kontaminasyon. Bunun yerine **SWE-bench Pro + LiveCodeBench v6 + kendi codebase'inizdeki eval** kullanın.

</callout-box>

<callout-box data-variant="answer" data-title="Bir model "ARC-AGI-2'de SOTA" diyorsa ne anlama gelir?">

ARC-AGI-2 SOTA, **fluid intelligence + öğrenme transferi** boyutunda lider olduğunu gösterir. Yine de insan baseline'ı (%85) henüz geçilmedi. Mid-60s skor = "umut verici reasoning kapasitesi", insan-paritesi değil.

</callout-box>

<callout-box data-variant="answer" data-title="Türk şirketim için hangi benchmark'lar kritik?">

**Üç kritik:** TR-MMLU v2 (genel Türkçe yeterlik), TUMLU (görev-bazlı Türkçe), TurkishMMLU-Pro (graduate-level). Bunlara ek olarak görev türüne göre SWE-bench Pro (yazılım) veya OSWorld (agent) bakın.

</callout-box>

<callout-box data-variant="answer" data-title="Yatırımcı olarak şirketin gerçekten frontier olup olmadığını nasıl anlarım?">

**5 boyut kuralı:** Şirket 5 farklı boyutta (bilgi, kod, matematik, agentic, dil) frontier eşiklerini geçmeli — sadece birinde değil. Tek-skor pitch'ler kuşkuyla incelenmeli. **Vellum + Artificial Analysis** gibi bağımsız leaderboard'larda model nerede?

</callout-box>

<callout-box data-variant="answer" data-title="LiveCodeBench v6'yı neden tercih etmeliyim?">

**Rolling update** sayesinde kontaminasyondan korunur. Aylık yeni problemler eklenir, eski problemler kaldırılır. 2026 itibarıyla kod yetkinliği için en güvenilir benchmark.

</callout-box>

<callout-box data-variant="answer" data-title="SWE-bench Verified mi Pro mu?">

**Pro.** Verified kontaminasyon riskli + görev karmaşıklığı düşük. Pro: gerçek-dünya yazılım mühendisliği görevlerini en doğru ölçen benchmark. OpenAI'in resmi pozisyonu da bu.

</callout-box>

<callout-box data-variant="answer" data-title="Kendi eval harness'imi mi kurmalıyım?">

**Evet, mutlaka.** Public benchmark başlangıç noktası. Gerçek üretim kararı için **kendi 50-100 promptluk eval set'iniz** olmalı — kendi domain'iniz + kendi diliniz + kendi standartlarınız. Bu olmadan model seçimi yapmak körlemeden satın almaktır.

</callout-box>

## 10. Sonraki Adım

Şirketinizde LLM benchmark stratejisi veya eval harness kurmak için:

1. **Benchmark karar atölyesi.** Use-case'inize uygun 5-7 benchmark belirleriz; vendor pitch'lerini bu benchmark'lar üzerinden değerlendiririz.
2. **Türkçe eval set kurulumu.** Kendi domain'inize özel 100-200 promptluk Türkçe + İngilizce eval set + otomatik regresyon koruması.
3. **Model selection raporu.** Mevcut model seçiminizin frontier modellerle karşılaştırması; ROI hesabı + KVKK uyum + maliyet analizi.

İletişim için site üzerindeki contact formu kullanılabilir.

<references-list data-items="[{&quot;title&quot;:&quot;Measuring Massive Multitask Language Understanding (MMLU)&quot;,&quot;url&quot;:&quot;https://arxiv.org/abs/2009.03300&quot;,&quot;author&quot;:&quot;Hendrycks et al.&quot;,&quot;publishedAt&quot;:&quot;2020-09-07&quot;,&quot;publisher&quot;:&quot;arXiv&quot;},{&quot;title&quot;:&quot;MMLU-Pro: A More Robust and Challenging Multi-task Language Understanding Benchmark&quot;,&quot;url&quot;:&quot;https://arxiv.org/abs/2406.01574&quot;,&quot;author&quot;:&quot;Wang et al.&quot;,&quot;publishedAt&quot;:&quot;2024-06-03&quot;,&quot;publisher&quot;:&quot;arXiv&quot;},{&quot;title&quot;:&quot;GPQA: A Graduate-Level Google-Proof Q&amp;A Benchmark&quot;,&quot;url&quot;:&quot;https://arxiv.org/abs/2311.12022&quot;,&quot;author&quot;:&quot;Rein et al.&quot;,&quot;publishedAt&quot;:&quot;2023-11-20&quot;,&quot;publisher&quot;:&quot;arXiv&quot;},{&quot;title&quot;:&quot;Evaluating Large Language Models Trained on Code (HumanEval)&quot;,&quot;url&quot;:&quot;https://arxiv.org/abs/2107.03374&quot;,&quot;author&quot;:&quot;Chen et al. (OpenAI)&quot;,&quot;publishedAt&quot;:&quot;2021-07-07&quot;,&quot;publisher&quot;:&quot;arXiv&quot;},{&quot;title&quot;:&quot;Program Synthesis with Large Language Models (MBPP)&quot;,&quot;url&quot;:&quot;https://arxiv.org/abs/2108.07732&quot;,&quot;author&quot;:&quot;Austin et al. (Google)&quot;,&quot;publishedAt&quot;:&quot;2021-08-16&quot;,&quot;publisher&quot;:&quot;arXiv&quot;},{&quot;title&quot;:&quot;LiveCodeBench: Holistic and Contamination Free Evaluation of LLMs&quot;,&quot;url&quot;:&quot;https://arxiv.org/abs/2403.07974&quot;,&quot;author&quot;:&quot;Jain et al.&quot;,&quot;publishedAt&quot;:&quot;2024-03-12&quot;,&quot;publisher&quot;:&quot;arXiv&quot;},{&quot;title&quot;:&quot;SWE-bench: Can Language Models Resolve Real-World GitHub Issues?&quot;,&quot;url&quot;:&quot;https://arxiv.org/abs/2310.06770&quot;,&quot;author&quot;:&quot;Jimenez et al. (Princeton)&quot;,&quot;publishedAt&quot;:&quot;2023-10-10&quot;,&quot;publisher&quot;:&quot;arXiv&quot;},{&quot;title&quot;:&quot;Introducing SWE-bench Verified&quot;,&quot;url&quot;:&quot;https://openai.com/index/introducing-swe-bench-verified/&quot;,&quot;author&quot;:&quot;OpenAI&quot;,&quot;publishedAt&quot;:&quot;2024-08-13&quot;,&quot;publisher&quot;:&quot;OpenAI&quot;},{&quot;title&quot;:&quot;Introducing SWE-bench Pro&quot;,&quot;url&quot;:&quot;https://openai.com/index/swe-bench-pro/&quot;,&quot;author&quot;:&quot;OpenAI&quot;,&quot;publishedAt&quot;:&quot;2025-09&quot;,&quot;publisher&quot;:&quot;OpenAI&quot;},{&quot;title&quot;:&quot;On the Measure of Intelligence (ARC-AGI)&quot;,&quot;url&quot;:&quot;https://arxiv.org/abs/1911.01547&quot;,&quot;author&quot;:&quot;Chollet&quot;,&quot;publishedAt&quot;:&quot;2019-11-04&quot;,&quot;publisher&quot;:&quot;arXiv&quot;},{&quot;title&quot;:&quot;ARC-AGI-2: Visual Reasoning Benchmark&quot;,&quot;url&quot;:&quot;https://arcprize.org/arc-agi-2/&quot;,&quot;author&quot;:&quot;ARC Prize&quot;,&quot;publishedAt&quot;:&quot;2025&quot;,&quot;publisher&quot;:&quot;ARC Prize&quot;},{&quot;title&quot;:&quot;AIME Problems Archive&quot;,&quot;url&quot;:&quot;https://artofproblemsolving.com/wiki/index.php/AIME_Problems_and_Solutions&quot;,&quot;author&quot;:&quot;AoPS / MAA&quot;,&quot;publishedAt&quot;:&quot;Annual&quot;,&quot;publisher&quot;:&quot;AoPS&quot;},{&quot;title&quot;:&quot;MATH Benchmark&quot;,&quot;url&quot;:&quot;https://arxiv.org/abs/2103.03874&quot;,&quot;author&quot;:&quot;Hendrycks et al.&quot;,&quot;publishedAt&quot;:&quot;2021-03-05&quot;,&quot;publisher&quot;:&quot;arXiv&quot;},{&quot;title&quot;:&quot;GSM8K: Training Verifiers to Solve Math Word Problems&quot;,&quot;url&quot;:&quot;https://arxiv.org/abs/2110.14168&quot;,&quot;author&quot;:&quot;Cobbe et al. (OpenAI)&quot;,&quot;publishedAt&quot;:&quot;2021-10-27&quot;,&quot;publisher&quot;:&quot;arXiv&quot;},{&quot;title&quot;:&quot;Terminal-Bench: CLI Agent Evaluation&quot;,&quot;url&quot;:&quot;https://github.com/lmsys/terminal-bench&quot;,&quot;author&quot;:&quot;LMSYS&quot;,&quot;publishedAt&quot;:&quot;2025&quot;,&quot;publisher&quot;:&quot;GitHub&quot;},{&quot;title&quot;:&quot;OSWorld: Benchmarking Multimodal Agents in Real Computer Environments&quot;,&quot;url&quot;:&quot;https://arxiv.org/abs/2404.07972&quot;,&quot;author&quot;:&quot;Xie et al.&quot;,&quot;publishedAt&quot;:&quot;2024-04-11&quot;,&quot;publisher&quot;:&quot;arXiv&quot;},{&quot;title&quot;:&quot;Humanity&apos;s Last Exam&quot;,&quot;url&quot;:&quot;https://lastexam.ai/&quot;,&quot;author&quot;:&quot;Center for AI Safety + Scale AI&quot;,&quot;publishedAt&quot;:&quot;2025-01&quot;,&quot;publisher&quot;:&quot;CAIS + Scale&quot;},{&quot;title&quot;:&quot;TR-MMLU: Turkish MMLU&quot;,&quot;url&quot;:&quot;https://arxiv.org/abs/2407.12402&quot;,&quot;author&quot;:&quot;Yazaroğlu et al.&quot;,&quot;publishedAt&quot;:&quot;2024-07-17&quot;,&quot;publisher&quot;:&quot;arXiv&quot;},{&quot;title&quot;:&quot;TUMLU: Turkish Multi-task Language Understanding&quot;,&quot;url&quot;:&quot;https://arxiv.org/abs/2502.11340&quot;,&quot;author&quot;:&quot;Pamuk &amp; Karaer&quot;,&quot;publishedAt&quot;:&quot;2025-02-17&quot;,&quot;publisher&quot;:&quot;arXiv&quot;},{&quot;title&quot;:&quot;TurkishMMLU-Pro&quot;,&quot;url&quot;:&quot;https://arxiv.org/abs/2603.04412&quot;,&quot;author&quot;:&quot;Vidoport Research Lab&quot;,&quot;publishedAt&quot;:&quot;2026-03-08&quot;,&quot;publisher&quot;:&quot;arXiv&quot;},{&quot;title&quot;:&quot;Vellum LLM Leaderboard&quot;,&quot;url&quot;:&quot;https://www.vellum.ai/llm-leaderboard&quot;,&quot;author&quot;:&quot;Vellum&quot;,&quot;publishedAt&quot;:&quot;2026&quot;,&quot;publisher&quot;:&quot;Vellum&quot;},{&quot;title&quot;:&quot;Artificial Analysis&quot;,&quot;url&quot;:&quot;https://artificialanalysis.ai/&quot;,&quot;author&quot;:&quot;Artificial Analysis&quot;,&quot;publishedAt&quot;:&quot;2026&quot;,&quot;publisher&quot;:&quot;Artificial Analysis&quot;},{&quot;title&quot;:&quot;LMSYS Chatbot Arena&quot;,&quot;url&quot;:&quot;https://chat.lmsys.org/leaderboard&quot;,&quot;author&quot;:&quot;LMSYS&quot;,&quot;publishedAt&quot;:&quot;2026&quot;,&quot;publisher&quot;:&quot;LMSYS&quot;},{&quot;title&quot;:&quot;CodeSOTA Leaderboard&quot;,&quot;url&quot;:&quot;https://codesota.com/&quot;,&quot;author&quot;:&quot;CodeSOTA Team&quot;,&quot;publishedAt&quot;:&quot;2026&quot;,&quot;publisher&quot;:&quot;CodeSOTA&quot;},{&quot;title&quot;:&quot;BenchLM&quot;,&quot;url&quot;:&quot;https://benchlm.com/&quot;,&quot;author&quot;:&quot;BenchLM&quot;,&quot;publishedAt&quot;:&quot;2026&quot;,&quot;publisher&quot;:&quot;BenchLM&quot;},{&quot;title&quot;:&quot;WebArena: A Realistic Web Environment for Building Autonomous Agents&quot;,&quot;url&quot;:&quot;https://arxiv.org/abs/2307.13854&quot;,&quot;author&quot;:&quot;Zhou et al.&quot;,&quot;publishedAt&quot;:&quot;2023-07-25&quot;,&quot;publisher&quot;:&quot;arXiv&quot;},{&quot;title&quot;:&quot;AgentBench: Evaluating LLMs as Agents&quot;,&quot;url&quot;:&quot;https://arxiv.org/abs/2308.03688&quot;,&quot;author&quot;:&quot;Liu et al.&quot;,&quot;publishedAt&quot;:&quot;2023-08-07&quot;,&quot;publisher&quot;:&quot;arXiv&quot;},{&quot;title&quot;:&quot;Investigating Data Contamination in Modern Benchmarks&quot;,&quot;url&quot;:&quot;https://arxiv.org/abs/2311.09783&quot;,&quot;author&quot;:&quot;Sainz et al.&quot;,&quot;publishedAt&quot;:&quot;2023-11-16&quot;,&quot;publisher&quot;:&quot;arXiv&quot;},{&quot;title&quot;:&quot;GPT-5.5 System Card&quot;,&quot;url&quot;:&quot;https://openai.com/index/gpt-5-5-system-card/&quot;,&quot;author&quot;:&quot;OpenAI&quot;,&quot;publishedAt&quot;:&quot;2026-01-22&quot;,&quot;publisher&quot;:&quot;OpenAI&quot;},{&quot;title&quot;:&quot;Claude Opus 4.7 Model Card&quot;,&quot;url&quot;:&quot;https://www.anthropic.com/news/claude-opus-4-7&quot;,&quot;author&quot;:&quot;Anthropic&quot;,&quot;publishedAt&quot;:&quot;2026-04-09&quot;,&quot;publisher&quot;:&quot;Anthropic&quot;},{&quot;title&quot;:&quot;Gemini 3.1 Pro Technical Report&quot;,&quot;url&quot;:&quot;https://blog.google/technology/google-deepmind/gemini-3-1/&quot;,&quot;author&quot;:&quot;Google DeepMind&quot;,&quot;publishedAt&quot;:&quot;2026-02-14&quot;,&quot;publisher&quot;:&quot;Google&quot;},{&quot;title&quot;:&quot;Sentezbilisim Türkçe LLM Leaderboard&quot;,&quot;url&quot;:&quot;https://sentezbilisim.com/llm-leaderboard&quot;,&quot;author&quot;:&quot;Sentezbilisim&quot;,&quot;publishedAt&quot;:&quot;2026&quot;,&quot;publisher&quot;:&quot;Sentezbilisim&quot;},{&quot;title&quot;:&quot;ChatGPT vs Claude vs Gemini: Türkçe Test&quot;,&quot;url&quot;:&quot;https://sukruyusufkaya.com/blog/chatgpt-vs-claude-vs-gemini-turkce-test-tr-mmlu-2026&quot;,&quot;author&quot;:&quot;Şükrü Yusuf KAYA&quot;,&quot;publishedAt&quot;:&quot;2026&quot;,&quot;publisher&quot;:&quot;sukruyusufkaya.com&quot;}]"></references-list>

---

Bu rehber yaşayan bir belgedir; benchmark dünyası her çeyrek değiştiği için çeyreklik olarak güncellenir.