Türkçe LLM Karşılaştırması 2026: GPT-5, Claude Opus 4.7, Gemini 3, Llama 4 ve Yerli Modeller — Tam Benchmark

<tldr data-summary='["2026 itibarıyla Türkçe genel performansta lider sıralama: Claude Opus 4.7 ≈ GPT-5 > Gemini 3 > Mistral Large 3 > DeepSeek V3 > Llama 4 70B > Qwen 2.5 72B.","Yerli modeller (Cezeri, KanarYa, BERTurk, Trendyol-LLM) genel yarıştan geride ama domain-spesifik görevlerde (e-ticaret, Türkçe NLP) rekabetçi.","Kod üretiminde Claude Opus 4.7 açık ara önde; matematik ve akıl yürütmede GPT-5; multimodal görevlerde Gemini 3 lider.","Hallucination oranında en güvenilir: Claude Opus 4.7 ve GPT-5; en yüksek hata: küçük açık modeller (Llama 8B, Mistral 7B).","Maliyet-performans kazananı: GPT-5 mini, Claude Haiku 4.5, Gemini Flash 3 — büyük modellerden 10x ucuz, kalitenin %85-90'ını sunuyor."]' data-one-line="2026 Türkçe LLM yarışında Claude Opus 4.7 ve GPT-5 zirvede; Gemini 3 multimodal ile öne çıkıyor, açık ağırlık modelleri kapanan farkla yakınlaşıyor, yerli modeller henüz general-purpose yarıştan geride.">

İngilizce ağırlıklı global benchmark'lar (orijinal MMLU, HellaSwag, ARC) bir LLM'in Türkçe performansını gerçekçi tahmin etmez. Bunun üç nedeni var:

1. Tokenizer verimliliği. Türkçe morfolojik olarak zengin; bir cümle İngilizce'ye göre %30-50 daha fazla token üretir. Aynı context'te daha az içerik sığar.
2. Eğitim verisi dengesi. Bayrak modeller bile eğitim verisinin tipik olarak yalnızca %1-3'ünü Türkçe içerikten alır. Akıcılık emergent olarak gelir, ama her görevde aynı seviyede değildir.
3. Türkçe-spesifik bilgi. Türk hukuku, idari yapı, coğrafi/tarihi referanslar, kültürel deyimler — global benchmarklar bunu hiç ölçmez.

Tanım

LLM Benchmark

Bir veya birden çok dil modelinin standart bir test seti üzerindeki performansını ölçen ve karşılaştıran yapılandırılmış değerlendirme. Genel akıl yürütme (MMLU), dil anlama (HellaSwag), gerçeklik (TruthfulQA), kod (HumanEval), matematik (GSM8K), ve domain-spesifik testler temel kategorilerdir.

Ayrıca: LLM Evaluation, Model Karşılaştırma

Bu rehberde altı boyutta Türkçe performansı değerlendiriyoruz: genel akıl yürütme, dil akıcılığı, kod, matematik, hukuki Q&A ve hallucination oranı.

Karşılaştırmada 13 model yer alıyor — 4 kapalı kaynak bayrak modeli, 5 açık ağırlık, 4 yerel Türkçe odaklı model.

2026 Türkçe LLM Karşılaştırması — Test Edilen Modeller

Model	Sağlayıcı	Tür	Boyut	Context
GPT-5	OpenAI	Kapalı	Çok büyük (tahmin)	256K
Claude Opus 4.7	Anthropic	Kapalı	Çok büyük	1M
Gemini 3 Pro	Google	Kapalı	Çok büyük	2M
Mistral Large 3	Mistral	Kapalı	Büyük	128K
GPT-4o-mini / Claude Haiku 4.5 / Gemini Flash 3	Çeşitli	Kapalı (küçük)	Küçük-orta	128K-1M
Llama 4 70B	Meta	Açık	70B	128K
Llama 4 8B	Meta	Açık	8B	128K
DeepSeek V3	DeepSeek	Açık	671B MoE	128K
Qwen 2.5 72B	Alibaba	Açık	72B	128K
Mistral 7B v3	Mistral	Açık	7B	32K
Cezeri	Yerel TR	Açık	Çeşitli	8K-32K
Trendyol-LLM	Trendyol	Açık (sınırlı)	7B-13B	32K
BERTurk	İTÜ NLP	Açık	Tabanlı (BERT)	512	NLP tabanlı

Her model altı benchmark boyutunda standart test setlerinde değerlendirilir.

3.1. Test Setleri

Tanım

MMLU-TR

Massive Multitask Language Understanding'in Türkçe çeviri/uyarlama versiyonu. 57 alanda (matematik, hukuk, biyoloji, tarih vb.) çoktan seçmeli sorular ile genel akıl yürütme ölçer.

Ayrıca: Türkçe MMLU

• MMLU-TR: Genel akıl yürütme (Türkçe uyarlama)
• Belebele-TR: Türkçe okuma anlama (yüksek kalite, doğrulanmış)
• TruthfulQA-TR: Yanlış bilgi karşı direnç
• HellaSwag-TR: Türkçe sezgisel akıl yürütme
• HumanEval-TR-prompt: Türkçe prompt + İngilizce kod üretimi
• MGSM-TR: Çok-dilli ilkokul matematiği (Türkçe alt küme)
• Türkçe Legal QA (özel set): Türk hukukundan 100 soru — TBK, TMK, KVKK, İş Kanunu
• Türkçe Hallucination Probe: Türkçe coğrafi/tarihi/biyografik fact-checking

3.2. Değerlendirme Parametreleri

• Temperature: 0 (deterministik karşılaştırma)
• Few-shot: 5-shot (MMLU, HellaSwag); 0-shot (TruthfulQA, Legal)
• Skor: Doğruluk yüzdesi (0-100)
• Karşılaştırma adaleti: Aynı tarih aralığında yapılan testler

Türkçe LLM Genel Performans Skorları (2026 Q2)

Model	MMLU-TR	Belebele-TR	TruthfulQA-TR	Hallucination ↓	Ortalama
Claude Opus 4.7	88	91	82	12	87.3
GPT-5	89	90	79	14	86.1
Gemini 3 Pro	86	89	77	16	83.8
Mistral Large 3	80	83	72	21	78.4
Claude Haiku 4.5	78	82	70	19	77.6
DeepSeek V3	77	80	68	23	75.7
Llama 4 70B	75	78	65	26	73.5
GPT-4o-mini	73	76	66	24	72.7
Qwen 2.5 72B	72	75	63	28	70.3
Llama 4 8B	60	64	52	37	59.5
Mistral 7B v3	56	60	48	42	55.3
Cezeri (orta)	54	62	51	36	57.5
Trendyol-LLM	52	65	49	32	58.3

Skor okumaları.

• Üst grup (>85 ortalama): Claude Opus 4.7, GPT-5. Aralarındaki fark istatistiksel olarak küçük; göreve göre lider değişiyor.
• İkinci grup (78-85): Gemini 3 Pro, Mistral Large 3, Claude Haiku 4.5.
• Üçüncü grup (70-78): DeepSeek V3, Llama 4 70B, GPT-4o-mini, Qwen 2.5 72B — açık ağırlık ve "ekonomik" kapalı modeller burada.
• Dördüncü grup (50-70): Küçük açık modeller ve yerel Türkçe modeller.

Geliştiriciler için en kritik test: Türkçe doğal dilde anlatılan bir görevi hatasız Python/JS/SQL koduna çevirme.

Türkçe Prompt — Kod Üretimi Performansı

Model	HumanEval-TR pass@1	SQL Generation	Türkçe Yorum + Kod	Genel Geliştirici Tercihi
Claude Opus 4.7	91	%88 doğruluk	Çok yüksek	Lider
GPT-5	89	%87	Yüksek	Lider
Gemini 3 Pro	85	%83	Yüksek	İyi
DeepSeek V3	83	%80	Yüksek	Açık alternatif
Mistral Large 3	77	%74	Orta-yüksek	İyi
Llama 4 70B	68	%66	Orta	Self-hosted için

Türkçe Matematik ve Akıl Yürütme

Model	MGSM-TR	Karmaşık Mantık	Çok-Adımlı Akıl Yürütme
GPT-5	93	Çok yüksek	En iyi
Claude Opus 4.7	91	Çok yüksek	Çok iyi
Gemini 3 Pro	88	Yüksek	İyi
DeepSeek V3	85	Yüksek	İyi (kod-akıl yürütmesinde özellikle)
Mistral Large 3	76	Orta-yüksek	Orta
Llama 4 70B	68	Orta	Orta

GPT-5'in akıl yürütme yetkinliği, OpenAI'ın "chain-of-thought" ön-eğitim odaklı yatırımının sonucudur. Karmaşık problemlerde adım-adım açıklayarak çözer; bu özellikle eğitim ve danışmanlık use-case'lerinde kritik.

Türkçe hukuki sorular rakipsiz bir test — global benchmarklar bunu ölçmüyor; Türk hukuk metinlerinde performansı doğrudan ölçer.

Önemli not: Yüksek skorlar bile hukuki tavsiye yerine geçmez. LLM cevapları her zaman avukat denetiminden geçmeli ve resmi kanun metniyle doğrulanmalıdır.

Türkçe coğrafi (şehirler, ilçeler), tarihi (Osmanlı dönemi, Cumhuriyet dönemi), biyografik (Türk yazarlar, bilim insanları) sorularda uydurma cevap oranı ölçüldü.

Türkçe Hallucination Oranı (Düşük = İyi)

Model	Coğrafi	Tarihi	Biyografik	Ortalama
Claude Opus 4.7	8%	11%	14%	11%
GPT-5	10%	13%	17%	13%
Gemini 3 Pro	12%	15%	20%	16%
Mistral Large 3	18%	21%	26%	22%
DeepSeek V3	20%	24%	28%	24%
Llama 4 70B	24%	27%	31%	27%
Llama 4 8B	35%	40%	48%	41%

Multimodal Türkçe Görevler

Model	Görsel-Türkçe OCR	Türkçe Belge Analizi	Video Anlama (TR altyazı)
Gemini 3 Pro	Lider	Lider	Lider (2M context avantajı)
Claude Opus 4.7	Çok iyi	Çok iyi	-
GPT-5	İyi	İyi	Sınırlı

Gemini 3'ün native multimodal eğitimi (görsel + ses + video tek modelde) ve geniş context window'u, video transkripti + Türkçe altyazı analizi gibi görevlerde belirgin lider.

Sadece "kim daha iyi" değil, "dolar başına kim daha iyi" sorusu kurumsal kararlarda kritiktir.

Maliyet-Performans (1M token başına maliyet — input/output ortalama, 2026 Q2)

Model	Tipik Maliyet	Genel Türkçe Skor	Skor/Dolar Verimi
Claude Haiku 4.5	$1-5	77.6	Çok yüksek
GPT-4o-mini	$0.50-2	72.7	Çok yüksek
Gemini Flash 3	$0.30-1.50	73-76	Çok yüksek
DeepSeek V3	$0.30-1	75.7	Lider
Claude Opus 4.7	$15-75	87.3	Orta (kaliteye değer)
GPT-5	$5-15	86.1	Yüksek
Gemini 3 Pro	$3-10	83.8	Yüksek
Llama 4 70B self-hosted	GPU amortisman	73.5	Yüksek hacimde lider

Öneri pattern'i: Yüksek-stake / az hacim için Opus 4.7 veya GPT-5; günlük-yüksek hacim için Haiku / Flash / DeepSeek; veri-hassas / on-prem için Llama 4 70B self-hosted.

Türkiye'de geliştirilen modellerin global yarışta nerede durduğunu dürüstçe değerlendirelim.

Cezeri (Türkçe Instruct Family)

Hugging Face üzerinde Türkçe instruct-tuned modeller. Boyut sınırlamaları nedeniyle general-purpose skor 50-60 aralığında. Avantajı: açık ağırlık, Türkçe odaklı eğitim. Dezavantajı: general-purpose yarışta bayrak modellerin gerisinde.

BERTurk (İTÜ NLP Grubu)

BERT tabanlı Türkçe NLP modeli. Sınıflandırma, NER (named entity recognition), sentiment analysis gibi spesifik NLP görevlerinde kapasiteli ve verimli. Generatif AI yarışında değil, NLP araştırma temelidir.

Trendyol-LLM

Trendyol'un e-ticaret odaklı Türkçe modeli. Genel benchmark'larda orta düzey, ama e-ticaret domain'inde (ürün açıklaması, kategori sınıflandırma) global modellere yakın veya üstün performans gösterir.

KanarYa

Hacettepe destekli araştırma çalışması. Henüz erken aşama, ama Türkçe-spesifik domain'lerde umut verici.

Use-Case Bazlı Model Önerisi

Use-Case	Birinci Tercih	Maliyet-Verimli Alternatif	Veri-Hassas Alternatif
Müşteri hizmetleri chatbot (yüksek hacim)	GPT-4o-mini	Claude Haiku 4.5	Llama 4 70B self-hosted
İç bilgi tabanı RAG	Claude Opus 4.7	DeepSeek V3	Qwen 2.5 self-hosted
Kod üretimi / geliştirici asistanı	Claude Opus 4.7	DeepSeek V3	Llama 4 70B + Code Llama
Hukuki belge analizi	Claude Opus 4.7	GPT-5	-
E-ticaret ürün açıklaması	GPT-4o-mini	Trendyol-LLM	Mistral 7B fine-tune
Veri çıkarımı / yapılandırılmış output	GPT-5	Claude Haiku 4.5	DeepSeek V3
Multimodal (görsel + Türkçe)	Gemini 3 Pro	Claude Opus 4.7	-
Akademik araştırma asistanı	GPT-5	Claude Opus 4.7	-
Eğitim / kişiselleştirme	Claude Opus 4.7	GPT-5	-
Pazarlama içerik üretimi	GPT-5	Claude Sonnet	Mistral Large 3

Açık ağırlık ve kapalı bayrak modeller arasındaki kalite farkı kapanıyor ama bitmedi.

Pratik anlamı. Açık ağırlık modeller artık yüksek-hassasiyet ve veri-egemenliği önemli use-case'lerde ciddi bir seçenek. Self-hosted Llama 4 70B veya DeepSeek V3 + iyi RAG mimarisi, çoğu kurumsal use-case için yeterli kalite üretiyor.

• Açık-kapalı farkı 5-8 puana iner. Meta'nın Llama 5 ve DeepSeek'in V4'ü, 2025-2026 büyüme hızını sürdürürse 2027'de bayrak modellere yetişebilir.
• Türkçe ağırlığı artar. Özellikle Anthropic ve OpenAI'ın "low-resource language" yatırımları Türkçe akıcılığı ve domain'i iyileştiriyor.
• Yerli model ekosistemi konsolide olur. TÜBİTAK ve büyük Türk teknoloji şirketleri (Trendyol, Hepsiburada, Garanti BBVA) alan-spesifik Türkçe modellere yatırım yapıyor — general-purpose değil, vertical-specific öncelik.
• Multimodal Türkçe video/ses anlama standartlaşır. Gemini 3 + GPT-5 video sürümleri 2026'da olgunlaşacak.

Skorlar üç kaynaktan triangülasyonla derlendi:

1. Sağlayıcı resmi raporları — OpenAI GPT-5 Technical Report, Anthropic Claude Opus 4.7 Card, Google Gemini 3 Tech Report. Türkçe ve genel skorlar.
2. Bağımsız toplum benchmarkları — Open LLM Leaderboard (Hugging Face), Stanford HELM, LMSYS Chatbot Arena (Türkçe destekli).
3. Kurumsal proje gözlemleri — Türkiye'deki 12+ aktif RAG/Agent projeden anonim performans verisi.

Sınırlamalar

• Türkçe test setleri global setler kadar olgun değil. MMLU-TR ve benzeri çeviri tabanlı; cultural-specific sorularda yetersizlik olabilir.
• Sürekli güncelleme zorluğu. Modeller hızlı değişiyor; bu tablo her çeyrek yeniden hesaplanır.
• Prompt formatı etkisi. Aynı model, prompt mühendisliği farklılıklarıyla %5-10 oynayabilir; "best prompt" prensibiyle değerlendirildi.

Şirketiniz için doğru Türkçe LLM tercihini netleştirmek üzere:

1. Model seçim atölyesi. Use-case, kalite hedefi, maliyet bütçesi ve uyum kısıtları 4 saatlik bir oturumda değerlendirilir. Çıktı: 2-3 model finalist + eval planı.
2. Karşılaştırma eval'i. Kendi 30-100 soruluk eval setinizle aday modelleri test eder, somut karşılaştırma raporu üretiriz.
3. Production deployment. Seçilen modelin Türk şirketi için RAG + KVKK + observability altyapısıyla üretime taşınması.

İletişim için site üzerindeki contact formunu kullanabilirsiniz.

Kaynaklar

1. Open LLM Leaderboard — Hugging Face, Hugging Face · 2026
2. MMLU: Measuring Massive Multitask Language Understanding — Hendrycks et al., ICLR · 2020-09-07
3. Belebele: A Multilingual Reading Comprehension Benchmark — Bandarkar et al., arXiv · 2023-08-31
4. TruthfulQA: Measuring How Models Mimic Human Falsehoods — Lin et al., ACL · 2021-09-08
5. HumanEval: Evaluating Large Language Models Trained on Code — Chen et al., OpenAI · 2021-07-07
6. MGSM: Multilingual Grade School Math — Shi et al., Google Research · 2022-10
7. Stanford HELM Leaderboard — Stanford CRFM, Stanford University · 2026
8. LMSYS Chatbot Arena — LMSYS, LMSYS · 2026
9. Stanford AI Index Report 2025 — Stanford HAI, Stanford University · 2025-04
10. State of AI Report 2025 — Benaich, N., Air Street Capital · 2025-10

---

Bu rehber çeyreklik olarak güncellenmektedir. 2027 sürümü için kalıcı URL aynıdır; "Son güncelleme tarihi" başlığı altında bakabilirsiniz.