Capstone Modül 17: Türkçe Reasoning Model Üretime — R1-Distill-32B Türkçe Matematik Fine-Tune

Capstone Akışı (10 Aşama)#

1. Hedef ve metrikler — başarı tanımı
2. Türkçe matematik corpus toplama — YKS + TYT + TÜBİTAK
3. Reasoning chain oluşturma — R1 ile etiketleme
4. Karşılaştırma veri oluşturma — chosen vs rejected
5. DPO eğitim setup — R1-Distill-Qwen-32B + QLoRA
6. Eğitim monitoring — WandB metrics
7. AIME-TR ve YKS evaluation
8. vLLM deployment — production-ready
9. HuggingFace Hub yayın — model card
10. Pratik karar matrisi

2-3. Türkçe Matematik Corpus + Reasoning Chain#

2.1 Veri kaynakları#

• YKS / TYT / AYT (2018-2024): yıllık ~80 matematik sorusu × 7 yıl = ~560 problem
• TÜBİTAK Matematik Olimpiyatları (1995-2024): ~30 sınav × 4-6 soru = ~150 olimpiyat seviyesi
• KPSS Matematik (2010-2024): ~14 sınav × 20-30 soru = ~350 KPSS
• LGS Matematik (2018-2024): ~7 sınav × 20 soru = ~140 LGS
• Üniversite ders kitapları: Türkçe matematik (calculus, lineer cebir) ~500 örnek problem

2.2 Veri formatı#

{
  "problem_id": "YKS-2023-Matematik-25",
  "problem_text": "Türkçe problem metni...",
  "final_answer": "42",
  "difficulty": "medium",  // easy/medium/hard/olympiad
  "topic": "algebra",       // algebra/geometry/number_theory/...
  "source": "YKS 2023 AYT Matematik",
  "reasoning_chain_R1": "Adım adım çözüm (R1 tarafından üretildi)...",
  "verified_by": "matematik_hocasi_1"
}

2.3 Reasoning chain oluşturma#

• Reasoning Türkçe doğal mı?
• Matematiksel adımlar doğru mu?
• Final cevap doğru mu?
• Adımlar atlanmamış mı?

3.1 Karşılaştırma (chosen/rejected) veri#

• Llama-3-8B-Instruct (Türkçe SFT) ile aynı problemi çöz — genelde kalitesiz çıkıyor
• R1'in 'kötü' versiyonu (yüksek temperature)
• Manuel hatalı versiyon (yanlış adım eklenmiş)

7-9. Evaluation + Deployment#

7.1 AIME-TR evaluation#

from evaluation import evaluate_aime_tr

results = evaluate_aime_tr(
    model='sukruyusufkaya/r1-distill-tr-math-32b',
    test_set='aime-tr-2024-30-problems',
    judge='openai/gpt-4o',  # cevap doğruluğunu hakem ile kontrol
    n_samples=4,
    temperature=0.6,
)
print(f'AIME-TR accuracy: {results.accuracy:.1%}')
# Beklenen: %50+ (vs base R1-Distill-32B Türkçe %45)

7.2 YKS Matematik evaluation#

results_yks = evaluate_yks_matematik(
    model='sukruyusufkaya/r1-distill-tr-math-32b',
    test_set='yks-2024-matematik-25',
)
# Beklenen: %75+ (Türk öğrencilerin %60 ortalamasının üstünde)

7.3 Win rate vs base#

results_winrate = compare_models(
    model_a='sukruyusufkaya/r1-distill-tr-math-32b',
    model_b='deepseek-ai/DeepSeek-R1-Distill-Qwen-32B',
    test_set='turkish_math_test_100',
    judge='openai/gpt-4o',
)
print(f'Türkçe fine-tune win rate: {results_winrate.win_rate_a:.1%}')
# Beklenen: %60-70 (fine-tuned model genelde daha iyi Türkçe)

8.1 vLLM deployment#

vllm serve sukruyusufkaya/r1-distill-tr-math-32b \
  --gpu-memory-utilization 0.9 \
  --max-model-len 8192 \
  --dtype bfloat16 \
  --port 8000

vllm serve sukruyusufkaya/r1-distill-tr-math-32b-awq \
  --quantization awq \
  --gpu-memory-utilization 0.9 \
  --max-model-len 8192 \
  --port 8000

9.1 Model Card#

---
language:
  - tr
license: apache-2.0
base_model: deepseek-ai/DeepSeek-R1-Distill-Qwen-32B
tags:
  - turkce
  - matematik
  - reasoning
  - r1-distill
  - dpo
---

# R1-Distill-Turkish-Math-32B

R1-Distill-Qwen-32B'nin Türkçe matematik problemleri için DPO fine-tune edilmiş versiyonu.

## Eğitim Detayları
- Base: DeepSeek-R1-Distill-Qwen-32B
- Yöntem: Direct Preference Optimization (DPO)
- Veri: 4,500 Türkçe matematik reasoning chain (YKS + TÜBİTAK + KPSS)
- Süre: 1 H100, ~3 saat
- Maliyet: ~$25

## Performans

| Metrik | Base | Fine-tuned | Δ |
|---|---|---|---|
| AIME-TR 2024 | %45 | %52 | +%7 |
| YKS Matematik 2024 | %68 | %78 | +%10 |
| TÜBİTAK Olimpiyat | %22 | %28 | +%6 |
| Win rate vs base | 50% | 65% | +%15 |

## Kullanım

```python
from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

model = AutoModelForCausalLM.from_pretrained(
    'sukruyusufkaya/r1-distill-tr-math-32b',
    torch_dtype=torch.bfloat16,
    device_map='auto',
)
tokenizer = AutoTokenizer.from_pretrained('sukruyusufkaya/r1-distill-tr-math-32b')

problem = '5x² - 3x + 1 = 0 denkleminin köklerini bulun.'
messages = [
    {'role': 'user', 'content': problem},
]
inputs = tokenizer.apply_chat_template(messages, return_tensors='pt').to(model.device)
outputs = model.generate(inputs, max_new_tokens=2000, temperature=0.6)
print(tokenizer.decode(outputs[0][inputs.shape[1]:], skip_special_tokens=True))

Sınırlamalar#

• Olimpiyat seviyesi problemlerde hâlâ %28 (Türk olimpiyat finalistleri %70+)
• Geometri problemlerinde algebra'dan zayıf
• Görsel matematik (grafik, şekil) desteklemiyor (sadece metin)

Lisans#

Modül 17 Envanteri (Yeniden Yazıldı)#