DeepSeek-R1 GRPO in Depth: Mathematics of Open Reasoning RL — Group Relative Policy Optimization

Bu Derste Neler Var? (12 Bölüm)#

1. R1 paper'ı özet — 22 sayfanın anatomisi
2. PPO'dan GRPO'ya — niye sadeleştirme?
3. GRPO matematik türevi — adım adım
4. Group advantage estimation — value function ortadan kalkıyor
5. R1-Zero deneyimi — sıfır SFT, sadece RL
6. 'Aha moments' empirik analiz
7. 4-aşama eğitim pipeline — Cold Start + Reasoning RL + Distill
8. R1 vs R1-Zero karşılaştırma
9. R1-Distill modeller — Qwen + Llama tabanlı
10. Türkçe için R1 fine-tune stratejisi
11. Production R1 deployment — vLLM ile
12. Egzersizler ve pratik notlar

2-4. GRPO Matematik Türevi#

2.1 PPO'dan GRPO'ya — motivasyon#

• Value function gerekiyor (extra forward pass)
• Value head policy head'i bozabiliyor (training instability)
• Sparse reward ile value tahmini zor (reasoning'de ödül sadece sonda)

2.2 GRPO formal türev#

A_t^PPO = R_t - V(s_t)

For each prompt p, sample G responses: y_1, ..., y_G
Get rewards: r_1, ..., r_G
Group statistics:
    μ = mean(r_1, ..., r_G)
    σ = std(r_1, ..., r_G)
GRPO advantage for response y_i:
    A_i = (r_i - μ) / σ

2.3 GRPO loss fonksiyonu#

L_GRPO = -E[
    Σ_i Σ_t min(
        ratio_t × A_i,
        clip(ratio_t, 1-ε, 1+ε) × A_i
    ) - β × KL(π_θ || π_ref)
]

• Token-level advantage → response-level A_i
• Value function loss yok (L^VF kaldırıldı)
• KL penalty aynı (PPO'da olduğu gibi)
• Cliprange aynı

2.4 Niye 'group relative' işe yarıyor?#

2.5 Computational savings#

• Forward (policy) + Forward (value) + Forward (ref) = 3 forward
• Gradient hesabı 2 head üzerinden

• Forward (policy) + Forward (ref) = 2 forward
• • G adet generation (paralel)
• Gradient hesabı 1 head üzerinden

4.1 Group size G seçimi#

5-6. R1-Zero ve 'Aha Moments'#

5.1 R1-Zero deneyimi#

• Base model: DeepSeek-V3 (671B param, 37B active)
• SFT yok (Modül 14'teki gibi fine-tune adımı atlanmış)
• Doğrudan GRPO ile RL
• Reward: outcome-only (matematik için: doğru cevap mı?)

5.2 'Aha moments' fenomeni#

Problem: '5x² - 3x + 1 = 0' çöz

R1-Zero çıktısı (orijinal İngilizce):
'Let me solve this quadratic equation. 
 a=5, b=-3, c=1.
 Discriminant = b²-4ac = 9-20 = -11.
 Hmm, wait. Let me verify: b² = 9, 4ac = 4·5·1 = 20.
 Yes, b² - 4ac = -11.
 Discriminant negative, so no real solutions.
 Actually wait, let me re-read the problem...
 [Sonra model orijinal soruyu tekrar okur, doğrulamayı yapar]
 Yes, my analysis is correct. No real solutions.'

6.1 Niye 'aha moments' oluşuyor?#

6.2 R1-Zero limitleri#

• Okumayı zorlaştıran düşünce karmaşası: model bazen tekrarlanan, kafa karıştıran reasoning
• Dil karışıklığı: bazen İngilizce + başka diller karışıyor
• Format inconsistency: cevap formatı tutarsız

7-9. 4-Aşama Pipeline + R1-Distill#

7.1 R1 Full Pipeline (DeepSeek paper)#

┌─────────────────────────────────────────────────────────────┐
│ Aşama 0: Base Model                                            │
│ DeepSeek-V3 (671B params, 37B active MoE)                     │
│ Pre-trained, RL gör hazır                                       │
└─────────────────────────────────────────────────────────────┘
                            ↓
┌─────────────────────────────────────────────────────────────┐
│ Aşama 1: R1-Zero (RL-only, no SFT)                            │
│ - GRPO ile direkt RL                                            │
│ - Outcome reward (matematik doğruluğu, kod testleri)          │
│ - Format compliance bonus                                       │
│ - Sonuç: AIME %71, ama düşünce karmaşası problemi             │
└─────────────────────────────────────────────────────────────┘
                            ↓
┌─────────────────────────────────────────────────────────────┐
│ Aşama 2: Cold Start (SFT)                                      │
│ - 1000-2000 yüksek kaliteli reasoning örneği                  │
│ - İnsan ya da AI ile annotated, format tutarlı                │
│ - 1 epoch SFT                                                   │
│ - Amaç: format tutarlılığı + okuma kolaylığı                  │
└─────────────────────────────────────────────────────────────┘
                            ↓
┌─────────────────────────────────────────────────────────────┐
│ Aşama 3: Reasoning RL                                          │
│ - Cold-started model üzerinde tekrar GRPO                     │
│ - Daha geniş reasoning task dağılımı                          │
│ - Math + Code + General reasoning                              │
│ - Sonuç: AIME %79, format temiz                                │
└─────────────────────────────────────────────────────────────┘
                            ↓
┌─────────────────────────────────────────────────────────────┐
│ Aşama 4: Distillation                                          │
│ - R1'in çıktılarıyla 800K reasoning dataset                   │
│ - Bu dataset Qwen + Llama tabanlı modellere SFT              │
│ - Sonuç: R1-Distill-Qwen-32B, R1-Distill-Llama-70B vs.        │
│ - Quality: full R1'in %80-90'ı, ama 20× daha küçük model      │
└─────────────────────────────────────────────────────────────┘

8.1 R1 vs R1-Zero karşılaştırma#

9.1 R1-Distill modeller#

• R1-Distill-Qwen-1.5B (mobile, edge)
• R1-Distill-Qwen-7B (RTX 4090'da çalışır)
• R1-Distill-Qwen-14B
• R1-Distill-Qwen-32B (H100 sweet spot)
• R1-Distill-Llama-8B
• R1-Distill-Llama-70B (production frontier)

1. R1 (full 671B) 800K reasoning örnek üretir
2. Bu örnekler Qwen veya Llama base'e SFT ile aktarılır
3. Küçük model R1 davranışını taklit eder

• R1 (full): AIME %79
• R1-Distill-32B: AIME %72 (%91)
• R1-Distill-14B: AIME %63 (%80)
• R1-Distill-7B: AIME %55 (%70)

10.1 Türkçe için R1 stratejisi#

• Hazır, Türkçe quality decent (~%50 AIME-TR)
• Maliyet: $0 (self-host) + GPU
• Süre: dakikalar (deployment)

• 5-10K Türkçe reasoning preference verisi
• Quality: ~%55-60 AIME-TR (%5-10 boost)
• Maliyet: $500-1000 (data + training)
• Süre: 1-2 hafta

• En zor, en maliyetli
• Türkçe-spesifik matematik corpus + GRPO eğitim
• Quality potential: %60-65 AIME-TR
• Maliyet: $10K-50K (compute + data)
• Süre: 1-3 ay

Sonraki Ders: Capstone — Türkçe Reasoning Model#