DeepSeek-V3 İnovasyonları: MLA, Auxiliary-Loss-Free, Multi-Token Prediction — 2024 Frontier'ın 3 Anahtarı

Bu Derste Neler Var? (11 Bölüm)#

1. DeepSeek-V3 paper özet
2. Innovation 1: MLA matematiği — KV cache nasıl %93 azalır
3. MLA detaylı türev — projection matrices
4. MLA vs GQA karşılaştırma
5. Innovation 2: Auxiliary-loss-free routing
6. Bias trick matematik — gating sürekli güncelleme
7. Innovation 3: Multi-Token Prediction
8. MTP eğitim mimarisi
9. 3 inovasyonun toplam etkisi — $5.6M training
10. Türkçe için DeepSeek-V3 pratik kullanım
11. Egzersizler

1. DeepSeek-V3 Paper Özet#

1.1 Paper künyesi#

1.2 Model özet#

• Architecture: MoE transformer
• Total params: 671B
• Active params per token: 37B (%5.5)
• Layers: 61
• Experts per FFN layer: 256 (+1 shared)
• Top-k: 8 (out of 256)
• Context length: 128K (extended)
• Vocab size: 129K (multilingual)

1.3 Training detayları#

• Compute: 2.788M H800 GPU hours = ~$5.6M (raporlanan)
• Training data: 14.8 trilyon token (multilingual)
• Türkçe data: paper'da belirtilmedi ama 'major languages' kapsamında
• Training time: ~2 ay (1024 H800 ile)

1.4 Quality (benchmark sonuçları)#

• MMLU: %88.5 (GPT-4o ile başa baş)
• MATH: %90.2 (o1 seviyesi)
• HumanEval: %82.3
• MMLU-Pro: %75.9
• DROP: %85.4

1.5 Paper'ın 3 ana katkısı#

2-4. Multi-head Latent Attention (MLA)#

2.1 Problem: KV cache büyük#

• 64 layer × 8 KV head × 128 dim × 128K context × 2 byte = ~17 GB KV cache per request

2.2 GQA (Grouped Query Attention, Modül 8.2)#

2.3 MLA İçgörüsü#

Normal attention:
K = X · W_K  ∈ ℝ^{seq × d_kv}
V = X · W_V  ∈ ℝ^{seq × d_kv}
Cache: K + V (2 × seq × d_kv)

MLA:
Compressed latent: c_KV = X · W_DKV  ∈ ℝ^{seq × d_compressed}
Where d_compressed << d_kv

Upcast: 
  K = c_KV · W_UK
  V = c_KV · W_UV
Cache: sadece c_KV (1 × seq × d_compressed)

2.4 MLA empirik#

• KV cache: 1700 KB/token → 70 KB/token (24× azalma)
• Yani 128K context per request: 9 GB → 0.4 GB
• Concurrent users 5-10× artıyor!

4.1 MLA vs GQA Karşılaştırma#

5-9. Aux-Loss-Free + MTP + Toplam Etki#

5.1 Geleneksel Load Balancing Problemi#

5.2 DeepSeek'in çözümü#

g(x)_i = softmax(W_g · x + b_i)

b_i sürekli update edilir:
- Eğer expert_i under-used → b_i artırılır (daha sık seçilsin)
- Eğer expert_i over-used → b_i azaltılır

Update rule:
b_i ← b_i + u × (target_load - actual_load_i)

5.3 Aux-free'nin avantajı#

• Aux loss with: GSM8K %78
• Aux-free: GSM8K %82 (+%4)

7.1 Multi-Token Prediction (MTP)#

[token_1, token_2, ..., token_n] → predict token_{n+1}

[token_1, ..., token_n] → predict token_{n+1}, token_{n+2}, token_{n+3}

7.2 MTP mimarisi (simplified)#

Base transformer → hidden state h_n
Head 1: h_n → predict t_{n+1}
Head 2: h_n → predict t_{n+2}
Head 3: h_n → predict t_{n+3}

Loss = CE(head_1, t_{n+1}) + CE(head_2, t_{n+2}) + CE(head_3, t_{n+3})

7.3 MTP niye işe yarar?#

• MMLU: %86 → %88.5
• Same training data, %3 better

8.1 3 İnovasyonun Toplam Etkisi#

• Training-time memory tasarrufu: ~%30 (KV cache az)
• Daha büyük batch mümkün → daha az step → 1.3× hızlı

• Training stability artmış: divergent run'lar azalmış
• Aynı compute'la daha iyi quality (~%4)

• Aynı data daha verimli kullanılıyor
• Effective data size ~3× büyümüş gibi

9.1 Diğer optimizasyonlar#

• FP8 mixed precision: bf16'dan daha düşük precision
• DualPipe parallelism: pipeline parallelism optimizasyonu
• Cross-node all-to-all kernel: expert paralleli için custom CUDA

10.1 Türkçe için DeepSeek-V3 pratik#

• DeepSeek direkt API (Çin merkezli, KVKK için dikkat)
• Together AI proxy (ABD, daha güvenli)
• API maliyet: $0.27 input,$1.10 output per 1M token

• Tam V3 (671B): 4-8× H100, çok pahalı, hobbyist scope dışı
• R1-Distill kullan (Modül 17): V3'ün distilled versiyonu, single H100'de çalışır

• DeepSeek-V3 multilingual training, Türkçe iyi
• TR-MMLU benchmark: tahmini %75 (GPT-4o %82, Claude %78)
• Production-grade Türkçe asistan için API uygun

Sonraki Ders: Türkçe MoE Pratik Capstone#