Sequence Parallel + Context Parallel: Ulysses + Ring Attention + 1M Context

1. Niye Sequence Parallel?#

• seq=128K, batch=1, Llama 70B → activation 60 GB+
• 1M token istersen → 500 GB+ → tek GPU değil, hatta 8×H100 bile zorlanır

2. DeepSpeed-Ulysses#

GPU 0: head 0-3 için Q, K, V
GPU 1: head 4-7 için Q, K, V
...
Forward (attention):
  - Q, K, V'yi sequence dim'inde gather (all-to-all input)
  - Per-head attention compute (no comm)
  - Output'u tekrar sequence dim'inde scatter (all-to-all output)

• Standard FA2: max seq=128K (Llama 70B + grad-ckpt)
• • Ulysses (4-way SP): max seq=512K
• • Ulysses (8-way SP, 8 GPU): max seq=1M

3. Ring Attention (Berkeley)#

GPU 0: seq tokens [0..127]   K, V'leri
GPU 1: seq tokens [128..255] K, V'leri
GPU 2: seq tokens [256..383] K, V'leri
GPU 3: seq tokens [384..511] K, V'leri

Adım 1: Her GPU lokal Q × lokal K (sub-block)
Adım 2: K, V'yi sağa pass (ring)
Adım 3: Lokal Q × yeni K (cross-block)
...
N adım sonra: tüm Q × tüm K hesaplanmış