Quantization Mathematics: Symmetric/Asymmetric, Per-Tensor/Per-Channel/Per-Group, QAT vs PTQ

1. Niye Quantization?#

2. Quantization Formülü#

Q(x) = round(x / scale) + zero_point
deQ(q) = (q - zero_point) × scale

• scale (
  s
  ) — fp range / int range
• zero_point (
  z
  ) — fp 0'ın hangi int'e karşılık geldiği

Symmetric quantization (

z = 0

):#

s = max(|x|) / (2^(b-1) - 1)

• Range simetrik: [-x_max, +x_max] → [-128, +127] (int8 örnek)
• zero_point
  yok → daha az compute
• Kullanım: weights (genelde simetrik dağılım)

Asymmetric quantization (

z ≠ 0

):#

s = (x_max - x_min) / (2^b - 1)
z = round(-x_min / s)

• Range asimetrik: [x_min, x_max] → [0, 255] (uint8 örnek)
• zero_point
  var → biraz fazla compute
• Kullanım: activations (ReLU sonrası ≥ 0 asimetrik)

3. Granularity — Quantization Hangi Eksende?#

# Per-tensor — scale tek bir sayı
W_q = round(W / s)              # s.shape == ()

# Per-channel — her output channel için ayrı scale
s = max(|W|, dim=-1) / 127      # s.shape == (out,)
W_q = round(W / s[:, None])

# Per-group (block-wise) — her 64 elemanlık blok için ayrı scale
W_grouped = W.reshape(out, in_features // 64, 64)
s = max(|W_grouped|, dim=-1) / 7    # 4-bit → -7..7
W_q = round(W_grouped / s[..., None])

4. QAT (Quantization-Aware Training) vs PTQ (Post-Training Quantization)#

PTQ (cookbook'un default'u)#

• Train edilmiş model'i quantize et
• Calibration set ile scale/zero_point hesapla
• Cost: dakikalar (örneğin GPTQ Llama 8B → 12 dk RTX 4090)
• Quality loss: %1-3

QAT#

• Training sırasında "fake quantize" işlemleri ekle
• Forward'da quantized weights kullan, backward'da gradient akıt
• Cost: saatler (training kadar pahalı)
• Quality loss: %0-1 (PTQ'dan daha iyi ama az)

• LLM fine-tuning → QLoRA (NF4) ≈ PTQ on weights + FP backward, en pragmatic
• Production serving → PTQ (AWQ/GPTQ) for inference speed
• Mission-critical → QAT araştırma yatırımı (akademi + Meta/Google)

5. Llama 3.1 8B Tensor Karakteristikleri#