Quantization in Depth: From INT4 to FP8 — Shrinking Your Model 4×, Speeding 2×

# Türkçe Llama-3 DPO modelini AWQ 4-bit ile quantize
# Modül 15.6 capstone modelini production-ready hale getiriyoruz
 
from awq import AutoAWQForCausalLM
from transformers import AutoTokenizer
import json
 
MODEL_INPUT = 'sukruyusufkaya/llama-3-8b-tr-dpo-instruct'
MODEL_OUTPUT = './llama-3-8b-tr-dpo-awq'
 
# 1. Modeli yükle
model = AutoAWQForCausalLM.from_pretrained(
    MODEL_INPUT,
    safetensors=True,
    device_map='auto',
)
tokenizer = AutoTokenizer.from_pretrained(MODEL_INPUT, trust_remote_code=True)
 
# 2. Kalibration data — Türkçe örnek metinler
# Önemli: kalibration data Türkçe olmalı (model davranışı bu dilde)
calibration_data = [
    'İstanbul Boğazı, Karadeniz ile Marmara Denizi\'ni birleştiren doğal su yoludur.',
    'Türk kahvesi, UNESCO Somut Olmayan Kültürel Miras listesinde yer alır.',
    'Anadolu, dünya tarihinin en eski yerleşim alanlarından biridir.',
    # ... 100+ örnek için Wikipedia Türkçe'den çek
]
 
# 3. Quantization config
quant_config = {
    'zero_point': True,        # asymmetric quantization
    'q_group_size': 128,        # 128'lik gruplar
    'w_bit': 4,                 # 4-bit
    'version': 'GEMM',          # GEMM kernel (en hızlı)
}
 
# 4. Quantize et (~5-10 dakika H100'de)
model.quantize(
    tokenizer,
    quant_config=quant_config,
    calib_data=calibration_data,
)
 
# 5. Kaydet
model.save_quantized(MODEL_OUTPUT)
tokenizer.save_pretrained(MODEL_OUTPUT)
 
# Boyut karşılaştırma
import os
original_size_gb = sum(
    os.path.getsize(os.path.join(MODEL_INPUT, f))
    for f in os.listdir(MODEL_INPUT)
    if f.endswith('.safetensors')
) / (1024**3)
quantized_size_gb = sum(
    os.path.getsize(os.path.join(MODEL_OUTPUT, f))
    for f in os.listdir(MODEL_OUTPUT)
    if f.endswith('.safetensors')
) / (1024**3)
 
print(f'Orijinal: {original_size_gb:.2f} GB')
print(f'Quantized: {quantized_size_gb:.2f} GB')
print(f'Sıkıştırma: {original_size_gb / quantized_size_gb:.1f}x')
# Beklenen: ~16 GB -> ~4 GB (4×)
 
# 6. vLLM ile production kullanım
# vllm serve ./llama-3-8b-tr-dpo-awq --quantization awq