Latency, Caching ve Performans Optimizasyonu
p50 / p95 / p99 latency'i düşürmek için 8 kaldırac: model seçimi, cache, streaming, parallelism.
Şükrü Yusuf KAYA
11 dakikalık okuma
İleri
8 Performans Kaldıracı
- Daha küçük model — Haiku ile başla.
- Streaming — first-byte time düşer.
- Prompt caching — input işleme süresi azalır.
- Parallelism — bağımsız adımları async koştur.
- Output kısıtla — gerekenden uzun cevap üretme.
- Region — kullanıcına yakın endpoint.
- Pre-compute — sık sorulanları offline üret.
- Speculative early stop — yeterince doğru cevapta kes.
python
# Bağımsız adımları paralel koş — asyncioimport asyncio async def classify(msg): return "billing" # placeholder async def fetch_history(user_id): return [] # placeholder async def main(): intent, history = await asyncio.gather( classify("şikayet"), fetch_history("u-123"), ) return intent, history print(asyncio.run(main()))Bağımsız Claude + DB çağrıları paralelleştirildiğinde p50 belirgin düşer.
Boşluk doldur · text
Performans kaldıraçlarından önemlileri model seçimi, _____ , prompt caching ve _____ . İlk byte yerine _____ token metriğine geçmek modern UX standardıdır.Sık Sorulan Sorular
Yanlış kullanılırsa evet (örneğin Sonnet'ten Haiku'ya geçince edge case'lerde başarısızlık). Eval seti olmadan asla model değişimi yapma.
Yorumlar & Soru-Cevap
(0)Yorum yazmak için giriş yap.
Yorumlar yükleniyor...