If You Can't Measure It, You Can't Optimize It: LLM Telemetry Philosophy and Establishing Your First Baseline

Telemetry olmadan ne kaybediyorsun?#

1. Maliyet sürprizini görmüyorsun#

2. Hangi feature'ın hangi maliyet?#

3. Optimizasyon işe yaradı mı?#

4. Cache hit ratio nedir?#

5. P95 latency#

6. Provider güvenilirliği#

7. Anomali tespiti#

5 Zorunlu LLM Metriği#

Metrik 1 — $/Request#

• Ne ölçer: Her isteğin ortalama maliyeti
• Hedef: İş yüküne göre, ama trend aşağı doğru olmalı
• Alarm: %20+ artış 24 saatte

Metrik 2 — Token usage (input/output/cached)#

• Ne ölçer: Token harcamasının dağılımı
• Hedef: Cache hit ratio > %60 (kullanıyorsan)
• Alarm: Cache hit ratio düşüş

Metrik 3 — Latency percentile (p50/p95/p99)#

• Ne ölçer: Yanıt süresi dağılımı
• Hedef: p95 < 3s (UX kritik için)
• Alarm: p99 > 10s

Metrik 4 — Error rate (4xx, 5xx, timeout)#

• Ne ölçer: Başarısız isteklerin yüzdesi
• Hedef: < %0.5
• Alarm: %1 üstü 5 dakikada

Metrik 5 — Cost attribution (user, feature, team)#

• Ne ölçer: Maliyetin kime/neye atfedildiği
• Hedef: %95+ requests attributed (1 user/feature etiketli)
• Alarm: Bilinmeyen attribution %5+

İlk Baseline'ı 30 Günde Kur#

Hafta 1 — Setup#

• Langfuse / Helicone hesap aç
• LiteLLM proxy veya SDK monkey-patch ile her LLM çağrısını yakala
• 5 metriği dashboard'a koy
• Slack alert kanalı kur

Hafta 2 — Veri Toplama#

• Tüm çağrılar telemetry'ye gidiyor mu? Verify et
• Eksik attribution'ları kapat (user_id, feature_tag eksik mi?)
• Bir-iki "anomali" çıksın (gerçek user'lar deniyor)

Hafta 3 — Pattern Analizi#

• En pahalı 10 feature kim?
• En pahalı 10 user kim?
• Cache hit ratio nereye düşüyor?
• P95 latency outlier'lar hangi prompt?

Hafta 4 — Baseline'ı Belge Le#

• $/request baseline değer: ___
• Aylık total cost: ___
• Cache hit ratio: ___
• Error rate: ___
• p95 latency: ___

"Optimize ettik gibi geliyor" anti-pattern'ı#

"Sistem prompt'u kısalttık, fatura aşağı düşmüş gibi sanki?"

"Prompt cache açtık ama emin değilim ne kadar tasarruf var..."

"Yeni model'e geçtik, kalite aynı sanırım..."

Doğru karşılığı#

"Sistem prompt'u 1500 → 600 token kısalttık. Langfuse dashboard'da $/request **$0.014 → $0.008** düştü. Cache hit ratio$4.300 tasarruf bekleniyor."

Cost Attribution — En kritik tek özellik#

• Hangi müşteri ne kadar harcatıyor?
• Hangi feature kâr getiriyor?
• Hangi takım hangi bütçeyi tüketiyor?

Attribution etiketleri#

metadata = {
    "user_id": "user_42",
    "tenant_id": "acme-corp",
    "feature": "smart_search",
    "team": "consumer",
    "trace_id": "req_xyz123",
    "session_id": "session_abc",
}

Hangi aracı seçmeli — Hızlı önizleme#