Adım 3: Cost Report ve Post-Mortem

Name: Adım 3: Cost Report ve Post-Mortem
Author: Şükrü Yusuf KAYA

Asistanı 1 hafta production'da koştur, gerçek metrikleri topla. Beklenen vs gerçek karşılaştırma, post-mortem yaz.

Şükrü Yusuf KAYA

11 dakikalık okuma

14.05.2026

İleri

Adım 3: Cost Report + Post-Mortem

Asistan 1 hafta production'da kostu. Şimdi:

Gerçek metrikler topla
Beklenen vs gerçek karşılaştır
Post-mortem yaz — neyi öğrendin, neyi farklı yapardın

Metrik Toplama#

Prometheus'tan 1 haftalık veri çek:

bash

# Cache hit rate (avg over week)
curl 'http://prometheus:9090/api/v1/query?query=avg_over_time(llm_hit_rate[7d])'
 
# Cost total
curl 'http://prometheus:9090/api/v1/query?query=increase(llm_cost_usd_total[7d])'
 
# p95 latency
curl 'http://prometheus:9090/api/v1/query?query=histogram_quantile(0.95, rate(llm_latency_seconds_bucket[7d]))'
 
# Total sorgular
curl 'http://prometheus:9090/api/v1/query?query=increase(llm_input_tokens_total[7d])'

Prometheus queries

Beklenen vs Gerçek Tablosu#

Metrik	Beklenen	Gerçek	Sapma
Cache hit rate	%95	?	?
Cost/sorgu	$0.048	?	?
p95 latency	3s	?	?
Aylık total	$2400	?	?
KVKK ihlali	0	?	?
Error rate	<%1	?	?

Tipik Sapmalar ve Sebepler#

Olası sebepler:

System prompt'a dynamic veri (timestamp, user info) sızmış
Tool definitions array sırası tutarsız
KB versiyon manuel değişmiş

Çözüm: Modül 4 hit rate refactor patterns. Pre-push CI test.

Post-Mortem Template#

markdown

# Final Proje Post-Mortem
 
## Özet
- Proje: 200K Doc Q&A Asistanı
- Süre: 1 hafta production
- Sorgu sayısı: ___
- Total cost: $___
 
## Beklenen vs Gerçek
[Tablo yukarıdaki gibi]
 
## Neyi İyi Yaptım
- ...
- ...
 
## Neyi Daha İyi Yapardım
- ...
- ...
 
## Sürpriz Bulgular
- ...
- ...
 
## Sonraki Adımlar
- A/B test daha agresif TTL
- Self-hosted'a geçiş düşünülmeli mi?
- Hangi feature'ı eklesem?
 
## Türkçe Ekosistem İçin Öğretiler
- ...
- ...

post-mortem.md

Paylaş

Bu post-mortem'i yaz, sukruyusufkaya.com'da paylaş. Türkçe LLM ekosisteminde bu deneyim altın değerinde. Topluma katkı + kendi marka.

✓ Pekiştir#

Bir Sonraki Derste#

Sertifika sınavı 🎓

Yorumlar & Soru-Cevap

(0)

Yorum yazmak için giriş yap.

Yorumlar yükleniyor...

İlgili İçerikler

1. Temeller — Context Penceresi Ekonomisi