Skip to content

Adım 3: Cost Report ve Post-Mortem

Asistanı 1 hafta production'da koştur, gerçek metrikleri topla. Beklenen vs gerçek karşılaştırma, post-mortem yaz.

Şükrü Yusuf KAYA
11 min read
Advanced

Adım 3: Cost Report + Post-Mortem

Asistan 1 hafta production'da kostu. Şimdi:
  1. Gerçek metrikler topla
  2. Beklenen vs gerçek karşılaştır
  3. Post-mortem yaz — neyi öğrendin, neyi farklı yapardın

Metrik Toplama#

Prometheus'tan 1 haftalık veri çek:
bash
# Cache hit rate (avg over week)
curl 'http://prometheus:9090/api/v1/query?query=avg_over_time(llm_hit_rate[7d])'
 
# Cost total
curl 'http://prometheus:9090/api/v1/query?query=increase(llm_cost_usd_total[7d])'
 
# p95 latency
curl 'http://prometheus:9090/api/v1/query?query=histogram_quantile(0.95, rate(llm_latency_seconds_bucket[7d]))'
 
# Total sorgular
curl 'http://prometheus:9090/api/v1/query?query=increase(llm_input_tokens_total[7d])'
Prometheus queries

Beklenen vs Gerçek Tablosu#

MetrikBeklenenGerçekSapma
Cache hit rate%95??
Cost/sorgu$0.048??
p95 latency3s??
Aylık total$2400??
KVKK ihlali0??
Error rate<%1??

Tipik Sapmalar ve Sebepler#

Olası sebepler:
  • System prompt'a dynamic veri (timestamp, user info) sızmış
  • Tool definitions array sırası tutarsız
  • KB versiyon manuel değişmiş
Çözüm: Modül 4 hit rate refactor patterns. Pre-push CI test.

Post-Mortem Template#

markdown
# Final Proje Post-Mortem
 
## Özet
- Proje: 200K Doc Q&A Asistanı
- Süre: 1 hafta production
- Sorgu sayısı: ___
- Total cost: $___
 
## Beklenen vs Gerçek
[Tablo yukarıdaki gibi]
 
## Neyi İyi Yaptım
- ...
- ...
 
## Neyi Daha İyi Yapardım
- ...
- ...
 
## Sürpriz Bulgular
- ...
- ...
 
## Sonraki Adımlar
- A/B test daha agresif TTL
- Self-hosted'a geçiş düşünülmeli mi?
- Hangi feature'ı eklesem?
 
## Türkçe Ekosistem İçin Öğretiler
- ...
- ...
post-mortem.md
Paylaş
Bu post-mortem'i yaz, sukruyusufkaya.com'da paylaş. Türkçe LLM ekosisteminde bu deneyim altın değerinde. Topluma katkı + kendi marka.

✓ Pekiştir#

Bir Sonraki Derste#

Sertifika sınavı 🎓

Yorumlar & Soru-Cevap

(0)
Yorum yazmak için giriş yap.
Yorumlar yükleniyor...

Related Content

1. Temeller — Context Penceresi Ekonomisi

Bu Eğitim Hakkında ve Prompt Caching Neden Önemli?

Start Learning
1. Temeller — Context Penceresi Ekonomisi

Token Ekonomisi 101: Input vs Output Cost Asimetrisi

Start Learning
1. Temeller — Context Penceresi Ekonomisi

Context Window Evrimi: 4K'dan 1M'a 5 Yılda Ne Oldu?

Start Learning