Maliyet Ekonomisi

LLM API maliyeti = (input_tokens × input_rate) + (output_tokens × output_rate). Output tipik olarak 3-5x daha pahalı.

Optimizasyon levyeleri:

• Model selection — basit görevler Haiku/4o-mini, karmaşık Opus/4o
• Prompt caching — sabit context %50-90 indirim
• Batch API — %50 indirim, 24h latency tolerable
• Streaming — UX kazançı, maliyet aynı
• Output truncation — max_tokens ile hard limit
• Retrieval over context — uzun context yerine RAG

Pratik: 100K kullanıcı/ay × 5 prompt = 500K istek. Model mix yapmazsan tek model maliyeti 10x fark eder.