İçeriğe geç

Token Ekonomisi: Maliyet Optimizasyonu

10K kullanıcılı uygulamada API bütçesi nasıl yönetilir? Caching, model seçimi, prompt optimizasyon.

Şükrü Yusuf KAYA
9 dakikalık okuma
İleri
Token Ekonomisi: Maliyet Optimizasyonu

55 → 5000 — kullanıcı sayısı arttıkça maliyet üstel büyür#

Üretimde maliyet kontrolü olmazsa olmaz. 5 ana strateji:
  1. Model tier'lama: kritik = GPT-5, basit = GPT-5 mini, sınıflandırma = nano
  2. Prompt caching: aynı system prompt'u önbelleğe al
  3. Output sınırı: max_tokens belirle
  4. Streaming + early stop: kullanıcı istediğini alınca durdur
  5. Batch API: kritik olmayan görevler için %50 indirim
Tek model her şeye = pahalı. Görev tipine göre seç:
GörevModelSebep
Karmaşık reasoningo3En iyi
Genel sohbetGPT-5Dengeli
Hızlı sınıflandırmaGPT-5 nano%50 ucuz
Embeddingtext-embedding-3-smallRAG için
Resim üretimiDALL-E 3Ayrı
Router pattern: ilk olarak nano ile soruyu sınıflandır, sonra uygun modele yönlendir.
javascript
// Maliyet monitoring middleware
async function callOpenAI(model, messages) {
const start = Date.now();
 
const response = await openai.chat.completions.create({
model,
messages,
});
 
const usage = response.usage;
const cost = calculateCost(model, usage);
 
// Telemetri kaydet
await metrics.record({
timestamp: new Date(),
model,
input_tokens: usage.prompt_tokens,
output_tokens: usage.completion_tokens,
total_tokens: usage.total_tokens,
cost_usd: cost,
latency_ms: Date.now() - start,
});
 
return response;
}
 
function calculateCost(model, usage) {
const prices = {
"gpt-5": { input: 2.50, output: 10.00 },
"gpt-5-mini": { input: 0.15, output: 0.60 },
"gpt-5-nano": { input: 0.05, output: 0.20 },
};
const p = prices[model];
return (usage.prompt_tokens * p.input + usage.completion_tokens * p.output) / 1_000_000;
}
Maliyet monitoring middleware — her çağrıda log.

Özet#

✓ 5 strateji: tier, caching, max_tokens, streaming, batch ✓ Monitoring olmadan göz açılmadan $1000/ay olur ✓ Router pattern: nano → uygun model
Modül 11 tamamlandı 🎉 — Sıradaki: Modül 12 (İş Akışları ve Verimlilik).

Yorumlar & Soru-Cevap

(0)
Yorum yazmak için giriş yap.
Yorumlar yükleniyor...

İlgili İçerikler

Bağlantılı Pillar Konular

Bu yazının bağlandığı pillar konular