Hidden Costs That Inflate Your Bill: Tool Use, Structured Output, Thinking, Web Search and More

Gizli #1 — Tool Definition Token'ları#

Örnek#

• search_database
• call_api
• send_email
• schedule_meeting
• query_calendar

{
  "name": "search_database",
  "description": "Searches the customer database by query string",
  "parameters": {
    "type": "object",
    "properties": {
      "query": {"type": "string", "description": "The search query"},
      "limit": {"type": "integer", "default": 10}
    },
    "required": ["query"]
  }
}

Maliyet etkisi (Sonnet 4.6, aylık 100K istek):#

1.000 token × 100K istek × $3/M = $300/ay

Strateji#

• Tool description'larını minimal tut
• Aynı pipeline'da kullanılmayan tool'ları eklemе
• Conditional tool loading: kullanıcı niyetine göre subset gönder
• Prompt caching ile cache'le (Modül 7)

Gizli #2 — Tool Result Token'ları#

Örnek#

1. LLM çağrısı 1: kullanıcı sorusu → LLM "search_database" çağırır
2. Tool execute → 50 sonuç döner (5K token JSON)
3. LLM çağrısı 2: input = orijinal soru + tool result (5K) + ...

Strateji#

• Tool result'ları sıkıştır (önemli alanları al, hepsini değil)
• LLM'e sadece top-N sonuç dön, hepsi değil
• Tool result'ları cache'ye alın (Modül 7)
• Agent loop'unda accumulated history token sayısını izle (Modül 14)

Gizli #3 — Structured Output Prefill#

• OpenAI: schema'yı internal olarak inject ediyor — bir-iki yüz token overhead
• Anthropic: tools'u zorlayınca tool definition token'ı + tool_use prefill

Maliyet#

500 token × 100K istek × $3/M = $150/ay

Gizli #4 — Thinking / Reasoning Default Bütçesi#

Default değerler#

Hesap#

8.192 thinking tokens × 100K × $5/M (output) = $4.096/ay

Strateji#

• Her zaman
  thinking_budget=0
  veya disabled (gereksizse)
• Gerektiğinde explicitly aç, gerektiğinde kapat

Gizli #5 — Web Search Tool#

Maliyet patlaması#

5 search/istek × 100K istek = 500K search/ay
500K × $30/1K = $15.000/ay 🚨

Strateji#

• Web search'ü whitelist ile çalıştır — sadece gerektiğinde
• Cache search results
• Anthropic'in daha ucuz web_search'ünü değerlendir
• Custom retrieval (RAG) ile değiştir

Gizli #6 — Vision

detail="high"

Default#

Maliyet farkı#

• detail=low: $85/ay
• detail=high (default): $765/ay

Strateji#

• Her zaman explicitly
  detail="low"
  veya
  detail="high"
  belirt
• Default'ta low, gerektiğinde high (örn: OCR, text reading)

Gizli #7 — Cache Miss Sebep Bilmiyorum#

Cache miss sebepleri (görünmez)#

• Prompt'un bir tek token değişmesi (whitespace dahil)
• Tools listesinin sırası değişmesi
• system_fingerprint değişmesi (model otomatik upgrade)
• Response format değişmesi
• Temperature, top_p gibi sampling param değişmesi (bazen)

Strateji#

• Sistem prompt'u deterministic üret (rastgele JSON ordering yok)
• Tools listesini sırala (alfabetik)
• Cache hit ratio'yu izle (Modül 7'de Langfuse ile)

Gizli #8 —

system_fingerprint

Değişikliği#

• Cache invalid olur (cache miss)
• A/B test sonuçları reset olur (yeni model versiyonu)
• Beklenmedik output tarzı değişimleri

Strateji#

• system_fingerprint'i her response'tan logla
• Değiştiğinde alert ver
• Production'da model snapshot version'ı kullan (
  gpt-5-2026-02-01
  gibi explicit),
  gpt-5
  değil

Fatura Audit Checklist#

• Tool definition'ları her isteğin input'unda kaç token kaplıyor?
• Tool result token'ları cache'leniyor mu?
• Thinking budget explicit set edilmiş mi? (default'ları öldür)
• Web search tool kontrol altında mı? (whitelist, cache)
• Vision detail mode default'u explicit? (low vs high)
• Cache hit ratio izleniyor mu? (Langfuse / Helicone)
• system_fingerprint değişiklikleri loglanıyor mu?
• max_tokens her API çağrısında set ediliyor mu?
• reasoning_effort
  /
  thinking_budget
  parametreleri override edilmiş mi?
• Streaming kesintilerinin output cost'u izleniyor mu?