Vendor Diversifikasyonu, Failover, Maliyet Yönetimi

Name: Vendor Diversifikasyonu, Failover, Maliyet Yönetimi
Author: Şükrü Yusuf KAYA

Tek vendor riski. Multi-vendor abstraction (LiteLLM, LangChain). Failover, cost-based routing, vendor outage scenarios.

Şükrü Yusuf KAYA

9 dakikalık okuma

11.05.2026

İleri

Vendor Risk Yönetimi

Niçin Tek Vendor Tehlikeli?#

Outage: OpenAI 2024'te birkaç saat down → tüm app etkilendi
Fiyat artışı: Vendor unilateral fiyat değiştirir
Policy: Vendor "biz X'e izin vermiyoruz" der → işin durur
Country block: Türkiye'den IP block (yaşandı 2025)
Lock-in: Migrasyon 3-6 ay

LiteLLM: Vendor-Agnostic Gateway#

python

from litellm import completion
 
# Aynı arayüz, farklı vendor
r = completion(
    model="claude-sonnet-4-6",  # Anthropic
    messages=[...]
)
r = completion(
    model="gpt-4o",  # OpenAI
    messages=[...]
)
r = completion(
    model="gemini/gemini-2.5-pro",  # Google
    messages=[...]
)
 
# Failover
r = completion(
    model="claude-sonnet-4-6",
    messages=[...],
    fallbacks=["gpt-4o", "gemini/gemini-2.5-pro"]
)
# Anthropic fail → OpenAI → Gemini

LiteLLM ile failover

Cost-Based Routing#

python

# Trafiği hızlı/ucuz model'e route et
def route_model(query: str, budget_remaining: float):
    if budget_remaining < 100:  # $100 günlük kalan
        return "claude-haiku-4-5-20251001"  # ucuz
    if classify_complexity(query) == "high":
        return "claude-opus-4-6"  # pahalı ama kaliteli
    return "claude-sonnet-4-6"  # default

Routing logic

Vendor Outage Playbook#

text

1. Detect: error rate > 50% in 1min → trigger
2. Auto-failover: Sekonder vendor'a geçiş (Claude → GPT)
3. Notify: Slack #incidents + status page güncelle
4. Monitor: Hourly check primary vendor
5. Rollback: Primary geri OK → kademeli %1 → %100 traffic
6. Post-mortem: Outage duration, etkilenen request, MTTR

Vendor outage playbook

Production tavsiye: Min 2 vendor + 1 open-source backup (self-host). Aylık disaster drill — primary'i kapat, failover doğru çalışıyor mu?

Yorumlar & Soru-Cevap

(0)

Yorum yazmak için giriş yap.

Yorumlar yükleniyor...

İlgili İçerikler

1. Temeller — Yapay Zekâ ve LLM'lere Giriş