Self-Host Karar Çerçevesi: OpenAI API vs Kendi GPU'n — Maliyet, Gizlilik, Performans, Bağımsızlık

Bu Derste Neler Var? (12 Bölüm)#

1. Kararın 4 Boyutu — Maliyet, Gizlilik, Performans, Bağımsızlık
2. Per-token Ekonomisi — OpenAI fiyat dönüşümü
3. Self-host Maliyet Matematiği — GPU saat ücreti, utilization, amortisman
4. Break-even Analizi — kaç istek/gün'de denk geliyor
5. Gizlilik Boyutu — KVKK, sektörel kısıt, veri lokasyonu
6. Latency Boyutu — API ms vs self-host ms
7. Throughput Boyutu — concurrent users kapasitesi
8. Vendor Lock-in Riski — model değişirse ne olur?
9. 5 Türkçe SaaS Senaryosu — gerçek karar matrisi
10. Hibrit Stratejiler — bazen ikisini birlikte kullan
11. Karar Ağacı — adım adım seçim
12. Egzersizler ve Sezgi Soruları

1. Kararın 4 Boyutu#

1.1 Maliyet Boyutu#

1.2 Gizlilik Boyutu#

• Log'lara giriyor (kanıtlanmamış 'sıfır retention')
• Sızıntı riski (örn. Mart 2023 ChatGPT veri sızıntısı)
• Veri Türkiye dışı (KVKK için ek prosedür)

1.3 Performans Boyutu#

• Latency: TÜrkiye'den OpenAI ~150-300ms network + processing
• Throughput: rate limit (tier'a göre) — örn. Tier-1 GPT-4o 500 RPM
• Reliability: %99.9 SLA (yaklaşık)

• Latency: kendi sunucun, ~50-100ms
• Throughput: kendi GPU kapasitesi (sınırsız değil ama dynamic)
• Reliability: kendi uptime'ından sorumlusun

1.4 Bağımsızlık Boyutu (Lock-in)#

• OpenAI fiyat artırırsa → sen ödüyorsun.
• OpenAI deprecation duyurursa → sen migrate ediyorsun.
• OpenAI Türkiye'ye servis veremiyorsa (sanction risk, AB AI Act sorunu) → sen biten servisle uğraşıyorsun.
• 'GPT-5 lansman oldu, sen anlam veremiyorsun' — kontrol senin değil.

• Model senin. Hep aynı. Değiştirmek istersen sen karar verirsin.
• Türkiye'de sunucu, KVKK uyumu kolay.
• Bağımsızlık vergisi: setup ve maintenance.

1.5 Boyutların ağırlıkları sektöre göre değişir#

• Eğitim teknolojisi: maliyet > bağımsızlık > gizlilik > performans
• Sağlık: gizlilik > bağımsızlık > maliyet > performans
• Finans: gizlilik = performans > bağımsızlık > maliyet
• E-ticaret chatbot: maliyet > performans > bağımsızlık > gizlilik
• Hukuki danışmanlık: gizlilik > bağımsızlık > performans > maliyet

2-4. Maliyet Matematiği — Sayısal Karşılaştırma#

2.1 API maliyetini hesaplama#

• GPT-4o: $2.50 / 1M input token,$10 / 1M output token
• GPT-4o mini: $0.15 / 1M input,$0.60 / 1M output
• o1: $15 / 1M input,$60 / 1M output

• Claude 3.5 Sonnet: $3 / 1M input,$15 / 1M output
• Claude 3 Haiku: $0.25 / 1M input,$1.25 / 1M output

2.2 Per-conversation maliyet hesabı#

• Ortalama soru: 100 token (~70 Türkçe kelime)
• Sistem mesajı + RAG context: 1500 token
• Cevap: 300 token

• Input: 1600 token × $2.50/1M =$0.004
• Output: 300 token × $10/1M =$0.003
• Per-conversation: $0.007 (~25 kuruş)

• Per-conversation: $0.00045 (~1.5 kuruş, 15× ucuz)

2.3 Aylık API maliyet projeksiyonu#

• GPT-4o: 10K × 30 × $0.007 = **$2,100/ay**
• GPT-4o mini: 10K × 30 × $0.00045 = **$135/ay**

• GPT-4o: $21,000/ay
• GPT-4o mini: $1,350/ay

3.1 Self-host maliyet hesabı#

• Cloud (spot): $2.50/saat
• Cloud (on-demand): $4-8/saat
• On-premise (3 yıl amortisman): $25K satın alma / (3 yıl × 8760 saat) = ~$0.95/saat (+ elektrik + bandwidth + bakım ~$1.50/saat efektif)

• ~3,000 token/saniye (tek GPU, mixed throughput)
• Aylık: 3,000 × 60 × 60 × 24 × 30 = 7.8B token/ay

3.2 Self-host conversation kapasitesi#

• 7.8B / 400 = 19.5M conversation/ay (teorik max)
• Pratik (utilization %50-60): ~10M conversation/ay

4.1 Break-even analizi#

• 10K/gün: API $2,100, self-host (1 H100)$1,800 → self-host kıl payı ucuz
• 50K/gün: API $10,500, self-host$1,800 → self-host 5.8× ucuz
• 100K/gün: API $21,000, self-host$1,800 (kapasite yeter) → self-host 11.7× ucuz

• 10K/gün: API $135, self-host$1,800 → API 13× ucuz
• 100K/gün: API $1,350, self-host$1,800 → API biraz ucuz
• 500K/gün: API $6,750, self-host (2 H100)$3,600 → self-host 2× ucuz

5-7. Gizlilik, Latency, Throughput#

5.1 KVKK ve sektörel kısıtlar#

• Madde 9: Yurt dışına veri aktarımı için açık rıza veya yeterli koruma gerekir.
• Madde 12: Veri güvenliği önlemleri zorunlu.
• Madde 11: Veri sahibinin silme/düzeltme hakları.

• OpenAI ABD sunucularında. AB-ABD veri akışı için 'Data Processing Addendum' (DPA) imzalanmalı.
• Audit log: OpenAI'a ne gitti, ne döndü — sen tüm bunları log etmen gerekir.
• Silme hakkı: kullanıcı 'tüm verimi silmek istiyorum' dediğinde, OpenAI'da tutulan log'lara müdahale edemezsin.

• Sağlık: HİMSS Türkiye standardı, hasta verisi yurt dışı çıkamaz pratikte.
• Finans: BDDK düzenlemeleri, bankacılık verisi sınırlı.
• Hukuk: avukat-müvekkil gizliliği, OpenAI dahil 3. tarafa veri vermek riskli.
• Eğitim: çocuk verileri (8 yaş altı) için özel kısıtlar.

5.2 Self-host gizlilik avantajı#

• Veri Türkiye'de sunucuda (örn: AWS Frankfurt veya Türk Telekom Bulut)
• Audit log tam kontrolünde
• Silme talebi: log'larını sen yönetiyorsun
• Compliance documentation kolayca üretilir

6.1 Latency karşılaştırma#

• TTFB (Time To First Byte): 200-500ms
• Tam cevap (300 token): 1-3 saniye
• Network gecikmesi: ~100-200ms (Türkiye → ABD round trip)

• TTFB: 80-150ms
• Tam cevap (300 token): 0.8-1.5 saniye
• Network gecikmesi: ~30-50ms (Türkiye → Frankfurt)

• TTFB: 30-80ms
• Tam cevap: 0.6-1.2 saniye
• Network gecikmesi: <20ms

7.1 Throughput karşılaştırma#

• OpenAI Tier-1 GPT-4o: 500 RPM
• Tier-2 (ödenmiş $50+): 5,000 RPM
• Tier-5 (enterprise): 30,000 RPM
• Burst capacity sınırlı (rate limit), ekstra kapasite için 'satın al'

• ~50-100 concurrent users (batched)
• Burst capacity: 200 user (kısa süre)
• Daha fazla için: ekstra GPU ekle (lineer ölçeklendirme)

7.2 Önemli not: 'tier upgrade' gecikme#

8-9. Türkçe SaaS 5 Senaryosunda Doğru Karar#

9.1 Senaryo A: Türkçe E-ticaret Chatbot#

• 5K × 30 × $0.00045 =$67.5/ay
• Self-host (1 H100): $1,800/ay
• Maliyet farkı 27× — net API kazanır
• Gizlilik kısıtı yok (ürün soruları PII içermiyor)

9.2 Senaryo B: Türkçe RAG (Bilgi Tabanı + Sorgulama)#

• API: ~$1,800-3,000/ay (GPT-4o mini ile)
• Self-host: $1,800/ay
• Maliyet ben benzer
• Gizlilik avantajı belirleyici → şirket içi dokümanlar OpenAI'a gitmiyor
• Kontrol: model davranışını şirket kültürüne göre fine-tune edebilirsin

9.3 Senaryo C: Türkçe İçerik Üretimi (Blog, Sosyal Medya)#

• Claude yaratıcı yazma çok güçlü
• Per-conversation $0.03-0.05 (uzun output)
• 1K × 30 × $0.04 =$1,200/ay
• Self-host kalitesi yetersiz (yaratıcı writing API en üst seviyede)
• Gizlilik düşük → veri sızıntısı kabul edilebilir

9.4 Senaryo D: Türkçe Hukuki Danışmanlık#

• API kullanmak avukat-müvekkil gizliliği ihlali (3. tarafa veri)
• Türkiye Barolar Birliği müvekkil verisinin yurt dışı çıkmasını sınırlar
• Self-host: $1,800/ay sabit. 500 × 30 = 15K conversation/ay, kapasitenin altında, ama gizlilik kazanır
• Belki fine-tune ile Türk hukuk corpus'una optimize

9.5 Senaryo E: Türkçe Sağlık Asistanı (Pre-clinical)#

• KVKK sağlık verisi yurt dışı çıkamaz
• HİMSS Türkiye standartları self-host'a yönlendiriyor
• 2K × 30 = 60K conversation/ay, 1 H100 yeter
• Maliyet API'den ucuz olsa bile, gizlilik tek başına self-host'u zorunlu kılıyor
• Tıbbi disclaimer + uzman gözetim katmanı şart

8.1 Hibrit Strateji — En Akıllı Yaklaşım#

class DemoRouter:
    def classify(self, query):
        # Hızlı sınıflama (10ms)
        if is_simple_chat(query):
            return 'gpt4o-mini'  # API
        elif is_complex_question(query):
            return 'llama3-self-host'
        elif has_sensitive_data(query):
            return 'llama3-finetuned-self-host'

11-12. Karar Ağacı + Egzersizler#

11.1 Adım adım karar ağacı#

[BAŞLA]
  |
  v
[Q1: Hassas veri mi işliyorsun?]
  Evet (KVKK/sağlık/hukuk/finans) → Self-host (zorunlu, lokasyon Türkiye)
  Hayır → Q2'ye geç
  |
  v
[Q2: Günlük conversation hacmin?]
  <5K → API (ekonomik)
  5K-50K → Q3'e geç
  >50K → Self-host (maliyet kazanır)
  |
  v
[Q3: Türkçe kalite kritik mi?]
  Evet (yaratıcı, hukuki, eğitim) → API (Claude/GPT-4o)
  Hayır (genel sohbet, basit) → Self-host (Llama-3-8B yeter)
  |
  v
[Q4: Model davranışı kontrolü gerekli mi?]
  Evet (özel persona, sektör-spesifik) → Self-host (fine-tune zaten yaptın)
  Hayır → API
  |
  v
[Q5: Hibrit imkanı var mı?]
  Evet → İki tier kur (basit/komplekx)
  Hayır → Tek seçim

11.2 Pratik öneri (çoğu TR startup için)#

• 0-3 ay (MVP): API kullan. Hızla başla, ürün-pazar uyumunu test et.
• 3-6 ay (büyüme): hacim 10K/gün'ü geçince hibrit kur. API + self-host.
• 6-12 ay (olgunlaşma): 50K/gün geçince ağırlıklı self-host. API sadece edge case'ler.

12.1 Egzersizler#

Sonraki Ders: vLLM Production Setup#