Türkçe Vaka: Bankacılık Asistanı

• BDDK — bankacılık düzenlemesi
• KVKK — kişisel veri koruma
• PCI-DSS — kart verisi güvenliği
• Türkiye Cumhuriyet Merkez Bankası — finansal düzenleme

Mimari: On-Prem + Cache Pattern#

Niçin Self-Hosted?#

Mimari Bileşenler#

1. On-Prem vLLM Cluster#

• 4× H100 80GB (Llama 3.1 70B fp16)
• Prefix caching enabled
• TLS within bank network
• No internet egress

2. Cache Pool (Internal Redis)#

• Tüm cache veri Türk veri merkezinde
• Encryption at rest
• Per-user cache isolation

3. Audit Layer#

{
  "timestamp": "2026-04-01T10:34:21Z",
  "user_id_hashed": "sha256:abc...",
  "query_hash": "sha256:def...",
  "cache_hit": true,
  "response_hash": "sha256:ghi...",
  "compliance_flags": ["pii_redacted"]
}

PII Handling#

def safe_query(user_query, user_session):
    # 1. PII redact
    clean_query = redact_pii(user_query)

    # 2. Yüksek riskli pattern'leri tool'a yönlendir
    if "bakiye" in clean_query.lower():
        balance = banking_tool.get_balance(user_session.account_id)
        # balance'ı LLM'e gönderme; doğrudan user'a göster
        return f"Bakiyeniz: {balance:.2f} TL"

    # 3. LLM call (redacted, sadece KB ile)
    return llm.query(clean_query)

Cache Hit Rate Hedef#

• "Kart limitimi nasıl artırırım?"
• "Şubem nerede?"
• "Faiz oranı ne?"
• "Sözleşme nasıl iptal edilir?"

Cost Modeli (On-Prem)#

• GPU maliyeti: $20-30K (satın alma) veya$5K/ay (kira)
• Operasyon: 1 ML engineer + 1 DevOps yarı zamanlı

✓ Pekiştir#

Bir Sonraki Derste#