AI ROI Framework: %95 Pilot Tuzağından Çıkışın Üç Katmanlı Ölçüm Modeli (BCG 10-20-70 Kuralı)
AI projelerinin %95'i pilot aşamasından üretime geçemiyor. BCG 10-20-70 kuralı, McKinsey State of AI 2025 verisi, üç katmanlı ROI ölçüm modeli (Utilization → Productivity → Business Outcome), use case prioritization matrisi ve iki Türk şirketi vakası ile C-level karar destek rehberi.
1. Giriş: %95 Pilot Tuzağı ve Değer Boşluğunun Anatomisi
Boston Consulting Group'un Ocak 2025'te yayımladığı "Widening AI Value Gap" raporu, kurumsal AI yatırımları için en sert bilançoyu sundu: dünya çapında 1.000+ büyük şirket arasında sadece %5'i AI'dan ölçülebilir P&L etkisi yakalıyor. Geri kalan %95'i ya pilot aşamasında saplanmış (pilot purgatory) ya da üretime geçmiş ama "vanity metric" denilen sahte göstergelerle ROI ürettiğini düşünüyor.
MIT NANDA Initiative'in 2025'teki paralel çalışması daha da çarpıcı: incelenen GenAI projelerinin %95'i hiç gelir üretmedi. McKinsey State of AI 2025 raporu ise şirketlerin %78'inin en az bir iş alanında AI kullandığını gösteriyor ama bottom-line etkisi gören sadece %19.
- AI ROI (Return on AI Investment)
- Bir AI yatırımının üç katmanlı sonucu: (1) sistem benimsenme oranı, (2) bireysel ve takım üretkenliğinde ölçülebilir artış, (3) gelir, maliyet, müşteri deneyimi gibi P&L kalemlerinde net iyileşme. Hard ROI (parasal) ve Soft ROI (memnuniyet, retention, risk azaltma) ayrı değerlendirilir.
- Ayrıca: AI ROI, AI Yatırım Geri Dönüşü
- Wikidata: Q1131354
Bu rehberin amacı: %95'ten çıkıp %5'e geçmek için gereken ölçüm disiplinini kurumsal karar vericiler — CEO, CFO, CDO, CAIO — için tek bir doküman halinde sunmak. Konunun teknik değil yönetimsel olduğunu en başta net çizmemiz gerek: model seçimi, vendor karşılaştırması ya da hangi LLM'in kullanılacağı soruyu değil semptomu çözer. Sorun ölçüm + organizasyonel uyum sorunudur.
Neden Bu Kadar Yüksek Başarısızlık?
Sahada karşılaştığımız beş tekrarlayan kalıp:
- Tech-first thinking. "Hangi LLM en iyi?" sorusu, "Hangi süreç en yüksek ROI'yi verir?" sorusunun yerine geçti.
- Vanity metrics. "Token kullanımı arttı", "1.200 kullanıcı kaydoldu" gibi göstergeler ROI olarak rapor edildi; iş etkisi ölçülmedi.
- Executive sponsorship eksikliği. AI projesi BT ya da Innovation Lab'da kaldı; iş birimi (commercial, ops, finance) sahiplenmedi.
- Change management bütçesi sıfır. Eğitim, süreç yeniden tasarımı, prompt kütüphanesi, ödüllendirme — bunların hiçbiri planlanmadı.
- Eval altyapısı yok. Sistemin gerçekten ne kadar iyi çalıştığını ölçen bir test seti olmadığından, "iyi çalışıyor" anekdotal kaldı.
2. BCG 10-20-70 Kuralı: AI Değerinin Anatomisi
BCG'nin 1.000 şirketle yaptığı 5 yıllık longitudinal çalışmanın bulgusu, AI projelerinde değerin nereden geldiğini matematiksel bir denkleme indirgedi:
| Katman | Yatırım Payı | Açıklama | Tipik Bütçe Hatası |
|---|---|---|---|
| Algoritma | 10% | Model seçimi, fine-tuning, RAG mimarisi | Çoğu şirket bütçenin %50-70''ini buraya ayırıyor |
| Teknoloji + Veri | 20% | Veri pipeline, vektör DB, MLOps, observability | Genelde yeterli ama yanlış sıralı yapılıyor |
| İnsan + Süreç + İş Modeli | 70% | Change management, eğitim, KPI''ler, organizasyon, ödüllendirme | Çoğu şirket %10''dan az ayırıyor — başarısızlığın ana sebebi |
Bu denklemin tersine çevrilmesi başarısızlık demektir. Türk şirketlerinde yaptığımız 47 AI maturity assessment'in 41'inde bütçe dağılımı şuydu: algoritma + teknoloji birlikte %85, insan + süreç %15. BCG benchmark'ına göre tam tersi olmalıydı.
10-20-70 Kuralı Türk Şirketleri İçin Yeniden Yorumlanırsa
- %10 Algoritma. "Hangi LLM, RAG vs fine-tuning, embedding modeli" gibi teknik kararlar. Önemli ama tek başına değer üretmez.
- %20 Teknoloji + Veri. KVKK uyumlu vektör DB, MLOps, observability, eval harness. Türk şirketlerde özellikle "veri" kısmı zayıf — kullanılabilir veri %20-30'da kalıyor.
- %70 İnsan + Süreç + İş Modeli. İş süreçlerinin yeniden tasarımı, eğitim programları, ödüllendirme sistemi, KPI bağlama, organizasyon yapısı değişimi. Türk şirketlerin en zayıf olduğu yer burası.
3. Üç Katmanlı AI ROI Ölçüm Modeli
AI ROI'sını ölçmek için tek bir KPI yeterli değil. Sahada doğruluğu kanıtlanmış üç katmanlı bir model var.
Layer 1 — Utilization (Benimseme)
Soru: İnsanlar gerçekten kullanıyor mu?
| Metrik | Hedef Aralık |
|---|---|
| Aktif kullanıcı oranı (MAU/Total) | İlk 3 ay: %20+, 6 ay: %50+, 12 ay: %75+ |
| Haftalık kullanım sıklığı | Kullanıcı başına 5+ session/hafta |
| Retention (D30) | %60+ |
| Feature adoption | Toplam feature'ın %60'ı en az bir kez kullanıldı |
Layer 1 ROI üretmez ama Layer 2 ve 3'ün önkoşuludur. Düşük utilization → değer yok.
Layer 2 — Productivity (Üretkenlik)
Soru: Kullanıldığında işi gerçekten hızlandırıyor / kalitesini artırıyor mu?
| Metrik | Ölçüm Yöntemi | Tipik Hedef |
|---|---|---|
| Görev tamamlama süresi | A/B test (AI'lı vs AI'sız) | %30-60 azalma |
| Kalite skoru | İnsan-rated örneklem (1-5 ölçek) | 0.5+ puan artış |
| Hata oranı | Üretim QA log'ları | %20-40 azalma |
| Output volume | Birim başına çıktı sayısı | %25-50 artış |
Productivity ölçümü A/B test gerektirir. Anekdotal "kullanıcılar memnun" yetmez.
Layer 3 — Business Outcome (İş Sonucu)
Soru: P&L'de görünür bir iyileşme var mı?
| Metrik | Örnek |
|---|---|
| Gelir artışı | Conversion rate, ARPU, cross-sell |
| Maliyet düşüşü | OpEx azalma, FTE tasarrufu, vendor azaltma |
| Müşteri deneyimi | NPS, CSAT, çağrı süresi, çözüm oranı |
| Retention | Churn azalma, LTV artışı |
| Risk azaltma | Hata oranı, fraud detection, compliance |
Layer 3 metrikleri CFO dilinde konuşur. AI projesi finansal raporlamada görünür hale gelmediği sürece, %95 grubuna aittir.
| Katman | Ne Zaman | Kim Ölçer | Karar |
|---|---|---|---|
| Layer 1 Utilization | İlk 90 gün | Product / IT | Pilot devam mı kapanır mı? |
| Layer 2 Productivity | 3-9 ay | Business unit + HR | Ölçeklendirme bütçesi serbest mi? |
| Layer 3 Business Outcome | 6-18 ay | Finance + CEO | Bütçe artırılır mı, sektörel rollout olur mu? |
4. Hard ROI vs Soft ROI
ROI'nin iki türü var ve ikisi de gerçek:
Hard ROI (Parasal, Doğrudan)
- FTE tasarrufu: 10 kişilik müşteri hizmetleri ekibi, 6 kişiye iniyor (anonim Türk e-ticaret vakası).
- Vendor azaltma: Manuel veri girişi vendor sözleşmesi $180K/yıl, AI ile $40K/yıl'a indi.
- Conversion artışı: Self-query RAG ile e-ticaret konversiyonu %15-23 arttı.
- Çağrı süresi azalması: Çağrı merkezi AHT (Average Handle Time) 12 dk → 4 dk.
Hard ROI hesabı basit: net fayda / yatırım × 100. Tipik kurumsal AI projesinde 18-36 ay payback hedeflenir.
Soft ROI (Dolaylı, Stratejik)
- Employee satisfaction. Tekrar eden işlerden kurtulan çalışan retention'ı artar.
- Brand reputation. AI-first algılaması, talent çekme kabiliyetini artırır.
- Risk azaltma. Hata azalma → marka hasarı azalır.
- Strategic optionality. AI altyapısı, yeni ürün geliştirme hızını katlar.
Soft ROI ölçülmez denmesi yanlış. McKinsey'nin önerdiği formül: proxy KPI (örneğin "çalışan eNPS" → talent retention).
5. Pilot-to-ROI 14 Aylık Timeline
BCG'nin observed median: AI pilotundan ölçülebilir P&L etkisine 14 ay. Türk şirketlerinde gözlemimiz 16-18 ay (change management gecikmesi). Hızlandırmak için disiplinli bir takvim gerek.
Ay 0-2: Use Case Prioritization
- Impact × feasibility matrisi
- Executive sponsor atama
- Baseline ölçümü (mevcut süreçte AHT, conversion, FTE, hata)
- Eval kriteri tanımlama
Ay 2-4: MVP
- Mimarinin oluşturulması (RAG, fine-tune, agent)
- 100+ örnek soru ile eval set
- 20-50 erken benimseyici (early adopter) seçimi
- KVKK + risk değerlendirme
Ay 4-7: Pilot
- 200-500 kullanıcı
- Layer 1 utilization ölçümü
- A/B test (Layer 2 productivity)
- Geri bildirim → iyileştirme döngüsü
Ay 7-12: Scale
- Şirket genelinde rollout
- Change management programı (eğitim, prompt kütüphanesi, ödüllendirme)
- Layer 3 business outcome ölçümü
- CFO raporlama formatı
Ay 12-14: ROI Realization
- Hard + soft ROI raporu
- Bütçe genişletme kararı
- Sektörel rollout (yeni use case, yeni business unit)
6. Use Case Prioritization Framework: Impact × Feasibility Matrisi
AI projelerinin başarısızlığının %40'ı yanlış use case seçimi. Doğru framework:
| Bölge | Impact | Feasibility | Aksiyon |
|---|---|---|---|
| Quick Wins | Düşük-Orta | Yüksek | İlk 6 ay — momentum yarat, finansman aç |
| Strategic Bets | Yüksek | Düşük-Orta | 6-18 ay — executive sponsor + dedicated team gerek |
| Fill-ins | Düşük | Yüksek | Kapasite varsa, ROI sınırlı |
| Money Pit | Düşük | Düşük | Asla yapma — kaynak yakar |
Impact Skoru Bileşenleri
- Gelir potansiyeli. Conversion, ARPU, cross-sell, retention.
- Maliyet düşüşü potansiyeli. FTE, vendor, error cost.
- Stratejik önem. Sektörel farklılaşma, regülatif baskı, talent çekim.
- Volume. Etkilenecek transaction sayısı.
Feasibility Skoru Bileşenleri
- Veri hazırlığı. Veri mevcut mu, kalitesi nasıl?
- Teknik karmaşıklık. RAG mı, fine-tune mı, agent mı?
- KVKK + regülatif risk. Compliance yükü?
- Change management ihtiyacı. Süreç değişimi büyüklüğü?
- Executive sponsorship. Karar verici sahipleniyor mu?
7. Common Pitfalls: Pilot Purgatory, Vanity Metrics, Tech-First
Pitfall 1 — Pilot Purgatory
Pilot başarılı, ama ölçeklenmiyor. Sebep: pilot'un başarısı kapsamlı KPI ile değil, kullanıcı memnuniyeti ankettiyle ölçüldü. Çözüm: pilot başlamadan Layer 2 + Layer 3 metriklerini tanımla.
Pitfall 2 — Vanity Metrics
"Token kullanımı %200 arttı." "1.500 kullanıcı login oldu." Bu metrikler iş etkisini ölçmez. CFO raporuna girmez. Çözüm: dashboard'da sadece Layer 2 + Layer 3 göster.
Pitfall 3 — Tech-First Thinking
"En iyi LLM hangisi?" Bu soru başlangıç olmamalı. Çözüm: use case → süreç haritası → KPI → mimari sıralaması.
Pitfall 4 — Executive Sponsorship Sıfır
AI projesi BT'de kaldı. İş birimi sahiplenmiyor. Çözüm: sponsor C-level olmalı; CAIO veya CDO veya iş birimi başkanı.
Pitfall 5 — Change Management Bütçe Sıfır
BCG 10-20-70'in tersine çevirilmiş hali. Çözüm: bütçenin %50-70'ini eğitim, süreç tasarımı, ödüllendirme, iletişim.
8. ROI Excel Hesaplayıcı Şablonu (Spek)
Karar destek için kullanılabilecek minimal hesaplayıcı yapısı:
Giriş Parametreleri
| Sekme | Alanlar |
|---|---|
| A. Maliyet | LLM API maliyeti, vektör DB hosting, MLOps, dev FTE, eğitim, change mgmt |
| B. Fayda — Hard | FTE tasarrufu × maaş, vendor maliyet kesintisi, conversion uplift × AOV, AHT azalma × call volume |
| C. Fayda — Soft | Retention × replacement cost, brand value (proxy), strategic optionality |
| D. Risk Düzeltme | KVKK ceza riski, hallucination cost, ramp-up gecikmesi |
Çıkış
- Net ROI %, Payback ay, NPV (3 yıl), IRR
- Sensitivity analysis: utilization %, productivity %, business outcome %
Bu şablonu Excel'de 6 sekme + tek dashboard ile yapılır. İletişim formundan istenirse hazır template paylaşılabilir.
9. Sayılar: McKinsey + BCG + IBM 2025 Verisi
Sektör Bazlı ROI Beklentileri
| Sektör | Tipik Hard ROI | Payback | Öncelikli Use Case |
|---|---|---|---|
| Bankacılık | %150-300 (3 yıl) | 10-14 ay | Müşteri hizmetleri RAG, fraud detection, internal copilot |
| Perakende | %100-250 | 9-14 ay | Ürün arama RAG, personalization, çağrı merkezi |
| Üretim | %80-180 | 12-18 ay | Predictive maintenance, kalite kontrol, supply chain |
| Sağlık | %120-200 | 12-20 ay | Klinik karar destek, dokümantasyon, scheduling |
| Profesyonel hizmetler | %200-400 | 6-12 ay | Doküman analizi, araştırma, kontrat |
| Telekom | %150-250 | 10-14 ay | Network optimization, çağrı merkezi, churn |
10. Türkiye'ye Özgü Açı: KVKK, BDDK, Talent ve Vendor Ekosistemi
KVKK + BDDK = ROI Düşmanı mı, Çarpanı mı?
Kısa cevap: doğru tasarlanırsa çarpan. Türk şirketleri KVKK uyumunu maliyet olarak görüyor; halbuki ROI hesabında KVKK ceza riski (€20M'a kadar) bir potansiyel kayıp olarak modellenir. Compliant tasarım, bu riski 0'a indirir = +€2-20M risk düzeltme katkısı.
Talent Maliyeti
Türkiye'de senior AI engineer maliyeti $4.000-8.000/ay (full-loaded). Bir AI projesinin internal team maliyeti 6-12 kişi × 12-18 ay = $400K-1.2M. ROI hesabında bunu dahil etmek zorunda.
Vendor Ekosistemi
Türkiye'de KVKK uyumlu kullanılabilecek vendor'lar sınırlı. Bütçenin %15-25'i vendor + lisans için ayrılır. Bu kalemi olduğundan az gösteren ROI hesapları gerçekçi değil.
Türk Şirketlerinde ROI Ölçüm Olgunluk Seviyeleri
- Seviye 0 (gözlenen %38): Hiç ölçüm yok. "Hissi" iyi.
- Seviye 1 (%34): Vanity metrics. Token, login, kayıt sayısı.
- Seviye 2 (%18): Layer 2 productivity ölçülüyor ama A/B test yok.
- Seviye 3 (%8): Layer 1 + 2 + 3 birlikte ölçülüyor.
- Seviye 4 (%2): CFO dashboard'unda real-time AI ROI görünür.
Hedef: 12 ay içinde Seviye 0/1'den Seviye 2/3'e geçmek.
11. Vaka Çalışmaları (Anonim Türk Şirketleri)
Vaka 1 — Türk Perakende Grubu (Online + Offline): %23 Conversion Artışı
Problem. 8.000 SKU'lu online katalog, müşteri yapılandırılmamış doğal dil sorguları yapıyor ("kış için su geçirmez kadın bot 3000 TL altı"). Klasik filtre arayüzü cevaplayamıyor, conversion düşük.
Yaklaşım.
- Self-query RAG (LLM, kullanıcı sorgusunu metadata filtre + semantik aramaya ayırıyor)
- Embedding: jina-v3 multilingual + Türkçe e-ticaret fine-tuning
- Layer 1 utilization: günde 80.000 sorgu (rollout sonrası 8. ay)
- Layer 2 productivity: müşteri başına ortalama 1.4 oturum (önce 4.2)
- Layer 3 business outcome: conversion %23↑, AOV %12↑
ROI Hesabı.
- Yatırım: $310.000 (development) + $48.000/yıl (LLM + vector DB + ops)
- Hard ROI: yıllık ek gelir $1.4M, vendor maliyet azaltma $48K/yıl
- Payback: 11 ay
- Soft ROI: 11 puan NPS artışı
Anahtar Karar. %70'i (BCG kuralı) change management'a yatırıldı: ürün ekibi yeniden eğitildi, taksonomi yeniden tasarlandı, içerik yazarlığı promp library'siyle desteklendi.
Vaka 2 — Türk Bankası (Top 5): NPS +12 Puan, AHT 12dk → 3dk
Problem. Çağrı merkezi, 6.000 temsilci, müşteri sorusu başına 8-15 dk araştırma süresi. Ürün kataloğu + kampanya + regülatif değişiklikler haftalık.
Yaklaşım.
- Hybrid RAG (BGE-M3 + Qdrant on-prem + BM25)
- 50 chunk getir → BGE re-ranker → top-5 → GPT-5 EU instance
- Anonimleştirme katmanı (KVKK uyumu)
- Eval harness: 500 soru, RAGAS faithfulness ölçümü
Sonuçlar (Layer 1/2/3).
- L1: MAU 6.000 temsilci, D30 retention %78
- L2: AHT 12 dk → 3 dk (%75 azalma)
- L3: çağrı çözme oranı +%18, NPS +12 puan, customer effort score -28%
ROI Hesabı.
- Yatırım: $880.000 (dev + eval + KVKK audit) + $180.000/yıl (ops)
- Hard ROI: FTE eşdeğeri tasarrufu (yeni çalışan ihtiyacının ertelenmesi) $1.8M/yıl
- Payback: 9 ay
- Soft ROI: NPS +12, retention etkisi $4M/yıl proxy değer
Anahtar Karar. 14 haftalık change management programı: temsilci eğitimi, prompt kütüphanesi, "AI buddy" mentörlük, ödüllendirme KPI'ları AHT yerine kalite + müşteri memnuniyetine kaydırıldı.
12. Riskler ve Karşı Önlemler
Risk Düzeltilmiş NPV Yaklaşımı
CFO dilinde konuşmak için: AI projesinin expected NPV'sini değil, risk-adjusted NPV'sini hesapla. Senaryolar:
- Best case (%20 probability): Layer 3 hedefleri aşılır, ROI %250.
- Base case (%50): Hedefler tutturulur, ROI %120.
- Worst case (%30): Layer 2 tutuyor ama Layer 3 zayıf, ROI %30.
Risk-adjusted ROI = 0.2 × 250 + 0.5 × 120 + 0.3 × 30 = 50 + 60 + 9 = %119. Bu değer board sunumunda %250'den çok daha güvenilir.
13. SSS
14. Bir Sonraki Adım
AI ROI ölçüm framework'ünü şirketinizde kurmak için üç tipik başlangıç:
- ROI Diagnostic. Mevcut AI portföyünüzdeki tüm projelerin Layer 1/2/3 ölçümü, BCG 10-20-70 kuralına göre değer dağılımı, kayıp ROI tespiti. 3 haftalık deep-dive.
- Use Case Prioritization Atölyesi. Şirketin tüm potansiyel AI use case'lerini impact × feasibility matrisinde yerleştirme, top 5 use case için detaylı ROI projeksiyonu. 4 saatlik executive workshop + 2 haftalık analiz.
- CFO Dashboard Tasarımı. AI portföyünün CFO'ya real-time görünür hale gelmesi için dashboard tasarımı + KPI tanımları + raporlama ritmi. 6 haftalık implementasyon.
İletişim için site üzerindeki contact formu kullanılabilir.
Kaynaklar
- Closing the AI Impact Gap (Widening AI Value Gap) — Boston Consulting Group, BCG ·
- Scaling AI Pays Off — How Leaders Capture Value — Boston Consulting Group, BCG ·
- The State of AI 2025 — McKinsey & Company, McKinsey QuantumBlack ·
- The Economic Potential of Generative AI — McKinsey & Company, McKinsey Digital ·
- IBM Institute for Business Value — AI ROI Report 2025 — IBM IBV, IBM ·
- Masterofcode — AI ROI Calculator and Framework — Masterofcode, Masterofcode Global ·
- DeepHumanX — Measuring AI Business Value — DeepHumanX, DeepHumanX ·
- MIT NANDA Initiative — GenAI Value Realization Study — MIT Media Lab, MIT ·
- Gartner AI Maturity Model 2025 — Gartner, Gartner ·
- Deloitte State of Generative AI in the Enterprise Q4 2024 — Deloitte, Deloitte ·
- PwC AI Predictions 2026 — PwC, PwC ·
- HBR — How to Measure AI ROI — Harvard Business Review, HBR ·
- Accenture Technology Vision 2025 — Accenture, Accenture ·
- Forrester AI Investment Benchmarks 2025 — Forrester, Forrester ·
- BCG — Where''s the Value in AI? — Boston Consulting Group, BCG ·
- Databricks State of Data + AI 2025 — Databricks, Databricks ·
- Andreessen Horowitz — Enterprise AI Spend Survey 2025 — a16z, Andreessen Horowitz ·
- World Economic Forum — Future of Jobs Report 2025 — WEF, World Economic Forum ·
- TÜBİTAK BİLGEM Türkiye AI Olgunluk Raporu — TÜBİTAK BİLGEM, T.C. TÜBİTAK ·
- TRAI Türkiye Yapay Zeka İnisiyatifi — Sektör Raporu 2025 — TRAI, Türkiye AI Initiative ·
- Stanford HAI — AI Index Report 2025 — Stanford HAI, Stanford University ·
- KPMG — Generative AI Risk and Value Survey 2025 — KPMG, KPMG ·
- EY — How AI Will Reshape the Enterprise 2025 — EY, Ernst & Young ·
- BCG — AI at Scale Survey 2024 — Boston Consulting Group, BCG ·
- KVKK - 6698 Sayılı Kişisel Verilerin Korunması Kanunu — T.C. KVKK, Türkiye Cumhuriyeti ·
- EU Artificial Intelligence Act — European Commission, EU ·
Bu rehber yaşayan bir belgedir; BCG, McKinsey ve PwC raporları her çeyrek güncellendiği için çeyreklik olarak güncellenmektedir.
Danismanlik Baglantilari
Bu yazıya en yakın consulting sayfaları
Bu içerikten sonraki mantıklı adım için en ilgili solution, role ve industry landing'lerini burada görebilirsin.
AI Evaluation, Guardrails ve Observability
Yapay zeka sistemlerinin dogruluk, guvenlik ve performansini olcmek, izlemek ve kontrollu hale getirmek icin kapsamli degerlendirme katmani.
CIO ve Dijital Donusum Liderleri icin AI Yol Haritasi
Kurumun mevcut olgunluguna uygun, is hedefleriyle hizali ve olculebilir cıktilara baglanan AI donusum yol haritasi tasarimi.
CTO'lar icin Kurumsal AI Mimari Danismanligi
PoC seviyesinde kalan AI girisimlerini guvenli, olceklenebilir ve production-ready mimarilere tasimak icin teknik liderlik danismanligi.