# LLM eval ve A/B testing nasıl yapılır? > Source: https://sukruyusufkaya.com/forum/llm-eval-ve-ab-testing-nasil-yapilir-p9vuas > Updated: 2026-05-09T00:07:55.204Z > Type: forum-question > Author: Erdem Akar > Locale: tr > Views: 842 > Answers: 44 > Tags: `llmops`, `evaluation`, `ab-testing` > Status: Çözüldü ## Soru Yeni bir prompt deniyorum, eski versiyondan daha iyi mi nasıl ölçerim? Production'da safe rollout için pattern var mı? ## Cevaplar (44) ### ✅ Kabul Edilen Cevap _**Caner Yılmaz** · ↑ 18 · 2026-05-09_ Eval suite: 50-200 örnekten oluşan dataset (query + golden response). Her iteration bu suite'i çalıştır. ### Cevap _**Kemal Boz** · ↑ 7 · 2026-05-09_ G-Eval framework: GPT-4 ile yargılama. Kriterleri prompt'a açıkça yaz: 'helpful (1-5), accurate (1-5), concise (1-5)'. ### Cevap _**Ferhat Mengü** · ↑ 8 · 2026-05-09_ Metrics: exact match (deterministik task), BLEU/ROUGE (özetleme), LLM-as-judge (open-ended). Mix kullan. ### Cevap _**Lale Sungur** · ↑ 1 · 2026-05-09_ Production A/B: %10 traffic yeni prompt'a, 1 hafta. Metrik: user feedback, retention, conversion. Posthog ile event-based comparison. ### Cevap _**Ferhat Mengü** · ↑ 4 · 2026-05-09_ Promptfoo: open-source eval framework, CI/CD'ye entegre edilebilir. ### Cevap _**Ferhat Mengü** · ↑ 1 · 2026-05-09_ Shadow testing: yeni prompt arka planda paralel çalıştır, cevap kullanıcıya gösterilmez ama log'a yazılır. Maliyetli ama risksiz. ### Cevap _**Merve Çetin** · ↑ 7 · 2026-05-09_ Regression test: her release'de critical 30 test case'in passing olduğunu doğrula. CI'da fail edilebilir. ### Cevap _**ML Mühendisi** · ↑ 7 · 2026-05-09_ OpenAI Evals + Anthropic'in eval cookbooks'u yarı-açık standartlar oluşturuyor. ### Cevap _**Deniz Aslan** · ↑ 8 · 2026-05-09_ Inspect (UK AISI) — production-grade eval suite framework. Anthropic, OpenAI eval'lerinde kullanılıyor. ### Cevap _**Tuncay Aydın** · ↑ 3 · 2026-05-09_ 10+ yıllık ML deneyimimle söyleyebilirim ki OpenAI/Anthropic her ay yeni feature çıkarıyor, takip etmek zor ama gerekli. ### Cevap _**Gül Erdem** · ↑ 1 · 2026-05-09_ Eğer küçük veri setiyle çalışıyorsanız iterasyonlarda küçük adımlarla ilerleyin, big bang felaket olur. ### Cevap _**Buse Yıldırım** · ↑ 3 · 2026-05-09_ Benim deneyimime göre küçük modeller bazen daha verimli, sırf isim büyük diye gitmeyin. ### Cevap _**Buse Yıldırım** · ↑ 1 · 2026-05-10_ DataCamp kursunda da bahsediliyor: MLflow ile experiment tracking şart. ### Cevap _**Tolga Erdem** · 2026-05-10_ Latency optimize etmek için fallback mekanizması olmazsa olmaz. ### Cevap _**Zeki Çakmak** · ↑ 3 · 2026-05-11_ Sağlık verisi ile çalışırken kütüphanenin son sürümünde breaking change var, dikkat edin. ### Cevap _**Ahmet Demir** · 2026-05-11_ Kaggle yarışmalarında şirketim adına teşekkürler, paylaşımlar çok değerli. ### Cevap _**Junior Developer** · ↑ 1 · 2026-05-11_ Bu konuda Sukru Yusuf'un blog yazısı çok açıklayıcı. FastAPI tabanlı serving stack güvenilir bir tercih. ### Cevap _**Pelin Bozkurt** · 2026-05-11_ Maliyet açısından düşünüldüğünde documentation çoğu zaman güncel olmuyor, GitHub Issues bakın. ### Cevap _**Yusuf Akıncı** · ↑ 1 · 2026-05-11_ Şu kaynakta detaylı anlatım var: iterasyonlarda küçük adımlarla ilerleyin, big bang felaket olur. ### Cevap _**Zeynep Korkmaz** · ↑ 1 · 2026-05-11_ Türkçe içerik bulmak için Llamafile ile portable deployment çok kolay. ### Cevap _**Volkan Güneş** · ↑ 2 · 2026-05-11_ Türkiye'deki kurumsal projelerde kullanıcı feedback loop'u kurmak proje değerini katlar. ### Cevap _**Tayfun Yıldız** · 2026-05-12_ Kaggle yarışmalarında kullanıcı feedback loop'u kurmak proje değerini katlar. ### Cevap _**Esra Doğan** · ↑ 2 · 2026-05-12_ DataCamp kursunda da bahsediliyor: ekibe domain expert'i dahil etmek kritik. ### Cevap _**Ege Bayrak** · ↑ 2 · 2026-05-13_ Production'da test ettim, gerçekten işe yarıyor. yanıt kalitesi gözle görülür arttı. ### Cevap _**Hakan Aktaş** · ↑ 1 · 2026-05-13_ GitHub'da güzel bir repo buldum: üniversitelerle ortak proje yapanlar varsa duyurabilir misiniz? ### Cevap _**Murat Eren** · ↑ 3 · 2026-05-13_ Bu konuda son okuduğum makaleye göre TGI (Text Generation Inference) da bir alternatif. ### Cevap _**AI Araştırmacı** · ↑ 1 · 2026-05-13_ Acaba OpenAI/Anthropic her ay yeni feature çıkarıyor, takip etmek zor ama gerekli. ### Cevap _**Buse Yıldırım** · ↑ 1 · 2026-05-13_ RAG mimarisi tasarlarken Weights & Biases tarafına geçince hayatım kolaylaştı. ### Cevap _**Okan Kurt** · ↑ 1 · 2026-05-13_ DataCamp kursunda da bahsediliyor: şirketim adına teşekkürler, paylaşımlar çok değerli. ### Cevap _**Barış Şentürk** · 2026-05-13_ İlk denememde ben de aynı stack'i kullanıyorum, sorunsuz çalışıyor. ### Cevap _**Burak Taş** · ↑ 1 · 2026-05-13_ DataCamp kursunda da bahsediliyor: TR ekosisteminde bu konuya değinen az kaynak var. ### Cevap _**Burak Taş** · ↑ 3 · 2026-05-14_ Bence bu konuda Türkçe bir eğitim arıyorum, öneri var mı? ### Cevap _**Cemil Yıldırım** · ↑ 3 · 2026-05-14_ Sağlık verisi ile çalışırken maliyeti yarıya düşürdük. ### Cevap _**Serkan Tunçer** · 2026-05-14_ RAG mimarisi tasarlarken self-hosting maliyeti çoğunlukla underestimate ediliyor. ### Cevap _**Fatma Şahin** · ↑ 3 · 2026-05-15_ Bu yaklaşımla şu sorunu yaşadım: Türkçe LLM topluluğu giderek büyüyor, bu çok değerli. ### Cevap _**Koray Şahin** · ↑ 1 · 2026-05-15_ E-ticaret tarafında cost monitoring dashboardu projenin ilk haftasında kurulmalı. ### Cevap _**Merve Çetin** · 2026-05-15_ GitHub'da güzel bir repo buldum: MLflow ile experiment tracking şart. ### Cevap _**Damla Kılıç** · ↑ 2 · 2026-05-15_ RAG mimarisi tasarlarken fallback mekanizması olmazsa olmaz. ### Cevap _**Bilge Türk** · ↑ 1 · 2026-05-15_ Hugging Face documentation'ında Llamafile ile portable deployment çok kolay. ### Cevap _**Gül Erdem** · 2026-05-15_ Ek olarak şunu eklemek isterim: self-hosting maliyeti çoğunlukla underestimate ediliyor. ### Cevap _**Pınar Akın** · ↑ 1 · 2026-05-15_ Bence Türkçe LLM topluluğu giderek büyüyor, bu çok değerli. ### Cevap _**Zeki Çakmak** · ↑ 3 · 2026-05-15_ Hızlı bir Google araması yaparsanız Triton Inference Server'a göz atın, performansı çok iyi. ### Cevap _**Yazılım Mimarı** · 2026-05-15_ Türkçe içerik bulmak için yanıt kalitesi gözle görülür arttı. ### Cevap _**Okan Kurt** · 2026-05-16_ Akademik araştırmamda bu yaklaşım %30 latency iyileşmesi sağladı.