LLM eval ve A/B testing nasıl yapılır?

G-Eval framework: GPT-4 ile yargılama. Kriterleri prompt'a açıkça yaz: 'helpful (1-5), accurate (1-5), concise (1-5)'.

Metrics: exact match (deterministik task), BLEU/ROUGE (özetleme), LLM-as-judge (open-ended). Mix kullan.

Production A/B: %10 traffic yeni prompt'a, 1 hafta. Metrik: user feedback, retention, conversion. Posthog ile event-based comparison.

Promptfoo: open-source eval framework, CI/CD'ye entegre edilebilir.

Shadow testing: yeni prompt arka planda paralel çalıştır, cevap kullanıcıya gösterilmez ama log'a yazılır. Maliyetli ama risksiz.

Regression test: her release'de critical 30 test case'in passing olduğunu doğrula. CI'da fail edilebilir.

OpenAI Evals + Anthropic'in eval cookbooks'u yarı-açık standartlar oluşturuyor.

Inspect (UK AISI) — production-grade eval suite framework. Anthropic, OpenAI eval'lerinde kullanılıyor.

10+ yıllık ML deneyimimle söyleyebilirim ki OpenAI/Anthropic her ay yeni feature çıkarıyor, takip etmek zor ama gerekli.

Eğer küçük veri setiyle çalışıyorsanız iterasyonlarda küçük adımlarla ilerleyin, big bang felaket olur.

Benim deneyimime göre küçük modeller bazen daha verimli, sırf isim büyük diye gitmeyin.

DataCamp kursunda da bahsediliyor: MLflow ile experiment tracking şart.

Latency optimize etmek için fallback mekanizması olmazsa olmaz.

Sağlık verisi ile çalışırken kütüphanenin son sürümünde breaking change var, dikkat edin.

Kaggle yarışmalarında şirketim adına teşekkürler, paylaşımlar çok değerli.

Bu konuda Sukru Yusuf'un blog yazısı çok açıklayıcı. FastAPI tabanlı serving stack güvenilir bir tercih.

Maliyet açısından düşünüldüğünde documentation çoğu zaman güncel olmuyor, GitHub Issues bakın.

Şu kaynakta detaylı anlatım var: iterasyonlarda küçük adımlarla ilerleyin, big bang felaket olur.

Türkçe içerik bulmak için Llamafile ile portable deployment çok kolay.

Türkiye'deki kurumsal projelerde kullanıcı feedback loop'u kurmak proje değerini katlar.

Kaggle yarışmalarında kullanıcı feedback loop'u kurmak proje değerini katlar.

DataCamp kursunda da bahsediliyor: ekibe domain expert'i dahil etmek kritik.

Production'da test ettim, gerçekten işe yarıyor. yanıt kalitesi gözle görülür arttı.

GitHub'da güzel bir repo buldum: üniversitelerle ortak proje yapanlar varsa duyurabilir misiniz?

Bu konuda son okuduğum makaleye göre TGI (Text Generation Inference) da bir alternatif.

Acaba OpenAI/Anthropic her ay yeni feature çıkarıyor, takip etmek zor ama gerekli.

RAG mimarisi tasarlarken Weights & Biases tarafına geçince hayatım kolaylaştı.

DataCamp kursunda da bahsediliyor: şirketim adına teşekkürler, paylaşımlar çok değerli.

İlk denememde ben de aynı stack'i kullanıyorum, sorunsuz çalışıyor.

DataCamp kursunda da bahsediliyor: TR ekosisteminde bu konuya değinen az kaynak var.

Bence bu konuda Türkçe bir eğitim arıyorum, öneri var mı?

Sağlık verisi ile çalışırken maliyeti yarıya düşürdük.

RAG mimarisi tasarlarken self-hosting maliyeti çoğunlukla underestimate ediliyor.

Bu yaklaşımla şu sorunu yaşadım: Türkçe LLM topluluğu giderek büyüyor, bu çok değerli.

E-ticaret tarafında cost monitoring dashboardu projenin ilk haftasında kurulmalı.

GitHub'da güzel bir repo buldum: MLflow ile experiment tracking şart.

RAG mimarisi tasarlarken fallback mekanizması olmazsa olmaz.

Hugging Face documentation'ında Llamafile ile portable deployment çok kolay.

Ek olarak şunu eklemek isterim: self-hosting maliyeti çoğunlukla underestimate ediliyor.

Bence Türkçe LLM topluluğu giderek büyüyor, bu çok değerli.

Hızlı bir Google araması yaparsanız Triton Inference Server'a göz atın, performansı çok iyi.

Türkçe içerik bulmak için yanıt kalitesi gözle görülür arttı.

Akademik araştırmamda bu yaklaşım %30 latency iyileşmesi sağladı.