LLM-as-a-Judge: Otomatik Değerlendirme, Önyargılar, RAGAS'ın 0.55 Gerçeği ve İnsan Kalibrasyonu (2026)

TL;DR — 2026'da yapay zekâ sistemlerini otomatik değerlendirmenin baskın yöntemi "LLM-as-a-judge" (hakem olarak LLM): bir LLM'i, başka bir LLM'in çıktısını puanlamak için kullanmak. Güçlü ama tehlikeli. En iyi uygulamalar net: düşünce zinciri (chain-of-thought) yönlendirmesi, yapılandırılmış çıktı (JSON), açık puanlama rubrikleri ve yalnızca kanıta dayalı girdiler. Ama ciddi kısıtlar var: LLM hakemler pozisyon önyargısı, ayrıntı (verbosity) önyargısı ve öz-yüceltme (self-enhancement) önyargısı gösteriyor. Daha kritiği: RAGAS metriklerinin insan değerlendirmesiyle korelasyonu sadece 0.55 harmonik ortalama veriyor — güvenilir otomatik değerlendirme için gerekenin çok altında. Bu yüzden insan doğrulaması hâlâ kritik. Bu yazıda LLM-as-a-judge'ın nasıl güvenilir kurulacağını, önyargıları, RAGAS ile RAG değerlendirmesini ve Türkçe/KVKK bağlamında pratik uygulamayı sahadan anlatıyorum.

Sahada gördüğüm en tehlikeli boşluk, değerlendirme (eval) eksikliği. Ekipler prompt yazar, model seçer, sistem kurar — ama "bu sistem ne kadar iyi çalışıyor" sorusunu objektif cevaplayamaz. "İyi görünüyor" derler, birkaç örneğe bakarlar ve üretime alırlar. Sonra kalite düştüğünde ya da bir müşteri şikâyet ettiğinde, ne olduğunu bilemezler çünkü ölçmüyorlardı.

Değerlendirme, AI mühendisliğinin bel kemiği. Bir sistemin iyi çalışıp çalışmadığını bilmeden onu iyileştiremezsiniz. "Bu değişiklik sistemi iyileştirdi mi yoksa bozdu mu?" sorusunun tek objektif cevabı, bir eval setine karşı ölçüm. Ama işte sorun: LLM çıktılarını değerlendirmek zor. Bir sınıflandırma sonucu net (doğru/yanlış) ama açık uçlu bir cevabın "iyiliği" öznel. İşte bu yüzden LLM-as-a-judge yükseldi.

Fikir zarif: eğer insan değerlendirmesi pahalı ve yavaşsa, bir LLM'i değerlendirici olarak kullanalım. Bir LLM, başka bir LLM'in cevabını okur ve "bu cevap ne kadar iyi" diye puanlar. Bu, ölçekte otomatik değerlendirme sağlar — binlerce çıktıyı insan gerektirmeden puanlayabilirsiniz. 2026'da bu, otomatik AI değerlendirmesinin baskın yöntemi. Ama güçlü olduğu kadar tehlikeli, ve bu tehlikeleri anlamadan kullanmak, yanlış bir güven duygusu yaratır.

"

Kritik uyarı: LLM-as-a-judge, insan değerlendirmesinin yerini almaz; onu ölçekler. Ama körlemesine güvenilirse, sistematik önyargılarla sizi yanlış yöne götürebilir. Güç ve tehlike, aynı madalyonun iki yüzü. Doğru kurulursa güçlü bir araç; yanlış kurulursa yanıltıcı bir yanılsama.

LLM hakemi güvenilir yapmanın yolu, birkaç somut en iyi uygulamadan geçiyor. Bunlar, öznel bir "puan ver" çağrısını, tutarlı ve denetlenebilir bir değerlendirmeye çeviriyor.

Düşünce zinciri (chain-of-thought) yönlendirmesi. Hakemden önce gerekçesini, sonra puanını isteyin. "Önce bu cevabı adım adım değerlendir, sonra puan ver." Bu, hakemin daha tutarlı ve gerekçeli puanlamasını sağlar. Puanı gerekçesiz vermek, tutarsızlık üretir.

Yapılandırılmış çıktı (JSON). Hakemin çıktısını yapılandırılmış bir formatta (JSON) isteyin: gerekçe, puan, güven. Bu, hem denetlenebilirliği maksimize eder hem çıktının programatik işlenmesini kolaylaştırır. Kanıt-yalnızca girdilerle sınırlayıp yapılandırılmış JSON çıktı zorlamak, denetlenebilirliği en üst düzeye çıkarır.

Açık puanlama rubrikleri. Hakeme net kriterler verin. "İyi mi?" değil, "şu üç kritere göre puanla: doğruluk (0-5), alaka (0-5), ton (0-5)." Yapılandırılmış rubrik-tabanlı yönlendirme, güvenilirliği artırır ve önyargıları azaltır. Kriterler tutarsız yorumlanıyorsa, açık değerlendirme adımları yazın.

Kanıta dayalı sınırlama. Hakemi sadece verilen kanıta dayanmaya zorlayın. Özellikle RAG değerlendirmesinde, hakem cevabı getirilen kaynaklara göre değerlendirmeli, kendi bilgisine göre değil. Bu, hem tutarlılığı hem adaleti korur.

Ek stratejiler de var: kriterler tutarsız yorumlandığında açık değerlendirme adımları yazın; sadece mükemmel çıktılar geçmeli ise katı mod (strict_mode) kullanın; hakem sert kuralları uygulamalıysa kriterleri dallara ayırın (DAGMetric gibi). Ve hakem gerekçesini ayrıntılı mod (verbose_mode) ile inceleyin, LLM hakeminizi insan etiketleriyle çapraz kontrol edin. Bu uygulamalar, LLM-as-a-judge'ı öznel bir tahminden denetlenebilir bir ölçüme çevirir.

LLM hakemler güçlü ama önyargılı, ve bu önyargıları bilmeden kullanmak tehlikeli. Üç ana önyargı var ve her biri değerlendirmenizi sessizce çarpıtabilir.

Pozisyon önyargısı (position bias). İki cevabı karşılaştırırken, hakem hangisinin önce sunulduğuna göre önyargılı olabilir. A'yı önce gösterirseniz A'yı, B'yi önce gösterirseniz B'yi tercih edebilir — içerikten bağımsız. Bu, karşılaştırmalı değerlendirmelerde ciddi bir sorun. Çözüm: sırayı rastgele değiştirin ya da her iki sırayı da deneyip ortalayın.

Ayrıntı önyargısı (verbosity bias). Hakem, daha uzun cevapları daha iyi sanabilir — uzunluk, kaliteyle karıştırılır. Bu, modelleri gereksiz uzun cevaplar üretmeye teşvik eden bir tuzak. Çözüm: rubrikte uzunluğu açıkça ele alın ve hakeme "uzunluk kalite değildir" talimatı verin.

Öz-yüceltme önyargısı (self-enhancement bias). Bir LLM, kendi ürettiği (ya da kendi ailesinden bir modelin ürettiği) cevapları daha yüksek puanlayabilir. Bu, özellikle bir modeli kendisiyle değerlendirdiğinizde tehlikeli. Çözüm: hakem olarak değerlendirilen modelden farklı bir model kullanın.

Bu üç önyargı, LLM-as-a-judge'ın körlemesine güvenilemeyeceğini gösteriyor. Yapılandırılmış rubrikler, açık puanlama kriterleriyle bu önyargıları azaltır ve metrik bağımsızlığının ampirik doğrulaması güvenilirliği ele almaya yardımcı olur. Ama azaltmak, yok etmek değil. Bu yüzden LLM hakemini insan etiketleriyle çapraz kontrol etmek şart — hakem gerçekten insan yargısıyla uyuşuyor mu, yoksa sistematik bir önyargıyla mı sapıyor?

RAG sistemlerini değerlendirmek için özel bir framework öne çıkıyor: RAGAS. RAGAS'ın temel metrikleri, RAG sistemlerini değerlendirmek için sadakat (faithfulness), cevap alaka (answer relevancy) ve bağlam kesinliği (context precision) içeriyor; RAGAS, getirme-artırılmış üretim için sadakat değerlendirmesini formalize etti. Bu metrikler, RAG'in üç temel sorusunu cevaplıyor: cevap kaynaklara sadık mı, cevap soruyla alakalı mı, getirilen bağlam kesin mi?

Ama burada rahatsız edici bir gerçek var. Ampirik doğrulama, RAGAS metriklerinin insan değerlendirmesiyle korelasyonunun sadece 0.55 harmonik ortalama verdiğini ortaya koyuyor — güvenilir otomatik değerlendirme için gerekenin çok altında. Bu, ne demek? RAGAS'ın verdiği puan ile bir insanın vereceği puan arasında, endişe verici bir uçurum var. Otomatik metrik, "iyi" derken insan "kötü" diyebilir ve tersine. 0.55 korelasyon, güvenilir bir otomasyon için yeterli değil.

Bu bulgu, LLM-as-a-judge'a körlemesine güvenmenin tehlikesini somutlaştırıyor. RAGAS gibi olgun bir framework bile, insan yargısıyla sadece orta düzeyde uyuşuyorsa, hiçbir otomatik metriğe tam güven olmaz. Bu, RAGAS'ı işe yaramaz yapmıyor — hâlâ değerli bir sinyal, hâlâ ölçekte kullanışlı. Ama tek başına yeterli değil. Otomatik metrik bir pusula, mutlak bir hakikat değil. Ve pusulayı ara sıra insan yargısıyla kalibre etmek şart.

Yukarıdaki 0.55 rakamı, tek bir dersi haykırıyor: insan doğrulaması hâlâ kritik. Değerlendirme metriklerinizin gerçek ihtiyaçlarla hizalandığından emin olmak için insan doğrulaması vazgeçilmez kalıyor. LLM-as-a-judge, insanın yerini almaz; insanın işini ölçekler.

Doğru model şöyle: insan, değerlendirme kriterlerini tanımlar ve LLM hakemini kalibre eder. LLM hakemi, ölçekte çalışır — binlerce çıktıyı puanlar. Ve insan, düzenli olarak bir örneklem alıp LLM hakeminin insan yargısıyla hâlâ uyuştuğunu doğrular. Bu, "insan yerine LLM" değil, "insan + LLM" modeli. İnsan yön verir ve kalibre eder; LLM ölçekler ve otomatikleştirir. İkisi birlikte, hem ölçeklenebilir hem güvenilir bir değerlendirme sağlar.

Pratikte bu şöyle işler: bir eval seti kurarsınız, LLM hakemini bu sete uygularsınız, ve bir insan aynı setin bir örneklemini bağımsız puanlar. LLM ile insan puanları arasındaki korelasyonu ölçersiniz. Yüksekse, LLM hakemine güvenebilirsiniz. Düşükse, hakemi (rubriği, prompt'u, modeli) iyileştirirsiniz. Bu kalibrasyon döngüsü, LLM-as-a-judge'ı güvenilir kılan şey. Kalibrasyonsuz bir LLM hakemi, ölçülmemiş bir alet — sonuç verir ama o sonuca güvenilir mi, bilinmez.

LLM-as-a-judge, Türkçe için özel bir dikkat gerektiriyor. İngilizce için tasarlanmış bir hakem, Türkçe kaliteyi doğru değerlendiremeyebilir. Türkçe akıcılık, dilbilgisi incelikleri, ton (resmi/samimi), ve terminoloji — bunları değerlendirmek, Türkçeyi gerçekten anlayan bir hakem gerektirir. İngilizce bir rubriği Türkçeye çevirmek yeterli değil; hakem, Türkçe kalitenin nüanslarını yakalayabilmeli.

Ek bir zorluk: Türkçe için LLM hakeminin kendisi de bir Türkçe-yetkin model olmalı. Türkçeyi zayıf anlayan bir model, Türkçe çıktıları güvenilir puanlayamaz — kendi anlayış sınırları, değerlendirmesini çarpıtır. Bu yüzden Türkçe LLM-as-a-judge için, hem rubrik Türkçe kaliteyi hedeflemeli hem hakem modeli Türkçe-yetkin olmalı. Ve insan doğrulaması burada daha da kritik: Türkçe kalitenin nüansları, otomatik metriklerle daha zor yakalandığından, Türkçe eval'da insan kalibrasyonu vazgeçilmez.

KVKK açısından da değerlendirme verisi düşünülmeli. Eval setiniz, gerçek kullanım senaryolarından örneklendiğinde kişisel veri içerebilir. Ve LLM hakemine gönderilen çıktılar, bir üçüncü taraf modele (hakem) gidebilir. Bu, KVKK'nın veri aktarımı hükümlerini tetikler. Çözüm: eval setini anonimleştirmek ya da sentetik veriyle kurmak, ve hakem modelin veri yerleşimini yönetmek. Türkçe uygulamalarda, değerlendirme altyapısı da bir KVKK boyutu taşır — ve bu boyut, sıklıkla göz ardı edilir.

Teoriyi pratiğe dökelim. Sahada kullandığım değerlendirme hattı şu adımlardan oluşuyor.

Adım 1 — Eval seti kurun. Gerçek kullanım senaryolarından örneklenmiş 100-200 vaka. Türkçe uygulama için Türkçe vakalar, KVKK için anonimleştirilmiş. Her vaka için, mümkünse beklenen cevap ya da kalite kriterleri.

Adım 2 — Rubrik tanımlayın. Neyi ölçüyorsunuz? Açık, çok boyutlu kriterler: doğruluk, alaka, sadakat, ton. Her boyut için net puanlama ölçeği. Belirsiz rubrik, belirsiz değerlendirme.

Adım 3 — LLM hakemini kurun. En iyi uygulamalarla: düşünce zinciri, yapılandırılmış çıktı, açık rubrik, kanıt-yalnızca girdi. Türkçe için Türkçe-yetkin hakem modeli.

Adım 4 — İnsanla kalibre edin. Eval setinin bir örneklemini bir insan bağımsız puanlar. LLM ile insan korelasyonunu ölçün. Düşükse, hakemi iyileştirin. Bu kalibrasyon, güvenin temeli.

Adım 5 — Ölçekte çalıştırın ve izleyin. Kalibre edilmiş hakem, ölçekte çalışır. Ama düzenli olarak yeni bir insan örneklemiyle yeniden kalibre edin — çünkü sistem değişir, model değişir, hakem sapabilir.

Bu beş adım, LLM-as-a-judge'ı güvenilir bir değerlendirme altyapısına çevirir. Ve dikkat: insan, hem başta (kalibrasyon) hem sürekli (yeniden kalibrasyon) döngüde. Bu, "insanı çıkar" değil, "insanı doğru yere koy" yaklaşımı. İnsan yön verir, LLM ölçekler.

LLM-as-a-judge iki modda çalışabilir ve hangisini seçtiğiniz güvenilirliği etkiler. Mutlak (pointwise) değerlendirme: hakem tek bir cevabı alır ve bir rubriğe göre puanlar. Karşılaştırmalı (pairwise) değerlendirme: hakem iki cevabı alır ve hangisinin daha iyi olduğunu söyler.

Karşılaştırmalı değerlendirme genelde daha güvenilir, çünkü "A mı B mi daha iyi" sorusu, "A ne kadar iyi (1-10)" sorusundan daha kolay ve tutarlı. İnsanlar da mutlak puanlamada tutarsızdır ama karşılaştırmada daha kararlıdır. Ama karşılaştırmalı değerlendirme, pozisyon önyargısına daha açık (hangisi önce sunuldu) — bu yüzden sırayı rastgeleleştirmek şart. Mutlak değerlendirme ise pozisyon önyargısından muaf ama ayrıntı ve öz-yüceltme önyargısına daha açık.

Pratik seçim: iki modeli/prompt'u karşılaştırıyorsanız (A/B testi), karşılaştırmalı mod daha güvenilir. Tek bir sistemin mutlak kalitesini izliyorsanız (üretim monitörü), mutlak mod daha uygun. Ve en sağlam yaklaşım, ikisini birleştirmek: mutlak modla üretimi izleyin, karşılaştırmalı modla değişiklikleri değerlendirin. Her modun güçlü ve zayıf yanları var; göreve göre seçin. Ama hangisini seçerseniz seçin, insan kalibrasyonu ihmal edilmemeli.

Türkiye'de bir şirketle çalışırken, LLM-as-a-judge'ın tehlikesini sahada gördük. Ekip, bir Türkçe asistan için otomatik bir değerlendirme kurmuştu ve metrikler harika görünüyordu — hakem, cevapların çoğuna yüksek puan veriyordu. Herkes rahat, sistem "iyi çalışıyor" sanılıyordu. Ama müşteri şikâyetleri artıyordu. Metrik ile gerçeklik arasında bir kopukluk vardı.

Sorunu araştırdığımızda iki şey bulduk. Birincisi, hakem İngilizce-ağırlıklı bir modeldi ve Türkçe kalitenin inceliklerini yakalayamıyordu — dilbilgisi hataları ve ton tutarsızlıklarını "iyi" olarak geçiyordu. İkincisi, ayrıntı önyargısı vardı: hakem, uzun cevapları sistematik olarak daha yüksek puanlıyordu ve model bunu öğrenmiş, gereksiz uzun cevaplar üretiyordu — metrik yüksek, müşteri memnuniyeti düşük.

Çözüm, en iyi uygulamaları ve insan kalibrasyonunu uygulamaktı. Türkçe-yetkin bir hakem modeline geçtik. Rubriği çok boyutlu ve uzunluk-nötr yaptık. Ve en önemlisi, bir insan örneklemiyle kalibre ettik — LLM ile insan korelasyonunu ölçtük, düşük çıkanı iyileştirdik. Sonuç: metrik artık gerçekliği yansıtıyordu, ve metrik yükseldiğinde müşteri memnuniyeti de yükseliyordu. Bu vakanın dersi: kalibre edilmemiş bir LLM hakemi, yanlış bir güven duygusu verir — ve bu, hiç metrik olmamasından beter olabilir, çünkü sizi yanlış yöne emin adımlarla götürür.

Hata 1 — LLM hakemine körlemesine güvenmek. Önyargılar ve düşük insan korelasyonu (RAGAS'ta 0.55) gerçek. İnsan kalibrasyonu şart.

Hata 2 — Pozisyon önyargısını göz ardı etmek. Karşılaştırmalı değerlendirmede sırayı rastgeleleştirin.

Hata 3 — Ayrıntı önyargısını unutmak. Hakem uzun cevapları iyi sanabilir. Rubriği uzunluk-nötr yapın.

Hata 4 — İngilizce hakemle Türkçe değerlendirmek. Türkçe için Türkçe-yetkin hakem ve Türkçe rubrik şart.

Hata 5 — Öz-yüceltme önyargısını atlamak. Bir modeli kendisiyle değerlendirmeyin. Farklı bir hakem modeli kullanın.

Hata 6 — Kalibrasyonu bir kere yapıp unutmak. Sistem değişir, hakem sapar. Düzenli yeniden kalibrasyon şart.

"LLM-as-a-judge güvenilir mi, değil mi?" Doğru kurulursa güvenilir bir ölçek aracı, yanlış kurulursa yanıltıcı. Fark, en iyi uygulamalar (düşünce zinciri, rubrik, yapılandırılmış çıktı) ve insan kalibrasyonunda. Kalibre edilmiş bir hakem güvenilir; kalibre edilmemiş bir hakem tehlikeli.

"RAGAS'ı kullanmalı mıyım?" Evet, ama tek başına değil. 0.55 korelasyon, RAGAS'ın değerli bir sinyal ama mutlak hakikat olmadığını gösteriyor. Bir pusula olarak kullanın, insan yargısıyla kalibre edin.

"İnsan değerlendirmesini tamamen bırakabilir miyim?" Hayır. İnsan doğrulaması hâlâ kritik. Model "insan yerine LLM" değil, "insan kalibre eder, LLM ölçekler". İnsan döngüden çıkarsa, güvenilirlik çıkar.

"Küçük bir ekibiz, bu altyapı bize fazla mı?" Hayır. Küçük bir eval seti (100 vaka), basit bir rubrik ve ara sıra insan kontrolüyle başlayabilirsiniz. Mesele mükemmellik değil; hiç ölçmemekten ölçmeye geçmek, en büyük sıçramadır.

Değerlendirme, AI mühendisliğinin bel kemiği ve LLM-as-a-judge, onu ölçeklenebilir kılan güçlü bir araç. 2026'da otomatik değerlendirmenin baskın yöntemi bu. Ama güç, tehlikeyle geliyor: pozisyon, ayrıntı ve öz-yüceltme önyargıları, ve RAGAS'ta gördüğümüz 0.55 insan korelasyonu, körlemesine güvenin tehlikeli olduğunu haykırıyor.

Doğru yaklaşım, "insan yerine LLM" değil, "insan + LLM". İnsan, kriterleri tanımlar ve hakemi kalibre eder; LLM, ölçekte çalışır ve otomatikleştirir. En iyi uygulamaları uygulayın: düşünce zinciri, yapılandırılmış çıktı, açık rubrik, kanıt-yalnızca girdi. Önyargıları azaltın: sırayı rastgeleleştirin, uzunluğu nötrleyin, farklı hakem modeli kullanın. Ve en önemlisi, insanla kalibre edin — düzenli olarak, çünkü sistem değişir.

Türk ekiplerine en dürüst tavsiyem: Türkçe için Türkçe-yetkin bir hakem ve Türkçe rubrik kurun, KVKK için eval setini anonimleştirin, ve insan kalibrasyonunu asla atlamayın. Değerlendirme olmadan sistem geliştirmek, gözü kapalı araba kullanmaktır. Ama kalibre edilmemiş bir metriğe körlemesine güvenmek, yanlış bir haritaya güvenmektir — sizi emin adımlarla yanlış yere götürür. Ölçün, ama ölçtüğünüze de bir gözünüz olsun. Sahada kazanan, en çok metriğe sahip ekip değil, metriklerine ne zaman güveneceğini ve ne zaman insana danışacağını bilen ekiptir. Değerlendirme, bir araç değil, bir disiplin — ve o disiplinin kalbinde, otomasyon ile insan yargısının doğru dengesi yatıyor.

Kurumsal RAG sistemlerini değerlendirmek, oyuncak örneklerden çok daha zor. Gerçek kurumsal sorular çeşitli, bağlama bağlı ve çoğu zaman tek bir "doğru cevabı" olmayan sorular. 2026'da bu zorluğu ele alan yaklaşımlar, "vaka-farkında" (case-aware) değerlendirmeye yöneliyor: her soru tipini kendi bağlamında değerlendirmek, tek bir genel rubrikle hepsini ölçmeye çalışmak yerine.

Bunun mantığı şu: bir olgusal soru (fact lookup) ile bir analitik soru (analysis) ile bir özet sorusu, farklı kalite kriterlerine sahip. Olgusal soruda doğruluk mutlak; analitik soruda akıl yürütmenin kalitesi önemli; özette kapsam ve öz. Hepsini aynı rubrikle değerlendirmek, her birine haksızlık eder. Vaka-farkında değerlendirme, soru tipini önce sınıflandırır, sonra o tipe uygun kriterlerle değerlendirir. Bu, kurumsal ölçekte daha adil ve daha anlamlı bir ölçüm sağlar.

Türk kurumları için bu yaklaşım özellikle değerli, çünkü kurumsal Türkçe sorular da çeşitli: mevzuat sorgusu, teknik analiz, müşteri özeti, karar desteği. Her biri farklı kalite profili taşır. Vaka-farkında bir değerlendirme, bu çeşitliliği onore eder ve her soru tipini kendi standardıyla ölçer. Tek bir genel metrik, bu çeşitliliği bulanıklaştırır ve gerçek kaliteyi gizler. Kurumsal değerlendirme, soru tipine duyarlı olmalı.

Değerlendirme (eval) ve gözlemlenebilirlik (observability), tek bir kalite altyapısının iki yüzü. Gözlemlenebilirlik "üretimde ne oluyor" sorusunu, değerlendirme "sistem ne kadar iyi" sorusunu cevaplar. İkisi birlikte çalıştığında, sürekli iyileşen bir sistem doğar.

Bağlantı şöyle işler: gözlemlenebilirlik hattınız, üretimden ilginç ya da başarısız vakaları toplar. Bir kullanıcı düşük puan verir ya da bir cevap şüpheli görünür — bu vaka işaretlenir. İşaretlenen vakalar, eval setinize eklenir. Böylece eval setiniz, gerçek üretim başarısızlıklarıyla sürekli zenginleşir. Ve LLM-as-a-judge, bu genişleyen seti ölçekte değerlendirir. Bu döngü, sistemi zamanla olgunlaştıran bir öğrenme makinesi.

Bu bütünsel bakış, kaliteyi bir "kur ve unut" özelliğinden sürekli bir pratiğe çevirir. Gözlemlenebilirlik üretimi izler, değerlendirme kaliteyi ölçer, insan kalibre eder, ve sistem sürekli iyileşir. Türk ekipleri için bu, rekabetçi bir avantaj: kaliteyi sistematik ölçen ve iyileştiren ekip, "iyi görünüyor" ile ilerleyen ekibi her zaman geçer. Değerlendirme, izole bir proje değil; gözlemlenebilirlik ve iyileştirmeyle birleşen bir kalite kültürünün parçası.

Sahadan son bir gözlem: değerlendirme altyapısı kuran ekipler başta yavaş görünür — "neden metrik kuruyoruz, hadi özellik ekleyelim" baskısı olur. Ama birkaç ay sonra, değerlendirmesi olan ekip özgüvenle hızlanır (her değişikliği ölçer, güvenle dağıtır), değerlendirmesi olmayan ekip ise korkuyla yavaşlar (her değişiklik bir kumar). Değerlendirme, başta bir maliyet gibi görünür ama aslında hızlanmanın temeli. Ölçebilen ekip, güvenle ilerler; ölçemeyen ekip, her adımda tereddüt eder. Ve uzun vadede, güvenle ilerleyen kazanır.

Bu yazıyı okuduktan sonra atacağınız ilk adım net olsun: bu hafta 100 vakalık küçük bir Türkçe eval seti kurun (kişisel veriyi anonimleştirerek), çok boyutlu bir rubrik yazın (doğruluk, alaka, sadakat, ton) ve bir Türkçe-yetkin LLM hakemi kurun. Sonra kritik adımı atın: bu setin bir örneklemini bir insana bağımsız puanlatın ve LLM ile insan korelasyonunu ölçün. O korelasyonu gördüğünüzde, LLM hakeminize ne kadar güvenebileceğinizi kendi verinizde öğrenirsiniz.

Bu ilk kalibrasyon, değerlendirmeye bakışınızı kalıcı değiştirir. Bir daha asla bir metriğe körlemesine güvenmezsiniz; her otomatik puanın arkasında bir insan kalibrasyonu ararsınız. Ve bir daha asla bir sistemi "iyi görünüyor" diye üretime almazsınız; ölçer, kalibre eder ve güvenle dağıtırsınız. Değerlendirme, AI mühendisliğinin en az konuşulan ama en belirleyici parçası. Onu kuran ekip, kaliteyi kontrol eder; kurmayan ekip, kalitenin insafına kalır. O ilk eval setini bu hafta kurun; sistemin gerçekten ne kadar iyi olduğunu, ilk kez objektif olarak göreceksiniz. Ve o görüş, geri dönüşü olmayan bir olgunlaşmanın başlangıcıdır. Son olarak şunu hatırlatayım: değerlendirme bir varış noktası değil, bir yolculuk. Modeliniz değişecek, kullanıcılarınız yeni sorular soracak, sisteminiz evrilecek — ve eval setiniz, rubrikleriniz ve kalibrasyonunuz da onlarla birlikte evrilmeli. En iyi ekipler, değerlendirmeyi canlı tutar: yeni başarısızlıkları sete ekler, rubrikleri rafine eder, hakemi düzenli yeniden kalibre eder. Bu canlı disiplin, statik bir metrik dökümünden çok daha değerli. Çünkü kalite, sabit bir hedef değil, hareketli bir hedeftir; ve onu ancak sürekli, kalibre edilmiş, insan-döngüde bir ölçümle yakalayabilirsiniz. LLM-as-a-judge bu yolculukta güçlü bir müttefik — yeter ki ona körlemesine değil, kalibre ederek güvenin. Otomasyon ölçekler, insan yön verir; ve bu ikisinin doğru dansı, güvenilir değerlendirmenin ta kendisidir. Ve o dansı doğru kuran ekip, sadece daha iyi metrikler elde etmez; kullanıcısına daha iyi, daha tutarlı, daha güvenilir bir ürün sunar. Sonuçta değerlendirmenin amacı, panoya güzel sayılar yazmak değil, gerçek insanlara gerçekten iyi hizmet vermektir. Metriğinizi bu gerçek amaca çapalayın; o zaman ölçtüğünüz her şey, kullanıcınızın gerçek deneyimine hizmet eder. Değerlendirme, teknik bir egzersiz değil, kullanıcıya verdiğiniz sözün ölçüsüdür. Kısacası: ölçün, kalibre edin, insanı döngüde tutun ve metriklerinizi gerçek kullanıcı deneyimine bağlayın. Bu dört ilkeyi kuran ekip, 2026nın kalite yarışında öne geçer; kurmayan ise, güzel görünen ama gerçekte kırılgan bir sisteme körlemesine güvenir. Fark, ölçüm ile kalibre edilmiş ölçüm arasındaki farktır — ve o fark, her şeydir. Değerlendirme disiplinini bugün kurmaya başlayın; çünkü ölçemediğiniz kaliteyi ne koruyabilir ne iyileştirebilirsiniz, ve kalibre etmediğiniz metriğe güvenmek, hiç ölçmemekten bile riskli olabilir. Başlangıç, tek bir küçük eval seti ve tek bir insan kalibrasyonudur; gerisi, o ilk objektif görüşün üzerine kendiliğinden gelir. Ve o ilk görüşü bir kez yaşadığınızda, değerlendirmesiz çalışmaya bir daha asla dönmezsiniz.