AI Ajan Değerlendirmesi: pass^k, tau-bench ve Lab-Üretim Uçurumu

TL;DR — Testte %90 başarı gösteren bir yapay zeka ajanı, üretimde %70'e düşebiliyor; laboratuvar skoru ile gerçek dünya performansı arasında %37'ye varan bir uçurum var. 2026'da 6.259 üretim ajanı üzerinde yapılan bir analizde toplam başarı oranı sadece %56,6 çıktı. Dahası, UC Berkeley araştırmacıları neredeyse tüm büyük ajan benchmark'larının, tek bir görevi bile çözmeden yüksek skor almak için istismar edilebildiğini gösterdi. Bu yazıda ajan değerlendirmesinin neden zor olduğunu, güvenilirlik boşluğunu, pass^k gibi tekrarlanabilirlik ölçütlerini, LLM-yargıç önyargılarını ve üretime güvenle geçmek için nasıl bir değerlendirme çerçevesi kuracağınızı sahadan anlatıyorum.

Klasik bir yapay zeka modelini değerlendirmek görece basit: girdi ver, çıktıyı doğru cevapla karşılaştır. Ama bir ajan — kendi başına çok adımlı görevler yürüten, araçları çağıran, kararlar veren bir sistem — çok daha karmaşık. Çünkü ajan tek bir cevap üretmez; bir dizi eylem gerçekleştirir, ortamla etkileşir, ve sonuç bu eylem zincirinin tamamına bağlıdır.

Bu, değerlendirmeyi köklü biçimde zorlaştırır. Bir soru-cevapta "doğru mu yanlış mı" sorusu net; ama bir ajanda "görevi tamamladı mı, ama nasıl tamamladı, kaç adımda, hangi hatalardan döndü, güvenli miydi, maliyeti neydi" gibi çok boyutlu bir değerlendirme gerekir. Dahası, ajanlar deterministik değil: aynı görevi iki kez verirseniz, farklı yollar izleyebilir ve farklı sonuçlar üretebilir. Bu değişkenlik, tek bir testin yanıltıcı olmasına yol açar.

Sahada gördüğüm en büyük tehlike, ajanları klasik modeller gibi değerlendirmeye çalışmak. Birkaç örnek görev çalıştırıp "çalışıyor" demek, ajan için felaket bir yanılgı. Çünkü ajanın gerçek zorluğu, tekrar edilebilirlikte, kenar durumlarda ve gerçek dünyanın kaosunda ortaya çıkar — ki bunları birkaç mutlu-yol testi asla göstermez. Ajan değerlendirmesi, bambaşka bir disiplin.

Bu yazıda amacım, ajan değerlendirmesini bir "isteğe bağlı ekstra" olmaktan çıkarıp, üretime geçmenin olmazsa olmaz temeli haline getirmek. Neden benchmark'lara güvenemeyeceğinizi, tekrarlanabilirliği nasıl ölçeceğinizi, LLM-yargıçların tuzaklarını nasıl aşacağınızı ve gerçek dünyaya güvenle nasıl geçeceğinizi somut olarak göstereceğim. Çünkü ajan çağında en büyük risk, kötü bir ajan yapmak değil; kötü bir ajanı iyi sanıp üretime almak. Aradaki farkı gören ekipler kazanacak.

En sarsıcı gerçekle başlayalım: laboratuvar skorları ile gerçek dünya performansı arasında büyük bir boşluk var. Verilere göre, testte %90 başarı gösteren bir ajan, üretimde — aynı görev farklı oturumlarda tekrar denendiğinde — %70 güvenilirliğe düşebiliyor. Kurumsal ajanlarda bu boşluk %37'ye kadar çıkabiliyor ve benzer doğruluk için 50 kata varan maliyet farkları görülebiliyor.

Rakamlar daha da çarpıcı. 2026'nın başında yapılan geniş bir güvenilirlik analizinde, 10 coğrafi bölgede 6.259 üretim ajanı üzerinde 4,49 milyon test çalıştırıldı ve toplam başarı oranı sadece %56,6 çıktı. Yani gerçek dünyada çalışan ajanların ortalaması, laboratuvarda vaat edilenin çok altında. Bu, ajan değerlendirmesinin neden bu kadar kritik olduğunun en net kanıtı: laboratuvarda parlak görünen bir ajan, üretimde hayal kırıklığı olabilir.

Bu boşluğun nedeni ne? Laboratuvar testleri genellikle temiz, iyi tanımlı, tekrarlanabilir senaryolardır. Gerçek dünya ise dağınık: belirsiz girdiler, beklenmedik durumlar, eksik bilgi, değişen koşullar. Bir ajan, temiz test senaryosunda mükemmel çalışırken, gerçek dünyanın kaosunda çöker. Ve en tehlikelisi, bu çöküş sessizdir — ajan hata yaptığını bilmez, kendinden emin biçimde yanlış yapar. Bu yüzden değerlendirme, laboratuvar başarısına değil, gerçek dünya güvenilirliğine odaklanmalı.

Ajan değerlendirmesindeki en önemli kavramsal ilerleme, "tekrarlanabilirlik" ölçütleri. Klasik değerlendirme "ajan görevi bir kez yapabildi mi" diye sorar. Ama gerçek dünyada asıl önemli olan, "ajan aynı görevi tutarlı biçimde, tekrar tekrar yapabiliyor mu" sorusu. İşte pass^k bu farkı ölçer.

pass^k şu demek: aynı görevi k kez denediğinizde, ajanın hepsinde başarılı olma olasılığı. tau-bench gibi modern ajan benchmark'ları bu ölçütü kullanıyor çünkü tek seferlik başarının yanıltıcı olduğunu gösteriyor. Bir ajan, bir görevi bir kez %90 olasılıkla yapabilir; ama aynı görevi beş kez üst üste tutarlı yapma olasılığı çok daha düşük olabilir. Üretim ortamında, aynı görev farklı kullanıcılar tarafından binlerce kez tetiklenir; işte o zaman tutarlılık, tek seferlik başarıdan çok daha önemli hale gelir.

Bu, çok önemli bir zihniyet değişimi. "Ajanım bu görevi yapabiliyor" ile "ajanım bu görevi güvenilir biçimde yapabiliyor" arasında dünyalar var. Üretime geçmeden önce ölçmeniz gereken şey, en iyi durumdaki performans değil, en kötü ve ortalama durumdaki tutarlılık. Bir kez çalışan bir demo etkileyicidir; ama üretim, bin kez tutarlı çalışmayı gerektirir. pass^k, bu gerçeği sayıya döker.

"

Sahadan altın kural: Bir ajanı üretime almadan önce, "bir kez çalıştı mı" değil, "on kez üst üste tutarlı çalıştı mı" diye sorun. Tek seferlik başarı bir demo; tutarlı tekrarlanabilirlik bir üretim sistemi. İkisi arasındaki farkı ölçmeden üretime geçmek, kullanıcılarınızla kumar oynamaktır.

Şimdi rahatsız edici bir gerçeği konuşalım: ajan benchmark'ları oynanabilir. UC Berkeley araştırmacıları 2026'da çarpıcı bir bulgu paylaştı: neredeyse her büyük ajan benchmark'ı, tek bir görevi bile gerçekten çözmeden neredeyse mükemmel skor almak için istismar edilebiliyor. Yani liderlik tablosundaki yüksek skor, gerçek yeteneğin bir garantisi değil.

Bu, ajan değerlendirmesinde benchmark'lara körü körüne güvenmenin neden tehlikeli olduğunu gösteriyor. Bir ajan ürünü "şu benchmark'ta birinci" diyorsa, bu size gerçek dünyada nasıl performans göstereceğini söylemez. Benchmark'lar, sentetik ve oynanabilir olabilir; sizin kendi gerçek görevleriniz ise ölçülmemiş kalır. Popüler bir liderlik tablosundaki sıra, pazarlama için iyi olabilir ama üretim kararı için yetersizdir.

Peki ne yapmalı? Cevap, kendi değerlendirmenizi kurmak. Genel benchmark'ları bir "ön eleme" olarak kullanabilirsiniz — hangi ajanların genel olarak yetenekli olduğunu görmek için. Ama üretim kararını, kendi gerçek görevlerinizden türetilmiş, kendi altın kümenizle vermelisiniz. Başkasının benchmark'ı sizin işinizi ölçmez; sadece sizin kendi görevleriniz, sizin gerçek performansınızı gösterir. Bu, biraz emek ister ama üretimde sürprizlerle karşılaşmaktan çok daha ucuzdur.

Ajan değerlendirmesinde yaygın bir teknik, çıktıları değerlendirmek için başka bir LLM'i "yargıç" olarak kullanmak (LLM-as-a-judge). Bu pratik ve ölçeklenebilir; ama ciddi bir tuzağı var ve bunu bilmezseniz değerlendirmeniz sessizce bozulur.

2026'da yapılan denetimler, LLM yargıçların hata oranlarının %50'nin üzerine çıkabildiğini gösterdi ve bunun üç ana önyargıdan kaynaklandığını buldu. Birincisi, konum önyargısı (position bias): yargıç, kendisine önce ya da sonra sunulan cevabı sistematik olarak tercih edebilir. İkincisi, uzunluk önyargısı (length bias): daha uzun cevapları, daha iyi olmasalar bile daha kaliteli sanabilir. Üçüncüsü, uyumluluk önyargısı (agreeableness bias): yargıç, kendinden emin sunulan ya da kendi görüşüne uyan cevapları kayırabilir.

Bu önyargılar, LLM-yargıç kullanan bir değerlendirmeyi güvenilmez kılabilir. Eğer yargıcınız sistematik olarak yanlış kararlar veriyorsa, ona dayanan tüm değerlendirmeniz çürük temele oturur. Bu yüzden LLM-yargıç kullanacaksanız, önyargılarını aktif olarak yönetin: cevapların sırasını rastgeleleştirin (konum önyargısına karşı), uzunluğu kontrol edin, ve en önemlisi, yargıcın kendi kararlarını insan onayıyla düzenli olarak kalibre edin. LLM-yargıç bir araç, mutlak bir hakem değil; onu denetlemezseniz, o sizi yanıltır.

Ajan değerlendirmesinin olgunlaşması, "görevi tamamladı mı" sorusunun ötesine geçmeyi gerektiriyor. Yeni nesil değerlendirme çerçeveleri, ajan kalitesini çok boyutlu, sürekli ve çoğu zaman çekişmeli (adversarial) bir ölçüm problemi olarak ele alıyor. Çünkü bir ajanın "başarılı" olması tek boyutlu bir şey değil.

Modern değerlendirmede ölçülmesi gereken birkaç boyut var. Görev tamamlama: ajan görevi gerçekten bitirdi mi? Ama bu yeterli değil. Yürütme doğruluğu: sadece "bitti" demek değil, adımların gerçekten doğru yapıldığını doğrulamak (execution-based verification). Tekrarlanabilirlik: aynı görevi tutarlı yapıyor mu (pass^k). Verimlilik: kaç adımda, ne maliyetle bitirdi? Güvenlik: ajan tehlikeli, uygunsuz ya da yetkisiz eylemler yaptı mı? Dayanıklılık: beklenmedik ya da kötü niyetli girdilerde nasıl davranıyor?

Bu boyutları ayrı ayrı ölçmek kritik, çünkü bir ajan bir boyutta parlarken diğerinde zayıf olabilir. Görevi tamamlayan ama bunu güvensiz ya da aşırı maliyetli biçimde yapan bir ajan, gerçek bir başarı değil. Özellikle "yürütme temelli doğrulama" — yani ajanın "yaptım" demesine güvenmek yerine, gerçekten doğru yaptığını bağımsız kontrol etmek — üretim güvenilirliği için hayati. Ajanlar bazen "başardım" der ama aslında yanlış yapmıştır; bunu ancak bağımsız doğrulama yakalar.

Peki tüm bunları pratiğe nasıl dökeriz? Sahada işe yarayan bir değerlendirme çerçevesi paylaşayım. Bu, bir ajanı üretime güvenle almak için izlemeniz gereken adımlar.

Önce, gerçek işinizden temsili görevlerden oluşan bir altın küme oluşturun. Bunlar, ajanınızın gerçekte karşılaşacağı türden görevler olmalı — kolay olanlar da, zor kenar durumlar da. Sonra bu görevleri, tek seferlik değil, tekrarlı çalıştırın (pass^k mantığı) ve tutarlılığı ölçün. Değerlendirmeyi çok boyutlu yapın: sadece tamamlama değil, doğruluk, güvenlik, maliyet, dayanıklılık. LLM-yargıç kullanıyorsanız, önyargılarını yönetin ve insan onayıyla kalibre edin.

En önemlisi, değerlendirmeyi çekişmeli hale getirin: ajanı sadece mutlu-yol senaryolarında değil, zor, belirsiz, beklenmedik ve hatta kötü niyetli girdilerde test edin. Gerçek dünya kaotiktir; ajanınız o kaosa hazır mı? Ve son olarak, değerlendirmeyi bir kerelik değil, sürekli yapın. Üretimde ajanın gerçek performansını izleyin, başarısızlıkları loglayın, ve bu gerçek verilerle altın kümenizi zenginleştirin. Ajan değerlendirmesi, üretime geçmeden önce biten bir sınav değil, sürekli bir gözetim.

Ajan değerlendirmesini iki farklı zaman diliminde düşünmek gerekir ve ikisi de vazgeçilmez. Offline değerlendirme, ajanı üretime almadan önce, kontrollü bir ortamda altın kümenizle test etmektir. Bu, üretime geçiş kararının temelidir; ajanın temel yeteneğini, tutarlılığını ve güvenliğini burada ölçersiniz. Ama offline değerlendirme, gerçek dünyanın tüm kaosunu asla tam yakalayamaz — çünkü altın kümeniz ne kadar iyi olursa olsun, gerçek kullanıcıların yaratacağı sonsuz çeşitlilikteki durumu önceden bilemezsiniz.

İşte bu yüzden online değerlendirme de şart: ajan üretimdeyken gerçek performansını sürekli izlemek. Gerçek kullanıcı etkileşimlerinde ajan nasıl davranıyor, nerede başarısız oluyor, hangi durumlarda kullanıcı memnuniyetsizliği yaşanıyor? Bu veriler, offline değerlendirmenin göremediği gerçek dünya sinyalini verir. Ve en değerlisi: online değerlendirmede yakaladığınız başarısızlıkları, offline altın kümenize geri besleyerek, bir sonraki sürümü daha sağlam kurabilirsiniz.

İki değerlendirme birbirini tamamlar. Offline, üretime geçmeden önce sizi büyük hatalardan korur; online, üretimdeki gerçek performansı gösterir ve sürekli iyileştirmeyi besler. Sadece offline'a güvenmek, laboratuvar-gerçek uçurumuna körlük demek; sadece online'a güvenmek ise, kullanıcıları test denekleri yapmak demek. Doğru yaklaşım, ikisini bir döngü halinde işletmek: offline test et, üretime al, online izle, öğrendiklerini offline'a geri besle, tekrarla.

Online değerlendirmenin temeli, iyi bir gözlemlenebilirlik (observability) altyapısı. Ajanınızın üretimde ne yaptığını göremiyorsanız, onu değerlendiremezsiniz. Bu yüzden her ajan sistemi, baştan zengin bir izleme katmanıyla kurulmalı. Neyi izlemelisiniz? Ajanın her adımını: hangi araçları çağırdı, hangi kararları verdi, kaç adımda görevi tamamladı, nerede takıldı, hangi hatalardan döndü.

Özellikle değerli olan, başarısızlık örüntülerini yakalamak. Ajan hangi görev tiplerinde daha çok başarısız oluyor? Belirli bir araç mı sorun çıkarıyor, belirli bir girdi tipi mi ajanı şaşırtıyor? Bu örüntüler, iyileştirmenin haritasını çizer. Ayrıca kullanıcı geri bildirimini de izleyin: kullanıcılar hangi cevapları reddediyor, hangi durumlarda insana devir istiyor? Bu sinyaller, ajanın gerçek zayıf noktalarını gösterir.

Gözlemlenebilirlik, sadece hata bulmak için değil, güven için de kritik. Bir ajan bir karar verdiğinde, "neden bu kararı verdi" sorusunun cevabını görebilmelisiniz. Bu izlenebilirlik, hem sorun gidermeyi kolaylaştırır hem de düzenleyici ya da iç denetim sorduğunda hesap verebilmenizi sağlar. Kara kutu bir ajan, üretimde tehlikelidir; izlenebilir bir ajan, güvenle yönetilebilir. Gözlemlenebilirliği bir "sonradan eklenecek" özellik değil, en baştan mimarinin bir parçası yapın.

Ajanları iyi değerlendirmek için, nasıl başarısız olduklarını anlamak gerekir. Sahada gördüğüm ajan hataları birkaç tipik kategoriye giriyor. Birincisi, planlama hataları: ajan görevi yanlış anlıyor ya da yanlış bir strateji seçiyor. En baştan yanlış yola girdiği için, sonraki adımlar ne kadar iyi olursa olsun sonuç yanlış çıkıyor. İkincisi, araç kullanım hataları: ajan doğru planı yapıyor ama araçları yanlış çağırıyor — yanlış parametre, yanlış sıra, ya da bir aracın çıktısını yanlış yorumlama.

Üçüncüsü, kurtarılamama: bir ajan bir hata yaptığında, iyi bir ajan bunu fark edip düzeltir; kötü bir ajan hatayı fark etmeyip üstüne yeni hatalar ekler. Bu "hatadan dönebilme" yeteneği, üretim güvenilirliğinin kritik bir boyutu ve değerlendirmede ayrıca ölçülmeli. Dördüncüsü, halüsinasyon ve uydurma: ajan, olmayan bir bilgi ya da olmayan bir araç sonucu "uydurabilir" ve buna dayanarak yanlış eylemler yapabilir.

Bu hata tiplerini ayırt etmek, değerlendirmede çok değerli. Çünkü her hata tipi farklı bir çözüm gerektirir: planlama hatası prompt ya da model sorunu olabilir; araç hatası araç tanımı ya da entegrasyon sorunu; kurtarılamama ise ajan mimarisi sorunu. Ajan sadece "başarısız oldu" demek yetmez; "nasıl başarısız oldu" sorusu, iyileştirmenin anahtarı. Bu yüzden değerlendirmeniz, sadece başarı/başarısızlık değil, başarısızlığın türünü de yakalamalı.

Ne kadar otomasyona geçsek de, ajan değerlendirmesinde insan yargısı vazgeçilmez kalıyor. LLM-yargıçlar ölçeklenir ama önyargılıdır; otomatik metrikler hızlıdır ama nüansı kaçırır. İnsan değerlendirmesi ise yavaş ve pahalıdır ama en güvenilir referans. Doğru yaklaşım, üçünü katmanlı kullanmak.

Pratikte şöyle işler: otomatik metrikler ve LLM-yargıç, geniş ölçekte hızlı bir ilk değerlendirme yapar. Sonra insan uzmanlar, bir örneklemi dikkatle inceler ve otomatik değerlendirmenin ne kadar doğru olduğunu kontrol eder. Bu insan denetimi, LLM-yargıcı "kalibre eder" — yani yargıcın kararlarının insan yargısıyla ne kadar örtüştüğünü ölçer ve sapmaları düzeltir. Kalibre edilmemiş bir LLM-yargıç, sistematik olarak yanlış olabilir; insan kalibrasyonu bunu yakalar.

Özellikle yüksek-riskli kararlarda insan payı artmalı. Bir ajanın güvenlik-kritik bir eylemini değerlendirirken, tümüyle otomatik değerlendirmeye güvenmek riskli. İnsan, otomatik sistemlerin kaçırdığı ince ama önemli sorunları — kültürel uygunsuzluk, etik gri alan, bağlamsal hata — yakalar. Ajan değerlendirmesinde altın standart, otomasyonun hızını insanın yargısıyla birleştiren hibrit bir yaklaşım. Ne tümüyle otomatik (körlük riski), ne tümüyle manuel (ölçek sorunu); ikisinin dengeli birleşimi.

Türk kurumları için ajan değerlendirmesinin birkaç özel boyutu var. Birincisi, Türkçe görevlerde değerlendirme. İngilizce görevlerde iyi çalışan bir ajan, Türkçe'de beklenmedik biçimde başarısız olabilir — dil anlama, kültürel bağlam ve terminoloji farkları nedeniyle. Bu yüzden değerlendirme altın kümeniz mutlaka Türkçe gerçek görevler içermeli; İngilizce başarıya güvenip Türkçe'yi varsaymak, sahada acı sürprizlere yol açar.

İkincisi, güvenlik ve uyum boyutu. Bir ajan, kurumsal sistemlerle etkileşip kararlar verdiğinde, KVKK ve sektörel düzenlemeler açısından riskli eylemler yapabilir. Değerlendirmeniz, ajanın kişisel veriyle nasıl davrandığını, yetki sınırlarını aşıp aşmadığını ve uygunsuz eylemlerden kaçınıp kaçınmadığını test etmeli. Kurumsal bir ajanda güvenlik değerlendirmesi, isteğe bağlı değil zorunlu.

Üçüncüsü, maliyet gerçekliği. Bir ajan aynı görevi çok farklı maliyetlerle yapabilir — benzer doğruluk için 50 kata varan fark olabildiğini gördük. Türk kurumlarının çoğu maliyet-duyarlı olduğundan, değerlendirmenizde maliyeti bir birinci sınıf boyut olarak ölçün. En doğru ajan, en pahalı olan değil, kabul edilebilir doğrulukta en ekonomik olandır. Bu dengeyi ölçmeden üretime geçmek, sürdürülemez maliyetlere yol açar.

Ajan değerlendirmesi, tek seferlik bir teknik adım değil, bir ekip kültürü meselesi. Sahada gördüğüm en başarılı ekipler, değerlendirmeyi geliştirmenin ayrılmaz bir parçası yapanlar — sonradan eklenen bir kontrol değil, en baştan işin içine örülmüş bir disiplin. Bu ekiplerde, "ajanı yaptık, şimdi test edelim" değil, "ajanı nasıl ölçeceğimizi baştan tasarlayalım, sonra geliştirelim" yaklaşımı hâkim.

Bunu kültür haline getirmenin birkaç pratik yolu var. Birincisi, altın kümeyi yaşayan bir varlık olarak görmek: her yeni başarısızlık, kümeye eklenir ve bir sonraki değerlendirmeyi güçlendirir. Küme, projeyle birlikte büyür ve keskinleşir. İkincisi, değerlendirmeyi otomatikleştirmek: her yeni ajan sürümü, otomatik olarak altın kümede test edilir ve sonuçlar görünür kılınır. Bu, "acaba iyileşti mi kötüleşti mi" belirsizliğini ortadan kaldırır. Üçüncüsü, başarısızlıkları cezalandırmak değil, öğrenme fırsatı olarak görmek: bir ajan başarısız olduğunda, "kim suçlu" değil, "bundan ne öğreniriz ve değerlendirmemizi nasıl güçlendiririz" sorusu sorulur.

Bu kültür, ajan geliştirmeyi bir "umut ve dua" sürecinden, ölçülebilir ve sürekli iyileşen bir mühendislik disiplinine dönüştürür. Ve fark burada ortaya çıkar: değerlendirmeyi kültür haline getiren ekipler, zamanla giderek daha güvenilir ajanlar kuruyor; getirmeyen ekipler ise her sürümde aynı sürprizleri yaşıyor. Ajan çağında rekabet, en hızlı geliştiren değil, en disiplinli ölçen ekibin lehine işleyecek.

Somut olsun diye anonim bir örnek anlatayım. Bir kurum, müşteri işlemlerini otomatikleştiren bir ajan geliştirmişti. Demo muhteşemdi: ajan, örnek senaryoları kusursuz çalıştırıyor, herkesi etkiliyordu. Üst yönetim heyecanlıydı, hemen üretime almak istiyorlardı. Biz araya girdik ve dedik ki: "Demo bir kez çalışmayı gösterir; üretim, bin kez tutarlı çalışmayı gerektirir. Önce ölçelim."

Bir değerlendirme çerçevesi kurduk. Gerçek müşteri senaryolarından bir altın küme oluşturduk ve her görevi tek seferlik değil, tekrarlı çalıştırdık. Sonuç şaşırtıcıydı: demoda kusursuz görünen ajan, aynı görevleri tekrar tekrar çalıştırdığımızda tutarsızdı — bazen mükemmel, bazen tuhaf hatalar yapıyordu. pass^k ölçütünde, "on kez üst üste doğru" oranı, tek seferlik başarının çok altındaydı. Ayrıca çekişmeli testlerde — belirsiz ya da eksik girdilerde — ajan beklenenden çok daha kırılgandı.

Bu ölçümler sayesinde, ajanı üretime almadan önce zayıf noktalarını bulduk ve düzelttik. Özellikle "hatadan dönebilme" yeteneğini güçlendirdik ve güvenlik sınırlarını sıkılaştırdık. Üretime aldığımızda, ajan artık demo-kalitesinde değil, üretim-kalitesindeydi. En önemli ders şu: eğer o değerlendirmeyi yapmadan, demonun parlaklığına kanıp üretime geçseydik, gerçek müşterilerle o tutarsızlığı ve kırılganlığı yaşayacaktık — ve bu, hem müşteri güvenini hem markayı zedeleyecekti. Değerlendirme, bizi bu felaketten korudu.

Bu alanda tekrar gördüğüm hataları toparlayayım. Birincisi, demoya kanmak: birkaç örnek görevin çalışması, ajanın üretime hazır olduğu anlamına gelmez; tek seferlik başarı bir demo, tutarlı tekrarlanabilirlik bir üretim sistemidir. İkincisi, benchmark'lara körü körüne güvenmek: liderlik tablosundaki skor oynanabilir ve sizin işinizi ölçmez; kendi altın kümenizi kurun. Üçüncüsü, tek boyutlu değerlendirme: sadece "tamamladı mı" bakmak, güvenliği, maliyeti, dayanıklılığı ve tutarlılığı görmezden gelmektir.

Dördüncüsü, LLM-yargıcı kalibre etmeden kullanmak: yargıç önyargılı olabilir ve değerlendirmenizi çürütür; insan onayıyla düzenli kalibre edin. Beşincisi, sadece mutlu-yol test etmek: gerçek dünya kaotiktir; ajanı zor, belirsiz ve kötü niyetli girdilerde test etmezseniz, üretimde sürprizlerle karşılaşırsınız. Altıncısı, değerlendirmeyi bir kerelik sanmak: üretimde de sürekli izleme ve öğrenme şart; ajan değerlendirmesi biten bir sınav değil, süren bir gözetim. Bu hataların ortak kökü, ajanı klasik bir yazılım ya da klasik bir model gibi değerlendirmeye çalışmak. Oysa ajan, kendine özgü bir disiplin gerektirir.

Ajan değerlendirmesi, yapay zeka ajanlarını gerçek dünyaya güvenle taşımanın anahtarı — ve şu an sahada en çok ihmal edilen adım. Herkes ajanların ne kadar etkileyici olduğundan bahsediyor; ama üretimdeki gerçek başarı oranının %56,6 olması, laboratuvar ile gerçek arasındaki uçurumun ne kadar büyük olduğunu gösteriyor. Bu uçurumu kapatmanın tek yolu, disiplinli değerlendirme.

Doğru yaklaşımın özü şu: benchmark'lara körü körüne güvenmeyin (oynanabilirler), tek seferlik başarıya kanmayın (tekrarlanabilirliği ölçün, pass^k), LLM-yargıçların önyargılarını yönetin, değerlendirmeyi çok boyutlu ve çekişmeli yapın, Türkçe'yi ve güvenliği ayrıca test edin, maliyeti birinci sınıf bir boyut olarak ölçün, ve değerlendirmeyi üretimde de süren bir gözetim olarak sürdürün. Bu çerçeveyi izlerseniz, ajanınızı üretime bir umut ve dua ile değil, ölçülmüş bir güvenle alırsınız.

Sahada gördüğüm fark net: ajanlarını disiplinli değerlendiren kurumlar, üretimde çalışan sistemler kuruyor; değerlendirmeyi atlayanlar ise etkileyici demolar üretip üretimde hayal kırıklığı yaşıyor. Ajan çağında rekabet avantajı, en gösterişli demoyu yapanın değil, en güvenilir sistemi kuranın olacak. Ve güvenilirlik, tesadüfen gelmez; onu ölçerek, test ederek ve sürekli iyileştirerek inşa edersiniz. Değerlendirme, bu inşanın temeli.

Pratik bir kapanış yapayım: ajan değerlendirmesi kulağa sıkıcı, teknik ve "sonraya bırakılabilir" gelebilir — özellikle heyecan verici bir demo elinizdeyken. Ama bu algı, sahadaki en pahalı yanılgılardan biri. Ama sahada gördüğüm bütün büyük ajan felaketlerinin ortak noktası aynı: değerlendirme atlanmış, demo üretim sanılmıştı. Değerlendirmeye bugün yatırdığınız zaman, yarın üretimde yaşayacağınız krizlerden çok daha ucuz. Ajanınızı üretime alırken kendinize tek bir soru sorun: "Bunun on kez üst üste, gerçek dünyanın kaosunda tutarlı çalışacağını ölçtüm mü?" Bu sorunun cevabı evetse, güvenle ilerleyin. Değilse, önce ölçün — çünkü ölçmediğiniz bir ajan, bir varlık değil, bir risktir.