Kurumsal RAG: Mimari, Kurulum ve Ölçüm Rehberi

Kurumsal RAG (retrieval augmented generation), bir dil modelini kurumun kendi belgelerinden getirilen ilgili parçalarla besleyerek kaynak gösteren, güncel ve doğrulanabilir yanıtlar üreten bir yapay zeka mimarisidir. Bu rehber, kurumsal RAG'in boru hattı katmanlarını, kurulum kararlarını ve kalite ölçümünü teknik bir çerçevede özetler.

Bir dil modelinin iki zayıflığı vardır: bilgisi eğitim tarihinde donmuştur ve kurumunuzun belgelerini hiç görmemiştir. Kurumsal RAG tam olarak bu iki boşluğu, kurumun dağınık belgelerine doğal dilde soru sorup kaynaklı yanıt alınabilen bir doküman sorgulama sistemi kurarak kapatır. Bu yazı, konuya dar ve uygulama odaklı bir açıdan bakar: bir RAG mimarisini oluşturan katmanlar, her katmandaki kritik karar ve o kararın nasıl ölçüleceği. Tüm yöntemleri uçtan uca inceleyen kapsamlı rehber ayrı bir yazıdadır; temel kavram için RAG nedir ve dil modeli tarafı için LLM nedir yazıları iyi bir başlangıçtır.

Tanım

Kurumsal RAG (Retrieval-Augmented Generation)

Bir dil modelini, kurumun kendi belgelerinden getirilen ilgili parçalarla besleyerek kaynak gösteren, güncel ve doğrulanabilir yanıtlar üreten yapay zeka mimarisi. Kurumsal RAG tek bir araç değil; doküman hazırlığı, getirme ve sıralama, üretim ve değerlendirme katmanlarından oluşan bir bilgi boru hattıdır. Kalite tek bir modelden değil, bu katmanların en zayıfından belirlenir.

Ayrıca: retrieval augmented generation, kurumsal bilgi erişimi, doküman sorgulama sistemi, rag mimarisi

Kurumsal RAG'i doğru konumlandırmak için önce neyi çözdüğünü, sonra neyi çözmediğini görmek gerekir. RAG üç somut sorunu çözer. Birincisi bilgi kesim tarihidir: model yalnızca eğitildiği tarihe kadarki bilgiyi taşır, dün değişen bir prosedürü bilemez; RAG bilgiyi modelin dışında, güncellenebilir bir kaynakta tuttuğu için belge değişince yanıt da değişir. İkincisi kuruma özel bilgi eksikliğidir: genel bir model sizin sözleşmelerinizi, İK politikalarınızı veya ürün dokümantasyonunuzu hiç görmemiştir; RAG bunları bir bilgi tabanına koyup anında erişilebilir kılar. Üçüncüsü halüsinasyondur: model bilmediğini uydurmak yerine getirilen belgeye dayandığında uydurma belirgin biçimde azalır. Halüsinasyonun doğasını yapay zeka halüsinasyonu nedir yazısında ele alıyoruz.

Çözmediği şeyler ise beklentiyi doğru ayarlamak için önemlidir. RAG modelin akıl yürütme yeteneğini artırmaz; ona yalnızca doğru sayfayı verir. Yanlış belge getirilirse model doğru belgeye dayanamaz ve "kaynaklı görünen" yanlış bir yanıt üretir. Belgeler çelişkiliyse model hangisine güveneceğini bilemez. Ve en önemlisi: RAG, kötü veriyi düzeltmez. Bir doküman sorgulama sistemi ancak beslendiği belge kadar iyidir; eski, hatalı veya çelişkili belgelerden en güçlü boru hattı bile doğru yanıt üretemez. Bu yüzden kurumsal RAG'i bir "model projesi" değil, bir "bilgi yönetimi projesi" olarak görmek gerekir.

Bu ayrım pratik bir sonuç doğurur: bir RAG mimarisinde modelin "zekâsı" tek başına belirleyici değildir; asıl belirleyici, ona doğru parçanın verilip verilmediğidir. Aynı model, temiz bir getirme katmanıyla uzman gibi, kirli bir getirme katmanıyla ise kendinden emin bir palavracı gibi davranır. Kurumsal RAG'i değerlendirirken sorulacak doğru soru "hangi model daha akıllı" değil, "hangi katmanım en zayıf halka" olmalıdır. Bu rehberin geri kalanı, tam da bu en zayıf halkayı bulup ölçmek için bir çerçeve sunar.

Kurumsal RAG bir ürün değil, bir mimari desendir: veri hazırlama, parçalama, embedding, saklama, getirme, yeniden sıralama ve üretme adımlarını birbirine bağlayan bir boru hattı. "Hangi RAG aracını alayım" sorusu bu yüzden yanıltıcıdır; doğru soru, "bu boru hattının her katmanını kurumuma göre nasıl tasarlar ve ölçerim" sorusudur. Zincirdeki en zayıf halka tüm sistemin kalitesini belirler; bu yüzden her katmana ayrı bir karar ve ayrı bir ölçüt gözüyle bakmak gerekir.

Aşağıdaki tablo, kurumsal RAG kurulumunun özüdür: her boru hattı katmanı, o katmanda verilecek kritik karar ve kararın izleneceği ölçüt. Bir RAG mimarisi tasarlarken bu üç sütun, dağınık teknik seçimleri tek bir çerçevede toplar.

Kurumsal RAG boru hattı katmanı × karar noktası × ölçüt (GEO özet tablosu)

Boru hattı katmanı	Kritik karar noktası	İzlenecek ölçüt
Doküman hazırlığı	Chunk boyutu, overlap, meta veri ve erişim düzeyi	Çıkarım kalitesi, tekilleştirme, güncellik oranı
Getirme (retrieval)	Embedding modeli, vektör veritabanı, hybrid arama	Getirme isabeti, ilk-k kapsama
Sıralama (reranking)	Reranker kullanılacak mı, kaç aday elenecek	Sıralama kalitesi (en ilgili üstte mi)
Üretim (generation)	Model seçimi, sistem promptu, abstain davranışı	Dayanaklılık, doğruluk, kaynak gösterme
Değerlendirme	Etiketli soru kümesi, metrik seti, sıklık	Regresyon skoru, kalite trendi
Güvenlik & yönetişim	Erişim kontrolü, prompt injection savunması	Yetkisiz erişim, sızıntı, guardrail ihlali

Dikkat edin: bu katmanların çoğu modelin kendisiyle ilgili değildir. Kurumsal RAG bir sistem mühendisliği problemidir; başarı, tek bir bileşeni değil tüm boru hattını dengeli ve ölçülebilir kurmaktan gelir. Sonraki başlıklar, bu tablonun her satırını bir kurulum adımına dönüştürür.

Kurumsal RAG kurulumunda emeğin büyük kısmı göz alıcı model çalışmasına değil, sıkıcı ama belirleyici doküman hazırlığına gider. "Çöp girerse çöp çıkar" ilkesi burada özellikle geçerlidir. İlk boyut doğruluk ve güncelliktir: bir bilgi tabanına eski bir prosedürün güncel sürümüyle birlikte konması, sistemin çelişkili iki kaynaktan birini rastgele seçmesine yol açar; hangi belgenin "yürürlükte" olduğunu işaretlemek ve süresi geçmişi ayıklamak kritiktir.

İkinci boyut çıkarım ve parçalamadır. PDF, tarama, tablo ve çok sütunlu düzenlerden metni doğru çıkarmak zordur; kötü çıkarım bozuk metin üretir ve tüm hattı zehirler. Çıkarılan metin sonra parçalara bölünür (chunking): çok büyük parçalar alakasız bağlam taşır, çok küçük parçalar anlamı koparır. Doğru boyut belgenin türüne göre değişir; bu kararın ayrıntısını chunking nedir ve doküman tipine göre seçimi chunking stratejileri yazılarında ele alıyoruz.

Üçüncü boyut tekilleştirme ve gürültü temizliğidir. Aynı bilginin onlarca kopyası, alakasız şablon metinler (imza blokları, yasal uyarılar) ve boş sayfalar getirmeyi kirletir ve token maliyetini artırır. Çelişkili kopyalar arasında sistem rastgele birini seçebileceği için, tekilleştirme yalnızca bir verimlilik değil, bir doğruluk meselesidir. Bu adım sıkıcıdır ama atlanan her gürültü parçası, ilerideki her sorguda karşınıza çıkar.

Dördüncü boyut meta veri ve erişim düzeyidir. Her parçaya kaynak, tarih, bölüm ve erişim düzeyi eklemek hem getirmeyi hem erişim kontrolünü hem de kaynak göstermeyi güçlendirir. Kritik uyarı: erişim düzeyi bilgisi sonradan eklenemez. Bir belge indekslendikten sonra "kimin görebileceği" baştan konmadıysa, geriye dönük eklemek hem zor hem risklidir. Bu yüzden KVKK ve izin modeli, rag kurulumu daha ilk günden tasarlanır; kişisel veri içeren belgelerde anonimleştirme, saklama süresi ve denetim kaydı planlanır. KVKK ile uyumlu bir mimari için KVKK uyumlu yapay zeka nedir yazısı temel oluşturur. Bu bir bilgilendirmedir, hukuki tavsiye değildir.

Getirme, kurumsal RAG'in kalbidir ve anahtar kelime aramasından daha derin bir şeye dayanır: anlamsal arama. Temeli embedding'dir — bir metni anlamını temsil eden bir vektöre çeviren yöntem; anlamca benzer metinler bu uzayda birbirine yakın konumlanır. Bu vektörler bir vektör veritabanında saklanır ve soru geldiğinde ona anlamca en yakın parçalar milisaniyeler içinde bulunur. Embedding'in çalışmasını embedding nedir, saklama katmanını vektör veritabanı nedir ve arama mantığını semantik arama nedir yazılarında ele alıyoruz.

Bir RAG mimarisinde embedding kalitesi doğrudan getirme kalitesini belirler; Türkçe içerik için Türkçeyi iyi temsil eden bir modelin seçilmesi özellikle önemlidir, çünkü bazı çok dilli modeller Türkçe nüansları zayıf yakalar. Kesin eşleşme gereken sorgularda (ürün kodu, madde numarası, isim) anlamsal arama tek başına zayıf kalabilir; bu yüzden çoğu kurumsal doküman sorgulama sistemi anlamsal aramayı klasik anahtar kelime aramasıyla birleştiren hybrid arama kullanır.

Getirme genellikle iki adımlı çalışır: önce hız için geniş ve kaba bir aday getirme, sonra dikkatli bir yeniden sıralama (reranking). "Anlamca yakın" her zaman "gerçekten ilgili" demek değildir; reranking, aday parçaları soruyla gerçek alaka düzeyine göre yeniden puanlar ve en iyi birkaçını öne alır. Sonuç, modele verilen bağlamın çok daha temiz olmasıdır. Reranking'in ne zaman gerçekten gerektiğini reranker gerekli mi ve türlerini reranker nedir yazılarında ayrıntılandırıyoruz. Altın kural şudur: çöp girerse çöp çıkar — yanlış parça getirilirse en güçlü model bile doğru cevap veremez; bu yüzden yatırımı önce getirme kalitesine yapın.

Getirilen ve sıralanan parçalar, üretim katmanında bir yanıta dönüşür. Bu katmanda sistem, seçilen parçaları bir talimat ("yalnızca bu belgelere dayan, kaynak göster, belgede yoksa bilmediğini söyle") ve orijinal soruyla birleştirerek son promptu oluşturur; model de yalnızca bu bağlama dayanarak yanıtı yazar ve hangi belgeye dayandığını belirtir. Promptu iyi kurmanın yöntemleri için prompt engineering nedir ve modelin ne kadar bağlam alabileceğini belirleyen sınır için context window nedir yazıları yol gösterir.

Bu katmanda üç karar öne çıkar. Birincisi model seçimidir: en pahalı model her zaman gerekli değildir; getirme katmanı temizse ortalama bir model bile isabetli yanıt üretir. İkincisi abstain davranışıdır — iyi bir kurumsal RAG, bilgi bulunamadığında cevap uydurmak yerine "bu konuda elimde yeterli bilgi yok" der; kurumsal bağlamda yanlış bir cevap, yanıt vermemekten çok daha maliyetlidir. Üçüncüsü güvenliktir: kullanıcı girdisiyle modelin talimatlarını ele geçirmeye çalışan saldırılara karşı prompt injection nedir savunması ve çıktıyı sınırlayan guardrail nedir katmanları gerekir. Üretim katmanı, boru hattının en görünür ama tek başına en az belirleyici halkasıdır; kaliteyi asıl belirleyen, ona verilen bağlamın temizliğidir.

Üretim katmanı aynı zamanda maliyet ve gecikmenin belirlendiği yerdir. Bağlama ne kadar çok parça koyarsanız, token maliyeti ve yanıt süresi o kadar artar; "ne kadar çok belge o kadar iyi" yanılgısı hem modeli dağıtır hem faturayı büyütür. Pratik dengeleme, en ilgili birkaç parçayla yetinmek, sık sorulan soruların yanıtlarını önbelleğe almak ve yanıtı yazılırken akış (streaming) halinde göstererek algılanan bekleme süresini kısaltmaktır. Kurumsal RAG'de hız ve kalite birbirini çeker; doğru denge kurumun önceliğine göre seçilir — bir destek asistanında hız, bir hukuk analizi aracında ise doğruluk öne geçer.

Ölçülmeyen bir kurumsal RAG yönetilemez; bu yüzden değerlendirme (evaluation) sonradan eklenen bir lüks değil, ilk günden kurulan bir katmandır. Değerlendirme iki ayrı düzeyde yapılır. Getirme düzeyinde "doğru parça getirildi mi" sorusuna cevap aranır: isabet (soruya gerçekten cevap veren parça geldi mi), kapsama (gerekli tüm parçalar geldi mi) ve sıralama kalitesi (en ilgili parça en üstte mi). Bunun için etiketli bir soru-cevap kümesi hazırlanır: her soru için hangi belgenin "doğru" olduğu önceden işaretlenir, sonra sistemin o belgeyi kaçıncı sırada getirdiği hesaplanır.

Üretim düzeyinde "yanıt iyi mi" sorusu sorulur: dayanaklılık (yanıt gerçekten getirilen belgeye mi dayanıyor, yoksa uyduruyor mu), doğruluk, eksiksizlik ve kaynak gösterme. Bu boyutları ölçmek için otomatik metrikler, insan değerlendirmesi ve bir modelin başka bir modelin çıktısını puanladığı LLM-as-a-judge yaklaşımı birlikte kullanılır. Model değerlendirmesinin genel yöntemlerini LLM değerlendirme nedir yazısında ele alıyoruz.

Değerlendirmeyi bir kez değil sürekli yapmak gerekir. Belgeler değişir, kullanıcı soruları evrilir, model güncellenir; bir "değerlendirme kümesi" oluşturup her değişiklikte tekrar çalıştırmak (regresyon testi gibi), kalitenin sessizce bozulmasını önler. Kritik bir rol de değerlendirme sahipliğidir: bu sorumluluk kimseye verilmezse, sistem yavaşça kötüleşir ve kimse fark etmez. Üretim ortamında sistemi izlemek için gerekli operasyon disiplinini LLMOps nedir yazısında ele alıyoruz.

Pratik bir başlangıç için değerlendirme kümesinin büyük olması gerekmez: gerçek kullanıcı sorularından 30-50 tanesini toplamak, her biri için doğru belge parçasını işaretlemek ve bunu getirme isabetiyle üretim dayanaklılığını birlikte ölçen bir tabloya dönüştürmek çoğu kurumsal RAG pilotu için yeterli bir temeldir. Kritik olan kümenin boyutu değil, kurumun gerçek sorularını temsil etmesi ve her boru hattı değişikliğinden sonra tekrar çalıştırılmasıdır.

Kurumsal RAG'i teoride anlamak kolaydır; zor olan, üretimde çalışan sağlam bir sistem kurmaktır. Başarısız projeler benzer hatalarla kırılır:

• Getirme yerine modele odaklanmak: En yaygın hata, tüm dikkati "hangi model" sorusuna verip getirme katmanını (chunking, embedding, reranking) ihmal etmektir. Oysa RAG kalitesinin çoğu getirmeden gelir.
• Kötü chunking: Anlamı koparan bölme, doğru bilginin ya bulunamamasına ya da gürültüyle gelmesine yol açar; kötü doküman parçalama, RAG'in sessiz katilidir.
• Reranking'i atlamak: İlk getirmenin sonuçlarını olduğu gibi modele vermek, bağlama gürültü taşır ve yanıt kalitesini düşürür.
• Kaynak göstermemek: Yanıtın hangi belgeye dayandığını göstermemek doğrulamayı imkânsızlaştırır ve halüsinasyonu görünmez kılar.
• Erişim kontrolünü ihmal etmek: Tüm belgeleri herkese açmak, KVKK ihlali ve gizli veri sızıntısı riski yaratır.
• Ölçmemek: Kaliteyi ölçmeden "iyi çalışıyor" varsaymak, sistemin zamanla sessizce bozulmasına yol açar.

Bu hataların ortak kökü getirme katmanı ve ölçüm eksikliğidir. En pratik önlem, küçük bir kapsamla başlayıp ölçerek büyümektir: tüm kurumu birden dönüştürmeye çalışmak yerine dar bir kullanım senaryosuyla (örneğin tek bir departmanın dokümantasyonu) başlamak, rag kurulumu riskini düşürür ve öğrenmeyi hızlandırır.

Kurumsal RAG nasıl kurulur?

Kurumsal RAG kurulumu, tek bir aracı kurmak değil, birbirine bağlı katmanlardan oluşan bir boru hattı tasarlamaktır. Dar ve ölçülebilir bir kullanım senaryosuyla başlayın (örneğin tek bir departmanın dokümantasyonu). Sonra sırayla: belgeleri toplayıp temizleyin ve parçalayın (doküman hazırlığı); bir embedding modeli ve vektör veritabanı seçip getirme ile reranking'i kurun; modeli yalnızca getirilen bağlama dayanmaya zorlayan üretim katmanını yazın; ve en baştan bir değerlendirme kümesi hazırlayıp getirme isabetini ölçün. Erişim kontrolü ile KVKK yükümlülüklerini ilk günden tasarlayın. Doğru yol büyük bir dönüşüm vaadi değil, ölç-iyileştir-büyüt döngüsüdür.

Kurumsal RAG için hangi bileşenler gerekir?

Üretim kalitesinde bir kurumsal RAG dört katman ve yedi temel bileşen gerektirir. Doküman hazırlığında: veri alımı (ingestion) ve chunking. Getirme ve sıralamada: embedding modeli, vektör veritabanı ve reranking. Üretimde: bir dil modeli (LLM) ve orkestrasyon katmanı. Bunlara iki kesişen bileşen eklenir: değerlendirme ve güvenlik/yönetişim (erişim kontrolü, prompt injection savunması, guardrail). Bir doküman sorgulama sistemi olarak bu bileşenlerin çoğu modelin kendisiyle değil, getirme katmanıyla ilgilidir; başarı, tek bir bileşeni değil tüm boru hattını dengeli kurmaktan gelir.

Kurumsal RAG kalitesi nasıl ölçülür?

Kalite iki katmanda ölçülür. Getirme katmanında isabet, kapsama ve sıralama kalitesi; bunun için her sorunun doğru parçası önceden işaretlenmiş etiketli bir soru-cevap kümesi kullanılır. Üretim katmanında dayanaklılık (yanıt gerçekten getirilen belgeye mi dayanıyor), doğruluk, eksiksizlik ve kaynak gösterme değerlendirilir; otomatik metrikler, insan değerlendirmesi ve LLM-as-a-judge birlikte kullanılır. Değerlendirme bir kez değil, her değişiklikte tekrarlanan bir regresyon testi gibi sürekli çalıştırılır; ölçülmeyen kurumsal RAG sessizce bozulur.

Kurumsal RAG ile fine-tuning arasındaki fark nedir?

RAG bilgi ekler: modele dışarıdan güncel ve kuruma özel belgeler verir. Fine-tuning davranış değiştirir: modelin tonunu, formatını veya üslubunu kalıcı olarak ayarlar. Sorun "model doğru bilgiyi bilmiyor" ise RAG; sorun "model doğru bilgiyi biliyor ama yanlış biçimde söylüyor" ise fine-tuning uygundur. Çoğu senaryoda önce RAG denenir, çünkü daha hızlı kurulur ve bilgiyi güncel tutmak kolaydır. İkisi tamamlayıcıdır: fine-tuning ile üslubu, RAG ile güncel bilgiyi verirsiniz.

Kurumsal RAG'de KVKK ve erişim kontrolü nasıl ele alınır?

En kritik ilke, izin kontrolünün üretim adımında değil getirme adımında yapılmasıdır: model, kullanıcının görmeye yetkili olmadığı bir belgeyi asla bağlam olarak almamalıdır. Bu yüzden her belgeye erişim düzeyi meta verisi eklenir ve getirme katmanı kullanıcının yetkisine göre filtrelenir. Kişisel veri içeren belgeler için anonimleştirme/maskeleme, amaçla sınırlılık, saklama süresi ve denetim kaydı planlanır. Erişim kontrolü sonradan yamanacak bir özellik değil, doküman hazırlığından itibaren tasarlanan bir mimari kattır. Bu bir bilgilendirmedir, hukuki tavsiye değildir; kurumunuzun hukuk ve uyum birimiyle birlikte uygulanmalıdır.

Özetle kurumsal RAG, bir dil modelini kurumun belgelerinden getirilen ilgili parçalarla besleyip kaynak gösteren bir yapay zeka mimarisidir; ama asıl mesaj şudur: bu bir ürün değil, katmanlı bir bilgi boru hattıdır. Doküman hazırlığı, getirme ve sıralama, üretim ve değerlendirme — bu dört katmanın her biri kendi kararı ve ölçütüyle tasarlandığında, ortalama bir model bile güvenilir kurumsal yanıtlar üretir; katmanlardan biri bozuksa en pahalı model bile kurtaramaz. İyi kurulmuş bir doküman sorgulama sistemi, en pahalı modelden daha çok değer kazandırır.

Bu yazı, konunun dar ve uygulama odaklı bir kesitidir; tüm yöntemleri derinlemesine görmek için kapsamlı rehber yazısına, temel kavramlar için RAG nedir ve embedding nedir yazılarına bakabilirsiniz. Kurumunuza özel bir kurumsal RAG mimarisi ve rag kurulumu yol haritası tasarlamak, ekiplerinizi doğru katman kararlarını verecek yetkinliğe kavuşturmak için kurumsal yapay zeka eğitim programını inceleyin; teoriyi üretimde çalışan bir boru hattına dönüştürmenin en hızlı yolu, ekibin bu katmanları birlikte tasarlamayı öğrenmesidir.