Doküman Tabanlı AI Asistanı Geliştirme: PDF, Wiki, SOP ve Politika Verileriyle Güvenli RAG

Kurumsal yapılarda bilgiye erişim problemi, çoğu zaman bilgi üretim probleminden daha büyüktür. Kurum içinde gerekli bilgi genellikle zaten vardır; ancak doğru kişiye, doğru anda, doğru sürümle ve doğru bağlamda ulaşmaz. Politika dokümanları farklı klasörlerde dağılmış olabilir. SOP’ler yıllar içinde güncellenmiş ama eski sürümler hâlâ dolaşımda olabilir. Wiki içerikleri güçlü olabilir ama arama deneyimi zayıf kalabilir. PDF tabanlı teknik belgeler değerli olabilir ama yapısal olarak aranmaya uygun olmayabilir. Sonuçta çalışanlar bilgiye sahip bir organizasyon içinde, bilgiye erişemeyen ekipler haline gelir.

Bu noktada doküman tabanlı AI asistanları, yalnızca pratik bir otomasyon aracı değil; kurumsal bilginin kullanım şeklini dönüştüren stratejik bir altyapı haline gelir. Kullanıcı doğal dilde soru sorar, sistem ilgili kurumsal kaynakları getirir, cevabı bu kaynaklara dayanarak üretir ve mümkünse kaynağı da gösterir. Doğru tasarlandığında bu yaklaşım; operasyonel hız, onboarding kalitesi, destek verimliliği, bilgi standardizasyonu ve kurum içi güven açısından ciddi fayda sağlar.

Ancak burada kritik bir gerçek vardır: PDF, wiki, SOP ve politika verileriyle çalışan bir AI asistanı geliştirmek; sadece dokümanları bir vektör veritabanına yükleyip LLM’e bağlamaktan ibaret değildir. Üretim seviyesinde güçlü bir sistem için belge kaynağı seçimi, parsing, temizleme, sürüm kontrolü, erişim sınırları, retrieval mantığı, kaynak doğruluğu, observability ve governance birlikte düşünülmelidir. Aksi halde sistem akıcı ama hatalı cevaplar verir, eski sürümleri kullanır, yanlış kişiye yanlış bilgi gösterir ve kısa sürede güven kaybeder.

Bu yazıda, doküman tabanlı bir AI asistanının nasıl tasarlanması gerektiğini uçtan uca ele alacağım. Özellikle PDF, wiki, SOP ve politika dokümanları gibi tipik kurumsal içeriklerin güvenli bir RAG mimarisi içinde nasıl yönetileceğini; veri kaynağı, yapılandırma, retrieval, güvenlik, kalite ölçümü ve üretim işletimi perspektifinden detaylı biçimde inceleyeceğim.

Doküman tabanlı AI asistanı, büyük dil modelini kurum içi bilgi kaynaklarıyla birleştirerek kullanıcının doğal dilde sorduğu sorulara, mevcut dokümanlara dayanarak yanıt veren sistemdir. Temel fark şudur: Sistem yalnızca modelin önceden öğrendiği genel bilgiyi kullanmaz; aynı zamanda şirketin kendi bilgi tabanından ilgili içerikleri getirir ve yanıtı bu içeriklerle temellendirir.

Bu yaklaşım özellikle şu tür sorular için değerlidir:

• “Bu prosedürün en güncel sürümünde hangi adımlar değişti?”
• “Yurt dışı seyahat onay sürecinde finans ekibinin rolü nedir?”
• “Bu ürün için iade istisnaları hangi dokümanda geçiyor?”
• “Onboarding sürecinde ilk hafta tamamlanması gereken SOP’ler hangileri?”
• “Bu güvenlik politikasında dış cihaz kullanımına izin var mı?”

Başka bir deyişle, bu sistemler bilgi üretmekten çok bilgiyi doğru bağlamla erişilebilir hale getirmek için tasarlanır.

Kurumsal dünyada doküman yoğunluğu yüksektir. Bilgi dağınıktır, ekipler farklı araçlar kullanır, içerik sahipliği bölünmüştür ve çoğu zaman arama deneyimi belge yapısına göre tasarlanmamıştır. İnsanlar bilgiye ulaşmak için klasör gezmek, eski e-posta zincirlerini taramak, farklı ekiplerden teyit almak veya wiki içinde doğru sayfayı bulmaya çalışmak zorunda kalır.

Doküman tabanlı AI asistanı şu alanlarda ciddi değer yaratabilir:

• Çalışan self-service bilgi erişimi
• Onboarding ve eğitim süreçleri
• Destek ekiplerinin daha hızlı doğru cevap vermesi
• Politika ve prosedür standardizasyonu
• Kurumsal bilgi kaybının azaltılması
• Operasyonel karar süresinin kısalması

Özellikle SOP, politika ve wiki içeriklerinin yoğun olduğu yapılarda bu sistemler sadece verimlilik değil; kurumsal tutarlılık ve risk azaltma açısından da önemli hale gelir.

Kurumsal bilgiyle çalışan her sistem aynı zamanda güvenlik, erişim ve denetlenebilirlik problemidir. Çünkü her bilgi herkes için uygun değildir. Bazı belgeler sadece belirli rollere açık olabilir. Bazı politika maddeleri sadece güncel sürüm üzerinden yorumlanmalıdır. Bazı SOP’ler belirli lokasyon veya birim için geçerlidir. Bazı içerikler ise hassas veri içerebilir.

Bu yüzden “dokümanları sisteme ver, cevap üretsin” yaklaşımı kurumsal ölçekte yetersiz ve risklidir. Güvenli RAG yaklaşımı şu prensiplere dayanmalıdır:

• Rol bazlı erişim
• Kaynak güncelliği kontrolü
• Onaylı doküman kullanımı
• Kaynaklı ve denetlenebilir cevap üretimi
• Audit trail
• Hassas veri kontrolü
• Yanlış retrieval veya prompt injection riskine karşı koruma

"

Kritik gerçek: Kurumsal bir AI asistanını değerli yapan şey yalnızca hızlı cevap vermesi değil; doğru kişiye, doğru kaynaktan, doğru ve denetlenebilir cevap vermesidir.

Üretim seviyesinde güvenli bir doküman tabanlı AI asistanı genellikle şu katmanlardan oluşur:

1. Kaynak seçimi ve doküman toplama
2. Parsing ve yapı koruma
3. Temizleme, normalizasyon ve sürüm ayrıştırma
4. Chunking ve metadata çıkarımı
5. Embedding ve indexleme
6. Role-aware retrieval
7. Reranking
8. Prompt assembly ve grounded answer generation
9. Observability ve evaluation
10. Security, governance ve audit

Bu katmanları birbirinden kopuk düşünmek en büyük hatalardan biridir. Çünkü parsing zayıfsa retrieval düşer, retrieval düşerse grounded answer kalitesi bozulur, güvenlik filtresi eksikse doğru retrieval bile yanlış kullanıcıya yanlış bilgi gösterebilir.

İlk kritik karar, hangi bilgi kaynaklarının sisteme dahil edileceğidir. Bu seçim salt teknik bir entegrasyon kararı değil, bilgi yönetişimi kararıdır. Özellikle şu tip kaynaklar doküman tabanlı AI asistanlarında sık görülür:

• PDF politika ve prosedür belgeleri
• Kurumsal wiki sayfaları
• SOP dokümanları
• Teknik kılavuzlar ve kullanım rehberleri
• İK veya operasyon politikaları
• Yardım merkezi makaleleri
• Sözleşme veya mevzuat içerikleri

Kaynak seçerken şu sorular sorulmalıdır:

• Bu içerik resmi ve onaylı mı?
• Güncellik nasıl takip ediliyor?
• Belgenin sahibi kim?
• Eski sürümler nasıl ayrıştırılıyor?
• Bu kaynak herkese açık mı, rol bazlı mı?

Doküman tabanlı AI asistanlarının başarısız olduğu birçok örnekte asıl problem retrieval algoritması değil; bilgi kaynağı hijyeninin zayıf olmasıdır.

Kurumsal içerik tiplerinin her biri farklı yapısal davranış gösterir. Bu nedenle tek tip parsing ve tek tip chunking yaklaşımı çoğu zaman kaliteyi düşürür.

PDF Dokümanlar

PDF’ler görsel temsil odaklıdır. Tablo yapıları, çok sütunlu sayfalar, dipnotlar, footer/header blokları ve OCR bozulmaları sık görülür. Metni çıkarmak yetmez; belge yapısını mümkün olduğunca korumak gerekir.

Wiki İçerikleri

Wiki sayfaları genellikle hiyerarşik başlık yapısına ve daha temiz HTML tabanlı düzene sahiptir. Ancak sürüm farkları, sayfa içi bağlantılar ve bazen yarım veya tekrarlı içerikler kalite problemi yaratabilir.

SOP Dokümanları

SOP’ler adım sırası, koşul, istisna ve sorumluluk bilgisi taşır. Burada bağlamın sıralı yapısı çok kritiktir. Bir adımın tek başına alınması çoğu zaman anlamı bozabilir.

Politika Dokümanları

Politika belgeleri genellikle kural, kapsam, istisna, geçerlilik ve rol bilgisini birlikte taşır. Sadece cümle bazlı retrieval çoğu zaman yeterli olmaz; ilgili madde ve istisna birlikte görülmelidir.

Bu nedenle güvenli RAG sistemi, belge türüne göre farklı işleme stratejisi uygulamalıdır.

Bir AI asistanı doğru cevap vermeden önce doğru metin temsiline ihtiyaç duyar. Özellikle PDF yoğun yapılarda parsing kalitesi, sistem kalitesinin en görünmeyen ama en belirleyici unsurlarından biridir.

Bu katmanda yapılması gereken başlıca işlemler:

• Başlık ve bölüm yapısını koruyarak metin çıkarımı
• Tablo ve liste yapılarının mümkün olduğunca korunması
• Footer, header, sayfa numarası ve kopya blokların temizlenmesi
• OCR kaynaklı kırık kelimelerin düzeltilmesi
• Taslak ve eski sürüm işaretlerinin ayıklanması
• Belge türüne göre yapısal alanların tanınması

Bu aşamada yapılan hata, daha sonraki bütün katmanlara taşınır. Yani yanlış parse edilmiş içerik üzerine kurulan iyi retrieval bile zayıf sonuç verebilir.

Doküman tabanlı AI asistanlarında chunking kararı doğrudan cevap kalitesini belirler. Çünkü retrieval sistemi tüm belgeyi değil, chunk’ları arar. Bu yüzden parça boyutu, sınırı ve overlap mantığı kritik hale gelir.

Doküman Türüne Göre Chunking Farklılaşmalıdır

• PDF teknik dokümanlarda başlık + paragraf + tablo ilişkisi korunmalıdır.
• Wiki içeriklerinde bölüm bazlı chunking daha doğal olabilir.
• SOP belgelerinde adım bütünlüğü korunmalıdır.
• Politikalarda madde + istisna + kapsam yapısı aynı bağlamda tutulmalıdır.

Yanlış Chunking’in Sonuçları

• İstisna başka chunk’ta kaldığı için yanlış yorum oluşması
• Tablo bilgisinin metinden kopması
• SOP sırasının bozulması
• Politika kapsamı ile koşulun ayrışması
• Çok büyük chunk’lar nedeniyle düşük precision

Pratik Chunking İlkeleri

• Sabit boyut yerine yapısal veya hibrit chunking tercih et
• Belge başlığını ve alt başlığı metadata olarak taşı
• Geçerlilik tarihi ve sürüm bilgisini chunk seviyesinde ilişkilendir
• Gerekli yerlerde kontrollü overlap kullan
• Chunking kararlarını retrieval evaluation ile doğrula

Metadata, doküman tabanlı AI asistanlarında sadece aramayı iyileştiren yardımcı alanlar değil; aynı zamanda güvenlik ve kurumsal doğruluk mekanizmasıdır. Çünkü semantic similarity tek başına şu soruları çözemez:

• Bu en güncel sürüm mü?
• Bu belge Türkiye operasyonu için mi, global ekip için mi?
• Bu içerik yalnızca yönetici seviyesine mi açık?
• Bu taslak mı, onaylı mı?
• Bu SOP hangi departmana ait?

Bu yüzden güçlü metadata alanları şunları içerebilir:

• Belge türü
• Başlık / alt başlık
• Sürüm
• Geçerlilik tarihi
• Onay durumu
• Doküman sahibi
• Departman / rol
• Ülke / lokasyon / kanal
• Hassasiyet seviyesi

Role-aware retrieval ve güvenli cevap üretimi için metadata çoğu zaman embedding kadar kritiktir.

Doküman tabanlı AI asistanının kalbi retrieval katmanıdır. Ancak burada hedef sadece benzer metin bulmak değildir. Amaç; kullanıcının sorusuna gerçekten yardımcı olacak, erişim yetkisine uygun, güncel ve bağlamsal olarak doğru parçaları bulmaktır.

Retrieval Türleri

Semantic Retrieval

Doğal dil varyasyonlarını yakalamada güçlüdür. Özellikle kullanıcıların farklı ifadelerle benzer sorular sorduğu yapılarda önemlidir.

Lexical Retrieval

Madde numarası, belge adı, ürün kodu, prosedür adı, kural metni veya exact-match gerektiren aramalarda çok değerlidir.

Hybrid Retrieval

Kurumsal yapılarda çoğu zaman en doğru başlangıç yaklaşımıdır. Çünkü kullanıcı bazen semantik yakınlık, bazen de tam ifade eşleşmesi bekler.

Role-Aware Retrieval

Doküman tabanlı güvenli RAG’de retrieval sadece alaka üzerinden değil, yetki üzerinden de çalışmalıdır. Bir kullanıcının erişemeyeceği chunk, semantik olarak ne kadar ilgili olursa olsun retrieval aday setine girmemelidir.

Query Rewriting

Kullanıcı soruları çoğu zaman retrieval için ideal değildir. Örneğin “iade sürecinde yurtdışı tarafında finans ne zaman devreye giriyor?” gibi bir soru, kurum içindeki SOP diliyle birebir eşleşmeyebilir. Query rewriting, kullanıcı niyetini retrieval için daha uygun kurumsal terimlere dönüştürmede büyük katkı sağlar.

Retrieval ilk aşamada iyi adaylar bulabilir; ancak bunların sıralaması her zaman ideal değildir. Reranking katmanı, bulunan adayları daha hassas bir eşleştirme mantığıyla yeniden sıralar. Özellikle benzer ama farklı bağlamlı SOP ve politika içeriklerinde kaliteyi ciddi biçimde artırır.

Reranking’in başlıca katkıları şunlardır:

• İlgili ama ikincil önemde chunk’ları aşağı iter
• Doğrudan cevap taşıyan bölümü yukarı çıkarır
• Context precision’ı artırır
• Modelin gereksiz bağlamla kirlenmesini önler
• Token bütçesini daha verimli kullanır

Belge hacmi arttıkça ve belge tipleri çeşitlendikçe reranking katmanının değeri hızla yükselir.

Doküman tabanlı AI asistanlarının en büyük riski, kullanıcıya akıcı ama dokümanla tam örtüşmeyen cevaplar vermesidir. Bu yüzden sistemin yalnızca retrieval yapması yetmez; modelin de retrieval ile gelen bilgiyi kontrollü biçimde kullanması gerekir.

Burada iyi tasarım için şu kurallar önemlidir:

• Yalnızca getirilen bağlama dayanarak cevap verme
• Yetersiz bağlam varsa bunu açıkça belirtme
• Kaynak veya bölüm referansı gösterme
• Çelişkili kaynak varsa bunu açıklama
• Riskli konularda yorum yerine kaynak yönlendirmesi yapma

Kurumsal ortamlarda güven, çoğu zaman “cevap verdi” üzerinden değil, “neden bu cevabı verdi” üzerinden oluşur.

Bir doküman tabanlı AI asistanının kalitesi yalnızca cevapların kulağa iyi gelmesiyle ölçülemez. Çünkü sorun retrieval’da olabilir, parsing’de olabilir, role filter’da olabilir veya modelin cevabı yorumlama biçiminde olabilir. Bu yüzden evaluation çok katmanlı düşünülmelidir.

Ölçülmesi Gereken Temel Boyutlar

• Retrieval relevance
• Context precision
• Context recall
• Kaynak doğruluğu
• Answer correctness
• Faithfulness / groundedness
• Segment bazlı kalite
• Kullanıcı geri bildirimi

Belge Türüne Göre Evaluation Farklılaşmalı mı?

Evet. SOP asistanında süreç sıralama doğruluğu kritik olabilir. Politika asistanında istisna maddelerini kaçırmamak öne çıkar. Wiki aramasında ise genel faydalılık ve bilgiye hızlı ulaşma daha belirleyici olabilir. Tek tip benchmark yaklaşımı çoğu zaman yetersizdir.

Üretimde kullanıcı “yanlış cevap aldım” dediğinde, ekibin şu sorulara cevap verebilmesi gerekir:

• Hangi kaynaklar çağrıldı?
• Hangi chunk’lar seçildi?
• Role filter doğru çalıştı mı?
• Reranker neyi öne aldı?
• Hangi prompt sürümü kullanıldı?
• Yanlışlık retrieval mı, generation mı kaynaklı?

Bu nedenle observability katmanı sadece latency ve error rate değil; retrieval path, source usage, citation behavior, segment failure ve kullanıcı geri bildirimini de görünür kılmalıdır.

Doküman tabanlı AI asistanı kurumsal ölçekte devreye alınacaksa, güvenlik ve yönetişim temel mimari bileşenlerdir. Özellikle politika ve SOP gibi belgelerde yanlış sürüm, yanlış rol veya yanlış ülke/lokasyon bilgisi ciddi operasyonel risk yaratabilir.

Bu nedenle şu başlıklar net tasarlanmalıdır:

• Rol bazlı retrieval ve sonuç filtreleme
• Belge sürüm yönetimi
• Onaylı / onaysız içerik ayrımı
• Audit log ve sorgu geçmişi
• Hassas veri ve PII kontrolü
• Prompt injection ve kötü niyetli sorgu korumaları

Kurumsal bir AI asistanı teknik olarak etkileyici olabilir; ancak denetlenebilir değilse, güvenilir kabul edilmez.

1. Her belge tipine aynı parsing mantığını uygulamak
2. PDF yapı bozulmalarını göz ardı etmek
3. SOP ve politika belgelerinde bağlam bütünlüğünü korumamak
4. Metadata ve sürüm bilgisini ihmal etmek
5. Role-aware retrieval kurmamak
6. Sadece semantic search’e güvenmek
7. Reranking kullanmadan yüksek precision beklemek
8. Kaynaklı cevap davranışını tanımlamamak
9. Eski veya taslak dokümanları bilgi tabanında bırakmak
10. Evaluation’ı sadece demo hissine bırakmak
11. Observability olmadan canlıya çıkmak
12. Security ve governance katmanını sona bırakmak

Rol	Ana Sorumluluk
AI / ML Engineer	RAG mimarisi, retrieval akışı, serving ve entegrasyon
Search / Retrieval Engineer	Hybrid search, reranking, retrieval tuning
Data Engineer	Doküman toplama, parsing, veri akışı, güncellik yönetimi
Domain Owner	Belge doğruluğu, sahiplik, içerik güncelliği
Security / Governance Lead	Erişim politikaları, audit, güvenlik ve uyum
Product Owner	Kullanım senaryosu, kullanıcı değeri, deneyim kalitesi

İlk 30 Gün: Bilgi Alanını Tanımla

• Öncelikli kullanım senaryolarını seç
• PDF, wiki, SOP ve politika kaynaklarını sınıflandır
• Belge sahipliği ve sürüm yapısını çıkar
• Parsing risklerini belirle
• İlk retrieval evaluation setini oluştur

31-60 Gün: Güvenli Retrieval Kalitesini Kur

• Belge türüne göre chunking stratejileri oluştur
• Metadata ve erişim şemasını tasarla
• Hybrid retrieval ve query rewriting denemeleri yap
• Reranking katmanını test et
• Kaynaklı cevap tasarımını netleştir

61-90 Gün: Üretim Disiplini Kur

• Observability ve retrieval trace yapısını devreye al
• Role-aware security filtrelerini aktif et
• Evaluation ve kalite eşiğini resmileştir
• Audit ve sorgu kayıtlarını standardize et
• İlk referans doküman tabanlı AI asistanı mimarisini kurum standardı haline getir

PDF, wiki, SOP ve politika verileriyle çalışan bir AI asistanı kurmak, yalnızca bir chatbot geliştirmek değildir. Bu, kurumun bilgiye erişim biçimini yeniden tasarlamaktır. Asıl değer; bilgiyi toplayabilmekte değil, onu doğru sürümle, doğru yetkiyle, doğru bağlamla ve doğru güven seviyesiyle erişilebilir hale getirmekte ortaya çıkar.

Bu yüzden güçlü bir doküman tabanlı AI asistanı; retrieval kalitesi kadar governance kalitesine, chunking kadar güvenlik tasarımına, cevap akıcılığı kadar kaynak doğruluğuna dayanır. Uzun vadede güven kazanan sistemler, en hızlı cevap verenler değil; en doğru, en kontrollü ve en denetlenebilir cevapları veren sistemler olacaktır.

Doküman tabanlı AI asistanı için sadece PDF yüklemek yeterli mi?

Hayır. PDF yalnızca bir kaynak türüdür. Parsing, temizlik, sürüm kontrolü, metadata, retrieval ve güvenlik katmanları kurulmadan kaliteli sonuç alınmaz.

Wiki içerikleri RAG için PDF’lere göre daha mı avantajlıdır?

Genellikle daha yapısal ve temizdirler; ancak sürüm karmaşası, sayfa parçalanması ve içerik tekrarları gibi farklı problemler taşıyabilirler. Her kaynak kendi doğasına göre işlenmelidir.

SOP ve politika belgeleri için neden özel yaklaşım gerekir?

Çünkü bu belgelerde sıra, istisna, kapsam ve rol bilgisi kritik önemdedir. Basit cümle benzerliği çoğu zaman yeterli olmaz.

Role-based access gerçekten gerekli mi?

Evet. Kurumsal sistemlerde her kullanıcının her belgeye erişmesi istenmez. Güvenli RAG için retrieval düzeyinde erişim kontrolü şarttır.

Doküman tabanlı AI asistanında en sık kalite sorunu nedir?

En yaygın sorunlar; kötü parsing, yanlış chunking, metadata eksikliği, role filter eksikliği ve kaynaklı cevap davranışının zayıf olmasıdır.