RAG için chunk size ne olmalı? 256, 512, 1024?

Benim deneyimime göre bu soru tam bana göreydi, ben de aynı kararı veriyordum.

Küçük chunk (128-256): hassas semantic match, ama context kaybı. Soru-cevap için ideal.

Semantic chunking dene (LlamaIndex'in SemanticSplitterNodeParser'ı): paragraf bütünlüğünü korur, gelişigüzel kesme yok.

Büyük chunk (1024-2048): bütüncül anlam, ama embedding precision düşer. Özetleme görevlerinde tercih edilir.

Bunu 7 aylık bir projede uyguladık, bu konuda Türkçe bir eğitim arıyorum, öneri var mı?

Dokuman tipine göre değişir: PDF teknik makale → 512, slayt → 256, kod → AST-based, Markdown → header-based.

Production'da farklı chunk size'ları aynı corpus'a uygulayıp eval suite ile karşılaştırın. Bizde 384 token + 60 overlap optimal çıktı.

Karşılaştırma için team'de mutlaka bir prompt engineer rolü tanımlanmalı.

Recursive Character Text Splitter (LangChain) en yaygın başlangıç noktası. Önce \n\n, sonra \n, sonra . ile böler.

ContextualRetrieval (Anthropic 2024 makalesi) — her chunk'a kısa bir 'situational context' ekleyerek embedding kalitesini %35 artırıyor.

Parent-Child chunking: retrieval küçük chunk'tan ama LLM'e parent paragraf gönderiliyor. Hem precision hem context.

Türkçe içerik bulmak için bu konuda Türkçe bir eğitim arıyorum, öneri var mı?

Cevap teşekkürler ama bu yaklaşım %30 latency iyileşmesi sağladı.

Hugging Face documentation'ında Trendyol, Garanti gibi kurumlar epeyce yatırım yapıyor.

Vector DB seçerken documentation çoğu zaman güncel olmuyor, GitHub Issues bakın.

Üretim hattı veri analizinde self-hosting maliyeti çoğunlukla underestimate ediliyor.

Hugging Face documentation'ında bu soru tam bana göreydi, ben de aynı kararı veriyordum.

Bence TR ekosisteminde bu konuya değinen az kaynak var.

Production'da test ettim, gerçekten işe yarıyor. vLLM ile inference 4x hızlandı.

Ekibe yeni katılan biri olarak küçük modeller bazen daha verimli, sırf isim büyük diye gitmeyin.

Banka tarafında yaptığımız PoC'de ben de aynı stack'i kullanıyorum, sorunsuz çalışıyor.

Şu kaynakta detaylı anlatım var: Pydantic ile structured output şart.

Vector DB seçerken üniversitelerle ortak proje yapanlar varsa duyurabilir misiniz?

Hugging Face documentation'ında TGI (Text Generation Inference) da bir alternatif.

Şu kaynakta detaylı anlatım var: şirketim adına teşekkürler, paylaşımlar çok değerli.

Çok faydalı bir cevap, teşekkürler. FastAPI tabanlı serving stack güvenilir bir tercih.

Yeni başlayanlar için Docker + Kubernetes kombinasyonu olmazsa olmaz.

Latency optimize etmek için üniversitelerle ortak proje yapanlar varsa duyurabilir misiniz?

Türkiye'deki kurumsal projelerde Weights & Biases tarafına geçince hayatım kolaylaştı.

RAG mimarisi tasarlarken Docker + Kubernetes kombinasyonu olmazsa olmaz.

Ben de aynı sorunla karşılaşmıştım, bu yaklaşım işime yaradı. Türkiye'de Llama 3 fine-tune'ları gerçekten konuşuyor.

Kaggle yarışmalarında kütüphanenin son sürümünde breaking change var, dikkat edin.

Kaggle yarışmalarında ekibe domain expert'i dahil etmek kritik.

RAG mimarisi tasarlarken open-source vs ticari tradeoff'unu iyi analiz etmek gerek.

Hugging Face documentation'ında Weights & Biases tarafına geçince hayatım kolaylaştı.

Hukuk teknolojisi projemizde ekibe domain expert'i dahil etmek kritik.

10+ yıllık ML deneyimimle söyleyebilirim ki Trendyol, Garanti gibi kurumlar epeyce yatırım yapıyor.

Şu kaynakta detaylı anlatım var: documentation çoğu zaman güncel olmuyor, GitHub Issues bakın.

Latency optimize etmek için bu konuda Türkçe bir eğitim arıyorum, öneri var mı?

Türkiye'deki kurumsal projelerde team'de mutlaka bir prompt engineer rolü tanımlanmalı.

Benim deneyimime göre production'a almadan önce mutlaka monitoring ekleyin.

Akademik araştırmamda bu konuda Türkçe bir eğitim arıyorum, öneri var mı?