Fine-tuning mü RAG mı 2026: LoRA, QLoRA, Distilasyon ve Karar Çerçevesi

TL;DR — 2026'da "fine-tuning mü, RAG mı?" yanlış bir ikilem. Doğru cevap genelde ikisi birden. Net kural şu: RAG taze bilgi için doğru araç; fine-tuning ise ton, yapılandırılmış çıktı, alan terminolojisi ve araç-çağırma formatı için. Fine-tuning ayrıca frontier-model performansını daha küçük, daha ucuz bir modele damıtmanın (distillation) yolu. 2026'nın önerilen sırası: Prompt → RAG → Fine-tune → Distill. En yüksek getirili fine-tuning, güçlü bir temel model üzerine ince bir LoRA veya QLoRA adaptörü — üstelik getirmeyi (RAG) değiştirmeden, onunla birlikte. Bu yazıda karar çerçevesini, LoRA/QLoRA'yı, küçük dil modellerini ve Türkiye/KVKK bağlamını anlatıyorum.

Sahada en sık karşılaştığım tartışma bu: "Modelimizi fine-tune mu edelim, yoksa RAG mı kuralım?" Bu soru, "araba mı alsam, yakıt mı?" gibi — ikisi farklı işler yapar ve genelde birlikte gerekir. RAG ve fine-tuning rakip değil, tamamlayıcı. Karışıklık, ikisinin de "modeli işimize uyarlama" yöntemi olmasından kaynaklanıyor; ama farklı şeyleri uyarlıyorlar.

Temel ayrım şu: RAG taze, değişen bilgi için doğru araç — güncel belgeler, müşteri kayıtları, dün eklenen bir politika. Fine-tuning ise davranışı, biçimi ve tarzı kalıcı olarak şekillendirmek için: ton, alan terminolojisi, yapılandırılmış çıktı formatı, araç-çağırma deseni. Bilgiyi RAG ile, davranışı fine-tuning ile ayarlarsınız. "Ne biliyor" RAG'in işi; "nasıl davranıyor" fine-tuning'in.

2026'nın en pratik karar çerçevesi bir sıralama: önce prompt, sonra RAG, sonra fine-tuning, en son distillation. Her adıma ancak bir önceki yetmediğinde geçin. Neden bu sıra? Çünkü karmaşıklık ve maliyet her adımda artıyor; en ucuz, en hızlı çözümle başlayıp gerektikçe ilerlemek akıllıca.

Prompt: en ucuz, en hızlı. Çoğu problem iyi bir prompt ve birkaç örnekle çözülür. RAG: modele taze bilgi gerekiyorsa. Fine-tuning: prompt'un tutamadığı bir tarzı, biçimi veya davranışı kilitlemeniz gerekiyorsa. Distillation: bir frontier modelin performansını daha küçük, daha ucuz bir modele damıtmak — maliyet ve gecikme için. Bu sırayı atlayıp doğrudan fine-tuning'e koşmak, çoğu zaman gereksiz karmaşıklık ve maliyet demek.

Ne zaman hangisi?

İhtiyaç	Doğru araç
Taze, değişen bilgi	RAG
Ton, tarz, marka sesi	Fine-tuning
Yapılandırılmış/tutarlı çıktı formatı	Fine-tuning
Alan terminolojisi, jargon	Fine-tuning
Araç-çağırma formatı	Fine-tuning
Maliyet/gecikme düşürme	Distillation
Hızlı prototip	Prompt

Fine-tuning'in doğru cevap olduğu net durumlar var. Ton ve marka sesi: modelin her çıktıda tutarlı bir ses tutması, prompt'la sağlanamayacak kadar kritikse. Yapılandırılmış çıktı: modelin her seferinde belirli bir formatı üretmesi gerekiyorsa. Alan terminolojisi: modelin özel bir jargona (tıp, hukuk, mühendislik) hâkim olması gerekiyorsa. Araç-çağırma formatı: ajanların araçları tutarlı biçimde çağırması gerekiyorsa. Ve en önemlisi: frontier-model performansını daha küçük, daha ucuz bir modele damıtmak — maliyet ve gecikme için.

Ama fine-tuning'in yanlış cevap olduğu durumlar daha sık. Sadece taze bilgi eklemek istiyorsanız fine-tuning yanlış araç — o RAG'in işi, çünkü bilgi değiştikçe yeniden eğitmek pahalı ve yavaş. Fine-tuning statik davranış içindir, dinamik bilgi için değil. Bu ayrımı karıştırmak, en sık gördüğüm ve en pahalıya mal olan hata.

Fine-tuning denince akla eskiden devasa maliyetler gelirdi. LoRA ve QLoRA bunu değiştirdi. LoRA (Low-Rank Adaptation), modele düşük-ranklı adaptör matrisleri ekleyerek orijinal parametrelerin yaklaşık %0.1-1'ini eğitiyor; tipik ranklarda tam fine-tuning'e yakın kalite, GPU saatinin küçük bir kısmıyla. Yani modelin tamamını değil, ince bir katmanı eğitiyorsunuz.

QLoRA ise temel modeli 4-bit'e kuantize ederken adaptörleri daha yüksek hassasiyette tutuyor; bu, 70B sınıfı modellerin tek bir GPU'da fine-tune edilmesini mümkün kıldı. Bir 8B modeli, uygun ayarlarla 10 GB'ın altında VRAM'de fine-tune edebiliyorsunuz. Bu parametre-verimli yöntemler, fine-tuning maliyetini bir büyüklük mertebesi düşürdü. 2026'nın maliyet/kalite tatlı noktası: güçlü bir temel model üzerine ince bir LoRA/QLoRA adaptörü, üstüne de taze bilgi için RAG.

2026'nın önemli bir trendi: 7B-14B aralığındaki küçük dil modelleri (SLM), dar alanlarda frontier-model kalitesine yaklaşıyor. Bir SLM'i kendi alanınızda fine-tune ettiğinizde, o dar görevde çok daha büyük ve pahalı bir modele rakip olabiliyor — üstelik çok daha ucuz ve hızlı çalışarak. Çoğu kurumsal görev genel zekâ değil, dar ve derin uzmanlık gerektirir; işte SLM'ler burada parlıyor.

Pratik sonuç: her göreve frontier model koşmak zorunda değilsiniz. Yüksek hacimli, dar bir görev için — örneğin müşteri e-postalarını sınıflandırma veya belirli bir formatta özet üretme — fine-tune edilmiş bir SLM, hem birim maliyeti düşürür hem gecikmeyi azaltır. 2026'nın üretim ajanları için tatlı nokta sıkça şu: kendi altyapınızda servis edilen, QLoRA ile fine-tune edilmiş 8B veya 70B sınıfı açık-ağırlıklı bir model, üstüne taze bilgi için RAG.

Distillation, güçlü bir "öğretmen" modelin davranışını daha küçük bir "öğrenci" modele aktarma yöntemi. Frontier bir modelle yüksek kaliteli örnekler üretip, bu örneklerle küçük bir modeli fine-tune ediyorsunuz. Sonuç: küçük modelin, o dar görevde büyük modele yakın performans göstermesi — ama küçük modelin maliyeti ve hızıyla. Bu, maliyet ve gecikme kritikse en güçlü kaldıraçlardan biri.

Distillation'ı sıranın en sonuna koymamızın nedeni, bir "hedef davranış" tanımına ihtiyaç duyması. Önce prompt, RAG ve gerekirse fine-tuning ile istediğiniz davranışı büyük modelde elde edersiniz; sonra onu küçük modele damıtırsınız. Sırayı atlarsanız, henüz tanımlamadığınız bir davranışı damıtmaya çalışmış olursunuz.

Fine-tuning kararında Türkiye'ye özgü iki boyut var. Birincisi Türkçe performansı: İngilizce-merkezli bir modelin Türkçe çıktısını fine-tuning ile ciddi iyileştirebilirsiniz; kendi Türkçe verinizle eğitilen bir adaptör, jenerik modele göre terminoloji ve akıcılıkta öne geçer. İkincisi veri gizliliği: fine-tuning, eğitim verinizi modele "gömer". Kişisel veri içeren bir veri setiyle fine-tune ederseniz, KVKK yükümlülükleri devrede — amaç, hukuki dayanak, veri minimizasyonu. Ayrıca fine-tune edilmiş model, eğitim verisini kısmen "ezberleyip" sızdırabilir; hassas veriyle çalışırken bu risk göz ardı edilmemeli.

Self-host avantajı burada da öne çıkıyor. Açık-ağırlıklı bir modeli kendi altyapınızda fine-tune edip servis ederseniz, veriniz hiç dışarı çıkmaz — düzenlenmiş sektörler için büyük bir avantaj. QLoRA'nın tek GPU'da çalışabilmesi, bunu Türk kurumları için de erişilebilir kılıyor.

Somut karar akışım: Probleminizi prompt ile çözmeyi deneyin — çoğu zaman yeter. Taze/değişen bilgi gerekiyorsa RAG ekleyin. Ton, biçim, terminoloji veya araç-çağırma formatı prompt'la tutmuyorsa, güçlü bir temel model üzerine LoRA/QLoRA adaptörü ekleyin — RAG'i çıkarmadan, onunla birlikte. Maliyet ve gecikme kritikse, elde ettiğiniz davranışı küçük bir modele damıtın. Türkçe iş yüklerinde dile özgü veriyle eğitin; KVKK-hassas veride self-host'u tercih edin.

2026'da en iyi çalışan üretim sistemleri hibrit: değişen için RAG, değişmemesi gereken için fine-tuning. "Fine-tuning mü RAG mı?" diye soran bir ekip, henüz problemi doğru çerçevelememiş demektir. Doğru soru "hangi ihtiyacım hangi araçla karşılanır?" Bu ayrımı netleştirdiğinizde, hem gereksiz karmaşıklıktan hem de gereksiz maliyetten kaçınır, her aracı en güçlü olduğu yerde kullanırsınız.