DeepSeek ve Türkçe Açık Kaynak LLM Kullanımı Eğitimi

Bu eğitim, açık kaynak büyük dil modellerini Türkçe görevlerde yüksek kalitede çalıştırmak ve veri mahremiyeti gerektiren regülasyonlu sektörlerde KVKK uyumlu bir self-hosted altyapıya almak isteyen AI engineer'lar, ML mühendisleri, veri bilimciler ve platform mühendisleri için tasarlanmıştır. Programın merkezinde şu yaklaşım yer alır: Açık kaynak LLM'leri üretmek, basitçe bir modeli sunucuya indirip çalıştırmak değildir. Gerçek kurumsal değer; doğru base modeli (DeepSeek V3 / R1, Qwen 3, Gemma 3, Llama 3.3) seçmek, Türkçe görev türüne göre fine-tuning kararı vermek, inference engine olarak Ollama / vLLM / TGI arasında doğru tercih yapmak, embedding ve vector DB stack'iyle Türkçe RAG kurmak, quantization stratejisiyle donanım maliyetini optimize etmek, KVKK 'yurt dışı transfer' kurallarına uygun on-prem deployment kurmak ve tüm bu sistemi audit edilebilir bir governance katmanına bağlamakla oluşur.

DeepSeek 2024 sonu ve 2025 boyunca açık kaynak LLM ekosistemini köklü biçimde dönüştürdü. DeepSeek V3 (671 milyar toplam parametre, 37 milyar aktif parametre Mixture-of-Experts mimarisi), V3.1 (hybrid reasoning) ve R1 (açık kaynak reasoning modeli) serileri, OpenAI o1 ve Claude Opus 4.7 Deep Think gibi kapalı reasoning modellerine açık kaynak alternatif sundu. Distill modeller (R1-Distill-Qwen-1.5B'den 70B'ye kadar) ise küçük şirketlerin ve solo geliştiricilerin reasoning yeteneğine düşük maliyetle erişmesini sağladı. Bu eğitim, DeepSeek ekosistemini mimari derinlikte ele alır: MoE mantığı, FP8 native quantization, V3.1 hybrid reasoning modu, R1 chain-of-thought training paradigması ve Distill modellerin doğru kullanım senaryoları detaylı olarak işlenir.

Programın Türkçe odağı bir başka kritik boyuttur. Türkçe dilinde yüksek performans gösteren açık kaynak base modelleri tarama, karşılaştırma ve doğru seçim yapma yetkinliği kazandırılır. Qwen 3 (Alibaba) ailesi 0.5B'den 72B'ye kadar geniş yelpazede güçlü Türkçe coverage sunar; Gemma 3 (Google) açık ağırlık ailesi multimodal yeteneklerle güçlüdür; Llama 3.3 (Meta) 70B Türkçe instruction following'de tutarlıdır. Bunların yanında Türkçe-fine-tuned yerli modeller — Trendyol LLM (e-ticaret odaklı), KUIS Cosmos LLM (Koç University genel amaçlı), AYDA, BERTurk ailesi — kendi nişlerinde önemli pozisyonlar tutar. Eğitim, bu modelleri MTEB Turkish, Belebele, MMLU-TR, TruthfulQA-TR ve kurum-spesifik custom eval set'lerle sistematik biçimde değerlendirmeyi öğretir.

Eğitim, lokal çalıştırma ve production inference katmanlarını birlikte ele alır. Geliştirici makinasında ve tek-node sunucuda Ollama ve LM Studio ile DeepSeek-R1-Distill, Qwen 3 ve Türkçe modellerin nasıl saniyeler içinde çalıştırılabileceği; GGUF format yönetimi, quantization seviyesi seçimi ve OpenAI-compatible API expose etme yöntemleri uygulamalı olarak gösterilir. Production tarafında ise vLLM ile PagedAttention ve continuous batching, Text Generation Inference (TGI) ile Hugging Face native deployment, SGLang ile structured generation ve constrained decoding kapsamlı şekilde işlenir. Tensor parallelism ve multi-GPU deployment ile yüksek throughput ihtiyaçları karşılanır.

Programın belki en güçlü modüllerinden biri LoRA ve QLoRA ile Türkçe fine-tuning'e ayrılmıştır. Açık kaynak base modelleri kurum-spesifik Türkçe görevlere uyarlamak; PEFT (Parameter-Efficient Fine-Tuning) yaklaşımıyla full fine-tune'a kıyasla %99'a varan donanım maliyeti tasarrufu sağlar. Eğitimde Türkçe instruction dataset hazırlama (Alpaca, ShareGPT, ChatML formatları), Hugging Face TRL kütüphanesi ile SFTTrainer kullanımı, hyperparameter seçimi (learning rate, batch size, gradient accumulation), adapter merge, GGUF dönüştürme ve son model dağıtımı uçtan uca işlenir. Sonuç olarak katılımcılar, kendi şirketleri için Türkçe-optimize edilmiş özel bir LLM eğitebilecek seviyeye ulaşır.

Türkçe RAG mimarisi de programın temel modüllerinden biridir. Açık kaynak LLM'leri Türkçe doküman tabanlı sistemlerle güçlendirmek için multilingual-e5-large, jina-embeddings-v3, bge-m3 gibi embedding modellerinin karşılaştırması; Türkçe morfoloji bilincinde chunking stratejileri (recursive, semantic, sentence-window); Qdrant, Weaviate, pgvector ile self-hosted vector DB deployment; BM25 + vector hibrit arama mimarisi; ve bge-reranker-v2 ile cross-encoder reranker katmanı detaylı olarak işlenir. Bu, kurumsal bilgi yönetimi, müşteri hizmetleri, doküman özetleme ve compliance ürünlerinde doğrudan uygulanabilir bir mimari altyapı sağlar.

Quantization stratejileri programın kritik bir bileşenidir. GGUF (Q2_K, Q4_K_M, Q5_K_M, Q6_K, Q8_0), AWQ, GPTQ, FP8 native, EXL2 ve diğer modern quantization yöntemleri karşılaştırmalı olarak ele alınır; quantization-induced quality regression ölçümü, donanım sınırlarına göre seviye seçimi ve self-hosted cost modeli (GPU, electricity, ops) detaylı işlenir. Böylece katılımcılar, doğru quantization tercihini kalite, hız ve maliyet üçgeninde mimari bir bakışla yapabilecek seviyeye ulaşır.

Programın ayırt edici noktası, KVKK uyumlu on-prem ve air-gapped deployment'a ayrılan bir modüldür. Bankacılık (BDDK), enerji (EPDK), sağlık (SGK) ve regülasyon yoğun sektörlerde self-hosted LLM, sadece teknolojik bir tercih değil; veri mahremiyeti, regülasyon ve audit gereksinimleri açısından zorunlu bir mimari karardır. Eğitim, model indirme ve signature doğrulama, restricted-network ortamlarda transfer süreci, Kubernetes on-prem cluster ve GPU operator, network segmentation ve mTLS, PII masking ve audit log katmanları, governance dokümantasyonu ve compliance checklist'i kapsamlı şekilde işler.

Capstone projesinde her katılımcı, kendi kurumuna özel uçtan uca bir Türkçe LLM stack'i tasarlar: use case → base model → fine-tune kararı → inference engine → embedding ve vector DB → KVKK uyumlu deployment topolojisi. Katılımcılar bu mimariyi diyagram, deployment plan ve eval raporu ile birlikte sunar, peer review ve eğitmen geri bildirimi alır. Eğitim sonunda katılımcılar; DeepSeek ve Türkçe açık kaynak LLM ekosistemini stratejik düzeyde anlayabilecek, lokal ve production inference katmanlarını profesyonelce kurabilecek, Türkçe LoRA fine-tuning yapabilecek, Türkçe RAG mimarisi tasarlayabilecek, quantization stratejisini optimize edebilecek ve KVKK uyumlu self-hosted bir AI altyapısı inşa edebilecek teknik ve mimari yetkinliğe ulaşır. Eğitim 3 gün, 12 modül ve 70'in üzerinde uygulamalı ders içerir.