Reasoning Models Mühendisliği Eğitimi (o3, o4, DeepSeek R1, Gemini 2.5 Deep Think, Claude Extended Thinking)

Bu eğitim, OpenAI o1'in Eylül 2024'te lansmanıyla başlayan ve 2025-2026 boyunca DeepSeek R1, Gemini 2.5 Deep Think, Claude Extended Thinking, Qwen3 Reasoning, GLM-4.6-thinking ve GPT-5 reasoning modu ile dünya AI ekosisteminin merkezine yerleşen reasoning LLM paradigmasını uçtan uca işlemek üzere tasarlanmıştır. Reasoning model'leri klasik LLM'lerden ayıran şey sadece daha uzun çıktı değil; chain-of-thought davranışının post-training sürecinde explicit hedef olarak eğitilmesi, thinking trace ile final answer arasındaki yapısal ayrım, test-time compute'un model performansının birinci dereceden belirleyicisi haline gelmesi ve süreç ödüllendirme (process reward) ile alignment paradigmasının değişmesidir. Türkiye'de bu disiplini System 1 vs System 2 düşünme teorisi, R1-style RL emergence, reasoning distillation reçeteleri, MCTS-tabanlı search, hibrit/mixed-mode reasoning ve production inference engineering ile uçtan uca işleyen bir eğitim neredeyse yoktur; mevcut içerikler ya o1/R1 makale özetlerinde kalıyor ya da prompt-CoT seviyesinde yüzeysel. Bu program söz konusu boşluğu Türkiye'nin en kapsamlı production-grade reasoning models referans eğitimi olarak doldurmak üzere tasarlanmıştır.

Programın stratejik omurgasını, klasik chat LLM (System 1 — hızlı/sezgisel) ve reasoning LLM (System 2 — yavaş/deliberatif) arasındaki yapısal farkı net çerçeveleyen ilk modül oluşturur. Kahneman'ın dual-process bilişsel modeli LLM düzlemine projekte edilir; OpenAI o1 → o3 → o4 evrimi, DeepSeek R1'in Ocak 2025'te yarattığı açık kaynak şoku, Gemini 2.5 Deep Think + Claude Extended Thinking + Qwen3'ün takip eden hareketleri tarihsel olarak haritalandırılır. Hangi görevde reasoning, hangi görevde klasik LLM optimal — bu soruya somut karar matrisi sunulur: matematik olimpiyat seviyesinde problem çözme, algoritma tasarımı, complex code debugging, multi-step planning, scientific reasoning, formal verification görevlerinde reasoning model belirgin üstün; kısa soru-cevap, hızlı RAG, summarization, basit translation görevlerinde klasik LLM daha verimli. Cost-latency-quality üçgeninde optimal seçim disiplini kazandırılır.

Reasoning model'lerin iç anatomisini ele alan ikinci modül, post-training sürecinde chain-of-thought davranışının nasıl induce edildiğini, thinking blocks ile output token arasındaki yapısal ayrımı, ve provider bazlı protokol farklarını uçtan uca işler. Anthropic Claude Extended Thinking API'nin thinking blocks + budget_tokens (1K-32K) yapısı; OpenAI Reasoning Items + reasoning_effort (minimal / low / medium / high) parametreleri; Google Gemini 2.5 Pro Thoughts + thinking_config; DeepSeek R1 ve Qwen3'ün ... protokolü; GLM-4.6-thinking yaklaşımı — her birinin avantajları, sınırları ve API kullanım detayları gösterilir. Hidden reasoning trace (OpenAI'in summary-only policy'si) ile open reasoning trace (DeepSeek R1'in tam trace'i) arasındaki strategic ve security trade-off netleştirilir; reasoning trace'in prompt injection attack surface'i olarak rol oynaması ve mitigation stratejileri ele alınır.

Reasoning model eğitiminin en kritik bileşeni olan reward sinyalini iki perspektiften ele alan üçüncü modül outcome reward (ORM) ve process reward (PRM) ayrımını detaylı işler. ORM yaklaşımında math problem'in nihai cevabı (SymPy exact match + numeric tolerance), code'un test pass-rate'i (pytest) veya format compliance (regex verifier) gibi kural-tabanlı sinyallerle reward verilir; DeepSeek-Math ve R1'in başarısının temel taşı bu yaklaşımdır. PRM ise her ara reasoning adımını puanlar — AllenAI Tülu 3 PRM (2025), Math-Shepherd otomatik process supervision üretimi, OpenAI PRM800K dataset, Yuan 2024 Implicit PRM (outcome reward'dan PRM türetme) yaklaşımları karşılaştırmalı işlenir. Hangi reasoning görevinde ORM, hangisinde PRM optimal — bu karar somut benchmark verisiyle netleştirilir; PRM'in reward hacking riskleri ve mitigation reçetesi sunulur.

Programın teorik zirvesi, Charlie Snell ve DeepMind ekibinin 2024'te tanıttığı test-time compute scaling yasalarına ayrılan dördüncü modüldür. Pre-train compute ile test-time compute arasındaki marjinal kazanım dengesi, görev zorluğuna göre optimal compute allocation, parallel scaling (best-of-N, self-consistency majority vote, weighted voting with PRM), sequential scaling (Self-Refine ve Reflexion ile iteratif iyileştirme), search-tabanlı scaling (MCTS, REBASE, beam-guided) yöntemleri kapsamlı şekilde işlenir. 1 GPU-saat reasoning compute'unun 1 GPU-saat pre-training compute ile karşılaştırması somut FLOPS ekonomisi ile yapılır; compute bütçesinin görev zorluğuna göre dinamik tahsis edilmesi disiplini kazandırılır.

Beşinci modül DeepSeek R1 ve R1-Zero pipeline'larını uçtan uca çözümler. R1-Zero — cold-start SFT olmadan pure RL ile reasoning emergence'in mümkün olduğunu kanıtlayan ilk model — paradigmatik bir bulgudur; aha-moment olgusu, reasoning length emergence, language mixing problemi ve mitigation reçetesi detaylı işlenir. R1'in multi-stage pipeline'ı (SFT cold-start → reasoning RL → SFT karışım → general RL) adım adım çözümlenir. Rule-based reward design — math için SymPy exact match + numeric tolerance, code için pytest pass-rate, format compliance için regex verifier — pratik olarak yapılır. Open-source reproduction projeleri (HuggingFace Open-R1, ByteDance DAPO, SimpleRL-Zoo, TinyZero, Open-Reasoner-Zero) karşılaştırmalı incelenir; katılımcılar kendi 7B-32B base model'lerinde GRPO + rule-based reward ile reasoning emergence deneyebilir.

Altıncı modül, R1 ve diğer büyük reasoning model'lerin yeteneklerini 1.5B-32B kompakt modellere SFT-tabanlı distillation ile aktarmanın mühendisliğini ele alır. OpenThoughts-114K, S1.1K (Stanford 2025 — 1.000 örnekle o1-mini seviyesi), LIMO-817 (sadece 817 örnekle %95 AIME doğruluğu), Bespoke-Stratos-32B, Sky-T1, DeepScaleR-1.5B projelerinin dataset oluşturma reçeteleri, teacher model'den (R1 / o3 / Gemini Deep Think) reasoning trace toplama stratejileri, quality filtering disiplini (zorluk + doğruluk + çeşitlilik dengelemesi) detaylı işlenir. Türkçe matematik, kod ve hukuk domain'inde özel reasoning distillation pipeline'ı kurulur; Qwen3-0.5B veya Llama 3.2 1B base model üzerine domain-specific reasoning model üretilir. Distillation + GRPO hibrit yaklaşımı production reçetesi olarak sunulur.

Yedinci modül, dedicated reasoning model olmadan klasik LLM'ler üzerinde dahi reasoning davranışını uyandıran sezgisel prompt + inference pattern'larını uçtan uca işler. Chain-of-Thought (Wei 2022), Self-Consistency (Wang 2023), Tree-of-Thoughts (Yao 2023), Self-Refine (Madaan 2023), Reflexion (Shinn 2023), Reasoning via Planning (Hao 2023), Plan-and-Solve (Wang 2023) algoritmalarının her biri matematik formülasyonu + Python implementasyonu + benchmark sonuçlarıyla işlenir. Native reasoning model (R1, o3) vs prompt-tabanlı CoT (GPT-4o, Claude Sonnet) karşılaştırması somut benchmark'larla yapılır — hangi senaryoda native reasoning, hangisinde prompt-tabanlı pattern yeterli olduğu kanıt-tabanlı netleştirilir.

Sekizinci modül DeepMind AlphaZero'nun MCTS yaklaşımının LLM reasoning'e uyarlanmasını detaylı ele alır. Selection (UCB) → Expansion → Simulation → Backpropagation MCTS döngüsü LLM token tree'sine projekte edilir; PRM-guided MCTS ile step value tahmini, ReST-MCTS (Zhang 2024) self-training pipeline, REBASE algoritması (beam-search-style cost-efficient MCTS), AlphaMath (MCTS + LLaMA matematik reasoning) projelerinin implementasyon detayları gösterilir. vLLM ile parallel rollout, c_puct exploration parametresi tuning'i, ve MCTS budget control (zaman, FLOPS, max-depth) production örnekleri ile aktarılır.

Dokuzuncu modül, modern reasoning model'lerin (Claude Opus 4.7, Qwen3, GLM-4.6, GPT-5) çoğunun sunduğu hibrit/mixed-mode yapılarını ve thinking budget mühendisliğini ele alır. Anthropic budget_tokens (1K-32K) + interleaved thinking; OpenAI reasoning_effort parametresi; Qwen3 /think /no_think directive; GLM-4.6 thinking_mode; Gemini 2.5 thinking_config — hepsi pratik karşılaştırmalı işlenir. Sorgu zorluğunu tahmin eden classifier ile dinamik thinking budget routing'i, stage-based budget ile early-exit, confidence-aware routing (classic LLM → reasoning fallback pattern) tasarımı yapılır. Production deneyimde bu disiplin reasoning maliyetini %40-70 düşürür.

Onuncu modül, reasoning model'lerin uzun thinking trace'lerini (4K-32K token) production'da düşük latency ve yüksek throughput ile serve etmenin engineering disiplinini ele alır. vLLM continuous batching + PagedAttention, SGLang RadixAttention + reasoning-aware caching (shared reasoning prefix optimization), TensorRT-LLM speculative decoding (EAGLE-3, MEDUSA), NVIDIA Dynamo inference platform, AMD MI325X ve TPU v6/v7 reasoning inference performance karşılaştırması ile aktarılır. Prefix cache ile sistem prompt + few-shot reasoning'in yeniden kullanımı, KV cache pagination, draft model + verify ile 2-4x latency azaltma reçetesi pratik gösterilir.

On birinci modül, reasoning model'leri değerlendiren modern benchmark setini uçtan uca işler. AIME 2024-2026 (yüksek lise olimpiyat — symbolic checker), MATH-500 (Hendrycks), GPQA Diamond (graduate-level fen), FrontierMath (Tao 2024 — en zor matematik), ARC-AGI 1 ve 2 (Chollet abstract reasoning), LiveCodeBench (timestamp-aware kod), SWE-bench Verified (gerçek GitHub PR çözme), Codeforces ELO, IOI 2024, HumanEval+ — her biri detaylı çözümlenir. Saturation analizi (o3 + R1'in 2026'da hâlâ açtığı benchmark'lar), data contamination tespiti (canary strings + n-gram analizi), pass@k / cons@N / maj@N metrikleri ve custom domain benchmark (hukuk, sağlık, finans) üretimi disiplini kazandırılır.

Capstone modülünde her katılımcı, kendi domain'i için end-to-end bir reasoning sistemi inşa eder: senaryo seçimi (matematik tutor, kod debug agent, hukuk reasoner, klinik triaj sistemi, finansal modelleme asistanı veya katılımcının kendi use-case'i); model seçimi (Claude Opus 4.7 + Extended Thinking, OpenAI o3/o4, DeepSeek R1, Qwen3, distilled S1/LIMO); reasoning pattern (native reasoning, CoT, ToT, MCTS, hibrit); production inference stack (vLLM, SGLang veya TensorRT-LLM); evaluation framework (custom domain benchmark + AIME/MATH-500 baseline); 90 günlük operational roadmap (cost monitoring, thinking budget tuning, reasoning router optimization). Eğitim sonunda katılımcılar; OpenAI o3/o4, DeepSeek R1, Gemini 2.5 Deep Think, Claude Extended Thinking ve Qwen3'ün iç yapısını çözebilecek; test-time compute scaling yasalarını uygulayarak compute bütçesini optimize edebilecek; R1-style RL ile reasoning emergence pipeline'ı kurabilecek; distillation reçeteleriyle (S1, LIMO, Bespoke-Stratos) kendi reasoning model'ini üretebilecek; MCTS, ToT, Self-Refine, Reflexion pattern'larını implement edebilecek; vLLM / SGLang / TensorRT-LLM ile reasoning model serve edebilecek ve modern benchmark setiyle değerlendirme yapabilecek seviyede teknik yetkinliğe ulaşır. Eğitim 3 gün, 12 modül ve 100'ün üzerinde uygulamalı ders içerir.