o1 Architecture Speculative Analysis: Behind Closed Doors — Public Observations + Reverse Engineering

Bu Derste Neler Var? (12 Bölüm)#

1. OpenAI'in açıkladığı şeyler — kanıtlanmış kısım
2. 3 mimari hipotez — PRM, MCTS, RL
3. Hipotez A: Process Reward Model — Lightman 2023 izinde
4. Hipotez B: MCTS (Monte Carlo Tree Search) — AlphaGo benzeri
5. Hipotez C: RL-only — DeepSeek-R1 izinde
6. A + B + C kombinasyonu — en muhtemel
7. Pricing model'den ipuçları — token başına maliyet
8. Hidden reasoning tokens — AI safety boyutu
9. R1'in açık alternatif olarak rolü
10. Topluluğun reverse-engineering çabaları
11. AI safety implications — şeffaflık tartışması
12. Egzersizler

1-2. OpenAI'in Açıkladığı + Hipotezler#

1.1 Kanıtlanmış kısım (OpenAI blog post + ürün gözlemleri)#

• ✅ RL ile eğitildi (resmi belirti)
• ✅ Uzun reasoning chain'ler üretir (kullanıcı görmüyor ama 'reasoning_tokens' API'de döner)
• ✅ Test-time compute scaling var ('more thinking = better answers')
• ✅ Pricing reasoning tokens'ı içeriyor (görünmeyen tokenlara ücret)
• ✅ Hız: 30-90 saniye per response (vs GPT-4o 1-3 saniye)
• ✅ Benchmark'larda dramatik iyileşme (AIME, MATH, Codeforces, GPQA)
• ✅ Sistem promptu o1'de yok (kullanıcı tarafından bypass edilmesin diye)

• ❌ Mimari (PRM mi, MCTS mi, sade RL mi)
• ❌ Training data (ne kadar, ne tipte)
• ❌ Reasoning token formatı (yapı)
• ❌ Self-consistency veya search içeride yapılıyor mu?
• ❌ Base model GPT-4 mi başka mı?

1.2 3 Ana Hipotez#

• Process Reward Model her ara adımı değerlendirir
• PPO/GRPO ile model RL'ye girer
• Reasoning kalitesi PRM tarafından ödüllendirilir

• AlphaGo benzeri: model birden fazla reasoning chain üretir
• 'Selection-Expansion-Simulation-Backpropagation' döngüsü
• En iyi chain seçilir

• Sadece final cevap doğruluğu reward
• Model uzun düşünmeyi kendiliğinden öğreniyor
• DeepSeek-R1-Zero bu yaklaşımla çalıştı

1.3 R1 paper'ından ipuçları#

• R1 GRPO kullanıyor (PPO sadeleştirilmiş)
• 4 aşamalı eğitim (R1-Zero → Cold start → Reasoning RL → Distill)
• Outcome reward yeterli dedikleri zaman ortaya çıkıyor 'aha moments'
• PRM ile denedi ama 'reward hacking' yüzünden vazgeçtiler

2.1 En muhtemel: Hibrid (A + C, MCTS opsiyonel)#

• RL eğitimi (kesin)
• Outcome reward dominant (R1 paper'ından ilham)
• PRM ile augment olabilir (Lightman 2023 OpenAI paper'ı)
• MCTS test-time'da olabilir (best-of-N implicit)

1. Pre-trained GPT-4o-like base model
2. SFT cold start (Lightman 2023 PRM800K gibi dataset)
3. Outcome-reward RL (GRPO veya PPO)
4. Test-time: model uzun reasoning chain üretir (RL-öğrenilmiş davranış)
5. Optional: best-of-N + PRM verifier (hidden olarak)

2.2 Niye OpenAI açıklamıyor?#

• IP koruma: rakipler taklit etmesin
• Safety: kötü niyetli aktörler exploit etmesin
• Ticari: pricing power (kapalı = premium)
• Belirsizlik: hâlâ mimari evrim, dökümante etmek istemiyor

7-9. Pricing İpuçları + Hidden Tokens + AI Safety#

7.1 OpenAI o1 Pricing (Mart 2025 itibarıyla)#

• o1-preview: $15 / 1M input +$60 / 1M output
• o1 (full): $15 / 1M input +$60 / 1M output
• o1-mini: $3 / 1M input +$12 / 1M output

• GPT-4o: $2.50 input +$10 output (o1'in 1/6'sı)
• Claude 3.5 Sonnet: $3 +$15 (o1'in 1/4'ü)

7.2 Pricing'den çıkarılan ipuçları#

• GPT-4o: 500 output token per query
• o1: 5,000-15,000 reasoning + 500 output = 5,500-15,500 total

7.3 Token ekonomisi#

• GPT-4o: 800 token output, $0.008. AIME accuracy: %12.
• o1: 12,000 reasoning + 400 cevap, $0.744. AIME accuracy: %83.

• GPT-4o: 12 / 0.008 = 1500
• o1: 83 / 0.744 = 112

• o1 'yapılabilir olmayanı yapıyor' (yüksek kalite)
• GPT-4o'da %12 accuracy production için yetersiz

8.1 Hidden Reasoning Tokens — AI Safety Meselesi#

• 'Bir model'in nasıl düşündüğünü göremezsek nasıl güvenebiliriz?'
• 'Hidden reasoning, manipülasyon ve aldatma kolaylaştırır'
• 'AB AI Act transparency gereği ile çelişiyor'

• Claude 3.5 Sonnet 'extended thinking' modu — reasoning görünür
• Gemini 2.0 Flash Thinking — reasoning görünür
• DeepSeek-R1 — reasoning görünür (
  <think>
  tag'leri)

8.2 Tartışmanın boyutu#

• Akademik araştırma zorlaşır
• AI safety oversight zayıflar
• 'AI bizim için düşünüyor ama nasıl, bilmiyoruz'

• IP koruma zorlaşır
• Manipulation patterns açıkta
• Kullanıcılar reasoning'i overinterpret edebilir

9.1 R1'in pratik etkisi#

• AI safety researchers R1'i tercih ediyor (analiz mümkün)
• Education sector: öğrenciler model'in nasıl düşündüğünü görüp öğrenebiliyor
• Türkiye gibi 'AI suvereynlik' arayışı olan ülkeler için: self-host + transparent

Sonraki Ders: R1 GRPO Derinlemesine#