Connectionism vs Symbolic: 60 Years of an Unending Debate and Where LLMs Fit

Ders Haritası#

1. Symbolic AI (1956-1990): mantık programlama, expert systems
2. Connectionism (1958-): neural networks, distributed representation
3. GOFAI vs scruffy AI — kültürel ayrım
4. 1980'ler hibrit denemeler — fail
5. 2019: Sutton'ın Bitter Lesson
6. Marcus & Davis vs Hinton: 2020s tartışma
7. LLM'lerde reasoning: connectionist mi symbolic mi?
8. Chain-of-Thought: sembol manipülasyonu mu pattern?
9. Tool use: connectionism'in symbolic'e geri dönüşü?
10. Neuro-symbolic hybridler — gerçekten yapılabilir mi?
11. Gelecek: AGI nereden gelecek?

1. Symbolic AI — "İnsanlar Mantıkla Düşünür"#

Dartmouth 1956: AI Doğuşu#

köpek = {tip: hayvan, ayak_sayısı: 4, ses: havlamak, ...}

LISP (1958) ve Prolog (1972)#

parent(tom, bob).
parent(bob, alice).
grandparent(X, Z) :- parent(X, Y), parent(Y, Z).

?- grandparent(tom, alice).   % yes

Expert Systems (1970-1990)#

IF infection is bacterial
AND organism Gram-negative
AND patient compromised
THEN suggestion ciprofloxacin (cf 0.7)

1980'ler Japan'ın 5. Generation Project#

Symbolic AI'ın güçlü yanları#

• İnterpretable: her kural okunabilir
• Compositionality: kuralları birleştirebilirsin
• Logical reasoning: provable correctness
• Veri açlığı yok: kural yazarsın, dataset gerek değil

Zayıf yanları#

• Knowledge bottleneck: insan uzmandan kuralları çıkartmak çok yavaş
• Brittleness: yeni durumda çuvallıyor
• Pattern recognition zayıf: görüntü, ses zor
• Unaware of uncertainty: belirsizliği handle etmek zor

2. Connectionism — "Beyin Bir Nöron Ağıdır"#

Felsefi temel#

köpek = [0.23, -0.45, 0.91, 0.05, ...] # 4096-d vektör

Distributed representation#

• Otomatik öğrenme: data + gradient = bilgi
• Robust: birkaç nöron öldüğünde sistem devam eder
• Generalization: benzer pattern'ler benzer çıktılar
• Multi-modal: aynı framework hem görüntü hem dil

PDP Group ve 1986 Revival#

1990'lar pratik başarılar#

• LeCun'un ZIP-code reader (1989) — endüstride NN
• Sejnowski'nin NETtalk (1986) — text-to-speech NN
• LSTM (1997) — sequence modeling

Connectionism'in güçlü yanları#

• Pattern recognition champion: vision, speech, NLP
• Soft knowledge: belirsizlik native handle edilir
• End-to-end learnable: feature engineering az
• Universal approximator (Cybenko 1989)

Zayıf yanları#

• Black box: hangi parametre niye o değerde — bilmiyoruz
• Veri açlığı: milyonlarca örnek gerek
• Compositional generalization zayıf: yeni kombinasyonlarda saçmalar
• Reasoning sınırlı: birden çok adım planlama zor

3. GOFAI vs Scruffy AI — Kültürel Ayrım#

4. 1980'ler Hibrit Denemeler#

CYC Project (Lenat, 1984)#

Connectionist Cognitive Modeling#

Hybrid Expert Systems + NN#

Niye 1980'ler hibrit başarısız?#

1. Compute yetersiz: ne tam NN ne tam symbolic ölçeklenmiyor
2. Veri az: NN için
3. İdeolojik kavga: araştırmacılar bir tarafta
4. Tooling fragmented: ortak framework yok

5. 2019 — Sutton'ın Bitter Lesson#

"70 yıllık AI araştırmasından çıkardığımız en büyük ders: genel yöntemler ki compute'tan yararlanan, sonunda diğer tüm yaklaşımları geride bırakır. Bunu kabullenmek acı verici çünkü araştırmacılar 'insanın bilgisini' modele koymak istiyor — ama uzun vadede yalnızca search ve learning ölçeklenebiliyor."

Kanıtlar Sutton'ın listesinde#

1. Satranç: 50 yıl human-knowledge based engine'ler vardı. Sonra Deep Blue (1997) brute-force search ile Kasparov'u yendi. Sonra AlphaZero (2017) hiç human game görmeden saatler içinde Stockfish'i geçti.
2. Go: AlphaGo (2016) "human pro game'lerden öğrenmek" + RL. AlphaZero (2017) human game'siz, sadece self-play, daha iyi.
3. Speech recognition: 1970-2010 phonetic features + HMM (human knowledge). 2010+ neural acoustic models, end-to-end. Çok daha iyi.
4. Computer vision: 1990-2012 hand-engineered features (SIFT, HOG). 2012+ CNN learning. AlexNet patladı.
5. Çeviri: 1990-2014 phrase-based statistical MT. 2014+ neural seq2seq. Şimdi LLM'ler.

Sutton'ın iddiası#

Eleştiriler#

• Domain bias: Sutton RL'cidir, RL self-play ile çalışır → bitter lesson RL için doğru olabilir, her şey için değil.
• Tautology: "compute ölçeklenen şey kazanıyor" çünkü öyle tanımladık.
• Selection bias: Compute artmadıysa human-knowledge approach gelebilir.

Pratik mesaj#

6. Marcus & Davis vs Hinton — 2020s Tartışması#

1. LLM'ler distribution-shift'te çuvallar (in-domain harika, out-of-domain berbat)
2. Compositional generalization zayıf — yeni kombinasyonlarda saçma
3. Causal reasoning yok — sadece correlational
4. Symbol grounding problemi (Searle'nin Chinese Room argümanı)

• LLM'ler distributed representationsı tam olarak böyle yapıyor zaten
• Compositional ability ölçek ile artıyor (GPT-3 → GPT-4 → GPT-5)
• "Symbolic reasoning is just neural reasoning at scale"
• Marcus "yanlış yolda kaldı, 30 yıl önce"

Şimdi (2026) kim haklı?#

• Marcus haklı: GPT-4 hâlâ basit aritmetik yapamıyor consistently, hallucinate ediyor.
• Hinton haklı: o1, GPT-5 reasoning model'ları scale + RL ile bu problemleri büyük ölçüde çözüyor.

7. LLM'lerde Reasoning — Hangi Tarafta?#

LLM'in "düşünme" özellikleri#

• Chain-of-thought (Wei 2022): "Let's think step by step" derken, modelin arasırasal hesapları out-of-distribution iyileştiriyor
• In-context learning: birkaç örnekle yeni görev öğrenme
• Few-shot reasoning: math olympiad, code generation
• Tool use: calculator, search, code execution çağırma

Bu reasoning sembolik mi connectionist mi?#

DeepSeek-R1 Aha Moment#

8. Tool Use — Connectionism'in Symbolic'e Dönüşü mü?#

Bu hibrit mi?#

• LLM (connectionist) → "calculator çağır" karar veriyor
• Calculator (symbolic) → tam hesap yapıyor
• Sonuç LLM'e dönüyor → cevap üretiyor

Bu yeni mi?#

Agentic AI#

9. Neuro-Symbolic Hibridler — Gerçek mi Hype mi?#

Yaklaşımlar#

1. Symbolic regularization: NN train ederken sembolik kuralları loss'a ek olarak ver. Örn. "kız + erkek = insan" gibi.
2. Symbolic post-processing: NN'in çıktısını sembolik verifier kontrol ediyor. Örn. theorem prover doğrulama.
3. Hybrid architectures: katmanların bazıları NN, bazıları symbolic (örn. Neural Turing Machines).
4. Tool-augmented LLMs (bizim "tool use") — modern, başarılı.

Başarılı pratik örnekler#

• AlphaGeometry (DeepMind 2024): LLM + symbolic geometry engine → IMO seviye geometri problemleri çözüyor.
• AlphaProof (DeepMind 2024): LLM + Lean theorem prover → matematik kanıtları.
• Tool-using LLM agents (ChatGPT plugins, Claude tools, MCP).

Hâlâ niş#

10. AGI Sorusu — Nereden Gelecek?#

Kamp 1: Scale → AGI (Connectionist Extreme)#

• "Daha çok parametre + daha çok data + daha çok RL" = AGI
• OpenAI, Anthropic, DeepMind majority bu felsefe
• 2025 frontier model'larındaki reasoning progress destekliyor

Kamp 2: Hibrit gerekli (Neuro-Symbolic)#

• "LLM'ler temel oluşturuyor ama causal reasoning, planning için symbolic gerekli"
• Marcus, Yann LeCun (kısmen), bazı academic figürler
• AlphaGeometry gibi başarılar destek

Karpathy'nin görüşü (2024-2025)#

Türkçe perspektif#

11. Bu Tartışma Sana Ne Anlatır?#

Mühendisin pratik perspektifi#

1. Tool use mimarisi: Agent yaparken hangi parçayı LLM'e bırak, hangisi kod (symbolic)? Math → calculator. Reasoning → CoT. Search → search engine. Bu tasarım kararları felsefi pozisyonu yansıtıyor.
2. RAG vs fine-tuning karar: RAG bir tür "symbolic" retrieval. Fine-tuning pure connectionist. Hibrit Modül 41'de detayda.
3. Eval design: LLM'i nasıl test edersin? Pattern match'i mi gerçek reasoning'i mi ölçüyorsun? Out-of-distribution test'ler kritik.
4. Production safety: Pure connectionist → unpredictable. Symbolic guardrails (Llama Guard, NeMo) ekle. Modül 56'da detayda.

Felsefi rahatlık#

12. Mini Egzersizler#

1. Symbolic vs connectionist görev: Bir LLM'e "1245 × 9876 hesapla" sorduğunda hata yapıyor. Çözüm tool use. Bu Marcus haklı mı Hinton haklı mı kanıtı?
2. Bitter Lesson Türkiye'ye uygulansa: Türkçe LLM yapmak istiyoruz. Sutton bize "Türkçe-spesifik bilgi koyma, daha çok data + compute" der mi? Kararın ne?
3. Symbol grounding: GPT-5 "kedi" derken neyi anlıyor? Symbolic tradition'ın klasik sorusu. Cevabın?
4. Chain-of-thought: Model "Step 1: ... Step 2: ..." derken aslında ne yapıyor? Pattern matching mi yoksa real reasoning mi? Argumentin?
5. Neuro-symbolic ürün: Türk hukuk firması için bir AI ürünü yapacaksın. Pure LLM mi, hybrid mi? Hangi parçaları sembolik (rule-based), hangisi NN?

Bu Derste Neler Öğrendik?#

Sıradaki Ders#