Multimodal LLM Tarihçesi: Radford 2021 CLIP'ten GPT-4o'ya — 'Görmeyi Öğrenen' Dil Modellerinin Doğuşu

Bu Derste Neler Var? (13 Bölüm)#

1. Pre-CLIP dünyası — niye 'görmek' zordu
2. ViT (Dosovitskiy 2020) — resmi transformer'a sokan paper
3. Radford vd. 2021 — CLIP: contrastive alignment
4. CLIP'in matematiksel anatomisi
5. CLIP'in dramatic etkisi — DALL-E, Stable Diffusion, vs.
6. BLIP (Li 2022) — caption generation eklenir
7. Flamingo (DeepMind 2022) — few-shot multimodal
8. LLaVA (Liu 2023) — open-source çığır
9. GPT-4V (Eylül 2023) — production multimodal
10. GPT-4o (Mayıs 2024) — omni-modal birleşme
11. Llama-3.2 Vision (Eylül 2024) — açık-kaynak yetişme
12. Türkçe için multimodal — OCR, kültürel görsel
13. Egzersizler

1-2. Pre-CLIP Dünyası ve ViT#

1.1 2020 öncesi computer vision#

• Belirli bir görev için belirli bir veri seti topla (ImageNet 1000 sınıf, COCO 80 sınıf, vs.)
• CNN eğit (ResNet, VGG, Inception)
• Yeni görev için yeniden eğit (transfer learning)

1.2 Doğal dil bağlantısı eksikti#

2.1 ViT (Vision Transformer, Dosovitskiy 2020)#

Image 224×224 → 14×14 = 196 patches (16×16 each)
Each patch → linear projection → token embedding (768-dim)
Add positional embedding
Standard transformer (12 layer, 12 head)

2.2 ViT'in başarısı#

• ResNet-152 (2015 CNN): %78.6
• ViT-Large (2020): %85.3

3-4. CLIP Matematik Anatomi#

3.1 CLIP paper#

• Image encoder (ResNet veya ViT): resim → image embedding
• Text encoder (transformer): metin → text embedding

3.2 Training: Contrastive Loss#

image_features = ImageEncoder(images)  # [N, 512]
text_features = TextEncoder(texts)      # [N, 512]

# Normalize (L2)
image_features = image_features / ||image_features||
text_features = text_features / ||text_features||

# Similarity matrix
logits = image_features @ text_features.T  # [N, N]
# logits[i, j] = similarity between image_i and text_j

# Loss: doğru çiftler köşegende olmalı
labels = [0, 1, 2, ..., N-1]  # i-th image matches i-th text
loss_i = CrossEntropy(logits, labels)        # image → text loss
loss_t = CrossEntropy(logits.T, labels)      # text → image loss
loss = (loss_i + loss_t) / 2

3.3 Niye contrastive iyi?#

4.1 CLIP'in dramatik etkisi#

• Random baseline: %0.1 (1/1000)
• CLIP: %76 (fine-tune'lu ResNet-50 seviyesi, hiç ImageNet görmeden!)

• CLIP zero-shot: ResNet-50 (her dataset için ayrı fine-tune'lu) ile comparable

5-11. CLIP Sonrası — BLIP, Flamingo, LLaVA, GPT-4V/4o#

5.1 CLIP'in türevleri (2021-2022)#

5.2 BLIP (Li vd. 2022)#

1. Contrastive (CLIP-tarzı)
2. Image-Text Matching (binary classification)
3. Caption Generation (autoregressive)

6.1 Flamingo (DeepMind 2022)#

7.1 LLaVA (Liu vd. 2023) — Açık-Kaynak Çığır#

Image → CLIP-ViT encoder → vision features
vision features → linear projection → image tokens (LLaMA-uyumlu)
image tokens + text tokens → LLaMA decoder → text output

8.1 GPT-4V (Eylül 2023)#

• GPT-4 base + CLIP veya benzer image encoder
• 'Cross-attention' Flamingo benzeri
• Çok büyük visual instruction tuning data

9.1 GPT-4o (Mayıs 2024) — Omni-Modal Birleşme#

10.1 Llama-3.2 Vision (Eylül 2024)#

• Pre-trained Llama-3.1 (text) + image encoder
• Cross-attention layers between vision and text
• 6 trilyon (image, text) çifti üzerinde pre-training
• Türkçe dahil 7 büyük dil için optimize

12. Türkçe için Multimodal#

12.1 Türkçe-spesifik kullanım alanları#

• Türkçe kimlik kartı + ehliyet otomatik okuma (banks, telcos)
• Türkçe fatura + makbuz işleme (muhasebe)
• Türkçe sınav kağıdı dijitalleştirme (eğitim)
• Eski Türkçe / Osmanlıca belgeleri okuma (kütüphaneler, akademik)

• Türk yemekleri tanıma + tarif (Aşçı Bot)
• Türkçe trafik işaretleri
• İslami sanat motifleri analizi (müzecilik)
• Yöresel kıyafetler tanıma

• E-ticaret ürün foto analizi (Türkçe açıklama)
• Emlak fotoğrafı + açıklama üretimi
• Sağlık görüntüsü + Türkçe rapor (radyoloji destek — uzman onayıyla)

12.2 Model seçimi (2025 itibarıyla)#

• GPT-4o: Türkçe görüntü + metin en iyi kalite, $2.5 +$10/1M
• Claude 3.5 Sonnet (Vision): GPT-4o ile başa baş, $3 +$15/1M
• Gemini 1.5 Pro: video destek (Türkçe ses transkripsiyon), $1.25 +$5/1M

• Llama-3.2-11B-Vision: 1× H100 + 16GB free for context (RTX 4090 ile sınırda)
• LLaVA-1.6 Mistral-7B: hafif, RTX 4090'da rahat
• Qwen2-VL (Alibaba): multilingual, Türkçe OK

12.3 Türkçe kalite gözlemleri#

• GPT-4o: %92 accuracy (Türkçe kimlik OCR + alan çıkarma)
• Claude 3.5 Sonnet: %88
• Llama-3.2-11B-Vision: %72
• Llama-3.2-90B-Vision: %85
• LLaVA-1.6: %60

12.4 Türkçe için fine-tune gereksinimi#

• Spesifik domain (Türkçe radyoloji, eski Osmanlıca, vs.)
• Çok hassas KVKK ortamı (self-host + Türkçe DPO fine-tune)

Sonraki Ders: Multimodal Mimari Matematiği#