Supervised, Semi-supervised, Self-supervised: Etiketleme İhtiyacı Paradigmalara Göre Nasıl Değişir?

"Modeli Nasıl Eğiteceğiz?" Sorusunun 5 Cevabı#

1) Supervised Learning — Klasik Yaklaşım#

• BBox detection (PASCAL VOC, COCO ile)
• Sentiment classification (IMDB, SST)
• NER (CoNLL-2003)
• Translation (paralel cümleler)

• 10K etiketli örnek: $500-50K (görev karmaşıklığına göre)
• 1M etiketli örnek: $50K-5M+

• Anlaması en kolay
• En öngörülebilir sonuç
• Domain-spesifik problemler için robust

• Pahalı etiketleme
• Etiket kalitesi performans tavanını belirler
• Yeni sınıf eklemek = baştan etiketleme

• Görev iyi tanımlı, schema sabit.
• Etiketli veri zaten var (legacy dataset).
• Yüksek doğruluk şart (medikal, finans, otonom).

2) Semi-Supervised Learning — Az Etiket + Çok Unlabeled#

• Self-training: Modelin emin olduğu pseudo-label'lar train set'e eklenir.
• Consistency regularization: Bir örneğin augmentation'ları aynı tahmini vermeli (FixMatch, MixMatch).
• Pseudo-labeling: Confidence threshold üstü pseudo-label.

• ImageNet'te 10% labeled + 90% unlabeled ile %98 supervised performans (FixMatch)
• Tıbbi görüntü (etiketleme pahalı, raw veri ucuz)

• %50-90 etiketleme tasarrufu
• Unlabeled veri zaten var olduğunda çok güçlü

• Pseudo-label hatası birikir (confirmation bias)
• Threshold ayarı hassas

• Etiketleme pahalı (medikal, hukuki, uzman gerekli)
• Unlabeled veri bol (web, internal logs)

3) Self-Supervised Learning (SSL) — Modern AI'ın Temeli#

• MLM (Masked Language Modeling): Cümlede %15 token'ı maskele, modele tahmin ettir. (BERT, RoBERTa)
• Causal LM: Bir sonraki token'ı tahmin et. (GPT serisi)
• Contrastive (SimCLR, CLIP): Aynı imajın iki augmentation'ı yakın olsun, farklı imajlar uzak.
• Masked Image Modeling (MAE): Görüntünün %75'ini maskele, modele restore ettir.

1. Web/Common Crawl'dan 1B+ token, etiket yok
2. SSL pre-training (haftalar, milyonlarca $)
3. Görev-spesifik fine-tune (100-10K etiketli)

• Etiketleme maliyeti DRASTİK düşer
• Transfer learning ile yeni görevlere hızla uyarlanır
• Modern AI'ın temeli (BERT, GPT, CLIP, SAM)

• Pre-training maliyeti çok yüksek (sadece büyük kurumlar yapar)
• Downstream task hala etiket ister
• Domain-spesifik pre-training her zaman mevcut değil

• Her zaman (pre-trained model olarak). Sıfırdan pre-train etmek nadiren mantıklı.

4) Weak Supervision — Programmatik Etiketleme#

def lf_too_many_caps(x):
    return SPAM if sum(1 for c in x.text if c.isupper()) / len(x.text) > 0.5 else ABSTAIN

def lf_contains_phone(x):
    return SPAM if re.search(r"\b0\d{10}\b", x.text) else ABSTAIN

def lf_contains_money(x):
    return SPAM if re.search(r"\d+\s*(tl|₺)", x.text.lower()) else ABSTAIN

1. Domain expert + ML engineer 1-2 hafta LF yazar
2. Snorkel label model train (zayıf etiketler birleşir)
3. End model train (BERT vs.) zayıf etiketler üzerinde
4. Final model evaluation set üzerinde test

• Manuel etiket sıfır
• Schema değişimine çok hızlı uyum (yeni LF ekle)
• Domain knowledge'ı doğrudan koda dökme

• LF kalitesi performans tavanı
• Snorkel matematiği steep learning curve
• Açık "sınırı" olmayan görevlerde (subjektif) zor

• Hızlı prototip (1-2 hafta)
• Domain expert var, manuel annotator yok
• Schema sık değişiyor

5) Few-shot / In-context Learning (Modern LLM Çağı)#

Aşağıdaki cümlelerde kişi, kurum ve yer adlarını [TÜR] formatında işaretle:

Cümle: "Trendyol İstanbul'da kurulu."
Çıktı: "[ORG]Trendyol[/ORG] [LOC]İstanbul[/LOC]'da kurulu."

Cümle: "Aslı Erdoğan Boğaziçi'nde okudu."
Çıktı: "[PER]Aslı Erdoğan[/PER] [LOC]Boğaziçi[/LOC]'nde okudu."

Cümle: "Galatasaray Avrupa Ligi'nde Ajax'ı yendi."
Çıktı: ?

• Etiketleme neredeyse sıfır
• Schema değişikliği = prompt değişikliği (anında)
• Çok hızlı iterasyon

• LLM maliyeti (her tahmin = API çağrısı)
• Tahmin tutarsızlığı (aynı girdi farklı zaman farklı çıktı)
• Niş domain'lerde ucuz değil (medikal terminoloji)
• "Bilmediğini söylemiyor", uydurma riski

• Prototip aşaması
• Düşük hacimli görevler (< 10K tahmin)
• Schema sürekli değişiyor
• Hızlı POC gerek

Karar Ağacı: Hangi Paradigmayı Seçmeli?#

Görev için pre-trained foundation model var mı?
├─ Evet (genelde): Bu modeli al
│   │
│   ├─ Hacim ve doğruluk kritik mi?
│   │   ├─ Evet: Fine-tune (supervised, az etiket)
│   │   └─ Hayır: Few-shot / zero-shot prompt (etiket yok)
│   │
│   └─ Veri çok mu? Etiket mi pahalı?
│       └─ Semi-supervised (FixMatch, pseudo-labeling)
│
└─ Hayır: Sıfırdan eğitim
    ├─ Etiket pahalı mı?
    │   ├─ Evet: Weak supervision (Snorkel)
    │   └─ Hayır: Pure supervised
    │
    └─ Çok unlabeled veri var mı?
        └─ Evet: SSL pre-train + fine-tune

Gerçek Dünya: Hibrit Pipeline#

[Foundation model: pre-trained SSL]
        │
        ▼
[Few-shot LLM ile auto-label]
        │
        ▼
[10K-100K otomatik etiket]
        │
        ▼
[İnsan review/correction] ← weak supervision LF'leri
        │
        ▼
[Final supervised fine-tune]
        │
        ▼
[Production model]