Weak Supervision and Snorkel: Programmatic Labeling When Labels Are Expensive

Weak Supervision Nedir?#

• Heuristics / kurallar (örn. "tutar > 10.000 TL ise olası anomali")
• Knowledge base (Wikidata, sektörel ontoloji)
• Mevcut zayıf modeller (örn. eski rule-based sistem)
• Crowd-sourcing
• Distant supervision (proxy etiket — "bu kart bloklandı")
• Pattern matching (regex'ler)

Snorkel Pipeline Anatomi#

[Unlabeled data]
       ↓
[Labeling Functions (LFs)]
   ├─ LF1: amount > 10000 → 1, else ABSTAIN
   ├─ LF2: card_age < 7d AND amount > 1000 → 1, else ABSTAIN
   ├─ LF3: country != home_country → 1, else 0
   ├─ ...
   └─ LFn
       ↓ (her LF her örnek için 1, 0 veya ABSTAIN üretir)
[Label Matrix L (N × K)]   K = LF sayısı
       ↓
[Label Model] — LF'lerin uyum/çelişkilerini öğrenip ağırlıkları belirler
       ↓
[Probabilistic Labels Ỹ]
       ↓
[Train standard ML model on (X, Ỹ)]

Labeling Function (LF) Anatomi#

from snorkel.labeling import labeling_function

POSITIVE = 1
NEGATIVE = 0
ABSTAIN = -1

@labeling_function()
def lf_high_amount(x):
    """Yüksek tutar."""
    return POSITIVE if x.amount > 10000 else ABSTAIN

@labeling_function()
def lf_velocity(x):
    """Yüksek velocity (1 saatte 5+ işlem)."""
    return POSITIVE if x.tx_count_1h > 5 else ABSTAIN

@labeling_function()
def lf_new_card_big_purchase(x):
    """Yeni kart + büyük alışveriş."""
    if x.card_age_days < 7 and x.amount > 1000:
        return POSITIVE
    return ABSTAIN

@labeling_function()
def lf_known_safe(x):
    """Müşteri uzun süredir aynı merchant'a ödeme yapıyor."""
    if x.merchant_history_months > 12 and x.amount < 5000:
        return NEGATIVE
    return ABSTAIN

Label Model: Çelişkileri Çöz#

1. Tüm LF'lerin doğruluğunu etiketsiz veriden tahmin eder (generative)
2. Korelasyonları çıkarır
3. Her örnek için olasılıksal etiket verir: P(y=1|LF'ler)

LF Kalitesi: Hangi Metrikler Önemli?#

LF Tasarım Kuralları#

1. Tek bir hipotezi test et — bir LF birden çok sezgiyi karıştırmasın
2. Abstain'i çekinmeden kullan — emin değilsen bilgi verme
3. Yüksek precision, düşük recall istenir (bir LF için)
4. Birden çok zayıf LF > tek mükemmel LF (Snorkel'in kazancı)
5. Domain expert ile birlikte yaz — kuralları kim sahiplenecek?

Cleanlab: Etiket Hatalarını Bulma#

Cleanlab nasıl çalışır?#

1. Veri üzerinde bir baseline model (örn. cross-validated XGBoost) eğit
2. Her örneğin out-of-fold prediction olasılığını hesapla
3. "Modelin emin olduğu ama etiket farklı" örnekleri olası yanlış olarak işaretle

from cleanlab.filter import find_label_issues
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import cross_val_predict

# Cross-validated probabilities
clf = RandomForestClassifier(n_estimators=200, random_state=42)
pred_probs = cross_val_predict(clf, X, y, cv=5, method='predict_proba')

# Şüpheli etiketler
issues = find_label_issues(
    labels=y,
    pred_probs=pred_probs,
    return_indices_ranked_by='self_confidence',
)
print(f"Şüpheli etiket sayısı: {len(issues)}")
print(f"İlk 10 şüpheli indis: {issues[:10]}")

Cleanlab + Snorkel Kombinasyonu#

1. Snorkel ile weak labels üret (Ỹ)
2. Bir model eğit (X, Ỹ)
3. Cleanlab ile gürültülü Ỹ noktalarını bul
4. Bu noktaları drop et veya analist'e gönder
5. Modeli yeniden eğit

Weak Supervision Ne Zaman İşe Yarar?#

Güçlü olduğu yerler#

• Etiket çok pahalı: healthcare, AML, insurance fraud
• Domain expert bol: kuralları yazacak iç ekip var
• Veri çok: binlerce satıra LF uygulamak feasible
• Hızlı prototip: "MVP'yi 2 günde çıkar"
• Mevcut rule-based sistem var: kurallarını LF'lere çevirebilirsin

Zayıf olduğu yerler#

• Tek bir domain expert yok: kuralları kim yazacak?
• Veri çok az: 1000 satırda label model güvensiz
• Kurallar açıklanamıyor: model "intuition" ise LF yapılamaz
• Adversarial: rakip LF'leri öğrenip atlatır

Türkiye Pratiği#

Bonus: Active Learning Döngüsü#

1. Unlabeled veride Snorkel LF'leri çalıştır → weak labels
2. ML model eğit
3. Model çıktısında "en belirsiz" örnekleri seç (en az güvenli)
4. Bu örnekleri analist'e gönder (manuel etiket)
5. Manuel etiketleri (gerçek) + weak etiketleri (sentetik) birleştir
6. Model yeniden eğit
7. Tekrar 3'e dön

• Analist sadece gerçekten zor örneklere bakar
• Model kademeli olarak daha iyi olur
• Etiket maliyeti %80+ düşer (aynı PR-AUC için)

Weak Supervision Sınırları#

1. LF kalitesi tabanı belirler#

2. Sistematik bias#

3. Confidence overestimation#

4. Domain drift'e duyarsız#

5. LF üretim eğri eğitime ihtiyaç#

Snorkel Alternatifleri#