Ground Truth İllüzyonu: "Doğru Etiket" Diye Bir Şey Gerçekten Var mı?

Bir Sahnenin İki Yüzü#

"Devlet kararıyla sokaklara çıkma yasağı getirildi. Bu, pandeminin yayılmasını engelleyecek önemli bir adımdır."

• Annotator A (sağlık çalışanı): "Pozitif. Sağlığı koruyan bir adım."
• Annotator B (esnaf): "Negatif. Geçimimizi kaybedeceğiz."
• Annotator C (sosyolog): "Nötr. Tarihsel bir gözlem, his ifade etmiyor."

Rashomon Etkisi: Aynı Olay, Farklı Anlatımlar#

• Bir Twitter yorumu "ironi" mi yoksa "ciddi pozitif" mi?
• Bir tıbbi görüntüde "şüpheli kütle" mi yoksa "normal varyasyon" mu?
• Bir LLM cevabı "helpful" mu yoksa "şüpheli derecede emin" mi?
• Bir polygon "tam çatlağın sınırı" mı yoksa "yakın bir tahmin" mi?

Üç Tür Görev: Objektif, Subjektif, Hibrit#

Kategori 1: Objektif Görevler (Ground Truth Var)#

• "Bu BBox bir araba mı?" (genelde net)
• "Bu cümlede 'İstanbul' kelimesi geçiyor mu?" (net)
• "Bu yorumda telefon numarası var mı?" (net)
• "Bu kanun maddesinin numarası kaç?" (net)

Kategori 2: Subjektif Görevler (Ground Truth Yok)#

• "Bu yorumda toxicity var mı?" (kültüre göre değişir)
• "Bu LLM cevabı helpful mu?" (kullanıcı ihtiyacına göre)
• "Bu argüman ikna edici mi?" (okurun dünya görüşüne göre)
• "Bu estetik fotoğraf güzel mi?" (özel zevk)
• "Bu hicvi içerik komik mi?" (mizah anlayışı)

Kategori 3: Hibrit Görevler (Çoğunluğu)#

• "Bu yorum pozitif mi negatif mi?" (genelde net ama edge case'lerde subjektif)
• "Bu cümle başka bir cümleyle ayni anlamlı mı?" (paraphrase — kısmen yorum)
• "Bu görüntüde bu nesnenin tam sınırı nerede?" (polygon — pixel-exact ortak yok)
• "Bu varlığın hangi tipte? PER mi ORG mi?" ("Trendyol" — şirket ama brand?)

Klasik Yaklaşım Neden Yetersiz?#

"Annotator'lar arasında çelişki var? Demek ki biri yanlış. Majority vote ile çoğunluğa karar verelim, gerisini gürültü kabul edelim."

• 2 kişi farklı bir kültürel/sosyal perspektifle "değil" diyor.
• Bu görüşler dataset'in tamamında pattern olabilir.
• Sadece "toxic"e zorlamak modeli bir kesimin görüşüne uydurmak demek.

Yeni Paradigma: Perspectivist AI#

Pratikte ne demek?#

Yöntem 1: Soft labels (yumuşak etiketler)

Yöntem 2: Multi-annotator modeller

Yöntem 3: Demografi/perspektif şartlandırması

Yöntem 4: Çoklu çıktı

RLHF Bağlamı: "Helpful" Bir Subjektif Sözdür#

• Hızlı cevap mı? (TLDR severler için)
• Detaylı açıklama mı? (öğrenci için)
• Tehlikeli bilgi vermemek mi? (safety için)
• Yaratıcı bir cevap mı? (yazar için)
• Kibarca reddetmek mi? (sınırlar için)

"Annotator demografisi, dil, eğitim, kültür modelin son davranışını etkiler. Bu, hangi annotator havuzunu seçtiğinizin modelin kişiliği olduğu anlamına gelir."

Türkiye'ye uyarlanmış vaka#

• Bir İstanbul mühendisi mi?
• Anadolu'lu bir öğretmen mi?
• Bir Suriye'li mülteci mi (Türkçe öğreniyor)?
• Bir Türk Cypriotlu mu?

IAA'nın Yeni Anlamı#

"Toxicity, hate speech, helpfulness, fairness gibi görevlerde Cohen κ = 0.5 normal sınırdır; daha yüksek değer annotator havuzunun çeşitliliği eksik sinyali olabilir."

Pratisyen İçin Sonuçlar#

1) Schema yazarken görev türünü işaretle#

2) IAA hedefini realistik koy#

• Kategori 1: κ ≥ 0.85
• Kategori 3: κ ≥ 0.70
• Kategori 2: κ ≥ 0.55 yeterli + multi-annotator soft labels

3) Annotator çeşitliliğini kayda al#

4) Çelişkili örnekleri sakla#

5) Subjektif görevlerde gold standardı sorgu#

Etik Boyut: "Kimin Doğrusu?" Sorusu#

• Marjinal gruplar için model kötü çalışır
• "Toxicity" modeli marjinal dil/argo kullanımını işaretler ama mainstream beni yormaz
• "Helpfulness" modeli Batı tarzı yanıtları "iyi" sayar
• "Quality" modeli formal akademik dilden hoşlanır

Modül 1 Özet#

• ✅ 1.1: ML pipeline döngüsel, 8 halkalı bir çark — veri etiketleme omurga
• ✅ 1.2: 14 etiket formatının taksonomisi — klasikten modern AI'a
• ✅ 1.3: 5 öğrenme paradigması — etiketleme ihtiyacı 100x değişiyor
• ✅ 1.4: Aynı veri 3 schema → 3 farklı sonuç (vaka)
• ✅ 1.5 (bu): Ground truth illüzyonu — disagreement bilgidir