Bias Galaksisi: Position, Presentation, Popularity ve IPS Düzeltmesi

5 Ana Bias — Genel Bakış#

1) Position Bias — "İlk Olan Tıklanır"#

Tanım#

Yayınlanmış Veri (Yahoo, Microsoft, Google çalışmaları)#

Kaynak: Joachims et al., "Accurately Interpreting Clickthrough Data as Implicit Feedback", SIGIR 2005. Yıllar boyunca tekrar gözlemlendi.

Matematiksel Tanım#

1. Item gerçekten relevant (R = 1)
2. Item gerçekten gözlemlendi (O = 1)

P(C = 1 | item gösterildi) = P(R = 1) · P(O = 1 | rank)

Sonuç#

IPS (Inverse Propensity Scoring) — Bias'ı Düzelt#

Matematik#

L_naive = Σ (y_ui - f(u, i))²

Neden İşe Yarar?#

Item A rank=1, tıklandı:    Loss × 1/1.0 = Loss × 1.0   (normal)
Item B rank=10, tıklandı:    Loss × 1/0.1 = Loss × 10    (10x ağırlık!)

Pratik Engel: P(O | rank) Nasıl Tahmin Edilir?#

1. Click model'lerinden tahmin — Cascade Click Model, Position-based Model (PBM)
2. Randomization deneyi — bazı user'lara rastgele sıra göster, click oranlarını karşılaştır

2) Presentation Bias — "Güzel Görünen Tıklanır"#

Tanım#

Pratik Etki#

Düzeltme Stratejisi#

• Eğitim sırasında: Aynı item'ın farklı varyantlarını comparable şekilde göster (A/B testing thumbnail).
• Inference sırasında: Modelin output'unu thumbnail kalitesine göre düzeltmek zor — bunun yerine A/B test ile thumbnail seçimini optimize et.
• Multi-armed bandit yaklaşımı: Her thumbnail bir "arm" — Thompson sampling ile en iyisini bul.

3) Popularity Bias — Feedback Loop'un Kötü Şekli#

Mekanizma#

Item X popüler → model X'i daha çok önerir → daha çok tıklanır → daha popüler
                                                                ↓
                                                       Yeni döngünün başı

• Long-tail item'lar görünmez olur — keşfedilemez.
• Short-term metrics (CTR) iyileşir — short-term doğru görünür.
• Long-term diversity ve user satisfaction düşer — kullanıcı "hep aynı şeyleri görüyorum" der.

Nasıl Görülür?#

import polars as pl

# Aylık recommendation'ların ortalama log_popularity'si
events = ... # log dataframe with [user, item, rec_position, timestamp]
item_popularity = (
    events.group_by("item_id")
    .agg(pl.count().alias("global_pop"))
)

monthly_avg_pop = (
    events.join(item_popularity, on="item_id")
    .with_columns(pl.col("timestamp").dt.month_start().alias("month"))
    .group_by("month")
    .agg(pl.col("global_pop").mean().log().alias("avg_log_pop"))
)
# Eğer bu zaman içinde artıyorsa: popularity bias var

Düzeltme#

1. Popularity Penalty (Re-ranking aşamasında)

# Modelin skoru - α * log(popularity)
adjusted_score = model_score - alpha * np.log(item_popularity + 1)

2. Reverse Propensity Weighting

ips_weight = 1 / (popularity ^ beta)   # beta ∈ [0.5, 1.0]

3. Diversification Layer

4) Exposure Bias — "Görmediğini Bilemezsin"#

Tanım#

Sonuç#

Item Z hiç önerilmemiş.
  → 0 click, 0 view, 0 satın alma.
  → Model "Item Z kötü" çıkarımı yapar (negative sample).
  → Item Z bir daha önerilmez.

Çözüm Stratejileri#

1. Exploration / Random Sampling

2. ε-greedy at Serving Time

if random.random() < epsilon:
    # %5 olasılıkla random öneri
    return random_items(K)
else:
    return model_top_k(K)

3. Counterfactual Reasoning (Off-Policy Evaluation)

5) Selection Bias — Sessiz Kullanıcılar Görünmez#

Tanım#

Gerçek Örnek: MovieLens#

Production'da#

• Aktif: çeşitli kategoriler, derin browse, niş ilgi alanları
• Pasif: top-tier popular ürünler, yüzeysel browse

Düzeltme#

• Stratified sampling: Test set'inde aktif/pasif user oranını real-world'e yakın tut.
• Two-population modeling: Aktif ve pasif user'ları ayrı sub-model'lerle modelle.
• Calibration: Modelin global activity-distribution tahminini gerçek dağılımla eşitle.

Bias Galaksisi — Özet Tablo + Çözüm Haritası#

Bir Cümlede#

"Eğer modeline veriyi olduğu gibi besliyorsan, modelin sadece mevcut sistemin önyargılarını öğreniyor. Bias düzeltmesi yapmadan, modelin kendi geçmişini taklit eden bir oracle olur."

Sıradakİ Ders#