Veri Setlerimiz ve Etik Sözleşme: MovieLens'ten H&M'e Sahaya İniş

8 Dataset, 8 Farklı Problem#

10 dataset oldu — ben "8" demiştim ama yolculukta MovieLens-25M ve Yelp'i de eklemek istedim. Çünkü değerler.

1-2-3. MovieLens Üçlüsü (100K, 1M, 25M)#

Profilleri#

Lisans#

İndirme#

# MovieLens 100K
wget https://files.grouplens.org/datasets/movielens/ml-100k.zip -P data/
unzip data/ml-100k.zip -d data/

# MovieLens 1M
wget https://files.grouplens.org/datasets/movielens/ml-1m.zip -P data/
unzip data/ml-1m.zip -d data/

# MovieLens 25M
wget https://files.grouplens.org/datasets/movielens/ml-25m.zip -P data/
unzip data/ml-25m.zip -d data/

Hızlı yükleme (1M örneği)#

import polars as pl

ratings = pl.read_csv(
    "data/ml-1m/ratings.dat",
    separator="::",
    has_header=False,
    new_columns=["user_id", "movie_id", "rating", "timestamp"],
    schema_overrides={"user_id": pl.Int32, "movie_id": pl.Int32, "rating": pl.Int8},
)
movies = pl.read_csv(
    "data/ml-1m/movies.dat",
    separator="::",
    has_header=False,
    new_columns=["movie_id", "title", "genres"],
    encoding="latin-1",
)
print(ratings.head())
print(f"Ratings: {ratings.height:,}, Unique users: {ratings['user_id'].n_unique():,}")

Neden bu üçü?#

• 100K — algoritma debug, hızlı iterasyon. CPU üzerinde 5 saniyede eğitim.
• 1M — algoritma benchmark. Yayınlanan metrikler çoğunlukla burada.
• 25M — modern deep model'lerin gerçek test alanı. Embedding tabloları ciddileşir.

Önemli not: Production'da senin verin MovieLens'ten 100-1000x büyük olacak. Ama metodoloji aynı. MovieLens'i didaktik bir koşu pisti olarak düşün.

4. Amazon Reviews 2023 (UCSD)#

Profil#

Lisans#

İndirme#

# Örnek: Beauty kategorisi
from datasets import load_dataset
ds = load_dataset("McAuley-Lab/Amazon-Reviews-2023", "raw_review_All_Beauty", trust_remote_code=True)
print(ds)

Neden kritik?#

• Content-based (Modül 4) için ürün metni/kategori bilgisi var.
• LLM-based rec (Modül 17) için review metni harika.
• Cold-start araştırması için ideal (yeni ürünler sürekli ekleniyor).
• Multimodal (Modül 19'da değinilen) için image link'leri var.

5. RetailRocket#

Profil#

• 1.4M user, 235K item
• 2.76M event:
  • 2.66M view
  • 69K addtocart
  • 23K transaction
• Zaman damgalı, session-based analiz için ideal.

Lisans#

İndirme#

# Kaggle CLI kurulu olmalı
kaggle datasets download -d retailrocket/ecommerce-dataset -p data/
unzip data/ecommerce-dataset.zip -d data/retailrocket/

Yükleme#

import polars as pl

events = pl.read_csv("data/retailrocket/events.csv")
print(events.head())
print(events["event"].value_counts())

Neden kritik?#

• Implicit feedback (Modül 5, 6) için gerçek log.
• Sequential modeling (Modül 10) için time-ordered event stream.
• Two-tower retrieval (Modül 12) için kullanıcı-ürün matching.
• Funnel analysis — view → addtocart → transaction dönüşüm.

6. H&M Personalized Fashion Recommendations (Kaggle 2022)#

Profil#

• 31M transaction
• 1.4M customer, 105K article (ürün)
• 2 yıllık satın alma geçmişi
• Article images (ürün fotoğrafları) var
• Article metadata (renk, tip, kategori, departman, ...) zengin

Lisans#

İndirme#

kaggle competitions download -c h-and-m-personalized-fashion-recommendations -p data/
unzip data/h-and-m-personalized-fashion-recommendations.zip -d data/hm/

Yükleme#

import polars as pl

trans = pl.read_csv("data/hm/transactions_train.csv")
articles = pl.read_csv("data/hm/articles.csv")
customers = pl.read_csv("data/hm/customers.csv")

print(f"Transactions: {trans.height:,}")
print(f"Articles:     {articles.height:,}")
print(f"Customers:    {customers.height:,}")

Neden ideal capstone?#

• Gerçek bir e-ticaret problemi (öneri → MAP@12 metric).
• Image data (multi-modal) + structured data (categorical features).
• Cold-start hem user hem item tarafından mevcut.
• Kaggle leaderboard ile gerçek karşılaştırma yapabilirsin.

7-10. Diğer Datasetler (Hızlı Geçiş)#

MIND News (Microsoft, 2020)#

• 24M impression, 1M user, 161K news article
• News recommendation için endüstri standardı
• LLM-rec (Modül 17) ve generative retrieval (Modül 18) için ideal
• msnews.github.io

Spotify Million Playlist Dataset (2018)#

• 1M playlist, 2.3M unique track
• Playlist continuation problemi (RecSys Challenge 2018)
• Sequential rec (Modül 10) için
• Aiccrowd üzerinde mevcut

Last.fm 1K Users (2009)#

• 19M listening event, full timestamp + session
• En eski "session-based" dataset'lerden
• Müzik domain'inde session modelleme klasiği

Yelp Open Dataset#

• 7M review, 150K business, 2M user
• Lokasyon + business + rating + metin
• Graph-based rec (Modül 11) için zengin (user-business-friend graph)
• yelp.com/dataset

Etik Sözleşme#

1. Re-identification yapmaya çalışmayız#

2. Dataset'i ticari amaçla kullanmayız#

3. Türetilmiş veri (modeller, embeddings) sınırını koruruz#

4. Bias ve fairness'i ciddiye alırız#

5. Yine de sahaya iniyoruz#

Pratik İndirme İpuçları#

Kaggle API kurulumu#

# Kaggle hesabın olmalı
pip install kaggle
mkdir ~/.kaggle
# kaggle.com → account → API → Create New Token, indir
mv ~/Downloads/kaggle.json ~/.kaggle/
chmod 600 ~/.kaggle/kaggle.json

# Test
kaggle datasets list -s "movielens"

Polars ile büyük CSV'leri hızlı yükleme#

import polars as pl

# Lazy API — tüm dosyayı RAM'e yüklemiyor, gerektiğinde okur
df = pl.scan_csv("data/hm/transactions_train.csv")
print(df.select(pl.count()).collect())  # 31M row sayısı

# Filter + groupby — chunked olarak işler
top_articles = (
    df.group_by("article_id")
    .agg(pl.count().alias("n"))
    .sort("n", descending=True)
    .head(20)
    .collect()
)
print(top_articles)

Parquet'e çevirme (daha küçük + 10x hızlı load)#

import polars as pl
df = pl.read_csv("data/hm/transactions_train.csv")
df.write_parquet("data/hm/transactions_train.parquet", compression="zstd")
# 5GB CSV → ~500MB parquet