Memorization vs Generalization: Paraphrase Tests and LLM's True Understanding

Ders Haritası#

1. Memorization ve generalization: tanımlar
2. Spectrum: pure memorization → pure generalization arası
3. Carlini 2021 — training data extraction attacks
4. Paraphrase test: gerçek anlama mı sınama
5. Benchmark contamination — eval'in iflası
6. Detection methods: n-gram match, embedding, perplexity
7. Membership inference attacks
8. Privacy implications: PII leakage
9. Türkçe corpus contamination — özel durumlar
10. Production: deduplication ve canary tokens

1. Memorization ve Generalization — Tanımlar#

Memorization#

"Model training corpus'undaki bir parçayı, exact veya near-exact olarak, tekrar edebiliyor."

Generalization#

"Model training corpus'unda görmediği bir input'ta, training pattern'lerini uygulayarak doğru cevap üretebiliyor."

İkisi de gerekli#

• Pure memorization: lookup table — hiç useful değil, novel input'ta çuvallıyor
• Pure generalization: hiç world knowledge yok — tutarsız
• İkisi de: gerekli denge

Bilim sorusu#

2. Spectrum: Memorization to Generalization#

Spectrum noktaları#

1. Verbatim memorization: tam karakter-karakter copy
2. Idiomatic memorization: kalıplaşmış phrase ("Türkiye'nin başkenti Ankara'dır")
3. Schema memorization: format pattern (date, names structure)
4. Conceptual generalization: kavramsal pattern apply
5. Compositional generalization: yeni kavram kombinasyonları
6. Out-of-distribution: training'de hiç olmayan

Hangi seviyede ne kadar?#

Trade-off#

• Memorization factual knowledge için yararlı: "Atatürk 1881'de Selanik'te doğdu" — model bunu memorize etmek zorunda
• Memorization privacy için problem: kullanıcı PII (kredi kartı, telefon) training'de geçtiyse extract edilebilir
• Memorization eval integrity için problem: benchmark test set training'de görüldüyse accuracy şişirilmiş

3. Carlini 2021 — Training Data Extraction#

Attack setup#

Strategy#

1. Çok sayıda prompt ver (random, diverse)
2. Modelin yüksek olasılıkla ürettiği passages'ı topla
3. Bu passages'ın gerçekten training data'da olup olmadığını verify et (Internet search)

Bulgular#

• 600+ passages extract edildi
• İçinde: PII (isim, adres, telefon, email), code snippets, copyrighted text
• En çarpıcı: bir bireyin kişisel email + adres kelimesi kelimesine

Implications#

1. Privacy violation: training corpus PII içeriyorsa, leak riski
2. Copyright concerns: telif metin replicate edilebilir
3. IP theft: company internal docs (eğer training'e karışmışsa)

Defense#

• Differential privacy training (sınırlı practical)
• PII filtering before training (Modül 15 detayda)
• Output filtering at inference (Llama Guard pattern)
• Deduplication — single occurrence az memorize edilir

4. Paraphrase Test — Gerçek Anlama mı Sınama#

Test design#

1. Original task: training'de muhtemelen geçmiş cümle
2. Paraphrase: aynı içerik, farklı kelimeler/yapı
3. Accuracy karşılaştır: paraphrase'da düşüyor mu?

Örnek (matematik)#

Original: "Compute the derivative of x^2 + 3x."
Paraphrase 1: "Find d/dx (x² + 3x)."
Paraphrase 2: "What is the slope of the curve y = x^2 + 3x at any point?"
Paraphrase 3: "x kare artı 3x'in türevini hesaplayın."

Modern empirik#

Türkçe-İngilizce çapraz test#

5. Benchmark Contamination — Eval'in İflası#

Niye sorun?#

Yaygınlık#

Yang 2023 (DyVal): Dynamic evaluation#

Math problem template: "If x = {N1}, then x² + {N2}x + {N3} = ?"
Random N1, N2, N3 each evaluation → fresh

LiveBench (Arc Prize 2024+)#

Modern best practice#

1. Multiple benchmarks: public + dynamic + private hold-out
2. Cutoff-respecting: model knowledge cutoff sonrası test'ler
3. Paraphrased benchmarks: orijinalden farklı wording

6. Contamination Detection Methods#

1. N-gram match#

2. Perplexity-based#

test_ppl < threshold × control_ppl → contamination şüphesi

3. Membership inference#

1. Modele eval örneği ver, output al
2. Loss / perplexity ölç
3. Random paraphrase versiyonunu ver, loss ölç
4. Orijinal loss <<< paraphrase loss → memorization

4. Carlini's "extraction" approach#

Practical tools#

• Datasets contamination tool (HuggingFace)
• Stanford Center for Research on Foundation Models (CRFM) tools
• Self-instruct contamination detector

Türkçe için#

7. Membership Inference Attacks (MIA)#

Niye önemli?#

• Privacy audit: kullanıcı verisinin "model train'ine girdi mi?" sorusu
• Copyright tespiti: telif metnin training'de olup olmadığı
• Compliance: GDPR "right to be forgotten" verification

Basit attack (Shokri 2017 framework)#

1. Target example x ver
2. Model loss / logprob ölç
3. Reference distribution (rastgele random examples)
4. x'in loss'u reference'tan **çok düşükse** → muhtemelen training'deydi

Modern MIA (Mireshghallah 2022, Carlini 2022)#

Pratik etki#

• LLM training data leak hâlâ partial: ~%10-30 örnek tespit edilebiliyor (model size'a göre)
• Privacy advocates için yeterli evidence
• Legal cases (NYT vs OpenAI, Getty vs Stability) bu metodları kullanıyor

Defense#

• Differential privacy training: pratik LLM'de çok pahalı
• Output filtering: identifying information block
• Limited memorization training: data dedup + canary tests

8. Privacy Implications — PII Leakage#

Yaygın leak'ler#

• Email adresleri: Carlini 2021 — yüzlerce email extract edildi
• Telefon numaraları: özellikle public records'da geçenler
• Adresler: Reddit + social media'dan
• API keys: Github leaked code'lar
• Personal stories: blog posts, kişisel paylaşımlar

Modern defense#

1. Training data filtering (Modül 15)
   • Regex-based PII detection (emails, phones)
   • Named entity recognition (NER) ile redact
   • PII classifier model
2. Output filtering (Modül 56)
   • Real-time PII detection at inference
   • Llama Guard, Microsoft Presidio entegrasyonu
   • Hallucinated PII'yi de yakala (model yaratıp leak'lese de)
3. Differential privacy (sınırlı pratik)
   • Theoretical guarantee
   • Pratik LLM'de quality loss çok yüksek

Türkiye için#

• Common Crawl gibi public corpus → açık veri, but PII filter
• Şirket internal data → KVKK uyumlu fine-tuning (Modül 57 detayda)
• Kullanıcı data ile fine-tune → opt-in + redaction zorunlu

9. Türkçe Corpus Contamination — Özel Durumlar#

1. Wikipedia hâkimiyeti#

2. Resmi/Bürokratik dil#

3. Mahkeme kararları, içtihat#

4. Eğitim materyali#

5. Türkçe-İngilizce çapraz#

Pratik#

• TurkEval-Suite (capstone C10) contamination-aware design yapıyor
• Modül 59 (Türkçe Eval Atölyesi) bu konuya odaklanıyor
• Resmi metinleri pretrain'den çıkarmak — niche kalıyor

10. Production: Deduplication ve Canary Tokens#

Deduplication — Modül 15'in özü#

• Common Crawl dedup → %3-7 better validation loss
• Less memorization, better generalization

Practical dedup pipeline#

1. MinHash (Modül 15) — yaklaşık near-duplicate detection
2. Exact substring match — verbatim copies
3. Semantic dedup (embeddings) — paraphrased duplicates

Canary tokens#

Canary: "SECRET_TOKEN_xK4nLm9PqR3sT2vY"
Training'e bir kez koy.
Inference'ta: ona ait prompt'a model devam ediyorsa → memorization detected.

Production checklist#

• Pretrain corpus dedup yapıldı mı?
• PII filter active?
• Output PII detection live?
• Canary tokens ile memorization test?
• Eval benchmark contamination check?
• Periodic re-evaluation with fresh data?

11. Mini Egzersizler#

1. Memorization spectrum: GPT-5 "Türkiye'nin başkenti Ankara'dır" cevabı. Bu memorization mı generalization mı?
2. Paraphrase test: Bir model GSM8K orijinal %90, paraphrased %85. Generalization quality yorumu?
3. Contamination detection: Modelden gelen output ortalama PPL training-set'inden %30 düşük. Şüphe seviyesi?
4. PII extraction risk: Bir Türk şirketinin internal docs (müşteri PII) pretrain'e girdi. Risk değerlendirme + defense.
5. Canary test: Pretrain'e canary token koymak ne işe yarar? 3 use case.

Bu Derste Neler Öğrendik?#

🎉 Modül 4 Tamamlandı!#

Sıradaki Modül#