Hata Analizi: Failure Mode Catalog
Hatalı çıktıları sistematik tasnif: failure mode catalog. Cluster analiz, kök neden, iyileştirme stratejisi.
Şükrü Yusuf KAYA
8 dakikalık okuma
İleriFailure Mode Catalog
Tüm hataları kategorize et. Her kategori = ayrı iyileştirme stratejisi.
text
# Yaygın Failure Mode'lar (sentiment classification örneği) CATEGORY: Negation Handling Örnek: "Hiç de fena değildi" → "olumsuz" (yanlış, "olumlu" olmalı) Frekans: 8/200 (%4) Kök neden: "fena" kelimesi negative trigger Çözüm: Few-shot'a negation örnekleri ekle CATEGORY: Sarcasm Örnek: "Harika, paramın 3 hafta beklenmesi süper!" → "olumlu" (yanlış) Frekans: 5/200 (%2.5) Kök neden: Modeli sarkazm yakalayamıyor Çözüm: CoT promptu, "is this sarcasm?" check CATEGORY: Mixed Sentiment Örnek: "Ürün güzel ama servis berbat" → "olumlu" (kısmi) Frekans: 12/200 (%6) Kök neden: Karar kuralı belirsiz Çözüm: Prompt'ta "mixed → en güçlü taraf" netleştir CATEGORY: Implicit Praise Örnek: "Tekrar alacağım" → "nötr" (yanlış) Frekans: 3/200 (%1.5) Kök neden: Implicit signal kaçırıldı Çözüm: Few-shot'a implicit pozitif ekleFailure mode catalog
Cluster Analiz#
python
# Hatalı output'ları embed → clusterfrom sklearn.cluster import KMeans errors = [r for r in eval_results if not r["correct"]]embs = embed([e["input"] for e in errors]) clusters = KMeans(n_clusters=8).fit(embs)for c in range(8): cluster_items = [e for e, l in zip(errors, clusters.labels_) if l == c] print(f"\nCluster {c}: {len(cluster_items)} hata") for ex in cluster_items[:3]: print(f" - {ex['input'][:60]}") # Ortak özellik bul = failure mode labelCluster-based failure analysis
İterasyon: Her hafta failure mode catalog güncelle. Frekansı en yüksek 3'ü çöz. Kalan kabul edilebilir → kabul. Yoksa devam.
Yorumlar & Soru-Cevap
(0)Yorum yazmak için giriş yap.
Yorumlar yükleniyor...
İlgili İçerikler
1. Temeller — Yapay Zekâ ve LLM'lere Giriş
Bu Eğitim Hakkında ve Verimli Çalışma Yöntemi
Öğrenmeye Başla1. Temeller — Yapay Zekâ ve LLM'lere Giriş
Yapay Zekâ → Üretken AI → LLM: Bağlamsal Harita
Öğrenmeye Başla1. Temeller — Yapay Zekâ ve LLM'lere Giriş