Skip to content

Hata Analizi: Failure Mode Catalog

Hatalı çıktıları sistematik tasnif: failure mode catalog. Cluster analiz, kök neden, iyileştirme stratejisi.

Şükrü Yusuf KAYA
8 min read
Advanced

Failure Mode Catalog

Tüm hataları kategorize et. Her kategori = ayrı iyileştirme stratejisi.
text
# Yaygın Failure Mode'lar (sentiment classification örneği)
 
CATEGORY: Negation Handling
Örnek: "Hiç de fena değildi" → "olumsuz" (yanlış, "olumlu" olmalı)
Frekans: 8/200 (%4)
Kök neden: "fena" kelimesi negative trigger
Çözüm: Few-shot'a negation örnekleri ekle
 
CATEGORY: Sarcasm
Örnek: "Harika, paramın 3 hafta beklenmesi süper!" → "olumlu" (yanlış)
Frekans: 5/200 (%2.5)
Kök neden: Modeli sarkazm yakalayamıyor
Çözüm: CoT promptu, "is this sarcasm?" check
 
CATEGORY: Mixed Sentiment
Örnek: "Ürün güzel ama servis berbat" → "olumlu" (kısmi)
Frekans: 12/200 (%6)
Kök neden: Karar kuralı belirsiz
Çözüm: Prompt'ta "mixed → en güçlü taraf" netleştir
 
CATEGORY: Implicit Praise
Örnek: "Tekrar alacağım" → "nötr" (yanlış)
Frekans: 3/200 (%1.5)
Kök neden: Implicit signal kaçırıldı
Çözüm: Few-shot'a implicit pozitif ekle
Failure mode catalog

Cluster Analiz#

python
# Hatalı output'ları embed → cluster
from sklearn.cluster import KMeans
 
errors = [r for r in eval_results if not r["correct"]]
embs = embed([e["input"] for e in errors])
 
clusters = KMeans(n_clusters=8).fit(embs)
for c in range(8):
cluster_items = [e for e, l in zip(errors, clusters.labels_) if l == c]
print(f"\nCluster {c}: {len(cluster_items)} hata")
for ex in cluster_items[:3]:
print(f" - {ex['input'][:60]}")
# Ortak özellik bul = failure mode label
Cluster-based failure analysis
İterasyon: Her hafta failure mode catalog güncelle. Frekansı en yüksek 3'ü çöz. Kalan kabul edilebilir → kabul. Yoksa devam.

Yorumlar & Soru-Cevap

(0)
Yorum yazmak için giriş yap.
Yorumlar yükleniyor...

Related Content