Catching Hallucination and Verifying Sources
You can't eliminate hallucination but you can catch it. Systematize verification of Claude output with 6 techniques.
Şükrü Yusuf KAYA
12 min read
Intermediate
6 Doğrulama Tekniği
text
<rules>- Her iddiaya 0.0-1.0 confidence ekle.- Kaynak alıntısı yoksa confidence 0.5'i geçmesin.- Tarih, sayı, alıntı içeren iddiada kaynak zorunludur.- Bilmiyorsan: {"answer": "bilmiyorum", "needs_lookup": [...]}.</rules> <output_schema>{ "answer": "...", "claims": [ {"text":"...", "confidence": 0.0-1.0, "source": {"url":"...", "quote":"..."}} ], "needs_human_review": false}</output_schema>Doğrulama disiplinli prompt çıktısı.
Hallüsinasyon işaretleri#
- Spesifik istatistik, kaynak yok
- Çok rahat verilmiş niş alıntı
- Gerçek olduğu iddia edilen URL parçaları
- "[Yazar adı, Yıl]" gibi otomatik atıf görünümlü ama doğrulanamaz pasajlar
- Yer / şirket / tarih kombinasyonlarında küçük tutarsızlık
Sağlıklı belirsizlik işaretleri#
- "Bilmiyorum"
- "Doğrulanması gereken"
- Confidence < 0.7
- "Kaynak: yok" + boş alıntı
- "Bu konuda eğitim verim sınırlı"
Boşluk doldur · text
Hallüsinasyonu sıfırlayamazsın ama _____ . Modeli sadece senin verdiğin belgelere bağlamak _____ olarak adlandırılır. Düşük güvenli iddiaları otomatik _____ moderasyonuna yolla.Quiz
Bu modülü değerlendirme zamanı
Buraya kadar öğrendiklerini quiz ile pekiştir. Süreli, puanlı ve geri bildirimli bir değerlendirmedir.
Quiz'e başlaFrequently Asked Questions
Practically no. RAG + constraints + evals + human moderation reduce it dramatically, but assume a non-zero rate as part of your error budget.
Yorumlar & Soru-Cevap
(0)Yorum yazmak için giriş yap.
Yorumlar yükleniyor...