Self-Consistency: Çoklu Yol ile Doğrulama
Aynı soruya birden fazla farklı yoldan cevap üretip 'oy çokluğunu' alma. Doğruluk için en güçlü tekniklerden.
Şükrü Yusuf KAYA
8 dakikalık okuma
Orta"Bir kafa iki düşünce" mantığı#
CoT bir cevap üretir. Ama o cevap doğruysa nasıl emin olursun?
Self-Consistency der ki: aynı soruyu N farklı yoldan çöz, sonra oy çokluğu olan cevabı al. Eğer 5 farklı CoT'tan 4'ü "17" derse, doğru cevap muhtemelen 17'dir.
Wang et al. 2023 makalesi GSM8K'da CoT'un üzerine +%10 doğruluk ekledi.
text
Aşağıdaki problemi 5 FARKLI YAKLAŞIMLA çöz. Her yaklaşım için adım adım çözüm yap. Sonra 5 cevabı karşılaştır ve **çoğunlukta olan cevabı** son cevap olarak ver. Problem: Bir kasada 3 mavi, 4 kırmızı, 5 yeşil top var. Rastgele 2 top çekildiğinde ikisinin de aynı renkte olma olasılığı nedir? 5 farklı yaklaşım:- Yaklaşım 1: Doğrudan saymalı yaklaşım (kombinasyonlar)- Yaklaşım 2: Olasılık ağacı- Yaklaşım 3: Tamamlayıcı (farklı renk olasılığını çıkar)- Yaklaşım 4: Simülasyon mantığı (her renk için ayrı hesap)- Yaklaşım 5: Bayesyen yaklaşım Her birinin sonucunu yaz, sonra final cevabı ver.Pratik self-consistency promptu — 5 farklı yöntem zorunlu.
💡 Ne zaman kullanmalı?
Self-consistency maliyetli (5x token). Şu durumlarda değer: (1) Yüksek riskli karar (finans, tıp bilgilendirmesi), (2) Tek hata kabul edilemez (sayısal hesap), (3) Manuel kontrol pahalı (binlerce vaka). Günlük yazışma için aşırı.
Otomatize edilmiş versiyon (API)#
API üzerinden ile aynı promptu N defa çağırıp, sonucu majority-voting ile birleştirebilirsin. Modül 11'de bunun Python kodunu paylaşacağız.
temperature=0.7Sözde kod:
answers = [call_gpt(prompt, temperature=0.7) for _ in range(5)] final = most_common(answers)
Özet#
✓ Self-Consistency = N farklı CoT + oy çokluğu
✓ +%10 doğruluk (CoT üzerine)
✓ 5x token maliyetine değer mi? Risk yüksekse evet
Sıradaki ders: Tree of Thoughts — dallanmalı düşünce ağacı.
Yorumlar & Soru-Cevap
(0)Yorum yazmak için giriş yap.
Yorumlar yükleniyor...
İlgili İçerikler
Modül 1: Başlangıç ve Temeller
ChatGPT Nedir? Tarihçe, Evrim ve Bugünün Manzarası
Öğrenmeye BaşlaModül 1: Başlangıç ve Temeller
Hesap Açma ve Plan Karşılaştırması: Free, Plus, Pro, Team, Enterprise
Öğrenmeye BaşlaModül 1: Başlangıç ve Temeller
Arayüz Anatomisi: Her Buton, Menü ve Ayar Açıklamalı
Öğrenmeye BaşlaBağlantılı Pillar Konular