Exposure Bias

Eğitimde doğru geçmiş bağlamı gören modelin çıkarımda kendi hatalı geçmişiyle karşılaşması sorunu.

Exposure bias, özellikle otoregresif üretim modellerinde eğitim ve çıkarım koşulları arasındaki uyumsuzluğu ifade eder. Eğitimde doğru geçmiş tokenlarla beslenen model, gerçek kullanımda kendi ürettiği hatalı tokenlara maruz kalabilir. Bu küçük hataların zamanla birikmesine ve üretim kalitesinin bozulmasına yol açabilir. Sekans modellemede yalnızca mimari değil, eğitim stratejisinin de neden önemli olduğunu gösterir.