İçeriğe geç
Tüm roadmap'e dön
topicadvanced★ Pro

Constraint Decoding

Token-level constraint ile model'in 'geçersiz' token üretmesini engelle (Outlines, guidance, llama.cpp grammar).

3 saat1 kaynak1 önkoşul

Outlines (Python), guidance (Microsoft), llama.cpp grammar — sampling sırasında regex/grammar uygular, sadece schema'ya uyan token'lar olası kalır.

Open-source modellerde JSON garantisi için %100 yöntem. Closed API'lerde structured output zaten benzer iş yapıyor.

Önce bunları bil

Kaynaklar(1)