Kavram SözlüğüDerin Öğrenme
Key-Value Cache
Otokorelasyonlu Transformer üretiminde önceki dikkat temsillerini saklayarak çıkarımı hızlandıran mekanizma.
Key-value cache, büyük dil modellerinin token token üretim sürecinde hesaplama tekrarını azaltır. Önceki adımlarda hesaplanan key ve value temsilleri saklanır, böylece her yeni token için tüm geçmiş yeniden hesaplanmaz. Bu yapı çıkarım hızında büyük fark yaratır ve pratik kullanım açısından kritik önemdedir. Uzun bağlamlı üretimde verimliliğin temel araçlarından biridir.
İlginizi Çekebilir
Yapay zeka yolculuğunuza devam etmek için bu kavramlara da göz atabilirsiniz.
