Checkpointed Backpropagation

Bellek kullanımını azaltmak için bazı ara aktivasyonları saklamayıp gerektiğinde yeniden hesaplayan eğitim tekniği.

Checkpointed backpropagation, özellikle çok derin veya çok büyük modellerin eğitiminde bellek sınırlarını aşmak için kullanılır. Her katmanın aktivasyonunu saklamak yerine yalnızca bazı kontrol noktaları tutulur, geri yayılım sırasında eksik ara değerler yeniden hesaplanır. Bu yaklaşım hesaplama süresini artırabilir ancak bellek maliyetini anlamlı biçimde düşürür. Büyük model eğitiminde klasik hız-bellek takaslarından birini temsil eder.