Encoder-Decoder RNN

Encoder-decoder RNN yapısı, özellikle dikkat mekanizması öncesi seq2seq görevlerin temel mimarisiydi. Encoder giriş sekansını tek bir bağlamsal temsil içinde özetler, decoder ise bu özetten çıktı sekansını üretir. Bu tasarım, sekans dönüşüm görevlerinde büyük ilerleme sağlamış olsa da uzun sekanslarda bağlam şişmesi sorunları yaşamıştır. Attention mekanizmasının yükselişi de büyük ölçüde bu sınırlamaya verilen bir cevaptır.