truncated BPTT
truncated BPTT란? 원래 backpropogation through time (BPTT)는 gradient가 무한대로 발산하거나, 무한히 작아질 수 있는 문제가 있다. 일명 vanishing and exploding gradients. 참고자료1: vanishing and exploding gradients understanding_rnn_lstm 참고자료2: RNN backpropagation에 대한 쉬운 파이썬 코드 설명 anyone-can-code-lstm. 아래의 에니메이션(출처 anyone-can-code-lstm)을 확장해서...