truncated BPTT

truncated BPTT란? 원래 backpropogation through time (BPTT)는 gradient가 무한대로 발산하거나, 무한히 작아질 수 있는 문제가 있다. 일명 vanishing and exploding gradients. 참고자료1: vanishing and exploding gradients understanding_rnn_lstm 참고자료2: RNN backpropagation에 대한 쉬운 파이썬 코드 설명 anyone-can-code-lstm. 아래의 에니메이션(출처 anyone-can-code-lstm)을 확장해서...

Jupyter tutorial: 02_server_connection

Jupyter tutorial 02_server_connection 로컬 컴퓨터에서 Jupyter를 활용한 작업을 할 수 있지만, EMCS처럼 서버를 빈번하게 사용하는 경우에 Jupyter가 용이하게 사용될 수 있음 Jupyter를 활용하여 서버 컴퓨터에 접속하고 작업을 하기 위한 단계는 두 가지 단계로 나뉨 원격 서버에서의 설정 로컬 컴퓨터에서의 설정...

Jupyter tutorial: 01_intro_install

Jupyter tutorial 01_intro_install Jupyter가 뭐지? Jupyter notebook (이하 Jupyter로 명칭)은 코드 및 데이터 시각화를 위한 여러 기능을 제공하는 웹 애플리케이션이다. (공식홈페이지 왈) “The Jupyter Notebook is an open-source web application that allows you to create and share documents that contain...

Motion Equation

Motion Equation Massx’’ + Frictionx’ + gravity*x=F 풀이: [mass, friction, gravity] * [x’’ x’ x]’ = F <=> 질량, 마찰, 중력이 가속도, 속도, 거리와 이루는 내적 = 시스템 목적: 시스템 F를 설명할 수 있는 거리, 속도, 가속도를 구하기 Ax =...

Support Vector Machine

Support Vector Machine as Maximum Margin Classifier SVM은 기본적으로 선형 2-클래스 분류기이다. 일반적인 선형 모델과는 다르게 단순히 오류를 최소화 하는데 그치는 것이 아니라 그 중에서도 가장 일반화 능력이 좋은 분류 모델을 찾아준다. Posterior Probability를 알려주지 않고 클래스 분류만 해준다. How?...