Cholesky Decomposition
Cholesky Decomposition (?) 숫자에 제곱근이 있듯이, 행렬도 제곱근을 구할수 있다; 행렬의 제곱근을 구하는 것이 Cholesky Decomposition 이다. A = LU 를 Symmetric, Positive Definite Matrix A 에 적용하는 것이라고 할수있음. 사이즈가 큰 매트릭스 (예: A^T A 처럼 뻥튀기 된 매트릭스)...
RNN part1
RNN part1 - RNN basics RNN과 LSTM에 대한 개념 설명과 세부 알고리즘에 대한 내용은 이미 문서화가 잘 되어 있으므로, References를 참고할 것. ANN에 대한 기본 지식을 전제로 작성함. LSTM및 TensorFlow코드로의 응용은 추후 포스팅에 포함할 예정. ###1. 기본 개념 뉴럴 네트워크에서는...
Projection
Projection은 “그림자 만들기” Projection이란, 벡터 v에 손전등을 비추어 특정 subspace에 v의 그림자가 생기도록 하는 것이다. Projection에는 두 가지 종류가 있다. 손전등을 특정 subspace에 수직으로 비추는 orthogonal projection 손전등을 특정 subspace에 비스듬하게 비추는 nonorthogonal (=oblique) projection 선형대수에서 Orthogonal projection의 비중이 더...
Orthogonalization
Orthogonalization 어떤 벡터 공간 V을 span하면서 서로 직교하는 벡터들을 찾는 것을 orthogonalization이라고 한다. m-by-n 행렬 A가 orthogonalization을 거쳐 열벡터가 서로 직교하게 되면, 다음과 같은 이유로 유용하다. 행렬의 형태를 단순화함으로써, 각종 연산이 손쉬워 진다. A의 열벡터가 orthogonal하다면, ATA = diagonal matrix...
QR factorization
Reduced QR factorization (=decomposition) 열벡터가 linearly independent한 m-by-n 행렬 A를 Q와 R, 2개의 행렬로 분해하는 방법이다. Full QR factorization은 잘 사용하지 않기에 Reduced QR factorization기법 설명만 적어두었다. Q Q의 column space = A의 column space Q의 열벡터 = orthonormal basis...