Matrix Multiplication
Matrix Multiplication 벡터 공간 V의 무한한 bases는 1)같은 원점을 공유하지만 2)unit을 다르게 정의한다. 대표적 basis는 서로 직교하면서 길이가 1인 벡터로 구성된 orthonormal basis이다. (catesian 좌표계를 떠올려라.) 동일 벡터 공간 V의 basis마다 unit의 정의가 다르기 때문에, 하나의 벡터를 basis마다 다르게 표현한다....
Dot Product
Dot Product dot product는 차원이 같은 두 n차원 벡터 x, y를 element-wise 곱하여 더한 결과이다(상수값). 이는 xTy와도 같다. xT란? 1개의 n차원 벡터 –> n개의 1차원 벡터의 나열. n차원 인풋을 1차원 아웃풋으로 transform하는 matrix. xTy란? xT는 y를 x에 projection시킨다. 이 때문에,...
Adam Optimizer
Overview Kingma, Diederik P. and Ba, Jimmy. Adam: A method for stochastic optimization. ICLR, 2014. Adaptive Moment Estimation 의 약자 Optimizer 중 가장 좋다고 알려져 있고, deep network 일수록 Adam이 좋다고 한다 각 패러미터에 대한 adaptive learning rate를 설정한다 Tensorflow...
Basis
Basis N차원 벡터 공간 V의 basis란, linearly independent하면서 V를 온전히 span하는 벡터 집합 [가정: V = 3차원 벡터공간, H = V의 2차원 subspace] Basis는 maximal independent set이다. V 안에 있는 벡터 v1, v2, v3가 linearly independent 하다는 것의 의미 c1*v1...
Linear Subspace
Linear Subspace N차원 벡터 공간 V linearly independent 한 N차원 벡터 N개의 linear combinations(=덧셈 + 상수배). V의 linear subspace N차원 벡터공간의 원소 벡터 M개의 linear combinations. N차원 이하의 공간을 나타내는 V의 부분집합. V가 3차원 벡터 공간일 때, V의 subspace가 될...