Vector Space
Vector Space 모든 공간은 N차원을 갖는다. 0차원 공간 = 점 1차원 공간 = 선 2차원 공간 = 면 3차원 공간 = 입체 N차원 공간은 서로 수직(orthogonal)을 이루는 N개의 축으로 설명할 수 있다. N의 차수와 관계없이 반드시 하나의 원점을 가진다. N차원의...
Linear Combination
Linear Combination 동일한 차원의 벡터 N개가 있다. N개 벡터 각각에 상수(scalar)를 곱하여 길이를 늘이거나 줄이거나 그대로 둔다. 길이가 scaling된 N개의 벡터를 서로 더해서 새로운 벡터를 구한다. (차원이 같으니 가능하다.) 이를 두고 같은 subspace에 있는 N개의 벡터에 대해 linear combination했다고 한다....
Estimation Maximization in HMM
EM in HMM hmm training 은 EM-EM-EM-….-EM의 반복 과정이다. Maximization: 현재의 Expectation, 즉 align 정보를 fixed 해 놓고, 각 phone의 hmm의 내부 확률 (transition & observation)을 Baum-Welch방법을 써서 업데이트함. 예를 들어, /a/에 대해, 현재의 align 정보를 기반으로 코퍼스 전체에서 모든...
DBN vs. DNN
Deep Belief Network vs. Deep Neural Network DBN = ANN + pre-training by RBM (good for small data) 2006년 Hinton의 unsupervised 방법인 RBM을 이용한 ANN 개선법 비교적 small data에도 기존의 ANN 문제를 잘 해결해 냄 DNN = ANN w/ many...
ASR overview
ASR ASR이란? 사람이 말소리를 (1) 듣고 (2) 단어를 떠올려서 (3) 문장으로 받아쓸 수 있는 능력을 기계가 모사하는 것. 듣기 능력 = 음향 모델 발음-단어 mapping 능력 = 발음 사전 자연스러운 문장 완성 능력 = 언어 모델 위 3가지 능력을 결합하면...