LSTM2 [NLP] ELMo 고려대학교 산업경영공학부 DSBA 강필성 교수님의 '[Korea University] Unstructured Data Analysis(Text Analytics)' ELMo : Embeddings from Language Models ELMo는 사전 훈련된 언어 모델을 사용하며, 다양한 문맥에서 사용되는 단어들을 다르게 임베딩한다는 특징을 지닌다. → 눈(Eye)과 눈(Snow)는 다르게 임베딩된다! ElMo는 개별 단어에 임베딩 값을 할당할 때 모든 입력 시퀀스(input sequence)의 정보를 사용한다. → 순방향과 역방향의 언어 모델을 모두 학습하는 bi-directional LM이다. → 앞서 등장한 단어들 뿐만 아니라 이후에 등장하는 단어들을 고려하여 특정 단어의 임베딩을 산출한다. (LST.. 2023. 10. 11. [NLP] RNN & LSTM RNN이란? RNN(Recurrent Neural Network, 순환신경망)은 연속성이 있는 데이터를 처리하기 위해서 고안된 신경망이다. RNN은 기존 신경망들과는 달리 은닉층의 노드에서 활성화 함수를 통해 나온 결과값을 출력층 방향으로 보내는 동시에, 은닉층 노드의 다음 계산을 위한 입력으로 보낸다. RNN의 기본 구조는 위와 같으며 각 용어의 의미는 다음과 같다. $h_{t-1}$: old hidden state vector $h_{t}$ : new hidden state vector $x_{t}$ : input vector at some time step $y_{t}$ : output vector at time step t $W_{xh}$ : 입력층에서 은닉층으로 전달되는 가중치 $W_{hh}$ .. 2023. 6. 4. 이전 1 다음
