Al Basic/NLP8 [NLP] Attention in Seq2Seq Learning Seq2Seq란? Seq2Seq(sequence to sequence)란 입력 시퀀스(input sequence)에 대해서 출력 시퀀스(output sequence)를 만들기 위한 모델로서, 주로 기계 번역(Machine Translation)이나 챗봇(Chatbot)뿐만 아니라 내용 요약(Text Summariztion) 등에 사용되는 모델이다. 위 그림처럼 입력 시퀀스와 출력 시퀀스의 길이는 다를 수 있다. Seq2Seq 모델은 크게 Encoder와 Decoder로 구성되어 있다. Encoder와 Decoder의 아키텍쳐 내부는 RNN 아키텍쳐이다. 기계 번역의 경우, Encoder는 입력 문장의 모든 단어들을 순차적으로 입력받는다. 이때, 사용되는 모든 단어들은 임베딩 벡터로 변환된 후 입력으로 사.. 2023. 6. 12. [NLP] RNN & LSTM RNN이란? RNN(Recurrent Neural Network, 순환신경망)은 연속성이 있는 데이터를 처리하기 위해서 고안된 신경망이다. RNN은 기존 신경망들과는 달리 은닉층의 노드에서 활성화 함수를 통해 나온 결과값을 출력층 방향으로 보내는 동시에, 은닉층 노드의 다음 계산을 위한 입력으로 보낸다. RNN의 기본 구조는 위와 같으며 각 용어의 의미는 다음과 같다. $h_{t-1}$: old hidden state vector $h_{t}$ : new hidden state vector $x_{t}$ : input vector at some time step $y_{t}$ : output vector at time step t $W_{xh}$ : 입력층에서 은닉층으로 전달되는 가중치 $W_{hh}$ .. 2023. 6. 4. 이전 1 2 다음
