attention1 [NLP] Attention in Seq2Seq Learning Seq2Seq란? Seq2Seq(sequence to sequence)란 입력 시퀀스(input sequence)에 대해서 출력 시퀀스(output sequence)를 만들기 위한 모델로서, 주로 기계 번역(Machine Translation)이나 챗봇(Chatbot)뿐만 아니라 내용 요약(Text Summariztion) 등에 사용되는 모델이다. 위 그림처럼 입력 시퀀스와 출력 시퀀스의 길이는 다를 수 있다. Seq2Seq 모델은 크게 Encoder와 Decoder로 구성되어 있다. Encoder와 Decoder의 아키텍쳐 내부는 RNN 아키텍쳐이다. 기계 번역의 경우, Encoder는 입력 문장의 모든 단어들을 순차적으로 입력받는다. 이때, 사용되는 모든 단어들은 임베딩 벡터로 변환된 후 입력으로 사.. 2023. 6. 12. 이전 1 다음