21. RNN 기초
21-1. 순환 신경망(Recurrent Neural Network)
* 입/출력을 시퀀스 단위로 처리하는 시퀀스 모델
* 시퀀스: 번역하고자하는 단어의 문장
* 연속적인 데이터를 NN에 하나씩 순차적으로 넣어 처리하는 모델
21-1-1. RNN 동작 방식
* 은닉층의 노드에서 활성화 함수를 통해 나온 결과값을 다시 출력층 방향으로 보내면서 은닉층 노드의 다음 계산의 입력으로 보내는 특징.
* 셀(cell): 은닉층에서 활성화 함수를 통해 결과를 내보내는 역할을 하는 노드.
이전의 값을 기억하려하는 일종의 메모리역할을 수행함.
* 은닉 상태(hidden state): 셀이 출력층 방향 또는 다음 시점인 t+1의 자신에게 보내는 값.
21-1-2. RNN의 유형
* One to Many
* Many to One
* Many to Many
21-1-3. RNN의 단점
* 입력과 출력이 고정됨
* 기울기가 소실
* 단점을 극복하기 위해 RNN의 발전형태인 LSTM과 GRU를 사용 (문제를 완벽히 해결할 수는 없음)
