10 순차열 모형화를 위한 순환 신경망과 재귀 신경망

recurrent neural networks 는 순차적인 자룔르 처리하는 신경망의 한 종류

순호나 신경망은 순차열, 순서 있는 일련의 값들을 처리하는 데 특화된 것, 

합성곱 신경망을 너비와 높이가 더 큰 이미지들로 확장할 수 있는 것과 마찬가지로

순환 신경망 역시 더 긴 순차열로 손쉽게 확장할 수 있다.

 

다층 신경망에서 순환 신경망으로 넘어가는 과정에는 기계 학습 모형들과 토계적 모형들에서 밝견된 초기 착안 중 하나가 중요한 역할을 했다.

모형의 서로 다른 여러 부분에서 매개변수들을 공유한다느 ㄴ것, 매개변수 공유를 도입하면, 다층 신경망을 형태가 서로 다른 견본들의 모형화에 확장, 적용할 수 있으며, 그런 견본들에 대해 다층 신경망을 일반화할 수 있다. 

만일 매개변수들을 공유하지 않고 시간 색인의 각 값에 대해 매개변수를 따로 둔다면, 가변적인 길이의 순차열들에 대해 신경망을 일반화할 수 없다. 

 

1차원 시간적 순차열에 합성곱 신경망을 적용하는 착안도 존재,