순방향 신경망과 다르게 순환 신경망 recurrent neural networks 은 토큰 링 모양의 구조가 나올 수 있다. 즉, 어떤 뉴런의 출력은 입력 신호로 다시 되돌아간다는 뜻이다. 이러한 구조와 정보가 귀환하는 과정은 t 시점의 네트워크 출력상태가 t 시점의 입력정보 뿐만 아니라 t-1 시점의 네트워크 상태와도 연관되게 만든다. 이렇게 함으로써 시간과 관계 있는 동적 변화를 처리할 수 있게 한다.
엘만 네트워크는 가장 자주 사용하는 순환 신경망 중 하나이다.
그 구조는 위 그림과 같이 생겼는데, 그조가 다층 순방향 신경망과 매우 비슷하다. 하지만 은닉층 뉴런의 출력이 다시 돌아와 다음 시간대의 입력층 뉴런에 제고오디는 신호와 함께 다음 시간대의 입력이 되어 은닉층으로 흘러 들어간다. 은늑칭 뉴런은 일반적으로 시그모이드 활성화 함수를 사용하고 네트워크의 훈련은 오차 역전파 알고리즘을 활용하여 진행된다.
'책 > 단단한 머신러닝' 카테고리의 다른 글
| 6.1 마진과 서포트 벡터 (0) | 2023.01.14 |
|---|---|
| 5.5.6 볼츠만 머신 (0) | 2023.01.13 |
| 5.5.4 중첩된 상호연관 신경망 (0) | 2023.01.13 |
| 5.5.3 SOM 신경망 (0) | 2023.01.13 |
| 5.5.2 ART 신경망 (0) | 2023.01.13 |
