5.5.4 중첩된 상호연관 신경망

일반적인 신경망 모델은 네트워크 구조가 사전에 고정되어 있다고 가정하고, 훈련의 목적은 훈련 샘플을 이용하여 적절한 가중치와 임곗값 등의 함수를 찾는 것이다. 이와 다르게 구조적응 네트워크 Adaptive Structure Network 는 네트워크 구조를 하나의 학습 목적으로 설정하고 훈련 과정 중에서 데이터 특성에 가장 적합한 네트워크 구조를 찾는다. 

중첩된 상호연관 Cascade-Correlation 신경망은 구조적응 네트워크의 대표적인 알고리즘이다. 

구조성 constructive 신경망이라고도 부른다. ART 네트워크는 은닉층 뉴런 수가 훈련 과정에서 증가하기 때문에 일종의 구조적응 신경망이다.

중첩된 상호연관 신경망은 두 개의 주요 성분으로 구성되어 있다. '중첩' 과 '상호연관' 이다.

중첩이란, 겹겹이 연결되어 만들어진 계층구조를 뜻한다. 훈련이 시작되면 네트워크에는 최소 위상학적 구조인 출력층과 입력층밖에 없다. 훈련 진행에 따라 그림처럼 새로운 은닉층 뉴런이 더해지고 새로운 계층구조를 만든다. 새로운 은닉층 뉴런이 추가되면 입력단에 연결 가중치는 고정된다. 상호연관은 새로운 뉴런 출력의 최대화를 통해 네트워크 오차 간의 상관성으로 관련 파라미터를 훈련시킨다는 뜻이다.

일반적인 순방향 신경망과 비교했을 때 중첩된 상호연결 신경망은 네트워크의 층수, 은닉층 뉴런 수를 설정하지 않아도 되며 훈련속도가 비교적 빠르다. 하지만 데이터가 적을 때는 쉽게 과적합에 빠진다는 단점이 있다.