5.5.2 ART 신경망
경쟁형 학습 competitive learning 은 신경망 중에서 자주 사용하는 비지도 학습 전략 중 하나이다. 신경망의 출력 뉴런들이 서로 경쟁하여 각 시기에 단 하나의 승자 뉴런만 살아남고 다른 뉴런들은 억제 상태에 들어간다. 이러한 메커니즘은 승자 독식 winner-take-all 원칙이라고 부른다.
ART Adaptive Resonance Theory 신경망은 경쟁형 학습의 중요한 알고리즘이다. 이 신경망은 비교층, 식별층, 식별 임곗값 그리고 치환 모듈로 구성된다.
비교층은 입력 샘플을 받는 역할을 하고, 이를 식별층 뉴런으로 전달한다. 식별층은 각 뉴런에 대응하는 하나의 패턴을 부여하고 뉴런 수는 훈련 과정 중에 증가하여 새로운 패턴을 추가한다.
비교층의 입력 신호를 받은 다음, 식별층 뉴런은 서로 경쟁하여 승자 뉴런을 생성하게 된다. 경쟁의 가장 간단한 방식은 입력 벡터와 각 식별층 뉴런에 대응하는 패턴의 대표 벡터 간의 거리를 계산하는 것이다.
거리가 가장 작은 것이 승자가 된다. 승자 뉴런은 다른 식별층 뉴런들을 향해 신호를 보내고 활성을 억제한다. 만약 입력 벡터와 승자 뉴런이 대응하는 대표 벡터 간의 유사도가 식별 임곗값보다 높다면, 해당 입력 샘플은 해당 대표 벡터가 속한 클래스(패턴)로 귀속된다. 동시에 신경망 가중치는 갱신되어 다음에 비슷한 샘플을 받았을 때 해당 패턴이 더 큰 유사도를 계산할 수 있도록 한다.
이렇게 하면 해당 승자 뉴런의 승리확률이 더 커진다. 만약 유사도가 식별 임곗값보다 낮다면 치환 모듈은 식별층에서 새로운 뉴런을 하나 만들고 대표벡터를 해당 입력 벡터로 설정한다.
여기서 식별 임곗값은 ART 신경망의 성능에 큰 영향을 끼친다. 식별 임곗값이 비교적 높을 때 입력 샘플은 더 많고 자세한 패턴이 생성될 것이다. 하지만 만약 식별 임곗값이 낮다면 양이 적고 비교적 간략한 패턴이 생성될 것이다.
ART 는 경정행 학습에 존재하는 안정성-유연성 딜레마 stability-plasticity dilemma 를 비교적 잘 완화했다. 여기서 유연성은 신경망이 새로운 지식을 학습하는 능력을 뜻하고, 안정성은 신경망이 새로운 것을 학습할 때 이전 지식을 기억하는 능력을 뜻한다. 이것이 ART 가 가진 가장 중요한 장점이다. 즉, 점진적 학습 incremental learning 혹은 온라인 학습 online learning 을 진행할 수 있다.
초기의 ART 신경망은 부울형의 입력 데이터밖에 처리하지 못했다. 하지만 이후 ART는 실수 입력 처리도 가능한 ART2 신경망, 모자이크 처리를 결합한 FuzzyART 신경망, 그리고 지도 학습을 할 수 있는 ARTMAP 신경망 등을 포함한 하나의 대표 신경망 종류로 발전해 갔다.
증분식 학습
모델을 학습한 후 다시 훈련 샘플을 받을 때 다시 전체 모델을 훈련시키지 않고, 새로운 샘플에 한해서만 모델을 갱신하는 것을 뜻한다.
온라인 학습은 증분식 학습의 특별한 케이스다. 혹은 증분식 학습을 배치모드의 온라인 학습이라고도 볼 수 있다.