5.5.1 RBF 신경망

RBF Radial Basis Function 신경망 은 일종의 단일 은닉층 순방향 신경망이다. (이론상으로는 다수의 은닉층을 사용할 수 있다. 하지만 RBF 에서는 단일 은닉층을 자주 사용한다.)

방사 함수를 은닉층 뉴런의 활성화 함수로 사용하고 출력층은 은닉층 뉴런에 출력에 대한 선형 조합이다. 입력이 d 차원인 벡터 x 와 출력이 실숫값을 가정하면 RBF 신경망은 다음과 같이 나타낼 수 있다.

위 식에서 q 는 은닉층 뉴런의 개수이고, c_i 와 w_i 는 각각 i 번째 뉴런에 대응하는 중심과 가중치다.

p(x,c) 는 방사 함수이고, 이는 일종의 스칼라 함수이다. 일반적으로 샘플 x 에서 데이터 중심 c 사이의 유클리드 거리의 단조 함수라 정의하고, 자주 사용하는 가우스 방사 함수의 식은 다음과 같다.

충분한 양의 은닉층 뉴런을 가진 RBF 신경망은 어떤 연속 함수라도 원하는 정확도만큼 근사화할 수 있다는 것이 증명,

일반적으로 두 단계의 과정을 거쳐 RBF 신경망을 훈련한다. 

첫 번째는 뉴런 중심 c_i 를 결정한다. 자주 사용되는 방식은 랜덤 샘플링, 클러스터링이 있다. 

두 번째 단계는 오차 역전파 알고리즘을 사용하여 파라미터 w, beta 를 선택한다.