5.1 피드 포워드 네트워크 함수

Feed Forward Network Function

 

회귀와 분류의 선형 모델은 비선형 기저 함수의 선형 결합을 바탕으로 하고 있다. 

 

이 모델을 확장시켜서 기저 함수를 매개변수에 종속적이게 만들고 이 매개변수들이 계수와 함께 훈련 단계에서 조절되도록 하는 것, 

 

이를 바탕으로 기본적인 뉴럴 네트워크 모델을 만들 수 있다. 또한, 이 모델은 연쇄적인 함수 변환으로 표현할 수도 있다. 

 

뉴럴 네트워크를 다층 퍼셉트론이라고 부른다. 퍼셉트론 모델과의 결정적인 차이는 바로 뉴럴 네트워크 모델은 은닉 유닛에 연속적인 시그모이드 비선형 함수를 사용하는 반면 퍼셉트론 모델은 불연속적인 비선형 계단 함수를 사용한다는 점이다. 

이 이유 때문에 뉴럴 네트워크 함수는 네트워크 매개변수에 대해 미분이 가능하다. 

 

네트워크 구조에 대한 또 다른 일반화는 생략 계층 skil layer 연결을 포함시키는 것이다. 

원칙적으로 시그모이드 은닉 유닛을 사용하는 네트워크에서는 생략 계층 연결을 흉내 내는 것이 가능하다. 이는 은닉 유닛이 충분히 작은 가중치를 첫 번째 계층에서 사용하고, 은닉 유닛으로부터 출력값에 대해서 충분히 큰 가중치를 사용하는 방식으로 이를 보상함으로써 시행 가능

 

네트워크가 sparse 하게 구성될 수도 있음 Convolutional neural network 가 그러한 예

 

입력값에 대해 출력값이 결정되는 것을 보장하기 위해 그 구조상에 닫혀 있고 방향성 있는 순환 구조가 존재하지 말아야 한다.