6. 심층 순방향 신경망

순방향 신경망의 목표는 어떤 함수 f* 를 근사하는 것이다. 

 

분류기의 경우 함수는 주어진 입력을 하나의 범주 또는 부류에 사상한다. 

 

이 모형의 이름에 순방향이 있는 이유는, 이 모형에서 정보가 앞쪽으로만 흘러가기 때문이다. 

 

정보는 x 를 입력으로 하여 평가되는 함수를 통과한 후 f 를 정의하는 데 쓰이는 중간 계산들을 거쳐 출력에 도달한다.

 

순방향 신경망의 망은 이 모형을 흔히 서로 다른 함수들이 그물처럼 엮인 형태로 표현한다는 점을 반영한 것이다. 

이는 함수들의 연결 고나계를 표현하는 유향 비순환 그래프에 해당한다. 이러한 사슬 구조는 가장 흔히 쓰이는 신경망 구조이다. 

사슬의 전체 길이는 모형의 깊이에 해당한다. 

 

일반적으로 순방향 신경망의 각 은닉층은 벡터를 입력받아서 벡터를 출력하는 하나의 벡터값 함수라 할 수 있다. 그러한 벡터의 차원은 신경망의 너비를 결정한다. 

 

순방향 신경망을 이해하는 한 가지 방법은 선형 모형의 한계를 어떻게 극복할지 고민해 보는 것이다. 

선형 모형들은 닫힌 형식으로 또는 볼록함수 최적화를 통해서 효율적이고 신뢰성 있게 적합할 수 있지만, 모형의 수용력이 선형 함수들로만 국한된다는 명백한 결함이 있다. 이러한 결함 때문에 선형 모형은 임의의 두 입력 변수 사이의 상호작용을 이해하지 못한다.

 

선형 모형을 x 의 비선형 함수들로 확장하는 방법은, 선형 모형을 x 자체가 아니라 변환된 입력 phi(x) 에 적용하는 것이다. phi 는 하나의 비선형 변환이다. 

 

심층 학습은 phi 를 배우는 것이다. phi 를 배우기 위한 매개변수 theta 와 phi(x) 를 바람직한 출력으로 사상하기 위한 매개변수 w 가 있다. 

 

이처럼 특징들의 학습을 통해서 모형을 개선한다는 일반적인 원리는 순방향 신경망 외의 모형에도 적용할 수 있다.