순방향 신경망의 한계, 비선형 변환의 등장

순방향 신경망을 이해하는 한 가지 방법은 선형 모형의 한계를 어떻게 극복할지 고민해 보는 것이다. 선형 모형들은 닫힌 형식이나 볼록함수 최적화를 통해서 효율적이고 신뢰성 있게 적합할 수 있다는 점이 매력, 

선형 모형에는 모형의 수용력이 선형 함수들로만 국한된다는 명백한 결함이 존재, 임의의 두 변수 사이의 상호작용을 이해하지 못한다.

 

선형 모형을 x 의 비선형 함수들로 확장하는 방법은 변환된 입력 phi(x) 에 선형 모형을 적용하는 것이다. 

• 접근 방식으로 충분히 높은 차원을 phi(x) 에 사용하는 것이다. 이 경우 충분한 수용력을 가지게 되지만, 시험 집합에 대한 일반화 성능을 여전히 나쁠 것, 일반적인 특징 사상들은 국소 불변성 원리에만 기초할 뿐, 고급 문제를 풀기 충분한 사전 정보를 부호화 하지 않을 때가 많다.
• 좀 더 특화된 phi(x) 를 직접 만드는 것으로 이는 많은 노력이 필요하다.
• 심층학습은 그래서 그러한 phi 를 배운다. 이 방법은 훈련 문제에 볼록성 convecit 이 있으면 실패하지만 장점이 이를 능가, 모형의 표현을 phi(x; theta) 로 매개변수화하고 최적화 알고리즘을 이용해서 좋은 표현에 해당하는 theta 를 구한다. 

 

 

신경망은 비선형이기 때문에 볼록함수를 손실함수로 사용하기가 적합하지 않을 때가 많다. 수렴이 보장되지 않고, 결과가 초기 매개변수들에 대해 민감하다 

 

순방향 신경망에서는 모든 가중치를 작은 난수들로 초기화하는 것이 중요하다 .