뉴럴 네트워크에서의 정규화

입력과 출력 유닛의 숫자는 보통 데이터 집합의 차원수에 따라 결정된다. 

은닉 유닛의 숫자 M 은 자유 매개변수이며, 최적의 예측 성능을 내도록 조절할 수 있다. 

M 은 네트워크상의 매개변수들의 숫자를 조절한다. 따라서 최대 가능도 방법하에서 과소, 과대 적합 사이의 균형을 맞추어 최적의 일반화 성능을 내도록 해준느 적절한 M 값이 존재할 것이라고 기대할 수 있다.

 

일반화 오류는 M 값에 대한 단순한 함수가 아니다. 오류 함수의 지역적 최솟값 때문,  

M 값을 선택하기 위해 사용할 수 있는 방법은 가장 작은 검증 집합 오류를 가지는 해를 선택하는 것이다.

 

또 다른 방법으로 정규화항을 포함시켜 복잡도를 조절, - 가중치 감쇠

 

일관된 가우시안 사전 분포

가중치 감쇠의 한계점은 해당 항이 네트워크의 몇몇 척도화 성질과 잘 맞지 않는다는 것이다. 

 

2 계층의 가중치의 선형 출력 유닛들을 사용하는 다계층 퍼셉트론 네트워크를 고려, 이 네트워크는 입력 변수 집합을 출력 변수 집합에 사상하는 역할을 한다. 

 

원 데이터를 이용해서 하나의 네트워크를 훈련시키고, 선형 변환을 통해 변환된 입력/출력값을 이용해서 다른 네트워크를 훈련시킨다고 해보자. 이 경우 주어진 가중치들을 선형 변환으로 변환하는 것 이외에 두 네트워크의 다른 부분들은 전부 일치해야 한다. 

또한 어떤 정규화항이든 이 성질을 만족시켜야 한다. 그렇지 않은 정규화 항은 동일한 두 개의 해 중 하나를 더 선호하는 결괏값을 내게 될 것이다. 

모든 가중치와 편향 값을 같은 기반으로 다루는 식의 단순간 가중치 감쇠법은 이 성질을 만족시키지 않는다.

 

부적합한 사전 분포는 정규화 계수를 결정하기 어렵게 만든다. 또한 베이지안 방법론상에서 모델을 비교하기 힘들게 만드는데, 해당 증것값이 0이 되기 때문이다. 

 

따라서 편향 각각에 대해서 각자가 따로 초매개변수를 가지는 서로 다른 사전 분포들을 사용하는 것이 일반적이다.