3.1.4 정규화된 최소 제곱법

오류 함수에 정규화항을 추가한 함수는 다음의 형태를 띠게 된다.

lambda 는 데이터에 종속적인 에러 E_D(w) 와 정규화항 E_W(w) 의 상대적인 중요도를 조절하기 위한 정규화 상수다. 

가장 단순한 형태의 정규화항은 가중치 벡터 원소들의 제곱합이다.

다음의 형태로 주어지는 제곱합 오류 함수를 고려

정규화항을 고려한 전체 오류 함수

해당 형태의 정규화항은 가중치 감쇠라고 불린다. 

가중치의 값이 0을 향해 감소하기 때문에 이렇게 부름, 매개변수 축소 방법의 한 예시, 

정규화항을 씀으로써 오류 함수가 w 의 이차 함수 형태로 유지되며, 오류 함수를 최소화하는 값을 닫힌 형태로 찾아낼 수가 있다는 것, 

위 식의 w 에 대한 기울기를 0으로 놓고 w 에 대해 풀어내면 다음을 구할 수 있다. 

 

좀 더 일반적인 형태의 정규화항을 사용하기도 한다. 이 경우 정규화 오류 함수는 다음 형태를 띤다.

q = 2 일 경우 이차 정규화항에 해당, 

 

q = 1 일 경우 라쏘라 한다. lambda 의 값을 충분히 크게 설정하면 w_j 가 0이 될 수 있다. 이런 모델을 희박한 모델이라고 한다. 

정규화는 유효한 모델의 복잡도를 제한함으로써 복잡한 모델들이 제한된 수의 데이터 집합을 이용해서도 과적합 없이 피팅될 수 있도록 한다. 

하지만 이 경우 최적의 모델 복잡도를 찾는 문제가 적잘한 기저 함수의 수를 정하는 문제에서 적절한 정규화 계수를 찾는 문제로 변경된다.