1.3 모델 선택

최소 제곱법을 이용한 다항식 곡선 피팅의 예시에서 가장 좋은 일반화값을 주는 최적의 다항식 차수가 있다는 것을 확인할 수 있다.

다항식의 차수에 따라서 모델의 자유 매개변수의 수가 결정되, 이에 의해서 모델의 복잡도가 결저오딘다.

또한, 정규화된 최소 제곱법의 경우 정규화 계수도 모델의 실제적인 복잡도에 영향을 미쳤다. 

혼합 분포나 뉴럴 네트워크 등의 더 복잡한 모델의 경우에는 복잡도를 통제하는 매개변수가 더 많을 수도 있다. 

실제 응용 사례에서는 이러한 매개변수들의 값을 결정해야 하며, 이때 목표는 새로운 데이터에 대한 예측 성능을 최적화하는 것이다. 주어진 모델 매개변수의 값을 결정하는 것 뿐만이 아니라 다양한 여러 모델들을 고려하여 적합한 모델을 서낵

 

최대 가능도 접근법에서 확인한 것과 같이 훈련 집합에서의 좋은 성능이 반드시 좋은 예측 성능을 보장해 주지는 못한다. 이는 과적합 문제 때문, 

 

이를 해결할 방법은 데이터가 충분할 경우 일부 데이터만 사용하여 다양한 모델과 매개변수들을 훈련시키고 독립적인 데이터 집합인 검증 집합에서 이 모델들과 매개변수들을 비교/선택하는 것

한정된 크기의 데이터 집합을 바탕으로 반복적으로 모델 디자인을 시행하면 검증 집합에 대해서도 과적합 문제가 발생할 수 있다. 이런 경우에는 세 번째의 시험 집합을 따로 분리해 두고 이 집합을 통해서 선택된 모델의 최종 성능을 판단하는 것이 좋을 수 있다.

 

실제 응용에서는 데이터 공급이 제한적, 교차 검증법을 활용하여 전체 데이터 S 중 데이터의 (S-1)/S 비율만큼 훈련에 사용, 모든 데이터를 다 활용하여 성능을 추정할 수 있다.

 

S 의 수가 늘어남에 따라 모델 훈련의 시행 횟수가 함께 늘어난다는 단점, 한 가지 모델에 여러 가지의 복잡도 매개변수가 있을 경우 많은 훈련 횟수가 요구됨, 

 

이상적인 방식에서는 훈련 집합만을 활용하여 여러 종류의 초매개변수와 각 모델 종류에 대한 비교를 한 번의 훈련 과정동안 시행할 수 있어야 한다. 오직 훈련 집합만을 활용하는 성능 척도가 필요하다. 

 

정보 기준들이 최대 가능도 방법의 편향 문제에 대한 대안으로 제시, 페널티항을 추가하는 방식,