5.3 초매개변수와 검증 집합

대부분의 기계 학습 알고리즘에는 초매개변수들이 있다. 아는 알고리즘의 행동을 제어하는 데 사용할 수 있는 설정이다. 

 

이들의 값을 학습 알고리즘 자체가 적응시키지는 않는다.

 

 

종종, 학습 알고리즘이 학습하지 않는 설정 중 최적화하기 어려운 설정을 초매개변수로 두기도 한다. 그보다 더 자주 쓰이는 접근 방식은, 훈련 집합으로 학습하기에 적합하지 않은 설정을 초매개변수로 두는 것이다. 모형의 수용력을 제어하는 모든 초매개변수가 그런 방식에 속한다.

 

만일 그런 초매개변수를 훈련 집합을 통해 학습한다면 모형은 가능한 최대의 모형 수용력에 해당하는 초매개변수들을 선택하게 되며, 과대적합이 일어난다.

 

이런 문제를 극복하려면 훈련 알고리즘이 관측하지 않은 견본들로 이루어진 검증 집합 validation set 이 필요하다.

 

검증 집합은 항상 훈련 자료에서 뽑은 견본들로만 만든다. 

 

한 부분집ㅎ바은 매개변수들을 학습하는 데 사용하고, 다른 부분집합은 훈련 이후에 일반화 오차를 추정할 때 검증 집합으로 사용한다. 

 

5.3.1 교차 검증