5.3 초매개변수와 검증 집합

종종 학습 알고리즘이 학습하기 않는 설정 중 최적화하기 어려운 설정을 초매개변수로 두기도 한다. 더 자주 쓰이는 접근 방식은 훈련 집합으로 학습하기 적합하지 않는 설정을 초매개변수로 두는 것, 모형의 수용력을 제어하느 ㄴ모든 초매개변수가 그런 방식에 속한다. 만일 그런 초매개변수를 훈련 집합을 통해 학습한다면 모형은 가능한 최대의 모형 수용력에 해당하는 초매개변수를 선택, 과대 적합의 발생,

이런 문제를 극복하기 위해 훈련 알고리즘이 관측하지 않은 견본들로 이뤄진 검증 집합이 필요하다.

검증 집합은 항상 훈련 자료에서 뽑은 견본들로 만든다. 

개별적이 검증 집합으로 일반화 오차를 추정하면 초매개변수들을 적절히 갱신할 수 있다. 

초매개변수들을 선택할 때 지침으로 쓰인느 부분집합을 검증 집합이라고 부른다. 

검증 집합의 오차는 일반화 오차를 실제보다 작게 추정하는 경향이 있다.