4.6 조기 종료

훈련 자료만으로 모델 훈련, 그 과정에서 검증 집합에 대한 신경망의 오차를 주시, 

검증 집합에서의 오차가 증가할 때 종료,

 

훈련 자료ㅛ 집합이 작아지는 부작용은 그리 크지 않다.

어떠한 알고리즘과도 조합하기 쉽다.

 

4.6.1 분산의 관점에서 본 조기 종료

편향 대 분산 절충 관계를 이해하는 데 중요한 점ㅈ 하나는, 최적화 문제의 진 손실 함수는 오직 무한한 자료가 있을 때만 구축할 수 있다는 것이다. 

유한한 훈련 자료로 구축한 손실함수는 진 손실함수를 온전히 반영하지 못한다.

학습된 손실 함수가 진 손실함수를 한 방향으로 이동한 형태임, 이러한 이동은 예측값들의 분산에 의한 것이며, 그러한 분산은 주어진 특정한 훈련 자료 집합에 의한 것이다. 훈련 집합이 달라지면 분산이 달라져, 학습된 손실함수가 예측할 수 없는 방식으로 이동한다.

 

훈련 자료 집합에 대해 정의된 손실함수에 대해서만 경사 하강법을 수행할 수 있다. 훈련 자료가 진 손실함수를 잘 대표한다면 최적해들이 충분히 가까울 것,

 

경사 하강법은 진동하는 형태로 최적해에 도달, 훈련의 마지막 단계들에서 경사 하강법이 진 손실함수를 기준으로 더 나은 해들을 지나쳐서 훈련 자료에 대한 최적해로 수렴할 때가 많다. 조기 종료 방법은 검증 자료에 대한 오차를 측정