4.3 디자인 패턴 12 : 체크포인트

체크포인트 디자인 패턴은 부분적으로 학습된 모델을 사용할 수 있도록 모델의 전체 상태를 주기적으로 저장한다. 

학습이 부분적으로만 이뤄진다. 

4.3.1 문제

신경망이 복잡할수록 데이터셋이 커지는데 모델이 복잡할수록 파라미터가 많아지기 때문, 

4.3.2 솔루션

각 에폭이 끝날 때마다 모델의 상태 저장 가능,

한 지점에서 모델 학습을 재개할 수 있도록 전체 모델 상태를 저장하느 ㄴ것을 체크포인팅이라고 한다.

이는 방대한 작업, 

4.3.3 트레이드 오프와 대안

조기 종료

학습 시간이 길수록 데이터 손실이 감소, 어느 시점 이후 오류가 감소하지 않을 수 있다. 

과대적합시 검증 오류가 증가한다. 각 에폭이 끝날 때마다 검증 오류 확인, 학습 프로세스 종료

 

체크 포인트 선택

 

정규화

 

데이터 분할

 

미세 조정