4. 모델 학습 디자인 패턴

4.1 일반적인 학습 루프

머신러닝 모델은 다양한 종류의 최적화를 사용하여 학습, 

파라미터를 결정하는 가장 일반적인 접근 방식은 경사 하강법이다.

4.1.1 확률적 경사 하강법

대규모 데이터셋에서 경사 하강법은 입력 데이터의 작은 배치에 적용됨, 이를 확률적 경사 하강법 이라고 한다. 

SGD 는 소규모 배치에 대해 반복적으로 학습을 수행해야 하므로 루프 내에서 진행

수렴 여부를 감지해야 하므로 손실 함수라는 지표를 모니터링 해야 한다. 

모델의 복잡성이 데이터셋의 크기와 범위 내에서 감당할 수 있는 범위를 벗어냐면 과대적합이 발생할 수 있다. 

 

평가는 학습 루프 내에서 이뤄져야 하며, 검증 데이터셋이라고 하는 학습 데이터 일부에 대한 오류 지표도 모니터링해야 한다.

 

학습 디자인 패턴

유용한 과대적합

체크포인트

전이 학습

분산 전략

하이퍼파라미터 튜닝