학습을 위한 트릭

데이터 확장

샘플 데이터에 일정한 가공을 통해 양적으로 늘리는 방법, 

샘플의 분포 양상을 예상할 수 있는 경우에 유효하다. 이미지 데이터가 전형적인 예

여러 신경망의 평균

여러 신경망을 조합하면 정확도를 향상시킬 수 있다. 이런 방법을 모델 평균이라고 한다.

복수의 신경망을 학습해야 하므로 연산량이 증가하고, 드롭아웃의 경우 하나의 신경망에서 여러 신경망의 모델 평균을 적용한 것과 같은 효과를 얻을 수 있다.

학습률의 결정 방법

가중치 초기화

가우스 분포로부터 랜덤값을 생성하여 초깃값으로 삼는다. 

샘플의 순서

훈련 샘플을 어떤 순서로 추출할 것인지에 대해서 선택, (학습률이 변화하는 모델의 경우 초기 반복에 대해 오차가 큰 샘플을 먼저 사용하는 방법을 사용할 수 있을 듯?)