8.5 학습 속도를 적절히 변경하는 알고리즘

설정하기 아주 어려운 초매개변수 중 하나로 학습 속도가 있다.

이것이 어려운 이유는 그것이 모형의 성과에 심대한 영향을 미치기 때문이다.

비용함수는 매개변수 공간의 일부 방향들로는 아주 민감하게 반응하지만, 그 외의 방향들에 대해서는 아주 둔감하다.

그런 문제점을 운동량 알고리즘으로 어느 정도 완화할 수 있지만, 또 다른 초매개변수를 도입해야 한다는 대가를 치러야 한다. 

만일 민감도의방향들이 공간의 축에 어느 정도 정렬되어 있다고 가정한다면, 매개변수마다 개별적인 학습 속도를 두고 학습 과정에서 그 학습 속도를 자동으로 적응시키는 방법이 합당할 것이다.

 

훈련 도중 개별 학습 속도를 모형 매개변수들에 적응시키는 발견법적 접근 방식으로는 delta-bar-delta 라는 알고리즘이 제시, "만일 손실함수의 주어진 모형 매개변수에 대한 편미분의 부호가 바뀌지 않았다면 학습 속도를 증가하고, 부호가 바뀌었다면 속도를 감소해야 한다" 라는 착안에 기초한다.

물론 이런 종류의 규칙은 완전 배치 최적화에만 적용하 ㄹ수 있다.