implement_nadam

Adam 과 네스테로프 가속 경사를 합친 방법으로 볼 수 있다.

 

J 는 목적 함수, r은 모멘트 파라미터를 의미, n은 학습률을 의미한다.

모멘텀 방법으로 한 스텝의 사이즈와 다음 스텝으로의 방향을 알 수 있다. 여기에 네스테로프 가속 경사 개념을 추가하면 더욱 정확한 스텝을 구할 수 있다.

네스테로프 가속 경사를 변경하는 방법, 기존에는 모멘텀을 업데이트할 때, 그래디언트를 업데이트할 때 한 번, 파라미터로 업데이트할 때 한 번, 총 두 번 적용했지만, 

다음과 같이 t 시점의 파라미터를 업데이트하기 위한 모멘텀 벡터를 미리 적용한다.

 

과거 시점을 사용하는 것이 아닌 현재 시점을 사용한다.