implement_adagrad

Adagrad 는 최적값을 구하려는 각 파라미터의 중요도에 따라 각기 다르게 학습률을 적용하는 방법, 

매 시점의 각 가중치에 대해 서로 다른 학습률을 적용

g_t,i 는 시점 t에서 i번째 가중치 파라미터에 대해 적용할 그래디언트를 의미

가중치에 대해 아래와 같이 업데이트 한다.

모든 타임 스텝 t에 대해 가중치를 업데이트하면 아래와 같다.

엡실론 값은 분포가 0이 되는 것을 방지하기 위한 값, G는 대각 행렬로 대각 원소는 가중치의 이전 그래디언트의 제곱합이다. 

행렬의 형태로 전체 파라미터에 대해 일반화