Adam 을 번형한 식을 사용, 아래 식은 L2 norm 을 이용한 식이다.
p 값이 커질수록 불안정하게 되는 경향이 있는데, p가 무한대일 경우 안정적인 모습을 보여준다.
AdaMax는 L-무한대 제약식을 적용한 방법이다.
적절한 하이퍼파라미터의 값은 n=0.002, B1=0.9, 0.999 이다.
'implement_ml_models' 카테고리의 다른 글
| implement_perceptron (0) | 2022.11.21 |
|---|---|
| implement_nadam (0) | 2022.11.20 |
| implement_adam (0) | 2022.11.20 |
| implement_adagrad (0) | 2022.11.20 |
| implement_nesterovAcceleratedGradient (0) | 2022.11.20 |
