AdamStep Semantic Specification - 상태 진화 기반 확률적 최적화 연산자

잡음이 포함된 기울기 신호를 안정적으로 통합하여 파라미터를 진화시키는 시계열 제어 시스템

 

1. 연산의 존재 이유

단순한 gradient update 가 아니다.  

기본 SGD 의 모습

하지만 실제 g_t 는

• 노이즈 포함
• 분산 불안정
• 초기 단계에서 편향
• 스케일 민감

Adam 은 이를 해결하기 위해 3개의 보정 계층을 도입한다.

1. 방향성 평균화
2. 스케일 적응
3. 시간 편향 보정

단순 업데이트가 아닌, 노이즈 제거 + 방향성 축적 + 스케일 정규화 + 안정성 제어를 수행하는동적 상태 시스템

 

2. 수학적 정의

• m_t : 1차 모멘트 (방향성)
• v_t : 2차 모멘트 (분산 추정)
• m_hat_t, v_hat_t : bias corrected 값
• epsilon : 수치 안정성 상수
• LAMBDA : weight decay

 

3. 의미론적 구조

하나의 연산이 아니라 다음 4단계 의미 흐름으로 구성된다.

(A) 신호 통합 단계 (Semantic Decomposition)

• 기울기의 지수 평균
• 고주파 잡음 제거
• 방향성 축적

의미 : 확률적 샘플링 잡음을 저역통과 필터로 걸러낸다.

 

(B) 불확실성 추정 단계 (Uncertainty Estimation)

• 분산 근사
• 크기 정보 추적
• 스케일 감지

의미 : 얼마나 위험한 방향인가를 측정하는 척도

 

(C) 정규화 단계 (Adaptive Scaling)

• 분산으로 나누어 업데이트 스케일을 조정
• 큰 gradient 는 줄이고
• 작은 gradient 는 상대적으로 확대

의미 : 좌표계 적응

 

(D) 진화 단계 (State Transition)

• 지식 상태 업데이트
• 동적 시스템의 다음 상태 생성

 

4. 핵심 의미론적 속성 (Core Semantic properties)

1) 시계열 상태 연산자 (Stateful Operator)

AdamStep 은 pure function 이 아니다.

입력

• g_t
• m_(t-1), v_(t-1)
• theta_t
• t

출력

• theta_(t+1)
• m_t, v_t

즉, 상태 진화 연산자

 

2) 파라미터 독립성 (Axis P Independence)

모든 파라미터 P 에 대해 독립적으로 적용된다.

• 병렬화 가능
• 각 요소는 동일한 제어 법칙을 따름
• Coupling 없음

 

3) 안정성 보장 메커니즘

AdamStep 은 세 가지 안전 장치를 가진다.

Epsilon Safety

• 분모 0 방지
• NaN 방지

 

Trust Region Effect

분산이 클수록 업데이트 작아짐

• 위험한 방향은 자동 감쇠

 

Bias Correction

초기 단계에서

• 0으로 편향되는 문제 해결
• 초기 수렴 가속

 

5. 의미론적 불변성 (Invariants)

다음 조건을 만족해야 한다.

1) t 는 단조 증가

Bias correction 의 전제 조건

2) v_t >= 0

분산 추정의 의미 보존

3) 분모 Strict Positive

수치적 안정성

4) 업데이트 폭 제한

신뢰 영역 유지

 

6. AdamW 의 믜미 확장

AdamW 는 다음 항을 분리

Weight decay 를 gradient 와 분리하여

• 정규화 효과 명확하
• L2 panalty 와의 의미적 혼동 제거

 

7. 의미론적 재해석 (Higher-Level Interpretation)

AdamStep 은 노이즈가 있는 환경에서, 자기-조정 학습률을 가진, 2차 근사 기반 확률적 제거 시스템

구조적으로 말하면

좌표별 적응ㅈ거 preconditioner 가 붙은 1차 최적화

 

8. 계산 복잡도 vs 의미 복잡도

연산 자체는 O(P)

하지만 의미적으론

• 2개의 상태 변수
• 시간 의존성
• 안정성 제약
• 분산 기반 정규화

계산은 단순하지만 의미론은 다층 구조

 

9. 왜 이 연산이 Memory Bound 인가 (Semantic 관점)

• 4개의 벡터 읽기 (theta, g, m, v)
• 3개의 벡터 쓰기 (theta, m, v)

FLOPs는 적지만 데이터 이동이 지배적

의미적으로는 상태 전이 연산자, 물리적으로는 메모리 스트리밍 연산자

fused kernel 이 필수인 이유