BiasAdd / ResidualAdd Semantic Specification

Add 는 상태 병합이다

덧셈은 단순 elementwise aritgmetic 이 아니라

의미 계층에서 다음과 같이 해석

두 표현 상태의 병함 State Merge

BiasAdd 는 에너지 기준 이동

ResidualAdd 는 기억과 교정의 결합

 

ResidualAdd 의 정보 보충 관점

Y = X + R

R : 기준 신호

X : 보충 신호

기존 표현이 설명하지 못한 오차를 보완하는 교정 연산

 

Residual as Error Correction

X 값이 더 작다면, 새로운 의미 창출이 아닌 기존 의미의 미세 보정

 

기하학적 해석

BiasAdd는 평행 이동

• pairwise difference
• subspace
• rank 들의 유지

표현 공간의 원점 이동

 

ResidualAdd 는 매니폴드 결합 ( Manifold Coupling )

두 표현 공간의 결합

• X : 현재 계층의 생성 표현
• R : 이전 계층의 유지 표현

결합 후 표현 공간의 유효 부피는 변화 가능

 

Distribution Alignment Constraint

• mean (X) >> mean (R)
• var (X) >> var (R)

이면 단순 Add 가 아니라

표현 공간 충돌 Representation Misalignment 로 해석된다.

 

의미적 동일성

Topological Invariance (Bias Add)

BiasAdd 는 다음을 보존

• pariwise distance
• kNN 구조
• ranking 구조

downstream 이 scale-sensitive 하지 않을 때만 완전 보장

 

Relative Ordering Preservation (ResidualAdd)

ResidualAdd 이후에도

• row 내 순위 유지
• 의미적 결정 경계 유지