BatchNorm Semantic Specification

집단적 기준 재설정 ( Collective Re-centering )

개별 샘플의 내부 분포를 정렬하는 것이 아니라, 

동일 채널에 대해 샘플 집단 전체의 통계 기준을 강제한다

• 샘프을 독립적으로 해석하지 않음
• 집단 기준 좌표계로 재해석

LayerNorm 과 본질적으로 다른 의미를 갖는다. 

 

Cross-Sample Coupling

한 샘플의 출력이 다른 출력의 수치에 의존된다.

집단 통계에 의해 개별 표현이 재정의되는 연산

 

Semantic Coupling Leakage

특정 샘플이 채널 통계를 지배하는 경우

• 평균 왜곡
• 분산 왜곡
• 정상 샘플 표현까지 변형

집단 계약인 동시에 집단 오염의 위험 내포

 

기하학적 해석

채널별 집단 분포 정렬

채널 단위로

• 평균 제거
• 분산 정규화

배치 차원에서 채널 분포를 도잉ㄹ 스케일로 맞춘다.

 

확률적 정규화 효과

배치 통계는 추정값

• 큰 배치 - 안정적 분포
• 작은 배치 - 노이즈 증가

BN 은 

통계 추정 노이즈를 통한 암묵적 정규화 효과