ReLU Semantic Specification

공간의 정류 Informatino Rectification

단순 max 연산이 아닌

음수 신호의 제거, 양수 신호를 남기는 정류 Rectification 연산

네트워크에 단방향성을 부여한다. 

 

표현 희소성

Semantic Sparsity Generation

단순 수치 0 이 안인

의미적 희소성 Semantic Sparsity - 표현 밀도 감소

 

표현의 선명도 Representation Clarity

clipping_ratio

음수 영역이 제거된 비율 

높을수록 희소성 강함

positive_tail_energy

양수 영역에 남아있는 신호 에너지

 

의미적 동일성

Boundary Preservation Contract

ReLU 의 핵심은 값이 아니라 부호 결정이다. 

 

Near-Boundary Sensitivity

작은 오차로 활성 / 비활성 전환

• zero_threshold_proximity 높으면 고정밀 필요
• 경계에서의 오차는 의미적 전환을 유발

 

Linearity - Zone Contract

ReLU 는 부분 선형 연산, Identity 와 동일