ReLU Semantic Specification - 비선형 게이팅 / 반공간 정류

1) 한 줄 정의

ReLU 는 입력 공간을 0 하이퍼플레인으로 양 / 음 반공간으로 자른 뒤, 음수 반공간을 완전 소러하고 양수 반공간만 항등으로 통과시키는 게이트 연산자

 

2) 이 연산이 만들어내는 의미론적 변화

모델의 표현을 이와 같이 바꾼다

• 부호 정보 삭제 
• 희소성 생성 : 활성 / 비활성 패턴이 생긴다
• 조각별 선형 구조 : 전체 함수는 비선형, 영역을 나누면 선형

정보의 일부를 버리는 대신, 결정 경계와 희소성을 만들어 학습을 쉽게 한다.

 

3) Canonical Form 을 의미 단위로 분해

(A) 결정 경계 (Zero Hyperplane)

• 0 은 상태 전이 경계

(B) 음수 반공간 소거 (Negative Half-space Erasure)

• ReLU 의 정보 손실은 버그가 아닌 의도된 설계

(C) 양수 반공간 항등 (Positive Half-space Identity)

• 활성 상태는 신호는 왜곡 없이 통과

 

4) Axes 의미론

N : Neurons (독립 의사결정 단위)

• 각 요소는 독립적으로 통과 / 침묵을 결정
• 완전한 elementwise 병렬 연산, 의미적으로 coupling 이 없다.

Boundary : Zero Hyperplane (활성 / 비활성 분기점)

• 차원이라기보단, 모델이 도입한 분기 구조
• 이 경계는 표현의 토폴로지를 바꾼다. 

 

5) Invariants (ReLU 가 지켜야 하는 계약)

INV_NONNEGATIVITY - 비음수 계약

• 후속 연산에서 부호 비트를 의미상 불필요하게 만들 수 있음

INV_LINEARITY_POS - 양수 영역 선형성

• 활성 상태에서의 ReLU 는 신호를 왜곡하면 안 된다.

INV_SPARSITY_PATTERN - 희소성 패턴

• 0의 비율