ReLU : 비음수 제약 공간으로서의 사영과 선택적 정보 소실

1. 정의

Rectified Linear Unit 은 실수 입력에 대해 다음과 같이 정의

• ReLU(x) = max(0, x)

임계값, 0 을 기준으로 입력 공간으르 두 영역으로 나눈다.

그러나 그 의미는 단순히 음수를 0 으로 만든다는 동작에 그치지 않는다. 이는 비음수 제약 공간으로의 사영, 선택적 정보 소실, 영역 분할, 조각별 선형성 등의 성질을 함께 내포한다. 

 

2. 비음수 제약 공간으로의 사영

ReLU 는 실수 전체를 비음수 집합으로 보내는 함수 

보다 구체적으로 비음수 집합 위에서 가장 가까운 갑승로 보내는 사영으로 해석할 수 있다.

입력이 음수라면 비음수 집합에서 가장 가까운 값은 경계점 0 이다. 

각 좌표에 독립적으로 비음수 제약을 적용한다.

 

3. 고정점과 제약 만족 상태

변하지 않는 값은 모든 비음수 값이다.

ReLU 를 통과한 값은 비음수 제약을 만족, 다시 적용해도 그 값이 달라지지 않는다. 

이 성질은 ReLU 가 사영 연산이라는 사실과 직접 연결된다. 

특정 제약 공간으로 한 번 투영된 값은 같은 공간에 다시 투영할 필요가 없다.

 

4. 선택적 정보 보존

모든 입력 정보를 동일한 방식으로 처리하지 않는다.

4.1 양수 영역

항등 함수로 작동

4.2 음수 영역

0 으로 합쳐진다. 입력이 얼마나 작ㅇ느지, 얼마나 떨어져 있었는지는 출력에 남지 않음

 

이런 의미에서 선택적 정보 보존 연산이다.

 

5. 비가역성

전체 실수 공간에서 일대일 함수가 아니다.

여러 입력이 동일한 출력으로 보내지기 때문

때문에 전역적인 역함수를 가지지 않음, ( 음수 영역을 하나의 경계값으로 압축하느 ㄴ고자ㅓㅇ에서 비가역성 발생 )

 

6. 입력 공간의 영역 분할

입력이 어느 영역에 속하는지를 기준으로 서로 다른 규칙을 선택한다. 

 

7. 조각별 선형성

일반적인 선형성 조건이 성립하지 않음

 

8. 단조성

단조 증가 함수, 

더 작은 입력이 더 큰 출력으로 역전되지는 않는다. 

 

9. 멱등성

멱등 함수이다.

 

10. 양의 동차성

비음수 스케일에 대해 동차적

양의 동차성을 가짐

 

11. 볼록성

볼록 함수

두 아핀 함수의 점별 최댓값, 

아핀 함수들의 최댓값은 볼록 함수이므로 relu 역시 볼록,  

 

12. 연속성과 미분 가능성

모든 실수에서 연속

그러나 0 에서는 미분 불가능

연속이지만 한 점에서 매끄럽지 않은 함수

 

13. 기울기의 선택적 전달

도함수는 입력 영역에 따라 다름, 

순전파에서도 선택적 보존 뿐 아니라, 역전파에서도 기울기의 전달 여부를 선택하는 게이트로 작동한다. 

 

14. 거리를 확대하지 않는 성질

입력 차이를 유지하거나 축소할 수는 있지만, 자체적으로 확대하지는 않는다. 

 

15. 수학적 성질에서 유도되는 최적화

• 연속된 relu 제거
• 입력 범위에 따른 제거
• 양의 스케일 재배치
• clamp 와의 통합
• 출력 공간을 이용한 중복 제거
• 최댓값과의 재배치
• 원소별 독립성에 따른 합성

 

16. 성립하지 않는 변환

• 덧셈에 대한 분배
• 음의 스케일 이동
• 역연산에 의한 상쇄