Softmax Semantic Specification

점수의 확률적 재해석

단순한 exp + normalize 연산이 아님

점수를 경쟁 가능한 확률 분포로 재해석하는 연산

• 절대값이 아니라
• 값 간 차이에 반응한다.

 

상대적 우위의 증폭

• 작은 차이 - 부드러운 확률
• 큰 차이 - 거의 one-hot

가설 간 상대적 우위를 비선형적으로 증폭하는 연산

 

정보 손실과 희소성

Semantic Saliency Masking

단순 수치 감소가 아니라 의미적 침묵 ( Semantic Silence ) 이다. 

일부 가설의 사실상 폐기

 

Active Hypothesis Set

모든 가설을 계산하지만, 실제 의미에 기여하는 것은 소수 가설

 

의미 보존 변환

Max-Shift Stabilization

S(x) = S(x - max(x))

 

확률적 불변성 Probabilistic Invariants

Sum-to-One Contract