1. 핵심 개념
옌센 부등식은 확률변수에 비선형 함수를 적용할 때, 다음 두 연산의 순서를 바꾸면 일반적으로 결과가 달라진다는 사실을 표현한다.
- 먼저 평균을 계산한 뒤 함수를 적용한다.
- 각각의 값에 함수를 적용한 뒤 평균을 계산한다.
확률변수 X와 볼록함수 f에 대해 다음이 성립한다.
f(E[X]) <= E[f(X)]
왼쪽은 평균적인 입력에 대한 함수값이다.
f(E[X])
오른쪽은 각각의 실제 입력에서 발생한 함수값의 평균이다.
E[f(X)]
따라서 볼록함수에서는 일반적으로 다음과 같다.
평균적인 상황의 비용
<=
여러 실제 상황에서 발생한 비용의 평균
이는 단순한 계산상의 차이가 아니다.
변동성이 존재한다는 사실 자체가 추가적인 비용을 만든다.
2. 볼록함수란 무엇인가
볼록함수는 그래프의 두 점을 직선으로 연결했을 때, 그 직선이 함수 그래프보다 위쪽에 놓이는 함수다.
두 값 x1, x2와 0 이상 1 이하인 비율 t에 대해 다음이 성립한다.
f(t x1 + (1-t) x2)
<=
t f(x1) + (1-t) f(x2)
왼쪽은 두 입력을 먼저 평균낸 뒤 함수에 넣은 값이다.
오른쪽은 각 입력에 함수를 적용한 뒤 그 결과를 평균낸 값이다.
예를 들어 다음 함수들은 볼록함수다.
f(x) = x^2
f(x) = |x|
f(x) = exp(x)
f(x) = -log(x), x > 0
볼록함수의 특징은 입력값이 한쪽으로 크게 벗어날수록 함수값이 점점 더 빠르게 증가한다는 것이다.
따라서 평균에서 벗어난 값들이 서로 상쇄되더라도, 그 값들이 만들어낸 비용까지 상쇄되지는 않는다.
3. 가장 단순한 예: 제곱함수
함수를 다음과 같이 두자.
f(x) = x^2
X가 -1과 1을 각각 절반의 확률로 가진다고 하면 평균은 0이다.
E[X] = 0
평균을 먼저 구한 뒤 제곱하면 다음과 같다.
f(E[X]) = 0^2 = 0
반면 각각을 먼저 제곱한 뒤 평균내면 다음과 같다.
E[f(X)]
= E[X^2]
= (1/2)(-1)^2 + (1/2)(1)^2
= 1
따라서 다음과 같다.
f(E[X]) = 0
E[f(X)] = 1
입력의 평균만 보면 아무런 변화도 없는 것처럼 보인다.
그러나 실제 값들은 평균 주변에서 계속 움직이고 있으며, 제곱함수는 그 변동을 양의 비용으로 바꾼다.
이 관계는 분산 공식으로 정확히 나타난다.
E[X^2] = (E[X])^2 + Var(X)
따라서 다음과 같이 쓸 수 있다.
E[f(X)] - f(E[X]) = Var(X)
제곱함수에서는 옌센 부등식으로 인해 발생하는 차이가 정확히 분산이다.
즉, 이 경우에는 변동성 자체가 그대로 추가 비용이 된다.
4. 옌센 간극
두 값의 차이를 다음과 같이 정의할 수 있다.
J = E[f(X)] - f(E[X])
이를 옌센 간극 또는 Jensen gap이라고 부른다.
볼록함수에서는 항상 다음과 같다.
J >= 0
옌센 간극이 크다는 것은 다음 중 하나 이상을 의미한다.
- 입력의 변동성이 크다.
- 함수의 곡률이 크다.
- 극단적인 값이 자주 발생한다.
- 함수가 극단적인 입력을 강하게 증폭한다.
따라서 평균이 동일한 두 분포라도 변동성이 다르면 평균 비용은 달라질 수 있다.
예를 들어 다음 두 상황을 비교해보자.
상황 A: 항상 10
상황 B: 절반은 0, 절반은 20
두 상황의 평균은 모두 10이다.
E[X_A] = E[X_B] = 10
그러나 비용함수가 제곱이라면 다음과 같다.
상황 A의 평균 비용 = 10^2 = 100
상황 B의 평균 비용
= (0^2 + 20^2) / 2
= 200
평균적인 양은 같지만, 불균일한 상황이 두 배의 비용을 만든다.
5. 곡률과 변동성의 관계
함수가 충분히 매끄럽고 X가 평균 주변에서 크게 벗어나지 않는다면, 테일러 전개를 통해 옌센 간극을 근사할 수 있다.
평균을 다음과 같이 두자.
mu = E[X]
그러면 대략 다음과 같다.
E[f(X)]
≈
f(mu) + (1/2) f''(mu) Var(X)
따라서 옌센 간극은 다음처럼 근사된다.
E[f(X)] - f(E[X])
≈
(1/2) f''(E[X]) Var(X)
이 식은 옌센 부등식의 의미를 매우 직접적으로 보여준다.
추가 비용은 크게 두 요소에 의해 결정된다.
추가 비용
≈
함수의 곡률 × 입력의 분산
분산이 크더라도 함수가 거의 직선이라면 차이는 작다.
반대로 분산이 작더라도 함수의 곡률이 매우 크다면 차이가 커질 수 있다.
즉, 변동성이 언제나 동일한 위험을 만드는 것은 아니다.
변동성이 어떤 비용을 만드는지는 그 변동을 받아들이는 함수의 형태에 의해 결정된다.
6. 선형함수에서는 차이가 없다
함수가 선형이라면 평균과 함수의 순서를 바꿀 수 있다.
f(x) = ax + b
이때는 다음이 정확히 성립한다.
f(E[X]) = E[f(X)]
실제로 다음과 같다.
E[aX + b]
= aE[X] + b
= f(E[X])
따라서 평균을 먼저 계산해도 정보 손실이 없다.
옌센 부등식에서 차이를 만들어내는 것은 단순히 확률성이 아니라 비선형성이다.
확률적 변동 + 비선형 변환
→ 평균만으로는 결과를 설명할 수 없음
7. 오목함수에서는 방향이 반대다
함수가 오목함수라면 부등식의 방향이 반대가 된다.
f(E[X]) >= E[f(X)]
대표적인 오목함수는 로그함수다.
f(x) = log(x)
따라서 양수인 확률변수 X에 대해 다음이 성립한다.
E[log X] <= log(E[X])
이 관계는 산술평균과 기하평균의 관계로도 이어진다.
기하평균 <= 산술평균
오목함수에서는 입력의 변동성이 평균 함수값을 감소시키는 방향으로 작용한다.
예를 들어 효용이 소득에 대해 오목하게 증가한다면, 같은 평균 소득을 가진 경우에도 소득 변동성이 큰 상황의 평균 효용은 더 낮다.
이것이 위험 회피를 수학적으로 표현하는 한 가지 방법이다.
8. 금융 위험에서의 의미
금융에서는 평균 수익률만으로 투자 결과를 충분히 설명할 수 없다.
예를 들어 자산 가격이 첫날 50% 상승하고 다음 날 50% 하락했다고 하자.
초기 자산을 100이라고 하면 다음과 같다.
100 × 1.5 × 0.5 = 75
수익률의 단순 평균은 0%다.
(+50% - 50%) / 2 = 0%
하지만 실제 자산은 100에서 75로 감소한다.
이는 복리 과정이 덧셈이 아니라 곱셈으로 이루어지기 때문이다.
장기 성장률을 분석할 때는 로그함수가 등장한다.
장기 평균 성장률 = E[log(1 + R)]
로그함수는 오목하므로 다음과 같다.
E[log(1 + R)]
<=
log(1 + E[R])
따라서 평균 수익률이 같더라도 변동성이 큰 자산은 장기 복리 성장률이 더 낮아질 수 있다.
이를 흔히 변동성 손실 또는 volatility drag라고 해석한다.
핵심은 다음과 같다.
평균 수익률이 같다고 해서
장기적으로 같은 결과를 만드는 것은 아니다.
9. 위험과 비용이 비선형적으로 증가하는 경우
현실의 많은 비용은 선형적으로 증가하지 않는다.
예를 들어 시스템의 부하가 정상 용량을 초과할 때 비용이 급격히 증가한다고 하자.
부하가 50일 때 비용: 25
부하가 100일 때 비용: 100
부하가 150일 때 비용: 225
비용이 부하의 제곱에 비례한다면, 평균 부하만 관리하는 것으로는 충분하지 않다.
평균 부하가 100으로 같더라도 다음 두 시스템은 서로 다르다.
시스템 A: 항상 부하 100
시스템 B: 절반은 부하 50, 절반은 부하 150
시스템 A의 평균 비용은 다음과 같다.
100^2 = 10000
시스템 B의 평균 비용은 다음과 같다.
(50^2 + 150^2) / 2
= 12500
평균 부하는 같지만, 부하가 흔들리는 시스템이 더 많은 비용을 발생시킨다.
따라서 시스템 설계에서는 평균값뿐 아니라 분산, 꼬리 위험, 극단값을 함께 관리해야 한다.
10. 통계적 추정에서의 의미
통계에서는 추정량의 평균이 정확하더라도, 추정량을 비선형적으로 변환하면 편향이 생길 수 있다.
예를 들어 어떤 양 theta의 불편추정량을 T라고 하자.
E[T] = theta
그러나 제곱값을 추정하기 위해 T^2를 사용하면 다음과 같다.
E[T^2]
=
(E[T])^2 + Var(T)
=
theta^2 + Var(T)
따라서 일반적으로 다음과 같다.
E[T^2] != theta^2
T는 theta에 대해 불편하지만, T^2는 theta^2에 대해 불편하지 않다.
즉, 추정량의 불편성은 비선형 변환을 통과하면서 보존되지 않는다.
E[T] = theta
라고 해서 일반적으로 다음이 성립하는 것은 아니다.
E[f(T)] = f(theta)
옌센 부등식은 이러한 변환 편향이 어디서 발생하는지를 설명한다.
11. 딥러닝에서의 핵심 의미
딥러닝 모델은 대부분 비선형함수의 연속적인 합성으로 구성된다.
입력
→ 선형변환
→ ReLU
→ 선형변환
→ Softmax
→ 손실함수
따라서 여러 입력의 평균을 먼저 계산하여 모델에 넣은 결과와, 각각의 입력을 모델에 넣은 뒤 출력을 평균낸 결과는 일반적으로 다르다.
모델을 F라고 하면 다음 관계는 보통 성립하지 않는다.
F(E[X]) = E[F(X)]
선형모델에서는 성립할 수 있다.
F(x) = Wx + b
이 경우 다음과 같다.
F(E[X])
=
W E[X] + b
=
E[WX + b]
=
E[F(X)]
하지만 ReLU, sigmoid, softmax, attention과 같은 비선형 연산이 포함되면 일반적으로 두 값은 달라진다.
비선형 모델에서는
평균 입력이 평균 출력을 대표하지 않는다.
12. ReLU에서의 간단한 예
ReLU는 다음과 같다.
ReLU(x) = max(0, x)
X가 -1과 1을 각각 절반의 확률로 가진다고 하자.
평균 입력은 0이다.
E[X] = 0
평균을 먼저 넣으면 다음과 같다.
ReLU(E[X])
=
ReLU(0)
=
0
각 입력에 ReLU를 적용한 뒤 평균내면 다음과 같다.
E[ReLU(X)]
=
(0 + 1) / 2
=
0.5
따라서 다음과 같다.
ReLU(E[X]) = 0
E[ReLU(X)] = 0.5
입력 평균만 보면 활성화가 전혀 없는 것처럼 보인다.
하지만 실제 데이터에서는 절반의 입력이 활성화되고 있다.
평균 입력은 서로 다른 활성화 패턴을 제거한다.
이 때문에 신경망에서는 평균 입력 하나만으로 전체 데이터의 반응을 대표할 수 없다.
13. 손실함수와 배치 평균
딥러닝 학습에서는 일반적으로 각 샘플의 손실을 계산한 뒤 평균낸다.
L_batch
=
(1/N) Σ L(y_i, F(x_i))
이는 다음과는 다르다.
L(
평균 정답,
평균 예측
)
또는 다음과도 다르다.
L(
정답,
평균 로짓
)
손실함수가 볼록하고 정답이 동일하게 고정된 경우에는 옌센 부등식에 의해 다음과 같은 관계가 나타날 수 있다.
L(y, 평균 로짓)
<=
평균 L(y, 각 로짓)
즉, 평균 로짓에 대한 손실은 실제 샘플별 평균 손실보다 작게 나타날 수 있다.
이는 평균을 먼저 내면 샘플별 예측의 불안정성과 극단적인 오차가 가려지기 때문이다.
따라서 배치 학습에서 평균 손실은 단순히 평균 입력에 대한 손실로 대체할 수 없다.
각 샘플에서 발생한 오차를 먼저 계산해야 데이터의 변동성과 실패 사례가 손실에 반영된다.
14. 평균 예측과 앙상블
여러 모델의 출력을 평균내는 앙상블에서도 옌센 부등식이 나타난다.
모델들의 예측 확률을 각각 다음과 같이 두자.
p1, p2, ..., pn
로그 손실은 다음과 같다.
L(p) = -log(p)
-log 함수는 볼록하므로 다음이 성립한다.
-log(E[p])
<=
E[-log(p)]
즉, 모델들의 확률을 먼저 평균낸 뒤 로그 손실을 계산한 값은, 각 모델의 로그 손실을 평균낸 값보다 작거나 같다.
앙상블 예측의 손실
<=
개별 모델 손실의 평균
이는 앙상블이 단순히 정확도를 투표로 높이는 것 이상의 의미를 가진다는 점을 보여준다.
각 모델의 변동성이 평균 과정에서 완화되고, 볼록한 손실함수가 극단적인 오답에 부과하던 비용이 줄어들 수 있다.
15. Dropout과 기대값
Dropout에서는 학습 중 일부 활성값을 무작위로 제거한다.
입력 또는 활성값을 h, 무작위 마스크를 M이라고 하면 대략 다음과 같이 표현할 수 있다.
h_dropout = M ⊙ h
선형 연산만 존재한다면 기대값을 통과시킬 수 있다.
E[W(M ⊙ h)]
=
W E[M ⊙ h]
그러나 그 뒤에 비선형 활성함수 f가 존재하면 일반적으로 다음은 성립하지 않는다.
E[f(W(M ⊙ h))]
=
f(W E[M ⊙ h])
즉, Dropout의 평균 마스크를 사용하는 결정론적 네트워크가 무작위 Dropout 네트워크의 정확한 평균과 동일한 것은 아니다.
추론 시 사용하는 스케일 조정은 기대값을 근사적으로 맞추는 방식이지, 전체 비선형 네트워크의 출력을 정확히 평균내는 방식은 아니다.
비선형성이 들어가는 순간, 기대값만 맞추는 것으로 분포 전체의 효과를 보존할 수 없다.
16. 배치 정규화와 평균의 한계
Batch Normalization은 배치의 평균과 분산을 사용한다.
x_hat = (x - mu) / sqrt(sigma^2 + epsilon)
여기서 중요한 것은 평균만으로는 충분하지 않다는 점이다.
같은 평균을 가진 두 배치라도 분산이 다르면 정규화 결과는 달라진다.
또한 Batch Normalization 이후에 비선형함수가 적용되면 다음이 일반적으로 달라진다.
비선형함수(평균적으로 정규화된 값)
과
정규화된 각각의 값에 비선형함수를 적용한 평균
딥러닝에서 평균과 분산을 함께 추적하는 이유 중 하나는 비선형 연산이 데이터의 분포 형태에 민감하기 때문이다.
17. 열역학과 통계물리에서의 의미
열역학과 통계물리에서는 거시적인 물리량이 미시 상태들의 평균으로부터 만들어진다.
그러나 에너지, 엔트로피, 자유에너지처럼 로그함수나 지수함수가 포함된 물리량에서는 평균의 순서가 중요하다.
예를 들어 자유에너지에는 다음과 같은 형태가 등장한다.
F = -kT log Z
분배함수 Z는 여러 미시 상태의 지수 가중합이다.
Z = Σ exp(-E_i / kT)
여기에서는 평균 에너지를 먼저 구한 뒤 지수함수에 넣는 것과, 각 에너지에 지수함수를 적용한 뒤 합산하는 것이 전혀 다른 결과를 만든다.
exp(-E[E] / kT)
와
E[exp(-E / kT)]
는 일반적으로 같지 않다.
낮은 에너지 상태와 높은 에너지 상태가 단순히 평균으로 상쇄되지 않는 이유도 지수함수의 비선형성 때문이다.
18. 극단적 사건이 평균 비용을 지배하는 이유
볼록함수는 큰 입력값에 점점 더 큰 가중치를 부여한다.
예를 들어 비용함수가 다음과 같다고 하자.
f(x) = x^2
오차가 1에서 2로 두 배가 되면 비용은 1에서 4로 네 배가 된다.
오차가 2에서 4로 두 배가 되면 비용은 4에서 16으로 다시 네 배가 된다.
따라서 소수의 큰 오차가 전체 평균 비용을 지배할 수 있다.
평균 오차는 작지만
평균 제곱 오차는 클 수 있다.
이것은 MSE가 큰 오차를 강하게 벌하는 이유이기도 하다.
반대로 절댓값 손실은 다음과 같다.
f(x) = |x|
절댓값은 볼록하지만 제곱함수보다 곡률 효과가 작다.
따라서 극단값에 상대적으로 덜 민감하다.
손실함수의 선택은 단순한 계산 방식의 선택이 아니다.
어떤 종류의 변동성과 극단값에
얼마나 큰 비용을 부과할 것인가
를 결정하는 것이다.
19. 평균은 분포를 대표하지 않는다
옌센 부등식이 보여주는 더 근본적인 사실은 평균 하나만으로는 비선형 시스템의 출력을 예측할 수 없다는 것이다.
서로 다른 두 확률분포가 같은 평균을 가질 수 있다.
분포 A: 항상 0
분포 B: -10과 10을 절반씩 가짐
두 분포의 평균은 모두 0이다.
그러나 제곱함수에 통과시키면 다음과 같다.
분포 A의 E[X^2] = 0
분포 B의 E[X^2] = 100
따라서 비선형 시스템에서는 평균뿐 아니라 다음 정보들이 중요하다.
- 분산
- 왜도
- 첨도
- 극단값
- 확률분포의 꼬리
- 값들 사이의 상관관계
평균은 분포를 하나의 숫자로 압축한 결과다.
선형 시스템에서는 이 압축이 충분할 수 있지만, 비선형 시스템에서는 평균을 계산하는 순간 중요한 정보가 사라질 수 있다.
20. 옌센 부등식이 말하는 핵심 구조
옌센 부등식은 다음 세 요소가 결합될 때 발생한다.
불확실성 또는 변동성
+
비선형 변환
+
평균화
이 세 요소의 순서는 교환되지 않는다.
변환 후 평균
!=
평균 후 변환
볼록함수에서는 다음과 같다.
변환 후 평균
>=
평균 후 변환
오목함수에서는 다음과 같다.
변환 후 평균
<=
평균 후 변환
따라서 평균만을 이용해 현실을 단순화할 때에는 반드시 물어야 한다.
평균을 내기 전에 어떤 비선형 과정이 존재하는가?
비선형 과정이 존재한다면 평균적인 사례는 실제 평균 결과를 대표하지 않을 수 있다.
21. 등호가 성립하는 경우
볼록함수에서 다음이 성립한다.
f(E[X]) = E[f(X)]
대표적으로 두 경우가 있다.
1. X에 변동성이 없는 경우
X가 항상 동일한 값을 가진다면 다음과 같다.
X = c
따라서 다음이 성립한다.
E[f(X)] = f(c) = f(E[X])
변동성이 없으므로 옌센 간극도 없다.
2. 함수가 해당 구간에서 선형인 경우
함수가 X가 가질 수 있는 범위에서 직선이라면 평균과 변환의 순서를 바꿀 수 있다.
ReLU는 전체적으로는 비선형이지만 양수 영역에서는 선형이다.
따라서 모든 입력이 양수라면 다음과 같다.
ReLU(E[X]) = E[ReLU(X)]
하지만 입력이 0을 경계로 양수와 음수에 걸쳐 분포하면 등식이 깨진다.
즉, 중요한 것은 함수가 전체적으로 비선형인지뿐 아니라, 실제 데이터가 함수의 어느 영역에 분포하는지다.
22. 철학적 해석
옌센 부등식은 평균적인 세계가 실제 세계들의 평균과 동일하지 않다는 사실을 보여준다.
평균적인 사람, 평균적인 날씨, 평균적인 시장, 평균적인 입력은 수학적으로 정의할 수 있다.
하지만 실제 세계는 평균 상태 하나로 존재하는 것이 아니다.
서로 다른 상태들이 각각 발생하고, 각 상태는 비선형적인 결과를 만든다.
그 결과들을 평균낸 값은 평균 상태에서 발생하는 결과와 다르다.
평균적인 원인이
평균적인 결과를 만든다고 가정할 수 없다.
특히 비용, 위험, 손실처럼 극단적인 상태에 더 큰 가중치를 부여하는 함수에서는 변동성이 단순한 잡음이 아니다.
변동성은 결과를 체계적으로 한 방향으로 이동시킨다.
따라서 옌센 부등식은 다음과 같은 문장으로 요약할 수 있다.
비선형적인 세계에서는
평균만으로 현실을 대체할 수 없다.
23. 최종 정리
볼록함수 f와 확률변수 X에 대해 다음이 성립한다.
f(E[X]) <= E[f(X)]
이는 다음 두 값이 다르다는 뜻이다.
평균적인 입력에 대한 결과
와
실제 입력들에서 발생한 결과의 평균
볼록함수에서는 변동성이 평균 비용을 증가시킨다.
변동성 자체가 비용을 만든다.
제곱함수에서는 그 추가 비용이 정확히 분산으로 나타난다.
E[X^2] - (E[X])^2 = Var(X)
보다 일반적으로는 다음과 같이 이해할 수 있다.
추가 비용
≈
함수의 곡률 × 입력의 분산
딥러닝에서는 비선형 연산이 반복되므로 일반적으로 다음이 성립하지 않는다.
F(E[X]) = E[F(X)]
따라서 평균 입력 하나를 모델에 넣은 결과는 여러 실제 입력에 대한 평균 출력을 대표하지 않는다.
옌센 부등식은 금융, 통계, 열역학, 머신러닝에서 반복적으로 나타나는 동일한 구조를 설명한다.
평균화와 비선형 변환은 서로 교환되지 않는다.
그리고 그 차이는 단순한 수학적 오차가 아니라, 현실에 존재하는 변동성과 불확실성이 실제 결과를 바꾸는 방식이다.
'명징직조' 카테고리의 다른 글
| 기계어와 회로 연산 (0) | 2026.07.08 |
|---|---|
| 신경망은 왜 필요한 것보다 큰가 - MEASURING THE INTRINSIC DIMENSIONOF OBJECTIVE LANDSCAPES (0) | 2026.07.06 |
| 규모 불변성과 거듭제곱 법칙 - 확대해도 같은 구조가 나타나는 이유 (0) | 2026.07.06 |
| AI 와 양자 컴퓨팅의 대비 - 특정한 수학적 구조를 정확히 찾아낸 경우에만 강력해지는 계산 방식 (0) | 2026.07.01 |
| AI 는 문제를 푸는가, 문제를 특정 표현으로 바꾸는가 - 강력한 패러다임이 연구 사고를 제한할 수 있다. (0) | 2026.07.01 |