1.2.2 기댓값과 공분산

확률과 관련된 가장 중요한 계산 중 하난느 함숫값들이 가중 평균을 구하는 것이다. 확률 밀도 p(x) 하에서 어떤 함수 f(x) 의 평균값은 f(x) 의 기댓값 expectation 라 하며,  E|f| 라 적는다. 

이산 분포의 경우 기댓값은 다음과 같이 주어진다.

E|f| = ∑p(x)f(x)

각 x 값에 대해 해당 확률을 가중치로 사용한 가중 평균을 구하는 것이다. 연속 변수의 경우에는 해당 확률 밀도에 대해 적분을 시행해서 기댓값을 구할 수 있다.

 

만약 유한한 N 개의 포인트를 확률 분포 또는 확률 밀도에서 추출했다면, 이산/연속 모든 경우에 각 포인트들의 유한한 합산으로 기댓값을 근사할 수 있다.

E|f| ~= 1/N ∑f(x_n)

다변수 함수의 기댓값을 구할 경우에는 어떤 변수에 대해 평균을 내는지를 지정하여 계산할 수 있다.

또한, 조건부 분포에  해당하는 조건부 기댓값 conditional expectation 도 생각해 볼 수 있다.

 

 

f(x) 의 분산 variance 는 다음과 같이 정의된다.

var|f| = E[f(x) - E[f(x)])^]

분산은 f(x) 가 평균값으로부터 전반적으로 얼마나 멀리 분포되어 있는지를 나타낸 값이다.

위 식을 전개하면 분산을 f(x) 와 f(x)^2 의 기댓값으로 표현할 수도 있다.

 

var[f] = E[f(x)^2] - E[f(x)]^2

 

변수 x 그 자체의 분산도 고려해 볼 수 있다.

var[x] = E[x^2] - E[x]^2

두 개의 확률 변수 x 와 y 에 대해서 공분사 covariance 는 다음과 같이 정의된다.

cov[x, y] = E_x,y[{x - E[x]}{y - E[y]}] = E_x,y[xy] - E[x]E[y]

공분산은 x 값과 y 값이 얼마나 함께 같이 변동하는가에 대한 지표다.

두 변수가 서로 독립적일 경우 공분산은 0으로 간다.

 

두 확률 변수 x, y 가 벡터일 경우에 공분산은 행렬이 된다

cov[x, y] = E_x,y [{x - E[x]}{y^T - E[y^T]}] = E_x,y[xy^T] - E[x]E[y^T]