3.8 기댓값, 분산, 공분산

확률분포 P(x) 에 대한 함수 f(x) 의 기댓값은 P 에서 뽑은 x 들에 대한 f 값들의 평균을 뜻한다. 

이산 변수의 경우에는 다음처럼 합산으로 기댓값을 계산할 수 있다.

연속 변수의 경우에는 적분으로 계산한다.

확률분포를 문맥에서 확실히 알 수 있을 때는 해당 기호를 생략하고 확률변수의 이름만 표기한다. 

E_x[f(x)] 가 그러한 예, 확률변수까지 확실한 경우에는 아래첨자를 아예 생략할 수 있다.

기댓값은 선형적이다. 예를 들어 a,b 가 x 에 의존하지 않는다고 할 때 다음이 성립한다.

분산 variance 은 확률변수 x 의 함수가 해당 확률분포에서 비롯한 x 의 여러 값들에 따라 어느 정도나 변하는지를 나타내는 측도이다.

분산의 정의

분산이 작다는 것은 f(x) 값들이 기댓값 주변에 몰려 있다는 뜻, 분산의 제곱근을 표준편차 standard deviation 라고 부른다.

 

공분산 covariance 는 두 값의 선형 관계가 어느 정도인지, 그리고 그 값들의 규모가 어느 정도인지 말해 주는 측도이다.

공분산의 절댓값이 크다는 것은 값들이 아주 크게 변하며, 둘 다 해당 ㅕㅍㅇ균에서 동시에 크게 벗어남을 뜻한다.

공분산이 양수이면 동시에 상대적으로 큰 값을 가지는 경향이 있다. 음수일 경우 반대,

그외의 측도로 상관계수 correlation 개별 변수의 규모에는 영향을 받지 않고 변수들의 관계만 측정하기 위해 각 변수의 기여를 정규화한 것이다.

 

공분산은 종속과 관련이 있긴 하지만, 둘은 서로 구별되는 개념이다. 

만일 두 변수가 독립이면 공분산은 0이고, 둘이 종속이면 공분산은 0이 아니라는 것이다. 한편 독립은 공분산과는 개별적인 성질이다. 

두 변수의 공분산이 0이 되려면 둘 사이에 선형 종속관계가 존재하지 않아야 한다. 독립의 조건은 공분산이 0이라는 조건보다 강하다. 

두 변수가 독립이려면 비선형적인 관계도 없어야 하기 때문, 두 변수가 종속이더라도 공분산은 0일 수도 있다. 

예를들어 -1~1 구간에 관한 균등분포에서 실수 x 를 추출하고, 그런 다음 -1과 1 중 하나를 1/2 확률로 선택해서 확률변수 s 의 값으로 둔다고 하자. 그런 다음 y = sx 로 배정해서 확률변수 y 를 만든다. 이 경우, y 의 크기는 전적으로 x 의 값에 따라 결정되므로 x 와 y 는 독립이 아님이 확실하다. 그렇지만 Cov(x,y) = 0 이다.

 

확률 벡터의 공분산행렬은 다음을 만족하는 n*n 행렬이다. 

이러한 공분산행렬의 주대각 성분은 분산이다.