3.9 흔히 쓰이는 확률분포들

3.9.1 베르누이 분포

이진 확률변수에 관한 분포, 이 분포는 0,1 로 제어되는데, 이 매개변수는 주어진 확률변수가 1일 확률을 결정한다. 

이 분포는 다음과 같은 성질들을 가지고 있다.

3.9.2 멀티누이 분포

서로 다른 상태가 k 개인 하나의 이상 변수에 관한 분포, k 는 유한한 값이다. 

 

3.9.3 가우스 분포

실수에 관한 분포 중 가장 흔히 쓰이는 것은 가우스 분포, 정규 분포이다.

정규분포는 두 매개변수, mu, sigma 가 제어한다. mu 는 가운데 부분에 있는 최고점의 위치를 결정한다. 이 매개변수는 분포의 평균값이기도 하다. 

sigma 는 분포의 표준편차이고 sigma^2 은 분산이다.

확률밀도함수를 평가하려면 sigma 의 제곱의 역수를 계산해야 한다. 서로 다른 매개변수들로 확률밀도함수를 자주 평가해야 한다면 분포의 분산의 역수에 해당하는 매개변수를 이용해서 분포를 매개변수화하는 것이 더 효율적이다. 이 매개변수는 분포의 정밀도에 해당한다.

기계 학습 응용에서는 정규분포를 선택하는 것이 합리적인 경우가 많다. 기계 학습이 다루는 실수 수치들의 분포가 구체적으로 어떤 것인지 알지 못하는 상황에서는 기본적으로 정규분포를 선택하는 것이 바람직, 주된 이유는 두 가지

첫째로, 우리가 모형화하고자 하는 분포 중에는 정규분포에 아주 가까운 것들이 많다. 중심극한정리에 따르면 다수의 독립 확률변수들의 합은 근사적으로 정규분포를 따른다. 실제 응용의 관점에서 이는 복잡한 시스템을 정규분포를 따른느 잡음을 이용해서 성공적으로 모형화할 수 있는 경우가 많다는 뜻이다. 심지어 시스템을 좀 더 구조적인 행동을 보이는 부분들로 분해할 수 있는 경우에도 정규분포잡음이 유용하다.

둘째로, 주어진 분포가 실수에 관한 불확실성을 얼마나 부호화할 수 있는지를 따진다고 할 때, 같은 분산을 가진 모든 가능한 분포 중에서 가장 많은 양의 불확실성을 부호화하는 것이 바로 정규분포이다. 다른 말로 하면, 정규분포는 모형에 주입하는 사전 지식의 양이 가장 적은 분포라고 할 수 있다. 

 

정규분포는 R^n 으로 일반화된다. 그런 분포를 다변량정규분포라고 부른다. 

이 분포를 다음과 같이 양의 정부호 대칭행렬로 매개변수화할 수 있다.

다변량정규분포에서도 매개변수 mu 는 분포의 평균에 해당하지만, 벡터이다. 

매개변수 sigma 는 분포의 공분산행렬에 해당한다. 단변량 정규분포에서처럼, 매개변수들을 다르게 해서 확률밀도함수를 여러 번 평가해야 한다면 공분산행렬로 분포를 매개변수화하는 것은 계산 비용 면에서 그리 효율적이지 않다. 확률밀도 함수를 계산하려면 sigma 의 역행렬을 구해야 하기 때문이다. 그러헥 하는 대신, 정밀도 행렬을 사용할 수 있다.

공분산행렬을 하나의 대각행렬로 고정하는 경우도 많다. 그보다 단순한 버전은 등방성 가우스 분포인데, 이 분포의 공분산행렬은 스칼라를 단위행렬에 곱한 것이다.

 

분포의 혼합

간단한 확률분포들을 결합해서 좀 더 복잡한 확률분포를 정의하는 경우도 많다. 분포들을 결합할 때 흔히 사용하는 한 가지 방법은 여러 분포로 하나의 혼합분포를 만드는 것이다. 

혼합분포는 다수의 분포들로 구성된다. 각 시행에서는 멀티누이 분포에서 추출한 단위 성분으로 혼합분포의 표본을 생성한다.