베이지안 확률

고전적, 빈도적 관점 : 반복 가능한 임의의 사건의 빈도수

베이지안 관점을 활용하여 확률을 이용하여 불확실성의 정량화 가능

다항식 곡선 피팅 예시에서, 관찰값에 대해서는 확률의 빈도적 관점을 적용하는 것이 적합해 보일 수 있지만, 적합한 모델 매개변수를 정하는 데 있어서의 불확실성을 수치화하고 표현하기 위해서는 베이지안 관점을 사용하여 확률론의 다양한 장치들을 활용하여 w 와 같은 모델 매개변수의 불확실성을 설명할 수 있다.

베이지안 정리는 관측값들을 이용하여 사전 확률을 사후 확률로 바꾸는 역할을 했다.

다항식 곡선 피팅 예시의 매개변수와 같은 값들을 추론해 내는 데 있어서도 비슷한 방식을 사용할 수가 있다.

먼저 데이터를 관측하기 전의 w 에 대한 가정을 사전 확률 분포 p(w) 로 표현할 수 있다.

관측된 데이터D 는 조건부 확률 p(D|w) 로써 작용하게 된다.

p(w|D) = p(D|w) (p(w) / p(D)

베이지안 정리의 형태, D 를 관측한 후의 w 에 대한 불확실성을 사후 확률로 표현한 것,

p(D|w) 는 관측 데이터 집합 D 를 바탕으로 계산된다. 이 값은 w 의 함수로 볼 수 있으며, 가능도 함수, likelihood function 라고 불린다.

가능도 함수는 각각의 다른 매개변수 벡터 w 에 대해 관측된 데이터 집합이 얼마나 그렇게 나타날 가능성이 있었는지를 표현한다.

가능도 함수 p(D|w) 는 베이지안 확률 관점과 빈도적 확률 관점 양측에서 굉장히 중요한 역할을 차지,

빈도적 확률 관점에서는 w 가 고정된 매개변수로 여겨지며, 그 값은 어떤 형태의 추정값을 통해서 결정된다. 그리고 추정에서의 오류는 가능한 데이터 집합들 D 의 분포를 고려함으로써 구할 수 있다.

베이지안 확률 관점에서는 하나의 데이터 집합 D 만이 존재하고 매개변수의 불확실성은 w 의 확률 분포를 통해 표현된다.

빈도적 확률 관점에서 널리 사용되는 추정값 중 하나는 최대 가능도 maximum likelihood 다. w 는 가능도 함수 p(D|w) 를 최대화하는 값으로 선택된다.

빈도적으로 오차를 측정하는 방법 중 하나가 bootstrap 방식, 각각의 데이터 집합에서의 예측치와 실제 매개변수 값과의 차이를 바탕으로 추정값의 통계적 정확도를 판단할 수가 있다.