패턴인식과 머신러닝

1.2.6 베이지안 곡선 피팅

명징직조지훈 2023. 6. 22. 15:15

완전한 베이지안적 접근을 위해서는 확률의 합, 곱의 법칙을 일관적으로 적용해야 한다.

이를 위해 모든 w 값에 대해 적분을 시행해야한다. 이러한 주변화가 패턴 인식에서의 베이지안 방법론의 핵심,

 

곡선 피팅 문제의 목표는 훈련 집합 데이터 x 와 t 가 새로운 변수 x 에 대한 표적값 t 를 예측하는 것이다. 

이 목표를 위해 예측 분포를 구해본다. 

 

단순히 말하면, 베이지안 방법은 단지 확률의 합과 곱의 법칙을 계속적으로 적용하는 것, 예측 분포를 다음과 같은 형태로 적을 수 있다. 

p(W|X,T) 는 매개변수들에 대한 사후 분포

위 식의 적분을 시행하면 예측 분포가 다음의 가우시안 분포로 주어진다는 것을 알 수 있다.

 

평균과 분산은 다음과 같다.

행렬 S 는 다음처럼 주어진다.

I 는 단위 행렬이며 phi(x)ㄴ는 각각의 원소가 i = 0, ..., M 에 대해 phi_i(x) = x^i 인 벡터다.

 

예측 분포의 평균과 분산이 x 에 종속되어 있음을 알 수 있다. 

 

타깃 변수의 노이즈로 인한 예측값 t 의 불확실성이 분산의 첫 번째 항에 포함되어 있다.