1.2.5 곡선 피팅 - 사후 분포 최대화와 제곱합 오차 함수의 동일함

지금까지 다항식 곡선 피팅 문제를 오차 최소화의 측면에서 살펴보았다. 

같은 곡선 피팅 문제를 확률적 측면에서 살펴봄으로써 오차 함수와 정규화에 대한 통찰을 얻을 수 있다. 

 

곡선 피팅 문제의 목표는 N 개의 입력값과 해당 표적값 t 가 주어진 상황에서 새로운 입력 변수 x 가 주어졌을 때 그에 대한 타깃 변수 t 를 예측해 내는 것이다. 

확률 분포를 이용해서 타깃 변수의 값에 대한 불확실성을 표현할 수 있다. 

이를 위해서 주어진 x 값에 대한 t 값이 y(x,w) 를 평균으로 가지는 가우시안 분포를 가진다고 가정하는 것이다. 

beta 는 정밀도 매개변수로써 분포의 표본의 역수

 

훈련 집합 {x,t} 를 바탕으로 최대 가능도 방법을 이용해서 알려지지 않은 매개변수 w 와 beta 를 구해보도록 한다. 

데이터가 분포에서 독립적으로 추출되었다고 가정하면 가능도 함수는 다음과 같이 주어진다. 

 

가능도 함수에 로그를 취해 그 최댓값을 구하는 것이 편리, 

 

첫번째로 다항식 계수의 최대 가능도 해를 구해보자(w_ML) w 에 대해 위 식을 최대로 만드는 값을 구하면 된다.

우변의 마지막 두 항은 w 와 관련이 없으므로 제외, 

또한 로그 가능도에 양의 상수를 곱해도 w 에 대한 최댓값의 위치는 변하지 않으므로 계수 beta/2 를 1/2 로 바꿀 수 있다. 마지막으로 로그 가능도를 최대화하는 대신에 로그 간으도의 음의 값을 취한 후, 이를 최소화할 수 있다.

노이즈가 가우시안 분포를 가진다는 가정 하에 가능도 함수를 최대화하려는 시도의 결과로 제곱합 오차 함수를 유도할 수 있다.

 

평균값에 해당하는 매개변수 벡터 w 를 먼저 구한후 이를 사용해서 정밀도 beta 를 구할 수 있다.

 

 

두 매개변수 w, beta 를 구했으면 이를 바탕으로 새로운 변수 x 에 대해 예측값을 구할 수 있다 .

 

확률 모델을 사용하고 있으므로 예측값은 하나의 점 추정값이 아닌 t 에 대한 예측 분포로 표현될 것이다. 

 

베이지안 정리에 따라서 w 의 사후 분포는 사전 분포와 가능도 함수의 곱에 비례, 이제 주어진 데이터에 대해 가장 가능성 높은 w 를 찾는 방식으로 w 를 결정할 수 있다. 

사후 분포를 최대화하는 방식으로 w 를 결정할 수 있다는 것, 최대 사후 분포 MAP