1.5.5 회귀에서의 손실 함수

회귀 문제의 경우에 대해 관찰,

곡선 피팅 문제가 회귀 문제에 해당한다. 결정 단계에서 x 에 대해서 t 의 추정값 y(x) 를 선택해야 한다. 

이 과정에서 ㄴ손실 L(t,y(x)) 가 발생한다고 가정, 그러면 평균 손실은 다음과 같이 주어진다.

회귀 문제에서 일반적으로 손실 함수로서 사용하는 것은 L(t, y(x)) = {y(x) - t}^2 으로 주어지는 제곱 손실이다. 

이 경우 기대 손실

목표는 E[L] 을 최소화하는 y(x) 를 선택하는 것, 만약 완벽하게 함수 y(x)를 결정할 수 있다고 가정한다면, 변분법을 적용해서 다음과 같이 적을 수 있다.

 

y(x) 에 대해서 해를 구하고 확률의 합과 곱의 법칙을 적용,

x 가 주어졌을 때의 t 의 조건부 평균으로써 회귀 함수라고 한다. 

 

이 결과는 다른 방식을 통해서도 도출할 수 있다. 최적의 해가 조건부 기댓값이라는 지식을 바탕으로 제곱항의 전개, 

 

최적의 최소 제곱 예측은 조건부 평균으로 주어진다,