3. 선형 회귀 모델

회귀 모델의 목표는 D 차원 벡터 x 들이 입력 변수로 주어졌을 때, 그에 해당하는 연속 타깃 변수, t 값을 예측하는 것이다. 

 

선형 회귀 모델은 조절 가능한 매개변수를 바탕으로 한 선형 함수를 사용하는 모델이다. 가장 단순한 형태의 선형 회귀 모델은 입력 변수들에 대한 선형 함수다. 하지만 입력 변수들에 대한 비선형 함수들의 집합을 선형적으로 결합하면 더 유용한 함수를 얻을 수 있다. 이러한 함수들을 기저 함수 basis function 라 한다. 

이러한 모델들은 입력 변수들에 대해서는 비선형적이지만 매개변수에 대해서는 선형 함수이기 때문에 쉽게 분석할 수 있다는 성질을 가지고 있다. 

 

N 개의 관측값과 이에 해당하느 ㄴ표적값이 훈련 집합으로 주어졌을 때 회귀 모델의 목표는 새 변수 x 의 표적값 t 를 예측하는 것이다. 이를 위한 가장 단순한 접근법은새 입력값 x 에 대해 해당 표적값 t 를 출력하도록 하는 적절한 함수 y(x) 를 직접 만들어 내는 것이다. 

확률적인 측면에서 말하자면 예측 분포 p(t|x) 를 모델하는 것이 우리의 목표가ㅏ다. 

예측 분포를 통해서 각각의 입력값 x 에 대한 표적값 y 의 불확실성을 표현할 수 있기 때문

 

이 조건부 분포를 이용하면 새 x 값에 대해서든 손실 함수의 기댓값을 최소화하는 표적값 t 를 예측해 낼 수 있다. 

 

선형 모델은 해석적인 성질로서 많이 사용