3. 선형 회귀 모델 - 복잡한 모델들의 토대

회귀 모델의 목표는 D 차원의 벡터 x 들의 입력 변수로 주어졌을 때, 그에 해당하는 연속 타깃 변수 t 값을 예측하는 것이다. 

선형 회귀 모델은 조절 가능한 매개변수를 바탕으로 한 선형 함수를 사용하는 모델이다. 가장 단순한 형태의 선형 회귀 모델은 입력 변수들에 대한 선형 함수다. 하지만 입력 변수들에 대한 비선형 함수들의 집합을 선형적으로 결합하면 더 융요한 함수를 얻을 수 있다. 이러한 함수들을 기저 함수 basis funciton 라 한다. 이러한 모델들은 입력 변수들에 대해서는 비선형적이지만 매개변수들에 대해서는 선형 함수이기 때문에 쉽게 분석할 수 있다.

N 개의 관측값과 이에 해당하는 표적값이 훈련 집합으로 주어졌을 때 회귀 모델의 목표는 새 변수 x 의 표적값 t 를 예측하는 것이다. 

가장 단순한 방법은 적절한 함수 y(x) 를 직접 만들어 내는 것, 

확률적인 측면에서 말하자면 예측 분포 p(t|x) 를 모델하는 것이 목표가 된다. 

예측 분포를 통해서 각각의 입력값 x 에 대한 표적값 t 의 불확실성을 표현할 수 있기 때문, 이 조건부 분포를 이용하면 어떤 새 x 값에 대해서든 손실 함수의 기댓값을 최소화하는 표적값 t 를 예측해 낼 수 있다.

 

 

선형 모델들은 입력 공간이 고차원인 경우 한계점을 가지고 있지만, 해석적인 성질을 가지고 있으며 복잡한 모델들의 토대가 된다.