5.1.4 예제 : 선형회귀

linear regression 

 

선형회귀의 목표는 벡터 x ∈ R^n 으로부터 스칼라 y ∈ R 의 값을 예측하는 것이다. 선형 회귀의 출력은 입력의 일차함수이다. 

 

출력 함수는 다음과 같이 정의된다.

 

w 는 매개변수들의 벡터이다.

 

매개변수는 시스템의 행동을 제어하는 값이다. 

 

이러한 w 를 각 특징이 예측에 미치는 영향을 결정하는 가중치 weight 들의 집합이라고 생각하면 된다.

 

선형회귀의 과제 T 를 구체적으로 정의해본다. y = wx 를 출력함으로써 x 로부터 y 를 예측하는 것이 선형회귀의 과제이다. 다음으로, 그러한 과제의 성과를 측정하는 성과 측도 P 를 정의해야 한다. 

 

모형의 훈련에는 사용하지 않고 모형의 성과를 평가하는 데만 사용할, m 개의 견본 입력으로 이루어진 설계 행렬이 있다고 하자. 그리고 그러한 각 견본에 대한 y 의 참값을 제공하는 회귀 목푯값들의 벡터도 있다고 하자. 이 자료 집합은 평가에만 사용하므로 시험 집합 test set 이라고 부른다. 

 

입력들의 설게 행렬을 X 으로, 회귀 목푯값들의 벡터를 y 으로 표기하기로 한다.

 

이 모형의 성과를 측정하는 한 가지 방법은, 시험 집합에 대한 모형의 평균제곱오차 mean squared error 를 계산하는 것이다. 

 

모형의 예측 결과들이 y^ 이라고 할 때 평균 제곱 오차는 다음과 같이 주어진다. 

 

또한, 다음이 성립한다는 점도 이해할 수 있다.

즉, 이 오차는 예측과 목표의 유클리드 거리에 비례해서 증가한다.

 

MSE 를 최소화하는 방법은 그냥 기울기 벡터가 0인 점을 구하면 된다.

 

해가 위 식과 같이 주어지는 연립방정식을 표준방정식 normalequation, 정규 방정식이라고 부른다. 

 

선형회귀라는 용어가, 방금의 모형에 하나가 더 추가된 정교한 모형을 뜻하느 ㄴ경우가 많다. 

 

다음처럼 절편 향 b 가 추가된 모형이 그러한 선형회귀 모형이다.

 

y^ = w x + b

 

이 모형에서도 매개변수들에서 예측으로의 사상은 여전히 일차함수이지만, 특징에서 예측으로의 사상은 어파인 함수 afiine function 이다.

 

이러한 어파인 함수로의 확장은, 모혀으이 예측값들이 직선이지만 원점을 지나지는 않음을 뜻한다.

절편 항, b 를 추가하는 대신, 그냥 가중치들만 있는 모형을 사용하되 항상 1로 설정되는 성분 하나를 x 에 추가할 수도 있다. 

 

그러한 추가 1 성분의 가중치는 절편 항과 같은 역할을 한다. 

 

절편항 b 를 어파인 변환 affine transformation 의 치우침 bias 매개변수라고 부를 때가 많다.