3.1.2 최소 제곱의 기하학적 의미

N 차원의 공간을 가정, 이 공간의 축들은 t_n 으로 주어지며, t 는 이 공간상의 벡터에 해당한다. 

각각의 기저 함수 phi_j(x_n) 들을 N 개의 데이터 포인트들에 대해 계산한 값 역시 같은 공간상의 벡터로 표현 가능하다. 

이 벡터를 WP_j 라 표현, WP_j 는 PHI 의 j 번째 열에 해당하며, phi(x_n) 은 PHI 의 n 번째 행에 해당한다. 

기저 함수 M 이 데이터 포인트의 수 N 보다 작을 경우 M 개의 벡터 WP_j 는 M 차원의 선형 부분 공간 S 상에 펼쳐지게 될 것이다. 

Y 를 n 번째 원소가 y(x_n, w) 로 주어지는 N 차원의 베거라고 정의 Y 는 WP_j 들의 임의의 선형 결합이기 때문에 M 차원 부분 공간상에서 어디든 존재할 수 있다. 

이 경우 제곱합 오류는 Y 와 T 간의 제곱 유크루리드 거리에 해당하게 된다. 

따라서 w 에 대한 최소 제곱 해는 부분 공간 S 상의 Y 와 이에 가장 가까운 T 에 의해 결정된다. 

이 해는 T 를 부분 공간 S 에 직교적으로 투영한 것에 해당한다고 생각할 수 있을 것이다.

 

실제 사례에선 PHI^T PHI 가 비정칙 행렬에 가까울 경ㅇ우 정규 방정식의 해를 직접 구하는 것이 수치적으로 어려울 수가 있다. 

이러한 수치적 어려움은 특잇값 분해를 이용해서 해결할 수 있다. 정규화항을 추가함으로써 저하가 존재할 경우 행렬이 정칙 행렬이 되도록 할 수 있다.