4.1.3 분류를 위한 최소 제곱법

매개변수들에 대해 선형 함수인 모델들의 경우 제곱합 오류 함수를 최소화하는 문제는 닫힌 혀애의 단순한 매개변수 해를 가지고 있었다.

분류 문제에도 같은 방식을 적용, K 개의 클래스가 있는 일반적인 분류 문제를 고려, 표적 벡터는 원 핫 인코딩을 사용한다고 가정, 

최소 제곱법이 타당한 이유는 입력 벡터가 주어졌을 때 표적 벡터의 조건부 기댓값 E[t|x] 의 근삿값을 구하는 방법이라는 점이다. 

 

이진 부호화의 경우 이 조건부 기댓값은 사후 클래스 확률의 벡터로 주어지게 된다. 하지만 이러한 확률들은 상대적으로 성능이 좋지 못하게 근사된다. 실제로 이러한 근삿값들은 선형 모델의 제한적인 유연성으로 인해서 0~1 범위 밖의 값을 가질 수도 있다.

 

각각의 클래스 C_k 들을 각각의 선형 모델로 표현할 수 있다.

여기서 k = 1,..., K 다 .벡터 표기를 이용해서 이 모델들을 표현,

원 핫 인코딩을 K 개의 클래스에 대해 사용하면 예측값들은 어떤 x 의 경우에든 y(x) 의 원소들을 전부 합하면 1이 된다는 성질을 가진다. 하지만 확률로써 해석하기 어려운 이유는 0~1 사이의 값에 대한 제약 조건이 없기 때문

 

최소 제곱법 기반의 방법ㅇ르 사용하면 판별 함수 매개변수의 해를 닫힌 형태로 구할 수 있지만 이 방법을 통해 구한 판별 함수는 이를 이용하여 직접적으로 결정을 내리고 확률적인 해석을 내리는 데 있어서 문제점을 지니고 있다.

이상 값에 대한 강건성의 부족, 결정 경계로부터 멀리 떨어진 '너무 옳은' 값에 대해서도 벌칙을 가한다.

 

최소 제곱법은 가우시안 조건부 분포 가정하에서의 최대 가능도 방법과 연관되어 있는 방식, 가우시안 아닌 분포를 가진 표적 벡터들에 대해서는 제대로 작동하지 않ㄴ느다.