고정된 기저 함수 - 기저 함수 자체를 데이터에 학습 시켜야 한다.!

고정된 기저 함수

원 입력 벡터 x 에 대해 직접적으로 적용되는 분류 모델, 

이러한 알고리즘들은 기저 함수들의 벡터 phi(x) 를 이용ㅎ하여 입력값들에 대해 고정된 비선형 변환의 적용, 

이 결과 얻는 결정 경계는 특징 공간 phi 상에서 선형, 원 x 공간에서는 비선형일 것, 

 

특징 공간 phi(x) 상에서 선형적으로 분리 가능한 클래스들이 원래의 관측 공간 x 상에서 꼭 선형적으로 분리되는 것은 아님, 

 

기저 함수들 중 하나는 보통 phi_0(x) = 1 과 같이 상숫값을 가지도록 설정될 것, 이에 해당하는 매개변수 w_0 이 편향의 역할을 하게 된다. 

 

실제의 여러 문제들에선 클래스 조건 밀도 p(x|C_k) 들 사이에 상당한 중첩이 있다. 중첩된 부분에 대해 사후 확률들의 값이 0이나 1이 아닌 경우가 생기게 된다. 

이 경우 사후 확률을 정확하게 모델하고 표준 결정 이론을 적용함으로써 최적의 해를 구할 수 있다. 

 

 

하지만 비선형 변환 phi(x) 는 이러한 클래스 중첩을 제거하지 못하고 오히려 증가시키거나 새로운 중첩을 유발시킬 수도 있다. 적절한 비선형성을 선택하여 사후 확률을 쉽게 모델링할 수 있도록 해야 한다.

 

이러한 한계는 기저 함수 자체를 데이터에 적응되도록 함으로써 해결 가능하다.