커널 방법론 (커널의 구성)

커널 대입을 활용하기 위해서는 유효한 커널 함수를 구성할 수 있어야 한다. 이를 위한 한 가지 접근법은 특징 공간 함수 phi(x) 를 정한 후 이에 해당하는 커널을 찾는 것이다. 

여기서 커널 함수는 일차원 입력 공간에 대해 다음처럼 정의된다.

여기서 phi_i(x) 는 기저 함수다.

대아니 될 다른 방법은 커널 함수를 직접 구성하는 것이다. 이 경우에는 우리가 선택한 함수가 유효한 커널인지를 확인해야 한다. 선택된 커널 함수가 어떤 특징 공간상의 스칼라 곱에 해당하는지를 확인해야 한다는 것이다. 단순한 예로 다음과 같은 컨러 함수를 고려해 본다.

이차원 입력 공간 x = (x_1, x_2) 를 고려해 본다. 이 경우, 항들을 전개해서 비선형 특징 함수를 구할 수 있다.

특징 함수가 phi(x) 의 형태를 볼 수 있다. 따라서 특징 함수는 모든 가능한 이차항으로 이뤄지며, 이때 각가의 항들은 특정 가중치를 가지게된다.

실제로 활용하기 위해서는 함수 phi(x) 를 직접 만들지 않고도 커널의 유효성을 시험할 수 있는 방법이 필요하다. 

함수 k(x,x') 가 유효한 커널이 되기 위한 필요 충분 조건은 각 원소들이 k(x_n, x_m) 로 주어지는 그램 행렬 K 가 모든 가능한 {x_n} 값들에 대해서 양의 준정부호 행렬이어야 한다는 것이다. 양의 준정부호 행렬은 모든 원소가 0보다 크거나 같은 행렬과 동일한 개념이 아니다.

새로운 커널을 만드는 테크닉 중 하나는 더 단순한 커널들을 구성 블록으로 활용하는 것이다. 

커널 k(x,x') 은 대칭이며, 양의 준정부호여야 한다. 

 

커널을 구성하는 강력한 방식 중 하나는 확률적 생성 모델을 기반으로 한 것이다. 이를 바탕으로 하면 판별 모델 설정하에서 생성 모델을 적용할 수 있다. 생성 모델을 사용하면 빠진 데이터들을 자연스럽게 다룰 수 있으며, 은닉 마르코프 모델의 경우에는 변하는 길이의 배열도 다룰 수 있게 된다. 

이와는 대조적으로 판별 모델은 보통 실제로 판별을 수행하는경우에 생성 모델에 비해서 더 나은 성능을 보여준다. 따라서 이 두 가지 방식을 합치고자 하기도 했다.

 

생성 모델 p(x) 가 주어졌을 때 다음과 같은 커널을 정의할 수 있다.