커널 선형 차원 축소

선형 차원 축소 방법은 고차원 공간에서 저차원 공간으로 매핑하는 함수가 선형이라고 가정한다. 그러나 많은 현실 문제는 비선형 매핑을 통해야만 적당한 저차원 임베딩을 찾을 수 있다. 

만약 선형 차원 축소법을 3차원 공간에서 관측되는 샘플들에 사용한다면 많은 저차원 구조들이 유실될 것이다. 

비선형 차원 축소는 매우 자주 사용하는 방법으로 커널 트릭에 기반해 선형 차원 축소법에 대해 커널화 kernelized 를 진행한다. 

고차원 특성 공간의 데이터를 W 로 된 초평면상으로 투영시킨다고 가정하면, w는 식이다.

z는 샘플 x의 고차원 특성 공간에서의 형상이다.

알파는 j 번째 컴포넌트이다. 그리고 z는 원시 속성 공간 내의 샘플 x가 매핑을 통해 생성된 것으로 가정한다.

매핑의 표현식을 확실히 알 수 있다면, 이를 통해 샘플을 고차원 특성 공간으로 매핑시키고, 특성 공간에서 PCA 차원 축소를 실행하면 된다.

wj에 대한 식은 아래와 같이 변환된다.

일반적인 상황에서 매핑의 표현식의 구체적인 형식은 알지 못한다. 따라서 커널 함수를 사용한다.

위 두 식을 간략하게 표현하면 다음 식을 얻을 수 있다.

K는 k에 상응하는 커널 행렬이다. 위 식은 특잇값 분해 문제이고, K를 최대로 하는 d' 개 고윳값에 대응하는 고윳값 벡터를 찾기만 하면 된다.

새로운 샘플 x에 대해 투영 후의 j번째 차원 좌표는 아래 식이다.

알파값은 표준화가 진행된 것이다. 투영 후의 좌표를 얻고자 KPCA 는 모든 샘플에 대한 합을 구해야 한다. 따라서 계산 량이 비교적 많다.