특잇값 분해에서 특잇값과 특이벡터-소개

가장 좋은 행렬 ( 실수 대칭 행렬들 S ) 은 실수인 고윳값과 직교인 고유벡터를 가진다. 그러나 다른 행렬들은 고윳값이 복소수거나 고유벡터가 직교가 아니다.

A 가 정사각 행렬이 아니면, 고유벡터도 존재하지 않음, 모든 행렬에 사용할 수 있는 방법이 필요,

 

Singular Value Decomposition, SVD 특잇값 분해는 이러한 요구에 부합, 

 

응용 분야에서 A 는 데이터 행렬, 어린이 1000명의 키와 나이 데이터가 있다고 할 때, A 는 2 X 1000 행렬이며, 랭크 r = 2, 특잇값은 양수 simga_1,2 이다.

 

u 와 v 라는 특이벡터로 이루어진 두 집합이 필요하다. 

m X n 실수 행렬이 있을 때, n 개의 우특이벡터 v_n 은 R^n 에서 직교이다. m 개의 좌특이벡터 v_m 또한 R^m 에서 직교이다. n 개의 v_i 와 m 개의 u_j 는 특이벡터에서 

Av = sigma u 관계를 만족해야 한다.

 

첫 번째 r 개의 v 와 u 를 나머지와 분리, 그 수 r 은 A 의 랭크, 독립인 열(그리고 행) 의 개수이다. 그러면 r 은 열공간( 그리고 행공간 ) 의 차원이다. 

r 개의 양수 특잇값을 얻게 된다. v 의 마지막 n - r 개는, A 의 영공간이고, u 의 마지막 m - r 개는 A^T 의 영공간이다.

 

처음 식을 행렬 형태로 표현, 우특이벡터 v_n 은 모두 V 의 열로 간다. 좌특이벡터 u_m 은 U 의 열로 간다. 

두 행렬의 열들은 직교 단위벡터이므로 행렬은 정사각인 직교행렬이 된다. 

그러면 위 식은 정사각행렬 V 와 U 를 사용하는 완전형 특잇값 분해가 된다.

위 식에서 처음 r 개의 열은 Av_k = sigma_k u_k 가 성립함을 알 수 있다.  

 

앞의 r 개의 u, v 쌍에 대하여 v 들은 행공간의 기저, u 들은 열공간의 기저,

SIGMA 의 주대각성분에서 양수 simga_r 이후 행렬의 나머지 성분은 모두 A, A^T 의 영공간에서 온 0 이다.

A 는 비대칭 행렬, 랭크, r = 2, 두 특이값의 곱은 15 = A 의 행렬식

V, U 의 열들은 서로 직교, 각각의 열은 각 계수와 나누면 단위벡터가 된다.

V 와 U 는 직교행렬이고 V^T = V^-1 이 성립

 

 

이러한 직교성이 AV = U SIGMA 를 일반적으로 사용하는 특잇값 붆내의 표현으로 만들어 준다. 양변에 V^-1 = V^T 를 곱한다. 

A = U SIGMA V^T

U SIGMA 와 V^T 를 곱하는 열-행 곱셈은 A 를 랭크 1인 r 개의 조각으로 나눈다.

 

아직 V, U, SIGMA 가 어떻게 계산되는진 설명되지 않음

 

 

축소형 특잇값 분해

A 의 랭크가 낮고, 그 영공간이 클 때, 완전형 AV = U SIGMA 는 SIGMA 에 0을 많이 포함할 수 있다. 

이러한 0 들은 행렬 곱셈에 영향을 미치지 않으므로, 특잇값 분해의 핵심은 처음 r 개의 v, u, sigma 이다.

0 이 생성될 수 있는 부분을 지움으로써 AV = U SIGMA 를 AV_r = U_r SIGmA_r 로 줄일 수 있다.

 

이 결과 축소형 특잇값 분해는 정사각행렬 SIGMA_r 을 얻는다.

 

특잇값 분해는 대각행렬 SIGMA 의 0이 아닌 r 개의 원소만 보면 된다.

 

데이터 과학에서 중요한 사실

특잇값 분해를 중요하게 다루는 이유는 무엇일까??

다른 분해 A = LU, A = QR, S = Q LAMBDA Q^T 와 같이, 특잇값 분해는 행렬을 랭크 1인 조각으로 나눈다. 

특잇값 분해의 특징은 이 조각들이 중요한 순서대로 나온다는 것이다. 

첫 번째 조각 sigma u v 는 A에 가장 가까운 랭크 1 행렬이다. 

게다가 첫 번째 k 개의 조각의 합은 A 에 가장 가까운 랭크 K 행렬이다.

 

A_k 는 A 에 대한 최적의 랭크 k 근사이다.

A-B 의 노름으로, 크기를 측정하는 척도