4.5 대칭 행렬과 직교 행렬

m*n 행렬 A 에서 시작, A 의 행들이 A^T 의 열들이 되는 것을 A의 전치라고 한다. m*n 행렬은 주대각성분을 중심으로 뒤집힌다. 그러면 A^T 는 n*m 행렬이다.

곱 AB, AB 의 전치는 (AB)^T = B^T A^T 이다.

역행렬 A^-1, A^-1 의 전치는 (A^-1)^T = (A^T)^-1 이다.

대칭행렬 : A^T 는 A 와 같다. 그러면 A 는 정사각 행렬이고, a_ij = a_ji

직교행렬 : A^T 는 A^-1 과 같다. A^T A=I

대칭 행렬 S = A^T A

대칭 행렬의 가장 큰 장점은 그들의 고윳값 lamda 와 고유벡터 x 에서 온다. 핵심 방정식 Ax = lamda x 를 볼 것, 먼저 다음의 두 가지 사실을 통해 대칭 행렬이 특별한 이유를 살펴본다.

Sx = lamda x 대각 행렬은 실수인 고윳값과 수직인 고유벡터를 갖는다

위 사실은 대칭 시스템 y'=Sy 와 y''+Sy=0 을 풀 때 아주 중요하게 쓰인다. 대칭 행렬이 어디서 오는지를 아는 것도 상당히 중요하다. 응용수학과 공학수학의 한 부분은 방정식을 푸는 것, Av = b 를 풀었으면 dy/dt = Ay 를 풀 것이다. 

대칭 행렬은 어디서 오는지 다시 한 번 본다. 행렬 A 에서 시작하면 주로 직사각형(m*n) 이며 이의 대칭 역시 직사각형이다. A^T A 는 n*n 정사각행렬을 갖게 된다.

A^T A 의 대각 성분은 자기 자신과의 내적으로 열의 길이의 제곱을 준다. 즉, 음수가 될 수 없다.

A 가 3*2 행렬인 경우 Av = b 는 세 개의 방정식을 갖지만 미지수는 v_1, v_2 로 오직 두 개 뿐이다. 대부분 해가 없다고 확신할 수 잇다. 하지만 만약 수 b_1, b_2, b_3, 를 정확하게 측정했다고 한다면 우리는 해가 없다고 말하고 멈출 수 없다.

우리는 Av = b 의 최고의 해를 찾고 싶다.

현실에서 우리는 Av~ 가 b 에 가장 가까워지는 v~ 를 고른다. 오차 벡터 e = b - Av~ 는 가장 짧다. 우리는 제곱된 오차 ||e||^2  = e^T e 를 최소화할 것이며 최고의 벡터 v~ 는 최소제곱해이다.

오차를 최소화하는 것은 미적분학 문제인 동시에 선형대수학 문제이다. 두 가지 접근법 모두 A^T A v~ = A^T b 의 결과를 보여준다. 최선의 v~ 에 A^T A 가 사용된다.

차이 행렬

A^T A 의 더 큰 예를 본다. 후방 차분 행렬 backward difference matrix A 로 시작한다. 이는 n+1 행과 n 열을 가질 수 있다. 다음은 n = 3 일 때이다.

선형대수학에서의 벡터 Av 는 미적분학의 dv/dx 와 대응한다. 

미적분학에서 후방 차분 △v = [v(x)-v(x-△x)]/△x 를 보았다. 이는 단계크기 △x 가 0으로 접근할 때, △v/△x 가 dv/dx 로 접근하는 것의 전 단계이다.

우리는 작은 △x 가 x 앞으로 가는 전방 차분 △v = [v(x+△x)-v(x)]/△x 를 더 자주 볼 것이다. 이는 우리가 행렬 A 를 전치할 때 선형대수학에서 나타난다. 하지만 처음 차분은 비대칭이고, A^T 는 전방차분에 -1 을 곱한 것이다. 따라서 벡터 A^Tw 는 -dw/dx 와 대응한다.

이제 대칭 행렬 S = A^T A 를 살펴본다. 이는 3*3 행렬일 것이다. A, A^T 가 1과 -1 이 있는 첫 번째 차분이므로 A^T A 는 -1, 2, -1 이 있는 두 번째 차분일 것이다.

S 의 주대각성분은 2이다. A 의 각 열이 2를 만들기 때문이다. 대각선 아래와 대각선 위는 -1 을 갖는데, 이는 A 의 열과 그 옆에 있는 열의 내적이기 때문이다.

치환 행렬

직교 행렬을 만드는 빠른 방법은 항등 행렬의 열을 사용하는 것이다. 어느 순서이든지 I 의 열들은 서로 정규직교한다. 새로운 순서는 원래 순서의 치환이라고 한다. 따라서 새로운 행렬은 치환 행렬이라고 부른다.

직교 행렬

A 가 직교 열을 갖고 있을 때, 대칭 행렬 A^T A 는 대각 행렬이다. 대각 성분이 아닌 성분은 A 의 다른 열들의 내적이다. 따라서 이들은 모두 0이다. A 의 열들이 단위 벡터일 때, A^T A 의 모든 대각성분은 1이다. 이 성분들은 1이다. 열은 자기 자신과의 내적은 A^T A 의 주대각성분이다.