행렬의 기초

행렬은 스칼라, 벡터로 구성되어 있다. 

데이터 과학에서 행렬에 대해 일반화한 행렬을 텐서라고 부른다.

 

대각 행렬

diagonal matrix 는 대각 원소 이외의 모든 성분이 0인 행렬을 의미, 

단위 행렬 이란 주 대각 원소가 1이고 나머지 원소는 0인 정사각 행렬을 의미,

 

대각행렬은 D, 단위 행렬은 I 로 표기

 

전치 행렬 

transposed matrix 

 

행렬곱

matrix multiplication

 

행렬식

determinant 은 행렬의 특성을 하나의 숫자로 표현하는 방법, 행렬식의 절댓값은 해당 행렬이 단위 공간을 얼마나 늘이고 줄였는지를 의미한다. 

 

역행렬

inverse matrix 는 AB = I 를 만족하는 행렬이 존재한다는 뜻, 역행렬이 존재하는 행렬을 가역 행렬 invertible matrix

 

 

내적

스칼라 값이 나오는 벡터와 벡터 연산, 이를 통해 벡터의 길이를 구하거나 벡터 사이의 관계를 파악할 수 있다.

벡터의 길이는 norm 이라고도 한다. 내적값의 제곱근을 구함으로써 구할 수 있다. 

 

만약 벡터의 길이와 x 축과의 각도를 알 수 있다면,  벡터의 구성 요소를 표현할 수 있다.

x 좌표는 코사인, y 좌표는 사인을 이용하여 표시 가능

내적은 좌표계의 선택과 무관, 좌표계의 종류와 상관없이 내적값을 항상 구할 수 있다. 

 

정사영 개념을 이용해 내적 개념을 다시 쓰면, 

u 와 v 의 내적이란 u 를 벡터 v 에 정사여이킨 벡터의 길이, 즉 ||u|| cos theta 과 기존 벡터 v 의 길이인 ||v|| 의 곱과 같다. 

 

 

선형 변환

선형 변환은 두 벡터 공간 사이의 함수이다. 좌표 평면의 벡터를 확대, 축소, 회전, 반사 등을 모두 변환이라고 생각할 수 있다. 

흔히 사용하는 행렬은 선형 변환의 의미가 있다는 것을 알 수 있다.

 

랭크, 차원

벡터 공간, 기저

벡터 공간이란 벡터 집합이 존재할 때, 해당 벡터들로 구성할 수 있는 공간이다. 

기저는 벡터 공간을 생성하는 선형 독립인 벡터들이다. 

벡터 공간의 일부분을 부분 공간 subspace 라고 한다.

 

전체 공간을 3차우언 공간이라고 했을 때 전체 공간의 일부인 선이나 면은 3차원 공간의 부분 공간이라고 할 수 있다. 이런 관계를 설명하는 데 사용되는 스팬이라는 개념이 있다.

 

벡터 공간 V 가 3차원이고 2 개의 기저 벡터 집합을 S 라고 한다. 이때 집합 S 에 속하는 기저 벡터들로 구성되는 2차원 부분 공간을 W 라고 했을 때, S 는 부분 공간 W 를 span 한다고 말하고,

W = span(S) 라고 표현한다.

 

 

랭크와 차원

벡터들로 행렬을 구성하는 방식에도 두 가지가 있다.

행벡터로 span 할 수 있는 공간을 행공간, 

열벡터로 span 할 수 있는 공간을 열공간이라고 한다.

 

차원이란 기저 벡터의 개수를 의미한다. 즉, 벡터 공간을 구성하는 데 필요한 최소한의 벡터 개수가 차원이다.

랭크란 열벡터에 의해 span 된 벡터 공간의 차원이다. 행렬 A 의 영공간 null space 란 행렬 A 가 주어질 때 Ax = 0 을 만족하는 모든 벡터 x 의 집합이라고 할 수 있다.

행렬 A 의 의미는 행공간에 존재하는 벡터 x 를 행렬 A 의 열공간에 있는 벡터 b 로 선형 변환하는 것, 

 

직교 행렬

직교 행렬 othogonal matrix 는 어떤 행렬의 행벡터와 열벡터가 유클리드 공간의 정규 직교 기저를 이루는 행렬을 의미한다.

 

 

고윳값 고유벡터

고윳값 eigenvalue 의 eigen 은 특성이라는 뜻이다. 이들은 행렬의 특성을 나타내는 것들이다. 

벡터는 방향과 크기로 구성되어 있는데 특성이란 방향은 변하지 않고 크기만 변하는 특성을 말한다.

즉, 고유 벡터란 벡터에 선형 변환을 취했을 때, 방향은 변하지 않고 크기만 변하는 벡터를 의미한다.

그리고 선형 변환 이후 변한 크기가 고윳값을 의미한다.

 

 

특이값 분해

닮음

행렬 간에도 닮음이라는 표현을 사용, 

행렬 간 닮음은 P^-1 A P = B 를 만족하는 가역 행렬 invertible matrix, P 가 존재할 때, 정사각 행렬 A, B 는 서로 닮음이라고 한다. 

이때,  행렬 A, B 는 정사각 행렬이어야 하므로 행 크기와 열 크기가 같다. 

또한 위를 만족하는 직교 행렬 P 가 존재할 때 B 는 A 에 직교 닮음이라고 한다.  

 

직교 대각화

직교 닮음에서 정사각 행렬 B 가 대각 행렬 D 라면? 즉 P^-1 A P = D 를 만족하는 직교 행렬 P 가 존재하는 경우, 이 경우, 직교 행렬 P 는 A 를 직교 대각화한다고 말하며 A 는 직교 대각화 가능하다고 말한다. 

이러한 직교 대각화가 가능하려면 조건이 필요한데, A는 반드시 대칭 행렬이어야 한다. (공분산 행렬)

 

고윳값 분해 

eigenvalue decomposition 은 직교 대각화의 한 종류이다. 

직교 대각화에서 쓰이는 직교 벡터 P 를 고윳값 분해에서는 고유 벡터를 이용해 만들고 대각 행렬의 원소에 해당하는 것이 고윳값이라고 생각하면 된다. 

다시 말해, 대칭 행렬 A 의 고윳값과 고유 벡터가 존재할 때 A 의 고윳값 분해는 아래와 같다.

고윳값 분해는 행렬을 고유 벡터, 고윳값의 곱으로 분해하는 것을 의미한다.

PDP^T

D 의 주대각 원소는 고윳값이고 P 는 고유 벡터이다.

위 분해를 보면 벡터의 방향을 알 수 있다. 

 

 

특이값 분해

Singular Value Decomposition 이란 정사각 행렬을 대상으로 하는 고윳값 분해와는 달리 

대상 행렬을 m n 행렬로 일반화시킨 것을 의미한다.

행렬을 분해하는 방법 중 하나.

 

특이값 분해는 행렬의 차원 축소를 위한 도구로 쓰인다 

실제로 주성분 분석과 같은 차원 축소 분야에서 특이값 분해가 많이 쓰인다.

 

데이터를 나타내는 행렬 A 가 존재한다고 해ㅐ본다. 데이터 전체 공잔의 차원보다 낮은 차원으로 적합시킬 수 있는 기존 행렬의 차원보다 낮은 차원의 공간을 찾는 것, 

특이값 분해에서 특이값은 np 행렬 A 에 대해 A^T A 의 고윳값을 lambda_p 라고 할 때, root(lambda_p) 를 행렬 A 의 특이값이라고 한다. 

쉽게 말해 행렬 A 의 특이값은 A 를 제곱한 행렬의 고윳값에 루트를 씌운 값으로 생각할 수 있다.

 

고윳값 분해는 A = PDP^T 의 형태로 나타냈지만

특이값 분해는 A = UEV^T 로 나타낸다.

행렬 U 의 열벡터는 AA^T 의 고유 벡터로 구성되고 V 의 열 벡터는 A^TA 의 고유 벡터로 구성된다.

마지막으로 E 의 대각 원소는 행렬 A 의 특이값이다.

 

특이값 분해의 의미는 선형 변환의 3 단계의 변환을 거친다는 것, 

 

이차식 표현

이차식 개념

이차식 표현 quadratic form 은 다항식을 벡터 형태로 나타낼 때 사용하는 유용한 방법,

 

양정치 행렬

positive definite 양정치의 개념은 이차식에서 이어진다. 

이차식은 조건에 따라 달리 부를 수 있다. 먼저 아래 조건은 양정치를 나타낸다.

양정치 positive definite: x^T W x > 0

이차식이 양정치일 때 행렬 W 를 양정치 행렬이라고 부른다. 

행렬 W 가 양정치 행렬이라는 말은 행렬 W 의 고윳값이 모두 0보다 크다는 말과 같다. 

 

 

벡터의 미분ㄴ

타깃 데이터 y 를 가중치 벡터로 미분한한다.

 

머신러닝에서 관심 대사은 피처 데이터 벡터 x 에 가중치를 곱한 w^T x 와 x^T A x 이다.

A 는 대칭행렬이다. 만약 타깃 y = w^T x = x^T w 를 데이터 벡터 x 에 대해 미분할 경우 

dy / dx = w

 

대칭 행렬 A 에 대해 x^T A x 를 미분할 경우 

d(x^T A x) / dx = 2Ax

 

회귀 분석에서 사용하는 w^T X^T X w 를 w 에 대해 미분, 

d(w^T X^T X w) / d w = 2X^T X w