GEMM 의 수학적 본질 Mathematical Semantics

선형 변환으로서의 본질

단순 곱셈의 합으로 보는 것이 아닌, 

한 공간의 기저를 다른 기저로 재표현하는 선형 변환

A 의 row : 하나의 데이터 샘플

B 의 column : 하나의 특징 방향 (feature axis)

C 의 각 원소 : 샘플 i 가 특징 j 와 얼마나 정렬 되는가

데이터 공간을 새로운 좌표계로 투영 projection 한다.

 

내적 의미론

Dot product 는 단순 유사도 계산이 아닌,

각 column B 는 하나의 관계 가설이며, GEMM 은 데이터가 이 가설을 얼마나 만족하는지 평가한다.

• B 는 weight matrix 가 아니라
• 의미적 질문 집합

이 정의는 다음 의미적 최적화를 가능하게 한다

• Column pruning 의미적 중복 제거
• Low-rank basis 압축
• Sparse 관계 제거

 

K 차원의 소거

K 는 매개 공간이다. intermediate semantic channel

단순히 소거되는 차원이 아닌 의미적 탐색 공간 semantic search space

• K 가 크다는 건
• 더 많은 가설을 동시에 검사한다는 뜻

K 의 축소는 연산량 감소가 아닌, 가설 공간의 축소 hypothesis space reduction 

• K 차원의 정보를 전부 계산하지만
• 결과적으로 하나의 스칼라로 응축된다.

선택하고 압축함

• K 전체가 항상 필요한지
• 일부 방향만으로 충분하지 않은지

 

차원 변화

• K 제거
• 새로운 N 차원 생성

두가지 의미

• 특징 압축, 확장 compression, expansion

정보 밀도를 재구성하는 단계

 

직선 보존

선형 연산은

• 직선을 직선으로 유지
• 선형성 유지 ( 위상 구조 유지, 초평면 구조 보존, 결정 경계가 선형 조합으로 표현 가능 ... )
• 상대적 관계 유지

이는 

이 단계에서 절대값보다 상대적 구조가 중요함