본문 바로가기

AI Compiler framework

바이너리 인접 행렬 Binary Adjacency Matrix 에서 Rich Feature Matrix 표현으로의 확장

1. 배경 및 동기 (Context)

기존의 Binary Adjacency Matrix 는 어떤 노드가 연결되었는가라는 위상 Topology 정보만을 제공한다. 그러나 실제 커널 퓨전 최적화에서는 다음과 같은 연셜의 품질 Quality of Connection 데이터가 필수적

  • Data Type & Layout : 두 연산 간 데이터 타입이 호환되는가?
  • Memory Safety : 출력이 분기되어 퓨전 시 부작용이 발생하는가? 
  • Optimization Hint : Inplace 연산이나 Broadcast 가 필요한 연결인가?

Rich Feature Matrix 은 이러한 다차원적 제약 조건을 행렬의 각 원소에 비트 패킹하여, 최적화 과정을 단순 행렬 대수 연산으로 치환한다.

 

2. 개념적 확장 (Conceptual Shift)

  • Legacy : A_ij {0,1} (Boolean Connectivity)
  • RFM : A_rich {Packed Metadata Connectivity)

이 확장을 통해 최적화는 Algebraic Filtering 방식으로 진화

 

3. Rich Edge Encoding ( Bit Layout )

각 연결은 고유한 bit 정수 플래그를 가진다. 

실행 예시 해석

  • 값 7 ( 1 + 2 + 4 ) : Inplace 가능 + F32 + Safe 연결 ( 최적의 퓨전 대상 )
  • 값 6 ( 2 + 4 ) : F32 + Safe 연결 ( Inplace 불가능하나 퓨전 가능 )

 

4. 패턴 매칭의 일반화 (Algebraic Filtering)

조건 검사는 더 이상 루프 내 if 문이 아니라, Sparse Matrix Data Level 에서 수행된다.

4.1 Required / Forbidden Mask

특정 최적화 패턴이 요구하는 조건을 마스크로 정의한다. 

  • Required : 반드시 포함 비트
  • Forbidden : 포함되면 안 되는 비트

 

5. 최적화 파이프라인 (AICF 적용)

패턴 탐색 시, RFM 은 다음과 같은 대수적 흐름을 가진다.

  • Node Selection (S) : 각 연산 종류에  해당하는 대각 행렬 생성
  • Edge Filtering : 제약 조건을 만족하는 엣지만 추출
  • Pattern Discovery

 

6. 설계의 의의 및 확장성

6.1 장점

  • 고속 연산 : 벡터화된 비트 연산으로 엣지 동시 판정
  • 유연성 : 새로운 제약 조건 추가 시 비트 레이아웃만 정의하면 기존 대수식 재사용 가능
  • 비파괴적 분석 : 원본 그래프를 변형하지 않고, 다양한 가중치를 적용하며 최적의 경로 탐색 가능