[AICF Whitepaper] Operator are illusion : 하드웨어 가속의 물리적 실체

1. 개요 (Abstract)

기존의 그래프 컴파일러들은 신경망을 고수준 Operator 의 집합으로 정의, 그러나 연산 가속기의 발전 속도가 메모리 대역폭의 발전 속도를 압도함에 따라. 이러한 추상화는 심각한 Memory Wall 문제를 야기한다.

AICF 는 Operator 라는 논리적 단위를 해체하고, 오직 데이터 흐름과 하드웨어 레지스터 점유만을 실체로 간주하는 새로운 IR 설계를 지향합니다.

 

2. 고전적 추상화의 한계 : "The Overhead of Kiscrete Ops"

기존의 컴파일 방식은 각 Operator 를 독립적 커널로 실행한다.

•  문제점 : 각 Operator 가 끝날 때마다 중간 결과값을 High Bandwidth Memory 에 썼다가 다음 연산을 위해 읽어와야 한다.
• 현상 : 연산 성능은 남지만, 데이터 이동에 모든 시간을 소요하게 된다.

 

3. FlashAttention 이 증명한 물리적 실체

Flash Attention 의 성공은 Operator 를 구현한 것이 아니라.SRAM 내에서의 데이터 체류 시간을 극대화한 것에 있다.

• 논리적 관점 : Softmax, Matmul, Dropout 이라는 개별 Operator 의 존재
• 물리적 관점 : 데이터를 타일링하여 온칩 메모리에 올린뒤, 레지스터 밖으로 내보내지 않고 모든 연산을 한 번에 처리
• 결론 : 물리적 세계에서 중요한 것은 데이터가 어디에 머무는가 이지, 어떤 연산이라 불리는가가 아니다.

 

4. AICF 의 IR 설계 원칙 : Form Op-centric to Buffer-centric

AICF Compiler 는 다음 세 가지 원칙을 IR 설계에 반영한다.

A. Kernel Fusion 을 넘어선 Atomic Fusion

단순히 두 연산을 합치는 수준이 아니라, 데이터가 레지스터에 로드된 순간부터 소멸할 때까지의 모든 생애 주기를 하나의 파이프라인으로 정의한다. IR 상에서 Operator 노드는 사라지고, Load - Compute Loop - Store 의 흐름만 남는다.

B. Memory Traffic 중심의 비용 모델

연산 횟수보다 Memory Footprint 와 Data Reuse Distance 를 최우선 지표로 삼는다. GPU 의 연산 유닛을 이미 충분히 빠르므로, AICF IR 은 어떻게 하면 HBM 접근을 최소화할 것인가를 기준으로 최적화 경로를 탐색한다.

C. 하드웨어 대응성 (Hardware Native Mapping)

Operator 는 인간이 이해하기 위한 언어, AICF 의 IR 은 특정 하드웨어의 SRAM 크기, 레지스터개수, 워프 스케줄링 방식에 직접 매핑될 수 있는 저수준 서술을 지향한다.

 

5. 결론 : 실재하는 것은 오직 흐름뿐이다. 

AICF 내에서 Operator 는 더 이상 독립적인 개체가 아니다. 그것은 단지 데이터가 레지스터를 통과하며 겪는 상태 변화의 일시적인 이름,