Notes on Semantic Interpretation of Training Execution

학습을 구현하고 테스트하는 과정에서, 기존 AI 프레임워크들이 실행 위주로 설계되어 있어 학습 결과의 차이를 의미적으로 해석할 수 있는 계층이 부족하다는 한계를 느꼈고,

이를 해결하기 위해 AI 프레임워크 개발을 시작했다.

 

그 과정에서 정리된 문제의식, 가정, 관측, 해석을 기록

 

1. 왜 실행만으로는 충분하지 않은지

기존 AI 프레임워크는 다음 질문에는 매우 잘 답한다.

• 이 모델은 실행되는지
• 학습은 수렴하는지
• 성능은 나아졌는지

하지만 해당 질문에는 답할 수 없음

• 왜 두 실행의 결과가 달라졌는지
• 이 차이는 허용 가능한 차이인지
• 언제까지를 같은 학습으로 볼 수 있는지
• 이 차이가 모델 구조 때문인지, 실행 방식 때문인지 구분 가능?

이로 인해 학습을 구현, 검증하는 과정은 설계와 분석이 아닌, 반복적인 실행과 감각적 조정에 의존하게 되었음

 

2. 의미론적 해석 계층

학습 실행을 단순 실행 결과가 아니라, 어떤 가정과 조건 하에서 동일하다고 해석될 수 있는지를 구조적으로 설명하는 계층

• 수학적 의미론을 정의하려는 시도가 아님
• 학습을 증명하거나 형식화하려는 목적도 아님
• 기존 시스템이 암묵적으로 사용하던 가정들을 드러내고, 그 가정이 어디까지 유효한지를 기록하려는 시도

 

3. 기존 프레임워크의 암묵적 가정

• 수치적 오차 불가피
• 실행 순서, 커널 구현 차이는 결과에 작은 영향
• 학습은 통계적 과정, 완전한 재현성은 필수가 아님
• 결과가 비슷하면, 같은 학습 간주 가능

실용적 가정, 하지만 시스템 차원에서 표현되거나 검증되는 적은 없었음

 

4. 문제 발생 지점

• mixed precision, 새로운 자료형
• custom kernel, fused kernel
• optimizer state 의 누적 학습
• 재현성, 디버깅 
• 모델 구조로 인한 수치 오차 증폭 

결과의 차이를 보지만, 그 차이가 의미적으로 중요한지 여부를 판단할 수 없음