All elementary functions from a single operator 해설

1. 논문의 핵심 주장

다음의 이항 연산자 하나

와 상수 1만 있으면, 일반적인 과학 계산기가 제공하는 elementary functions 전체를 생성할 수 있다고 주장

불 대수에서 NAND 로 모든 논리 회로를 만들 수 있는 것처럼

연속 수학에서도 그와 유사한 하나의 충분한 primitive 가 존재한다고 말한다.

 

2. 이 논문이 던지는 질문

elementary functions 는 서로 다른 종류의 기본 기능처럼 보인다.

• 사칙연산
• 로그
• 제곱근
• 삼각함수

하지만 수학적으로는 이들 사이에 많은 중복들이 존재

그 중복 제거가 끝까지 가면 정말 하나의 연산자까지 내려갈 수 있는가를 묻는다

 

3. 저자가 말하는 elementary functions 의 범위

저자가 정한 과학 계산기 수준의 concrete repertoire 를 의미

elementary functions 를 완전히 추상적인 differential algebra 의 최대 일반성으로 다루지 않고 

실제 scientific calulator 관점에서 자주 쓰는 함수 집합을 전부 생성 가능한가라는 질문으로 시작한다.

모든 가능한 모든 elementary extension 이 아닌, 실용적이고 구체적인 함수 집합에 대해 생성 기저를 줄이는 논문

 

4. 발견 방식 : 이론에서 바로 내려온 게 아니라 탐색으로 찾음

• 많은 primitive 를 가진 계산기 집합을 둔다
• primitive 를 하나씩 제거
• 남은 연산만으로 원래 primitive 들을 다시 재구성할 수 있는지 확인
• 이런 식으로 더 작은 basis 를 탐색
• 새로운 binary operator 후보들을 생성해서 검증

 

5. 발견된 최종 형태 : EML

최종 primitive 가 EML 이다

추가로 terminal symbol 로서 상수 1 하나를 같이 둔다.

ln(1) = 0, logarithmic term 을 무력화하는 데 쓰인다.

즉

그래서 지수 함수는 바로 나온다

로그도 더 깊은 EML composition 으로 표현된다.

이렇게 한 번 exp 와 ln 이 확보되면, 나머지 많은 함수들은 그 위에서 구축된다.

 

6. 왜 하필 exp(x) - ln(y) 인가

저자의 설명을 따라가서, minimal configuration 들을 탐색하면서 다음 패턴이 보였다고 한다.

• inverse 관계를 이루는 함수 쌍
• non-commutative 한 구조
• tree growth 와 inversion capability 를 동시에 줄 수 있는 형태

inverse pair + 비가환성 + 생성력이 동시에 살아남은 형태라는 맥락에서 이해해야 한다.

 

7. 논문의 핵심 : 모든 식이 같은 binary tree 가 됨

sin 도 된다, cos 도 된다 가 아닌

핵심은 다음 문법이다

즉, 모든 식이 동일한 노드 타입 하나로만 이루어진 binary tree 가 된다.

이게 왜 중요한가?

보통 symbolic expression 음 heterogeneous grammer 이다.

• 어떤 노드는 +
• 어떤 노드는 sin
• log
• sqrt

이런 식이라 search space 가 들쭉날쭉

반면 EML form 에서는 모든 internal node 가 동일하다

즉 표현의 다양성이 많아도 문법은 단일 연산자의 반복으로 통일된다

표현 공간이 정규화되면 다음이 쉬워진다

• exhaustive search
• circuit representation
• compiler lowering
• gradient-based symbolic regression

즉 균일한 회로 공간으로 바꿨다는 데 있다.

 

입력과 연산을 모두 같은 회로적 문법 안에서 다루게 하는 구조

 

8. 논문이 스스로 인정하는 한계

• 검색은 heuristic
• 엄밀 검증의 상당 부분이 SI 에 있음
• complex arithmetic 가 필요
• banch / domain 문제
• distinguished constant 가 필요

 

EML은 “표현 가능성의 최소 기저”로는 흥미롭지만, “수치 계산과 실행의 최적 기저”라고 보기는 어렵다.

• 표현 완전성과
• 실행 효율성
• 수치 안정성
• domain robustness
• search tractability 

는 서로 다른 축이다.