AI 는 문제를 푸는가, 문제를 특정 표현으로 바꾸는가 - 강력한 패러다임이 연구 사고를 제한할 수 있다.

1. 시작점

현재의 인공지능, 딥러닝은 매우 다양한 문제를 하나의 공통된 계산 방식으로 처리한다.

이미지, 언어, 음성과 같이 서로 전혀 다른 대상들도 먼저 숫자 벡터나 텐서로 변환, 이후 문제 해결과정은 대체로 다음의 연산 조합들로 구성된다.

• 행렬곱
• 선형 변환
• 합성곱
• 정규화
• 활성화 함수
• attention
• 확률 분포 계싼

소수의 텐서 연산으로 수렴

이는 성공적 바식, 유사한 연산 구조만으로도 서로 다른 문제를 처리할 수 있게 되었음

하지만 이는 

• 현재 AI 는 뭄ㄴ제에 가장 적합한 계산 방식을 발견하고 있는가, 이미 익숙한 계산 방식으로 표현 가능한 문제만을 중심으로 발전하고 있는가에 대한 질문

 

2. 문제 해결 방식의 표준화

전통적인 방식에서는 구조에 따라 서로 다른 알고리즘 설계

반면 현대 AI 에서는 직접적인 알고리즘 표현보다 입력과 출력 사이의 함수를 학습하는 방식으로 접근한다.

이 과정에서 문제별 규칙을 명시적으로 작성할 필요가 줄어들었다.

 

3. 행렬 연산은 본질이 아닌 선택된 공통 기반

많은 AI 문제가 본질적으로 행렬 문제이기 때문에 행렬곱을 사용하는 것이 아닌

• 병렬화
• 빠른 실행
• 미분 
• 최적화 

드으이 이유

 

현실의 문제를 행렬 연산으로 다룰 수 있는 형태로의 변환 수행 

• 대부분의 중요한 문제는 고차원 연속 공간에서의 함수 근사 문제로 바꿀 수 있다.

 

4. 해결 가능한 문제가 아닌 표현 가능한 문제가 중심이 될 수 있음

문제를 행렬로 근사할 수 있는 것과 그것이 가장 적절하다는 것은 다름

정렬의 경우도 신경망 학습이 가능ㅇ하지만 명백하 ㄴ규칙에 따라 정확하게 동작하기도 함

이는 서로 다른 종류의 문제 해결 방식

 

5. 표현 방식이 고정되면 최적화도 제한된다.

현재의 컴파일러는 주어진 연산 그래프를 더 빠르게 실행하도록 변환

그러나 기본적으로는 이미 정의된 레이어와 연산을 입력으로 받음,

보다 근본적인 방향으론, 

• 문제의 수학적 의미
• 불변성과 제약 분석
• 가능한 계산 구조 탐색
• 하드웨어에 적합한 표현 생성

이 경우 고정된 출발점이 아니라 가능한 여려 표현 중 하나가 된다.

멱등성을 가질 경우 중복 실행 제거 

 

6. 강력한 패러다임일수록 경계가 잘 보이지 않는다.

대부분의 문제에서 어느 정도의 결과를 내기 때문에 그 방법에 대한 의심을 하기 힘듦, 

현재 하드웨어에서 빠르다는 것과

계산적으로 본질적인 구조라는 것의 차이 파악 필요