3. 확률론과 정보 이론

확률론 probability theory 은 과학과 공학의 여러 분야에서 근본적인 도구로 쓰인다. 

확률론을 이용하면 불확실한 명제를 서술할 수 있으며, 불활실성이 존재하는 상황에서 뭔가를 추론할 수 있다. 한편, 정보 이론 information theory 을 이용하면 주어진 확률분포에 존재하는 불확실성의 양을 추정할 수 있다.

3.1 확률의 필요성

기계 학습은 항상 불확실한 수치들을 다루어야 하며, 확률적 stochastic 또는 비결정론적 nondeterministic 수치들을 다룰 때도 있다. 불확실성 uncertainty 과 확률성 stochasticity 의 원천은 여러 가지이다. 

 

거의 모든 활동에는 불확실성의 존재를 추론하는 어떤 능력이 필요하다. 

다음은 불확실성을 발생할 수 있는 세 가지 원천이다.

1. 모형화할 시스템에 내재한 확률성, 예를 들어, 대부분의 양자역학 해석은 아원자 입자가 확률적으로 행동하는 것처럶 서술한다. 또한, 작동 방식이 무작위한 가상의 시나리오도 고안해 낼 수 있다. 
2. 불완전한 관측 가능성 observability, 결정론적인 시스템이라고해도, 그 시스템의 행동을 추동하는 변수들을 모두 관측할 수 없을 때는 시스템이 확률적으로 행동하는 것처럼 보일 수 있다. 몬티홀 문제에서 참가자의 선택 결과는 결정론적이지만, 참가자의 관점에서 그 결과는 불확실하다.
3. 불완전한 모형화, 고간측한 정보의 일부를 반드시 폐기해야 하는 모형을 사용하는 경우, 폐기한 정보 때문에 모형의 예측에 불확실성이 발생한다. 공간을 이산화하여 예측할 경우 그러한 이산화 때문에 불확실성이 발생한다.

 

많은 경우 복잡하지만 확실한 규칙보다는 간단하지만 불확실한 규칙을 사용하는 것이 좀 더 실용적이다. 

심지어, 진정한 규칙이 결정론적이고 모형화 시스템이 복잡한 규칙을 감당할 수 있을 정도의 충실도를 갖추었다고 해도 그렇다. 

 

불확실성을 표현하고 추론하는 수단이 필요하다는 점은 명확하지만, 인공지능 응용 프로그램에 필요한 모든 수단을 확률론이 제공할 것인지는 그리 명확하지 않다. 

특정 사건이 일어날 비율과 직접 관련된 종류의 확률을 흔히 빈도로낮 확률 frequentist probabiltiy 라고 부르고, 확실성의 수준을 수치화하는 데 관련된 확률을 베이즈 확률 Bayesian probability 라고 부른다.

 

불확실성에 관한 추론이 갖추리라고 상식적으로 기대하는 여러 성질들을 나열해 보면, 그러한 성질을 충족하는 방법은 베이즈 확률을 빈도론자 확률과 같은 방식으로 취급하는 것뿐임을 알게 된다. 

 

확률이라는 것을, 논리 logic 을 불확실성까지 다룰 수 있도록 확장한 것이라고 생각해도 좋을 것이다. 논리학은 어떤 명제가 주어진 가정하에서 참인지 거짓인지를 결정하는 일단의 형식적인 규칙들을 제공한다. 확률론은 다른 명제들의 가능도 likelihood 가 주어졌을 때 어떤 명제가 참일 가능도를 결정하는 일단의 형식적인 규칙들을 제공한다.