4.2 확률적 생성 모델

분류 문제를 확률론적으로 살펴볼 수 있다. 

데이터의 분포에 대한 단순한 가정으로부터 선형 결정 경계를 가지는 모델을 유도해 내는 과정에 대해 살펴본다.

클래스별 조건부 밀도 p(x|C_k) 와 클래스 사전 분포 p(C_k) 를 모델하고, 여기에 베이지안 정리를 적용하여 사후 확률 p(C_k|x) 를 계산해 내는 방식의 생성적 접근법을 사용할 것이다.

우선, 클래스가 두 개인 경우 고려, 클래스 C_1 에 대한 사후 확률을 다음과 같이 적을 수 있다.

여기서 다음을 정의

sigma 는 로지스틱 시그모이드 함수로써 다음과 같이 정의

시그모이드와 같은 종류들의 함수는 스쿼싱 함수라고 불린다. 전체 실수축을 유한한 범위 안에 사상하기 때문이다. 

로지스틱 시그모이드 함수는 대칭성을 만족한다. 

로지스틱 시그모이드 함수의 역은 다음과 같이 주어진다.

위 식을 로짓함수라고 부르기도 한다. 로짓 함수는 두 클래스에 대한 확률들의 비율의 로그랎을 나타낸다. 로그 오즈라 일컫기도 한다.

K > 2 개의 클래스가 있는 경우에는 다음과 같이 된다.

이를 정규화된 지수 함수라 하며, 로지스틱 시그모이드 함수를 여러 클래스에 대해 일반화한 형태에 해당한다. 여기서 a_k 는 다음과 같이 정의된다.

정규화된 지수 함수를 소프트맥스 함수라고 일컫기도 한다.