확률적 판별 모델

클래스가 두 개인 분류 문제의 경우 다양한 종류의 클래스 조건부 분포 p(x|C_k) 에 대하여 클래스 C_1 의 사후 확률을 x 의 선형 함수에 대한 로지스틱 시그모이드 함수로 표현할 수 있었다.

 

비슷하게 클래스가 여럿인 경우 C_k 의 사후 확률을 x 에 대한 선형 함수를 소프트맥스 함수로 변환한 것으로 표현할 수 있었다.

 

클래스 조건부 밀도 p(x|C_k) 가 특정 분포인 경우에 대해서는 최대  가능도 방법을 이용하여 밀도의 매개변수와 클래스 사전 분포 p(C_k) 를 구하고,  거기에 베이지안 정리를 적용해서 사후 클래스 확률을 구하기도 했다.

 

대안적인  또 다른 방법으로 일반화된 선형 모델의 함수 형태를 명시적으로 사용하고 여기에 최대 가능도 방법을 적용해서 함수의 매개변수를 직접 구하는 것, 반복 재가중 최소 제곱법 iterative reweighted least squares, IRLS

 

일반화된 선형 모델의 매개변수를 찾을 때, 클래스 조건부 밀도와 클래스 사전 분포르르 따르 피팅한 후 베이지안 정리를 적용하여 간접적으로 매개변수를 찾는 방식은 생성적 generative 모델링의 한 예.

 

주변 분포 p(x) 에서 x 값을 추출하는 방식으로 인공의 데이터를 생성하는 것이 가능하기에 생성적 모델이라 명명

 

이에 반해, 직접적인 접근법에서는 조건부 분포 p(C_k|x) 를 통해 정의된 가능도 함수를 직접 극대화하게 된다. 이는 판별적 discriminative 훈련의 예

 

• 클래스 분류 문제의 경우 조건부 분포에서 클래스의 사후  확률을 x 의 선형 함수에 대한 로지스틱 시그모이드 함수로 표현
• 다중 분류의 경우 사후 확률을 x 에 대한 선형 함수를 소프트 맥스 함수로 변환
• 조건부 밀도가 특정 분포일 경우 최대 가능도 방법을 이용하여 밀도의 매개변수와 클래스 사전 분포 계산, 베이지안 정리로 사후 클래스 확률 계산