결정 이론(기대 손실의 최소화)

많은 적용 사례에서의 목표는 단순히 오분류의 숫자를 줄이는 것보다 훨씬 더 복잡할 수 있다.

비용 함수라고도 부르는 손실 함수를 도입함으로써 이러한 문젤르 더 공식화할 수 있다.

손실 함수는 어떤 결정이나 행동이 일어났을 때의 손실을 전체적으로 측정하는 함수다. 이를 활용하면 목표를 발생하는 전체 손실을 최소화하는 것으로 변경할 수가 있다. 

반대로 호용 함수 utility function 을 사용하기도 하는데, 이 경우에는 그 값을 최대화하는 것이 목표가 된다.

실제 클래스가 C_k 인 새 입력값 x 를 클래스 C_j 로 분류했다고 가정해본다. 이 과정에서 우리는 L_kj 로 표한할 수 있는 손실을 발생시키게 된다. L_kj 는 손실 행렬의 k, j 번째 원소로 볼 수 있다. 

손실 함수를 최소화하는 해가 최적의 해다. 하지만 손실 함숫값은 알려져 있지 않는 실제 클래스 값을 알아야만 계산이 가능하다. 주어진 입력 벡터 x 에 대해서 실제 클래스 값에 대한 불확실성은 결합 확률 분포 p(x,C_k)로 표현된다. 

그렇기 때문에 우리는 이 분포에 대해 계산한 평균 손실을 최소화하는 것을 목표로 삼을 수 있다.

각각의 x 값은 결정 구역 R_j 들 중 하나에 독립적으로 포함된다. 우리의 목표는 구역 R_j 을 적절히 선택해서 위 식의 기대 손실값을 최소화하는 것이다. 

이는 각각의 x 에 대해서 식을 최소화해야 한다는 것을 의미한다. 

확률의 곱의 법칙을 사용하면 p(x,C_k) = p(C_k|x)p(x) 임을 알 수 있고 공통 인자 p(x) 를 제거할 수 있다. 따라서 기대 손실을 최소화하는 결정 법칙은 각각의 x 를 다음의 식을 최소화하는 클래스 j 에 할당하는 것이다.

각각의 클래스에 대한 사후 확률 p(C_k|x) 를 알고 나면 이 방법을 쉽게 실행할 수 있다.