로지스틱 회귀와 소프트맥스 회귀 - 각 클래스의 사후 확률을 특정 함수 형태로 표현한 것!

각 클래스에 대해 입력값 x 가 주어졌을 때의 사후 확률 P(C_k | x) 을 표현하는 방식, 

이 사후 확률을 선형 함수 + 시그모이드 / 소프트맥스와 같은 해석 가능한 함수 형태로 바꾸는 과정

 

Binary Classification : 로지스틱 시그모이드 함수

 

두 클래스 C_1, C_2 가 있을 때, 입력 벡터 x 가 주어졌을 때 클래스 C_1 일 사후 확률 : P(C_1 | x)

이 확률을 x 의 선형 함수에 대한 로지스틱 시그모이드 함수로 표현한다.

 

 

 

2. 다중 클래스 분류 Multiclass Classification 

K 개의 클래스에서 입력 x 에 대해 P(C_k | x) 를 모델링하고자 함

 

 

왜 로그를 취하는가? ( 로그 우도비, log odds )

이진 분류 상황에서 시작

 

입력 x 가 주어졌을 때, 사후 확률 P(C_1 | x) 를 선형 함수로 표현하고 싶다. 

 

로그를 취하는 이유는 비율은 곱셈 구조지만, 로그를 취하면 덧셈 구조로 바뀌기 때문에 모델링과 수학적 최적화가 쉬워진다. 

 

다시, 우리의 목표는 입력 x 에 대한 각 클래스의 사후 확률을 계산하는 것이고, 이를 로지스틱 시그모이드 함수, 소프트 맥스 함수 형태로 표현할 수 있음을 본 것

 

사후 확률에 대한 정보는 베이즈 정리를 통해 각 클래스의 사후 확률을 구한 것, 이러한 비율이 odds 이다!

이 odds 값에 로그를 취한 로그 우도비 log-odds 를 이용 이것이 w^T x + b 와 같은 형태를 띄고 있다고 가정한다면, 로지스틱시그모이드 함수가 등장??!! ( 로그 우도를 선형식으로 근사하거나 가정한다 ) 

이진 분류에서 사후확률은 입력의 선형 결합을 로지스틱 시그모이드로 변환한 형태로 표현