semi-supervised learning

P(y|x) 를 추정하거나 x 로부터 y 를 예측하는 과제에 대해, 준지도 학습 패러다임은 P(x) 에서 추출한 이름표 없는 견본들과 P(x,y) 에서 추출한 이름표 붙은 견본들을 함께 사용한다.

 

 

 

모형에 비지도 구성요소와 지도 구성요소를 따로 두는 대신, P(x) 또는 P(x,y) 의 생성 모형 generative model 이 P(y|x) 의 판별 모형 discriminative model 과 매개변수들을 공유하는 형태의 모형을 만들 수도 있다.

이런 모형에서는 지도 학습의 판정기준과 비지도 학습 또는 생성 판정기준을 절충할 수 있다. 

그런 경우 생성 모형의 판정기준은 지도 학습 문제의 해에 관한 특정한 현태의 사전 믿음을 표현한다. 

 

구체적으로 말해서  그 사전 믿음은 P(x) 의 구조와 P(y|x) 의 구조가 공유 매개변수화로 포작할 수 있는 방식으로 연관되어 있다는 것이다.  

생성 판정기준을 전체 판정기준에 얼마만큼이나 포함할 것인지를 제어함으로써, 순수한 생성 훈련 판정기준과 순순한 판별 훈련 판정 기준의 더 나은 균형점을 찾을 수 있다.