손실 함수 최소화? 그거 아닌데!! - 데이터 생성 분포에 대한 일반적 손실 최소화

신경망 훈련 시 일반적으로 사용하는 손실 함수는 훈련 데이터 전체에 대해 정의되며, 이 손실 함수를 최소화하는 방향으로 모델을 학습한다. 

 

하지만 모델이 실제로 일반화되기를 원한다면, 데이터 생성 분포에 대한 일반적인 손실을 최소화해야 한다. 

훈련 데이터와 같은 분포에서 생성된, 새로운 데이터에서도 좋은 성능을 발휘하도록 보장하는 것,

 

훈련 데이터는 실제 데이터 생성 분포  p(x,y) 에서 샘플링 된 것, 

이상적으로는 전체 데이터 생성 분포에 대한 손실의 기댓값을 최소화하는 것이 목표이다.

 

실제 데이터 생성 분포를 알지 못하기 때문에 이를 직접 최소화하는 것은 어렵다. 대신 훈련 데이터가 p(x,y) 로부터 샘플링 된 것으로 가정하고, 훈련 데이터에 대한 손실 함수를 최소화하는 것이 일반적인 접근 방식이다.