성과 측도 P, Performance measure

performance measure, P 는 시스템이 수행하는 과제 T 에 따라 다를 수 있다.

분류 같은 과제에서는 모형의 정확도, accuracy 를 성과 측도로 사용할 때가 많다. 견본 전체 중 모형이 정확한 결과를 출력한 견본들의 비율, 오류율 error rate, 모형이 틀린 결과를 출력한 견본들의 비율로도 동등한 정보를 얻을 수 있다.

오류율을 expected 1-0 loss 라고 부르는 경우도 많다. 

 

밀도 추정 같은 과제에서는 각 견본에 연속값 점수를 부여하는 성과 측정 방법이 필요하다. 가장 흔히 쓰이는 접근 방식은 log-propability 를 사용하는 것,

 

성과 측도는 학습 시스템을 훈련하는 데 사용한 것과는 다른 시험 자료 집합 test data set 으로 학습 시스템의 성과를 측정한다.

 

시스템의 바람직한 행동과 잘 부합하는 성과 측도를 선택하기 어려울 때도 많다. 

무엇을 측정할 것인지 결정하기 어려운 경우, 설계상의 고려사항들은 응용에 따라 다르다.

 

측정하기에 적합한 수량들이 명확하긴 하지만 실제 측정 자체가 비현실적일 때도 있다. 밀도 추정에서 그런 상황이 자주 발생한다. 최선의 확률 모형 중에는 확률분포를 오직 암묵적으로만 표현하는 것들이 많다. 그런 모형에서는 공간의 특정한 점에 부여된 실제 확률 계사나이 처리 불가능, 

설계상의 목표에 여전히 부합하는 다른 기준들을 고안하거나, 원하는 기준들을 잘 근사하는 방법을 고안