7.4 자료 집합의 증강

학습 모형의 일반화를 개선하는 최선의 방법은 더 많은 자료로 모형을 훈련하는 것이다. 

실제 응요에선 우리가 사용할 수 있는 자료의 양은 한정되어 있다.

이 문제를 극복하는 방법 중 하나는 가짜 자료를 만들어 훈련 집합에 추가하는 것, 기계 학습 과제에서는 이것이 그리 어렵지 않다.

 

이런 접근 방식을 적용하기 가장 쉬운 기계 학습 과젠느 분류이다. 분류기는 복잡한 고차원 입력을 받아서 그것을 하나의 범주로 요약한다. 이는 분류기에게 주어지는 주된 과제는 다양한 변환들에 대해 달라지지 않는다는 뜻이다.

따라서 그냥 훈련 집합의 기존 x 들을 변환해서 새로운 쌍들을 생성할 수 있다.

 

그러나 다른 여러 과제들에 대해서는 이런 접근 방식이 잘 통하지 않는다. 

 

이러한 자료 집합 증강 augmentation 은 특정 분류 문제에 특히나 효과적으로 쓰였다.

그 문제란 바로 물체 인식, 이미지는 고차원 자료이며, 다양한 변동 요인들을 포함한다. 그러한 요인 중 다수는 쉽게 시뮬레이션 할 수 있다. 훈련 이미지를 이동, 회전 등의 연ㅅ나으로 일반화를 크게 개선할 수 있다. 

 

단, 변환 때문에 견본이 잘못된 부류로 분류되는 일은 없어야 한다.

또한, 분류기가 불변성을 갖누느 척이 바람직하지만 수행하기가 쉽지 않은 변환들도 있다. 평면을 벗어나느 회전의 경우 입력 픽셀들에 대한 기하학 연산으로는 구현할 수 없다. ( 3차원 이미지의 2차원 표현, 회전의 형태)

 

여러 분류 과제, 몇몇 회귀 과제에선느 입력에 작은 무작위한 잡음이 추가되어도 학습 모형이 과제를 완수할 수 있어야 한다. 그러나 신경망이 그러한 잡음에 대해 아주 강인하게 대처하지는 못한다.

잡음에 대한 신경망의 강인함 robustness 를 개선하는 한 가지 방법은, 그냥 무작위 잡음이 더해진 입력으로 신경망을 훈련하는 것이다. 

 

입력 잡음 주입은 잡음 제거 자동부호기 denoising autoencoder 같은 몇몇 비지도 학습 알고리즘의 일부이다. 잡음을 입력이 아니라 은닉 단위들에 주입할 수도 있는데, 이는 다수의 추상 수준에서의 자료 집합 증강으로 간주할 수 있다. 

드롭아웃은 입력에 잡음을 곱해서 새로운 입력을 만드는 과정으로 볼 수 있다.

 

기계 학습 벤치마크 결과들을 비교할 때는 자료 집합 증강의 효과를 고려하는 것이 중요하다. 사람이 직접 설계한 자료 집합 증강 방안을 적용하면 기계 학습 기법의 일반화 오차가 극적으로 줄어들 수 있다. 

 

성능 비교시 반드시 통제된 실험을 수행해야 한다.