7. 심층 학습을 위한 정칙화

기계 학습의 중심 문제는, 알고리즘이 훈련 자료 뿐만 아니라 새로운 입력에 대해서도 잘 작동하게 만드는 것이다. 

기계 학습에 쓰이는 전략 중에는 시험 오차의 감소를 주된 목표로 삼아 설계된 것들이 많다. 심이저, 훈련 오차가 증가하더라도 시험 오차를 줄이려는 전략들이 많이 있다. 

위와 같은 전략들을 통칭해서 정칙화 regularization 라고 부른다. 

효과적인 정칙화 전략을 개발하는 것이 주된 연구 과제 중 하나이다.

 

일반화 오차가 아닌 훈련 오차를 줄이기 위한 학습 알고리즘에 가하는 모든 종류의 수정이 정칙화에 해당한다. 

 

심층 학습의 맥락에서 대부분의 정칙화 전략은 정칙화 추정량 regularizaing estimator 에 기초한다. 한 추정량의 정칙화는 편향을 늘리는 대신 분산을 줄이는 식으로 이루어진다. 

정칙화가 효과적이려면 그러한 절충에서 이득이 생겨야 한다. 즉, 편향을 너무 많이 증가하지 않으면서 분산을 크게 줄여야 한다. 

 

실제 응용에서, 과도하게 복잡한 모형족에는 목표 함수나 진 자료 생성 과정이 포함되지 않을 수 있으며, 심지어 그 둘에 가까운 근사조차도 포함되지 않을 수 있다. 우리가 진 자료 생성 과정에 접근할 수 있는 경우는 거의 업식 때문에, 추정할 모형족에 진 자료 생성 과정이 포함되어 있는지를 확실하게 알아낼 수는 없다.

 

요지는, 모형의 복잡도를 제어하는 것이 그냥 적당한 크기의 모형을 찾는 간단한 문제가 아니라는 것이다. 대신 우리는 큰 모형을 적절히 정규화해서 최적 적합 모형을 찾아내야 하는데, 다행이도 실제 심층 학습 응용에서는 그런 모형을 거의 항상 찾아낸다.