4.5 앙상블 방법

분류기의 오차를 줄이는 한 방법은 편향과 분산을 다른 하나에 영향을 미치지 않는 방식으로 감소시키는 것

대표적인 앙상블 방법으로 배깅과 부스팅

배깅은 분산을 부스팅은 편향을 줄이려한다.

 

대부분 앙상블 방법은 분산 감소에 초점을 둔다. 

신경망이 항상 분산이 높은 쪽으로 이동하는 경향이 있기 때문

 

4.5.1 배깅과 부스팅

4.5.2 매개변수 기반 모형 선택과 평균화

신경망 구축에서 어려운 점은 여러 초매개변수들을 적절히 선택하는 것, 응용 과제의 성격에 따라 활성화 함수의 선택도 신경망의 성과에 영향을 미친다. 

하이퍼파라미터가 많은 경우 특정 구성에 민감하게 영향을 받을 수 있다.

이를 극복하는 방법은 여러 구성 각각을 사용하느 모형들을 훈련, 가장 정확한 모형의 파라미터로 최종 모형을 만드는 것, 

 

모형 선택은 앙상블 중심적 접근 방식이라고 할 수 있다. 

 

주요 난제 중 하나는 가능한 조합이 상당히 많다는 것이다. 

4.5.3 무작위 연결 생략 (간선)

4.5.4 드롭 아웃 (노드)

4.5.5 자료 섭동 앙상블