다양한 모델을 결합한 앙상블 학습

앙상블 학습

ensemble learing 의 목표는 여러 분류기를 하나의 분류기로 연결하여 더 좋은 일반화 성능을 달성하는 것,

 

과반수 투표 majority voting 방식을 주로 사용

 

배깅: 부트스트랩 샘플링을 통한 분류 앙상블

중복을 허용한 랜덤 샘플, 부트스트랩 샘플을 뽑아서 사용, 

 

약한 학습기를 이용한 에이다부스트

 

부스팅에서 앙상블은 약한 학습기라고도 하는 매우 간단한 분류기로 구성, 아이디어는 분류하기 어려운 샘플에 초점을 맞추는 것

 

부스팅 작동 원리

중복을 허용하지 않고 훈련 데이터셋에서 랜덤 샘플을 추출하여 부분 집합을 구성한다.

1. 중복을 허용하지 않은 부분 집합을 뽑아 약한 학습기를 훈련
2. 두 번째 랜덤한 훈련 부부집합을 뽑고 이전에 잘못 분류된 샘플의 50% 를 더해서 약한 학습기를 훈련한다.
3. 1,2 에서 잘못 분류한 훈련 샘플을 찾아 세 번째 학습기를 훈련
4. 세 학습기를 다수결 투표로 연결한다. 

 

 

그레이디언트 부스팅 : 손실 그레이디언트 기반의 앙상블 훈련

다음 트리를 훈련하는 타깃 변수를 직접 사용한다. 

 

그레이디언트 부스팅 알고리즘