앙상블 학습법(Ensemble Learning)

앙상블 여러개의 알고리즘을 사용하여, 그 예측을 결합함으로써 보다 정확한 예측을 도출하는 기법 단일의 강력한 알고리즘보다 복수의 약한 알고리즘이 더 뛰어날수 있다는 생각에 기반을 두고 있음 보팅(Voting), 배깅(Bagging), 부스팅(Boosting)등의 유형으로 나눌 수 있음 보팅(Voting) 여러 모델에서 구해진 예측값을 투표를 통하여 결정하는 방식 서로 다른 알고리즘 여러개를 결합하셔 사용 하드 보팅(Hard Voting) 다수의 분류기가 예측한 결과값을 최종 결과로 선정(다수결 원칙과 유사) 소프트 보팅(Soft Voting) 각 알고리즘이 예측한 레이블 값 결정 확률의 평균을 구한 뒤 가장 확률이 높은 레이블 값을 최종 결과로 선정 위 그림에서 레이블값 예측의 평균 1일 확률 = (0...

랜덤 포레스트

ursobad.tistory.com/31 ursobad.tistory.com/34 위 글들을 먼저 읽어야 이해할 수 있는 내용이다. 랜덤 포레스트(random forest) 분류, 회귀 분석 등에 사용되는 앙상블 학습 방법의 일종 분류 - 분류는 미리 정의된, 가능성이 있는 여러 클래스 레이블 중 하나를 예측하는 것 회귀 - 연속적인 숫자(실수)를 예측하는 것 앙상블이란? 여러 Base 모델들의 예측을 다수결 법칙 또는 평균을 이용해 통합하여 예측의 정확성을 향상시키는 방법 랜덤 포레스트는 의사결정 트리(Decision Tree)를 Base 모델로 사용한다. 결정 트리의 단점인 훈련 데이터에 오버 피팅이 된다는 점을 여러 개의 결정 트리를 통해 랜덤 포레스트를 만들어 해결한다 핵심 아이디어 1. 여러개의..