[ML] 랜덤 포레스트 (random forest)

* 참고

bkshin.tistory.com/entry/%EB%A8%B8%EC%8B%A0%EB%9F%AC%EB%8B%9D-5-%EB%9E%9C%EB%8D%A4-%ED%8F%AC%EB%A0%88%EC%8A%A4%ED%8A%B8Random-Forest%EC%99%80-%EC%95%99%EC%83%81%EB%B8%94Ensemble

머신러닝 - 5. 랜덤 포레스트(Random Forest)

dreamlog.tistory.com/576

[데이터마이닝] 의사결정나무(Decision Tree Analysis)

 

 

랜덤 포레스트(random forest)는 여러 개의 결정 트리(decision tree)를 모아서 만든 모델이다.

따라서 랜덤 포레스트를 알기 위해서는 먼저 결정 트리에 대해 알아야 한다.

 

결정 트리(decision tree)는 분류와 회귀 모두 가능한 supervised learning model 중 하나로,

특정 기준에 따라 한 번의 분기마다 변수 영역을 2개 이상의 영역으로 구분하는 모델이다.

특정 기준에 따라 데이터를 구분한다고 했는데, 구체적으로는 information gain이 가장 큰 방향으로 데이터를 구분한다. information gain은 엔트로피에 대한 감소 기대치로, 불순도의 감소 정도를 나타낸다.

아래에서 엔트로피에 대한 정의를 자세히 설명하겠다.

 

엔트로피(entropy)는 불순도를 수치적으로 나타낸 척도로, 0과 1 사이의 값을 갖는다.

엔트로피가 높다는 것은(1에 가깝다는 것은) 불순도가 높다는 것을 의미하고,

엔트로피가 낮다는 것은(0에 가깝다는 것은) 순도가 높다는 것을 의미한다.

엔트로피는 entropy= -sum(pi*log2(pi)  의 식을 통해 계산된다.

 

정보 획득량(information gain)은 엔트로피에 대한 감소 기대치로, 부모의 엔트로피에서 자식의 엔트로피를 뺀 값이다.

이 값은 분기를 진행했을 때 불순도가 얼마나 줄어드는지를 나타낸다.

불순도가 크게 줄어들수록 좋은 것이기 때문에 정보 획득량이 높은 방향으로 분기를 진행한다.

 

다시 한 번 결정 트리에 대해 정의하면,

결정 트리는 정보 획득량(information gain)이 커지는 방향으로 분기를 진행하며 학습하는 알고리즘이다.

 

 

의사결정나무는 나무 구조로 표현되어 쉽게 이해할 수 있고,

두 개 이상의 변수가 결합하며 목표 변수에 어떠한 영향을 주는 지 쉽게 파악할 수 있다는 장점이 있다.

또한 비모수적 모형으로 분포에 대한 가정이 필요하지 않다.

하지만 연속형 변수를 구분할 때는 비연속적 값으로 취급하기 때문에 분리의 경계 부근에서 예측오류가 발생할 수 있고,

train data로만 분리 규칙을 학습하기 때문에 overfitting이 발생하기 쉽다는 단점이 있다.

 

따라서 의사결정 나무에서 overfitting을 막기 위한 방법으로 가지치기(pruning)를 진행하기도 하는데,

가지치기에는 DT 형성 전 depth를 제한하는 사전 가지치기와

최대 depth까지 확장한 후 나중에 가지를 자르는 사후 가지치기가 존재한다.

 

 

하지만 이렇게 가지치기를 해도 의사결정나무는 train data에 overfitting되는 경향이 여전히 남아있다.

따라서 여러 개의 결정 트리를 이용해 예측을 진행하자는 아이디어에서 랜덤 포레스트(random forest)가 나오게 되었다.

랜덤 포레스트는 여러 개의 결정 트리로 이루어져 있고,

각 DT는 모든 설명변수를 사용하는 것이 아니라, 여러 개의 설명 변수 중 일부 설명변수만을 이용해 만들어진다.

일부 설명변수만 사용하는 이유는 overfitting을 막기 위함이다.

랜덤 포레스트는 입력이 주어지면 여러 개의 DT에서 나온 결과를 다수결의 원칙에 따라 최종 예측을 진행한다.

이렇게 되면 train data에 overfitting되는 문제점을 해결할 수 있다.

 

이렇게 여러 개의 모형에서 나온 예측값을 이용해 최종 예측을 진행하는 방법을 앙상블(ensemble)이라 하며,

랜덤 포레스트는 앙상블 기법 중 하나에 속한다.