랜덤 포레스트 구조

랜덤 포레스트의 기본 구성 요소는 의사결정나무이다. 의사결정나무는 데이터의 특성에 기반하여 일련의 질문(분할)을 통해 분류 또는 회귀 예측을 수행하는 지도 학습 모델이다. 구조는 나무와 유사하여, 최상단의 루트 노드에서 시작해 내부 노드를 거쳐 최종적인 결론을 내리는 리프 노드로 끝난다.

각 내부 노드는 데이터의 특정 피처에 대한 조건(예: '나이 > 30')을 포함한다. 이 조건에 따라 데이터는 '참' 또는 '거짓' 가지를 따라 서로 다른 자식 노드로 이동한다. 이 과정은 순수한 하위 집합이 생성되거나 다른 중지 조건에 도달할 때까지 재귀적으로 반복된다. 분할 기준은 일반적으로 지니 불순도, 엔트로피(정보 이득), 또는 분산 감소와 같은 순도 지표를 최적화하는 방식으로 선택된다.

의사결정나무는 해석이 용이하고 수치형/범주형 데이터를 모두 처리할 수 있다는 장점이 있다. 그러나 단일 트리는 훈련 데이터에 지나치게 맞추어져 과적합되기 쉬운 경향이 있다[1]. 랜덤 포레스트는 이러한 단일 의사결정나무의 불안정성과 과적합 문제를 해결하기 위해 다수의 트리를 구성하고 그 결과를 앙상블하여 일반화 성능을 크게 향상시킨다.

배깅은 앙상블 학습의 핵심 기법 중 하나로, 원본 데이터셋에서 중복을 허용한 무작위 추출을 통해 여러 개의 서로 다른 학습 데이터셋을 생성하는 방법이다. 이 과정을 부트스트랩 샘플링이라고 부른다. 각 의사결정나무는 이렇게 생성된 독립적인 데이터 샘플을 기반으로 학습을 진행하여, 서로 약간씩 다른 패턴을 학습하게 된다.

배깅의 주요 목적은 모델의 분산을 줄이고 일반화 성능을 향상시키는 것이다. 단일 의사결정나무는 학습 데이터에 대한 과적합 경향이 강하고, 데이터의 작은 변화에도 예측 결과가 크게 달라질 수 있는 높은 분산을 가진다. 배깅은 여러 트리의 예측을 평균내거나 투표를 통해 최종 결정을 내림으로써, 개별 트리의 오차를 상쇄하고 더 안정적이고 정확한 예측 모델을 구축한다.

랜덤 포레스트는 배깅을 기본 프레임워크로 채용하지만, 여기에 랜덤 피처 선택이라는 추가적인 무작위성을 도입하여 더욱 강력한 앙상블을 형성한다. 이는 트리들 간의 상관관계를 추가로 낮추어, 배깅의 효과를 극대화하는 역할을 한다.

랜덤 포레스트의 핵심 구성 요소 중 하나는 각 의사결정나무를 학습할 때 사용할 특징을 무작위로 선택하는 랜덤 피처 선택 과정이다. 이는 배깅의 확장 개념으로, 모델 내 트리들 간의 상관관계를 낮추고 다양성을 극대화하는 데 목적이 있다.

구체적인 과정은 다음과 같다. 전체 p개의 특징이 있을 때, 각 트리의 각 분기점에서 분할을 고려할 특징 후보의 개수 m을 설정한다. 일반적으로 분류 문제에서는 m ≈ √p, 회귀 문제에서는 m ≈ p/3을 사용하는 것이 권장된다[2]. 이후 알고리즘은 전체 특징 집합에서 m개의 특징을 무작위로 샘플링하여, 그 중에서만 최적의 분할 기준을 탐색한다. 이 과정은 트리가 성장하는 동안 모든 분기점에서 반복적으로 수행된다.

이 방식은 몇 가지 중요한 효과를 가져온다. 첫째, 모든 트리가 동일한 강력한 예측 변수에만 의존하는 것을 방지하여 트리들 간의 예측 오류의 상관관계를 줄인다. 둘째, 상대적으로 덜 중요하지만 유용한 특징이 모델 구축에 기여할 기회를 제공한다. 결과적으로 배깅만 적용했을 때보다 앙상블의 분산을 더 효과적으로 감소시켜, 전반적인 일반화 성능을 향상시킨다.

각 의사결정나무는 학습 데이터에서 무작위로 복원 추출한 부트스트랩 샘플을 사용하여 독립적으로 생성됩니다. 이 과정은 배깅 기법을 기반으로 하며, 각 트리의 다양성을 보장합니다.

트리의 구체적인 생성은 재귀적 분할 알고리즘에 따라 진행됩니다. 각 노드에서는 전체 피처 집합 중에서 무작위로 선택된 피처의 부분집합만을 고려하여 최적의 분할 기준을 찾습니다. 이 랜덤 피처 선택 과정은 트리 간의 상관관계를 낮추고 모델의 일반화 성능을 향상시키는 핵심 메커니즘입니다. 분할은 일반적으로 지니 불순도나 엔트로피(분류 문제), 또는 평균 제곱 오차(회귀 문제)와 같은 불순도 지표를 최소화하는 방향으로 결정됩니다.

분할은 미리 설정된 종료 조건에 도달할 때까지 반복됩니다. 일반적인 종료 조건은 다음과 같습니다.

이렇게 생성된 모든 트리는 완전히 독립적이며, 학습 과정은 병렬로 처리될 수 있어 계산 효율성이 높습니다. 최종 모델은 이렇게 생성된 수백에서 수천 개의 트리의 앙상블로 구성됩니다.

랜덤 포레스트의 각 의사결정나무는 노드에서 데이터를 가장 잘 나눌 수 있는 기준을 찾아 분할을 수행한다. 이 분할 기준은 주어진 데이터의 불순도나 불확실성을 최대한 감소시키는 방향으로 선택된다. 분류 문제에서는 일반적으로 지니 불순도나 엔트로피를, 회귀 문제에서는 분산 감소를 목표로 한다.

분류 문제에서 가장 널리 사용되는 기준은 지니 불순도이다. 지니 불순도는 한 노드에 포함된 샘플들이 다른 클래스에 속할 확률의 합으로 계산되며, 값이 0에 가까울수록 해당 노드의 샘플들이 동일한 클래스에 속해 순수도가 높음을 의미한다. 분할 시, 자식 노드들의 가중 평균 불순도가 부모 노드의 불순도보다 크게 감소하는 피처와 임계값을 선택한다. 대안으로 정보 이득을 최대화하는 기준도 사용되는데, 이는 분할 전후의 엔트로피 차이를 계산한다.

회귀 문제에서는 목표 변수의 값을 예측하므로, 분산 감소가 주요 분할 기준이 된다. 각 후보 분할에 대해 자식 노드들의 목표 값 분산의 가중 합을 계산하고, 이 값이 가장 크게 감소하는 분할을 선택한다. 이는 결과적으로 예측 오차를 최소화하는 방향으로 트리가 성장하도록 유도한다.

랜덤 포레스트는 모든 가능한 분할을 전수 조사하는 대신, 랜덤 피처 선택 과정을 통해 매 분할마다 고려할 피처의 후보 집합을 무작위로 제한한다. 이는 트리들의 다양성을 증가시키고 과적합을 방지하는 핵심 메커니즘이다. 분할 기준의 수학적 정의는 다음과 같다.

여기서 p_i는 노드 내 클래스 i의 비율, H()는 엔트로피, Var()는 분산, N은 샘플 수를 나타낸다. 실제 구현에서는 계산 효율성을 위해 이들 기준의 등가 변형이 사용되기도 한다.

랜덤 포레스트가 분류 문제를 해결할 때, 각각의 의사결정나무는 투표를 통해 최종 예측에 참여한다. 새로운 샘플이 입력되면, 포레스트를 구성하는 모든 트리는 독립적으로 해당 샘플이 속할 클래스를 결정한다. 이후 다수결 원칙에 따라 가장 많은 표를 얻은 클래스가 최종 예측값으로 선정된다.

이 과정은 단일 의사결정나무를 사용하는 것보다 일반적으로 더 높은 정확도와 강건성을 제공한다. 개별 트리가 서로 다른 부트스트랩 샘플과 피처의 부분집합으로 학습되기 때문에, 각 트리는 데이터를 약간 다르게 해석한다. 일부 트리가 잘못된 분류를 하더라도, 전체 앙상블의 다수결 투표를 통해 그 오류가 상쇄되는 효과가 발생한다.

랜덤 포레스트의 분류 성능은 하이퍼파라미터 설정에 영향을 받는다. 주요 파라미터는 다음과 같다.

이러한 다수결 기반의 예측 방식은 노이즈에 강하고, 고차원 데이터에서도 안정적인 성능을 보이는 것으로 알려져 있다. 또한, 배깅과 랜덤 피처 선택의 조합은 모델의 분산을 효과적으로 줄여준다.

회귀 문제에서 랜덤 포레스트는 여러 의사결정나무의 예측값을 평균하여 최종 결과를 도출한다. 각각의 의사결정나무는 독립적으로 학습되어 목표 변수의 연속적인 값을 예측하도록 훈련된다. 최종 예측값은 모든 트리가 출력한 값들의 산술 평균으로 계산된다[3].

랜덤 포레스트 회귀의 성능은 주로 사용되는 하이퍼파라미터에 영향을 받는다. 중요한 파라미터로는 포레스트를 구성하는 의사결정나무의 개수(n_estimators), 각 트리의 최대 깊이(max_depth), 그리고 각 분기점에서 고려할 피처의 수(max_features) 등이 있다. 이 파라미터들은 모델의 복잡도와 계산 비용을 조절한다.

회귀 문제에서의 분할 기준은 일반적으로 평균 제곱 오차(MSE)나 평균 절대 오차(MAE)의 감소량을 최대화하는 방향으로 선택된다. 이는 각 노드에서 데이터의 불순도 또는 분산을 최소화하는 피처와 임계값을 찾는 과정이다.

랜덤 포레스트는 배깅과 랜덤 피처 선택이라는 두 가지 핵심 메커니즘을 통해 과적합을 효과적으로 방지한다. 배깅은 원본 데이터셋에서 중복을 허용한 무작위 샘플링(부트스트래핑)을 통해 여러 개의 서로 다른 학습 데이터셋을 생성한다. 이렇게 생성된 각 데이터셋으로 개별 의사결정나무를 학습시키면, 각 트리는 데이터의 서로 다른 부분집합에 맞춰져 서로 약간씩 다른 결정 경계를 형성하게 된다. 이 다양성은 모델이 훈련 데이터의 특정 노이즈나 이상치에 과도하게 적응하는 것을 막아준다.

두 번째 메커니즘인 랜덤 피처 선택은 각 트리의 노드에서 분할 기준을 찾을 때 사용할 피처의 후보군을 무작위로 제한한다. 일반적으로 전체 피처 수의 제곱근 정도의 피처만 후보로 고려한다[4]. 이는 트리들이 서로 상관관계를 줄이고 더욱 다양해지도록 만든다. 만약 매우 강력한 예측 변수가 하나 존재한다면, 모든 트리가 그 변수를 최상위 분할 기준으로 사용하여 매우 유사한 구조를 가질 수 있다. 랜덤 피처 선택은 이러한 현상을 방지하여 개별 트리의 예측이 덜 상관되도록 한다.

최종 예측은 이러한 다양성을 가진 다수의 트리로부터의 결과를 집계(분류는 다수결, 회귀는 평균)하여 얻는다. 이 집계 과정은 개별 트리가 가진 오차나 편향을 상쇄시키는 효과가 있다. 하나의 트리가 특정 훈련 샘플에 과적합되었더라도, 다른 많은 트리들은 그렇지 않을 가능성이 높기 때문에, 전체 포레스트의 예측은 더욱 안정적이고 일반화 성능이 높아진다. 따라서 랜덤 포레스트는 단일 의사결정나무에 비해 훨씬 강건한 모델로 평가받는다.

랜덤 포레스트는 모델의 예측에 기여하는 각 입력 변수(특성)의 상대적 중요도를 추정할 수 있는 기능을 제공한다. 이는 모델 해석과 특성 선택에 유용한 정보를 준다.

변수 중요도는 일반적으로 두 가지 주요 방법으로 계산된다. 첫 번째는 평균 불순도 감소이다. 각 의사결정나무에서 변수가 데이터를 분할할 때 지니 불순도나 엔트로피가 감소하는 양을 측정하고, 모든 트리에 걸쳐 그 감소량의 평균을 구한다. 감소량이 클수록 해당 변수가 클래스를 잘 구분한다는 의미이므로 중요도가 높아진다. 두 번째 방법은 평균 정확도 감소이다. 특정 변수의 값을 무작위로 뒤섞어(퍼뮤테이션) 모델의 예측 정확도가 얼마나 하락하는지를 측정한다. 정확도 하락이 크면 그 변수가 모델 예측에 중요한 역할을 했음을 의미한다.

이렇게 계산된 중요도 점수는 모든 변수에 대해 상대적인 순위를 매기는 데 사용된다. 이를 통해 불필요하거나 노이즈가 많은 변수를 제거하는 특성 공학을 수행하거나, 비즈니스 인사이트를 도출하는 데 활용할 수 있다. 그러나 변수 중요도는 상대적 지표일 뿐 절대적 기준이 아니며, 높은 상관관계를 가진 변수들이 있을 경우 중요도가 분산되어 나타날 수 있다는 점에 유의해야 한다.

랜덤 포레스트에서 트리 개수는 가장 중요한 하이퍼파라미터 중 하나이다. 이는 앙상블을 구성하는 의사결정나무의 총 수를 의미한다. 일반적으로 트리 개수를 늘릴수록 모델의 성능이 안정화되고 예측의 분산이 감소한다. 이는 대수의 법칙에 기반하여, 더 많은 트리가 평균을 취함으로써 개별 트리의 오차나 노이즈에 의한 영향을 상쇄시키기 때문이다.

트리 개수를 설정할 때는 성능과 계산 비용 사이의 균형을 고려해야 한다. 너무 적은 트리는 과적합을 방지하는 앙상블의 장점을 충분히 살리지 못하고, 예측이 불안정해질 수 있다. 반면, 트리 개수를 무한정 늘리는 것은 성능 향상에 한계가 있으며, 학습 및 예측에 필요한 시간과 메모리 사용량만 증가시킨다. 실제 적용에서는 계산 자원의 제약 내에서 성능이 수렴하는 지점을 찾는 것이 일반적이다.

트리 개수의 영향을 요약하면 다음과 같다.

실제로는 교차 검증을 통해 검증 세트의 성능이 더 이상 유의미하게 향상되지 않는 지점의 트리 개수를 선택한다. 많은 구현체에서는 기본값으로 100개의 트리를 사용한다.

랜덤 포레스트에서 각 의사결정나무가 성장할 수 있는 최대 수준을 제한하는 매개변수이다. 일반적으로 max_depth라는 이름으로 지정되며, 트리의 루트 노드에서 가장 먼 리프 노드까지의 경로 길이를 의미한다. 이 값을 설정함으로써 개별 트리의 복잡도를 직접 통제할 수 있다.

최대 깊이를 너무 낮게 설정하면 트리가 충분히 성장하지 못해 과소적합이 발생할 수 있다. 모델이 데이터의 복잡한 패턴을 학습하기에 충분한 표현력을 갖추지 못하게 된다. 반대로, 값을 너무 높게 설정하거나 제한을 두지 않으면 각 트리가 훈련 데이터에 지나치게 맞춰져 과적합될 위험이 커진다. 이는 전체 랜덤 포레스트의 일반화 성능을 저하시킬 수 있다.

적절한 최대 깊이는 데이터의 특성과 복잡도에 따라 달라진다. 일반적으로 교차 검증을 통해 성능을 평가하면서 최적값을 찾는다. 깊이를 제한하는 것은 계산 비용을 줄이고 모델 해석 가능성을 일부 높이는 효과도 있다. 다른 하이퍼파라미터인 최소 샘플 분할이나 최소 리프 노드 샘플 수와 함께 조정하여 트리의 성장을 종합적으로 관리한다.