랜덤 포레스트

앙상블 학습은 여러 개의 기본 예측 모델(약학습기)을 결합하여 하나의 강력한 예측 모델(강학습기)을 만드는 기법이다. 핵심 아이디어는 '집단 지성'에 기반하여, 여러 모델의 예측을 종합함으로써 단일 모델보다 더 정확하고 안정적인 예측을 얻는 것이다. 앙상블 학습의 주요 유형으로는 배깅, 부스팅, 스태킹 등이 있다.

랜덤 포레스트는 앙상블 학습의 한 방법인 배깅을 기반으로 한다. 배깅은 'Bootstrap Aggregating'의 줄임말로, 부트스트랩 샘플링을 통해 생성된 여러 학습 데이터 세트로 각각의 모델을 독립적으로 학습시키고, 그 결과를 집계(투표 또는 평균)하는 방식이다. 이 과정은 분산을 줄이고 과적합을 방지하는 데 효과적이다.

배깅의 핵심은 원본 데이터에서 중복을 허용한 무작위 추출을 반복하여 여러 개의 부트스트랩 샘플을 만드는 것이다. 각 샘플로 학습된 모델은 서로 약간 다른 결정 경계를 가지게 되며, 이들의 예측을 평균내면 단일 모델보다 일반화 성능이 향상된다. 랜덤 포레스트는 이 배깅 방식을 의사결정나무에 적용한 대표적인 알고리즘이다.

의사결정나무는 해석이 용이하고 비선형 관계를 잘 포착할 수 있는 장점이 있지만, 몇 가지 근본적인 한계를 지니고 있다. 가장 큰 문제는 과적합에 매우 취약하다는 점이다. 트리가 깊어질수록 훈련 데이터의 세부 패턴과 노이즈까지 학습하여, 새로운 데이터에 대한 일반화 성능이 급격히 저하될 수 있다. 이는 모델의 분산이 높아지는 현상으로 설명된다.

또한, 의사결정나무는 학습 데이터의 작은 변화에 매우 민감하다. 훈련 세트에서 일부 샘플이 바뀌거나 제거되면 완전히 다른 구조의 트리가 생성될 수 있다. 이는 모델의 안정성이 낮음을 의미하며, 예측 결과의 신뢰도를 떨어뜨린다. 이러한 높은 변동성은 단일 트리 모델의 주요 약점 중 하나이다.

이러한 한계들은 단일 의사결정나무가 복잡한 실제 문제에서 최상의 성능을 내는 데 방해가 될 수 있다. 랜덤 포레스트는 바로 이러한 단점을 보완하기 위해 고안된 앙상블 학습 방법이다. 다수의 트리를 생성하고 그 결과를 집계함으로써, 개별 트리의 높은 분산을 평균화하여 더 안정적이고 강력한 모델을 구축한다.

랜덤 포레스트 알고리즘의 첫 번째 핵심 단계는 부트스트랩 샘플링을 통해 각 의사결정나무를 학습시킬 데이터 세트를 생성하는 것이다. 부트스트랩 샘플링은 원본 학습 데이터 세트에서 중복을 허용한 무작위 복원 추출을 반복하여 새로운 샘플을 만드는 통계적 기법이다. 원본 데이터의 개수가 N개라면, 각각의 부트스트랩 샘플도 동일하게 N개의 데이터 포인트로 구성되지만, 일부 데이터는 여러 번 선택되고 일부는 전혀 선택되지 않을 수 있다[2].

이 과정은 포레스트 내 모든 개별 트리에 대해 독립적으로 수행된다. 예를 들어, 포레스트를 구성하는 트리의 수가 100개라면, 100개의 서로 다른 부트스트랩 샘플 세트가 생성된다. 이는 각 트리가 서로 약간 다른 데이터 관점에서 학습되도록 하여 모델의 다양성을 확보하는 기반이 된다. 아래 표는 원본 데이터로부터 부트스트랩 샘플이 생성되는 방식을 보여준다.

(표 설명: 'O'는 해당 샘플이 선택됨, 'X'는 선택되지 않음을 의미한다. 각 샘플은 중복 선택될 수 있다.)

이러한 방식으로 데이터를 샘플링함으로써 앙상블 학습의 핵심 원리 중 하나인 배깅(Bootstrap Aggregating)이 구현된다. 각 트리는 자신만의 고유한 샘플로 학습하므로, 개별 트리가 특정 노이즈나 이상치에 과도하게 적응하는 것을 방지하고, 전체 포레스트의 분산을 줄이는 효과를 가져온다. 결과적으로 모델의 일반화 성능이 향상된다.

랜덤 포레스트의 핵심 구성 요소 중 하나는 부트스트랩 샘플링으로 생성된 각 의사결정나무를 학습할 때 사용되는 특징(feature)의 일부를 무작위로 선택하는 과정이다. 이 과정을 랜덤 피처 선택(Random Feature Selection) 또는 특징 서브스페이스(Feature Subspace) 방법이라고 부른다.

각 의사결정나무의 노드(node)에서 최적의 분할(split) 지점을 찾을 때, 모델은 전체 특징 집합을 고려하지 않고, 사전에 정의된 수(max_features)의 특징만을 무작위로 추출하여 그 중에서 최선의 분할 기준을 선택한다. 일반적으로 분류 문제에서는 max_features를 전체 특징 개수의 제곱근(√p)으로, 회귀 문제에서는 전체 개수의 1/3(p/3)으로 설정하는 것이 권장된다[3]. 이는 다음과 같은 표로 요약할 수 있다.

이 무작위성의 도입은 여러 중요한 효과를 가져온다. 첫째, 포레스트 내 각 트리 사이의 상관관계를 감소시켜, 개별 트리의 예측 오류가 서로 상쇄되도록 돕는다. 둘째, 특정 강력한 특징이 모든 트리의 분할을 지배하는 것을 방지하여 모델의 분산(variance)을 줄이고 일반화 성능을 향상시킨다. 또한, 계산 효율성이 높아져 고차원 데이터를 처리할 때 유리하다.

각 부트스트랩 샘플에서 생성된 데이터와 랜덤 피처 선택을 통해 선택된 피처 서브셋을 사용하여, 다수의 의사결정나무를 독립적으로 학습한다. 각 트리는 최대한 성장하도록 학습되는 것이 일반적이다. 즉, 가지치기를 수행하지 않고 리프 노드가 순수해지거나 최소 샘플 수에 도달할 때까지 분할을 반복한다. 이렇게 깊게 성장한 트리는 과적합 경향이 있지만, 이후 앙상블 학습 과정에서 이를 상쇄한다.

개별 트리의 학습 알고리즘은 표준 의사결정나무 알고리즘과 동일하다. 주어진 노드에서, 선택된 피처 후보군 내에서 최적의 분할점을 찾는다. 분류 문제의 경우 지니 불순도나 엔트로피를, 회귀 문제의 경우 평균 제곱 오차와 같은 기준을 사용하여 불순도나 오차를 최대한 줄이는 분할을 선택한다. 이 과정은 재귀적으로 반복되어 전체 트리 구조를 완성한다.

이러한 방식으로 생성된 각 트리는 서로 다른 데이터 샘플과 피처를 바탕으로 학습되기 때문에 서로 약간 다른 결정 경계를 형성한다. 이 다양성이 전체 포레스트의 일반화 성능을 높이는 핵심 요인이다.

여러 의사결정나무로부터의 예측 결과를 최종적으로 하나로 통합하는 과정이다. 분류 문제에서는 다수결 투표, 회귀 문제에서는 평균을 취하는 방식으로 집계한다.

분류 문제에서의 다수결 투표는 하드 보팅과 소프트 보팅으로 나눌 수 있다. 하드 보팅은 각 트리가 내린 클래스 레이블 예측 중 가장 많은 표를 받은 클래스를 최종 예측으로 선택한다. 소프트 보팅은 각 트리가 예측한 클래스별 확률(또는 지지도)을 평균내어, 평균 확률이 가장 높은 클래스를 선택한다. Scikit-learn의 RandomForestClassifier는 기본적으로 하드 보팅을 사용하지만, predict_proba 메서드를 통해 소프트 보팅에 기반한 확률을 얻을 수 있다.

회귀 문제에서는 모든 트리의 예측값을 산술평균하여 최종 값을 계산한다. 이는 앙상블 학습이 분산을 줄이는 원리에 부합한다. 개별 트리의 예측 오차가 서로 상쇄되도록 유도함으로써, 단일 의사결정나무보다 일반적으로 더 안정적이고 정확한 예측을 제공한다.

이러한 집계 방식을 통해 랜덤 포레스트는 과적합에 강건해지고, 일반화 성능이 향상된다.

랜덤 포레스트는 앙상블 학습 기법의 하나로, 여러 의사결정나무의 예측을 결합하여 작동한다. 이 방식은 단일 의사결정나무의 주요 약점인 과적합 경향을 크게 완화한다. 각 트리는 서로 다른 부트스트랩 샘플과 무작위로 선택된 피처의 부분집합을 사용하여 학습되므로, 모델의 분산을 효과적으로 감소시킨다. 결과적으로 훈련 데이터에 대한 지나친 맞춤을 방지하면서도 일반화 성능이 뛰어난 모델을 구축할 수 있다.

이 알고리즘은 높은 예측 정확도를 제공하는 동시에 사용과 해석이 비교적 간편하다. 과적합에 강건할 뿐만 아니라, 수천 개의 입력 변수를 처리할 수 있어 고차원 데이터에 적합하다. 또한 결측값을 내부적으로 처리할 수 있는 메커니즘을 가지고 있어 전처리 단계에서의 부담을 줄여준다. 분류와 회귀 문제 모두에 적용 가능한 범용성도 주요 장점이다.

랜덤 포레스트는 모델의 투명성을 높이는 변수 중요도를 자연스럽게 제공한다. 각 예측 변수가 모델의 예측 정확도에 기여하는 정도를 측정할 수 있어, 예측 모델링 과정에서 특징 선택이나 결과 해석에 유용한 통찰을 준다. 이는 블랙박스 모델로 간주되는 다른 복잡한 알고리즘에 비해 갖는 실용적인 이점이다.

랜덤 포레스트는 여러 장점에도 불구하고 몇 가지 명확한 단점을 지니고 있다. 가장 큰 단점은 모델의 해석 가능성이 낮다는 점이다. 수백, 수천 개의 의사결정나무가 복잡하게 결합되어 최종 예측을 생성하기 때문에, 예측 결과가 어떻게 도출되었는지 그 이유를 직관적으로 이해하거나 설명하기 어렵다. 이는 블랙박스 모델의 특성으로, 의료나 금융 등 모델의 결정 근거에 대한 설명이 필수적인 분야에서는 적용에 제약이 될 수 있다.

두 번째 단점은 계산 비용과 메모리 사용량이 크다는 것이다. 많은 수의 트리를 독립적으로 학습하고 평가해야 하므로, 단일 의사결정나무에 비해 학습과 예측에 필요한 시간과 자원이 훨씬 많다. 특히 데이터셋의 크기나 트리의 수가 증가할수록 이 부담은 커진다. 또한 학습된 모델을 저장하기 위해 필요한 메모리 공간도 상당하다.

마지막으로, 모델의 단순함에 비해 하이퍼파라미터 튜닝이 여전히 필요하다는 점도 단점으로 꼽힌다. 트리의 개수, 최대 깊이, 분할 시 고려할 피처의 수 등을 조정해야 최적의 성능을 얻을 수 있다. 이러한 튜닝 과정은 추가적인 계산 비용을 발생시킨다.

트리 관련 파라미터는 포레스트를 구성하는 각 의사결정나무의 성장 방식을 제어하는 매개변수이다. 이 파라미터들은 개별 트리의 복잡성, 깊이, 분할 기준 등을 결정하여 모델의 과적합 방지와 일반화 성능에 직접적인 영향을 미친다.

주요 트리 관련 파라미터는 다음과 같다.

이러한 파라미터들을 튜닝함으로써 편향-분산 트레이드오프를 관리할 수 있다. 예를 들어, max_depth를 낮추거나 min_samples_split 값을 높이면 트리의 복잡성이 줄어들어 편향은 증가하지만 분산은 감소하는 효과가 있다. 반대로 파라미터 제한을 완화하면 모델이 훈련 데이터에 더 정확하게 맞추려 하여 분산이 높아지고 과적합 가능성이 커진다. 적절한 파라미터 조합은 교차 검증을 통해 찾는 것이 일반적이다.

포레스트를 구성하는 전체 트리의 수를 결정하는 n_estimators는 가장 기본적인 하이퍼파라미터이다. 일반적으로 트리의 수가 많을수록 모델의 성능과 안정성이 향상되지만, 계산 비용이 증가하고 어느 지점 이후에는 성능 향상이 정체되는 경향이 있다. max_features는 각 의사결정나무가 분할을 수행할 때 고려할 피처의 최대 수를 지정한다. 이 값은 전체 피처 수의 제곱근이나 로그값을 사용하는 것이 일반적이며, 과적합을 방지하고 트리 간의 다양성을 증가시키는 핵심 매개변수이다.

bootstrap 파라미터는 부트스트랩 샘플링 사용 여부를 결정한다. 기본값은 True로, 각 트리를 학습할 때 원본 데이터셋에서 중복을 허용한 무작위 샘플을 생성한다. 이를 False로 설정하면 전체 데이터셋이 사용되지만, 샘플링 없이 모든 트리가 동일한 데이터를 보게 되어 다양성이 감소할 수 있다. oob_score는 부트스트랩 샘플링 과정에서 선택되지 않은 OOB 샘플을 사용하여 모델의 성능을 추정할지 여부를 결정한다. 이를 True로 설정하면 별도의 검증 세트 없이도 편향되지 않은 성능 평가가 가능하다.

다음은 주요 포레스트 관련 하이퍼파라미터와 그 역할을 정리한 표이다.

n_jobs 파라미터는 모델 학습과 예측 시 병렬 처리를 제어하여 대규모 데이터셋이나 많은 트리를 사용할 때 계산 시간을 크게 단축시킬 수 있다. random_state는 실험의 재현성을 보장하기 위해 무작위 샘플링과 피처 선택의 시드를 고정하는 데 사용된다. max_samples는 부트스트랩 샘플의 크기를 원본 데이터셋 크기보다 작게 제한하여 트리의 다양성을 더욱 높이고 학습 속도를 개선할 수 있게 한다.

랜덤 포레스트는 분류 문제에 가장 널리 적용되는 앙상블 학습 알고리즘 중 하나이다. 이 알고리즘은 다수의 의사결정나무를 구성하고, 각 트리가 내린 개별적인 분류 결정을 집계하여 최종 예측을 수행한다. 분류 모드에서는 일반적으로 다수결 투표 방식을 사용한다. 즉, 포레스트를 구성하는 모든 트리가 특정 샘플에 대해 예측한 클래스 레이블 중 가장 많은 표를 받은 클래스를 최종 예측값으로 선택한다.

랜덤 포레스트는 다양한 분류 문제에서 높은 정확도와 강건성을 보인다. 특히 피처의 수가 많거나 피처 간 상관관계가 복잡한 고차원 데이터를 다루는 데 효과적이다. 예를 들어, 생물정보학의 유전자 발현 데이터 분석, 컴퓨터 비전의 이미지 분류, 자연어 처리의 문서 카테고리 분류, 사기 탐지 및 질병 진단과 같은 중요한 의사결정 지원 시스템에 활용된다.

다음은 랜덤 포레스트가 주로 적용되는 분류 문제의 몇 가지 예시이다.

분류 문제에서 랜덤 포레스트의 주요 강점은 과적합에 대한 저항력이 비교적 강하다는 점이다. 이는 배깅과 랜덤 피처 선택이라는 두 가지 무작위성 메커니즘이 결합되어 개별 트리의 분산을 줄이고 모델의 일반화 성능을 향상시키기 때문이다. 또한, 변수 중요도를 계산할 수 있어 모델의 예측에 어떤 피처가 기여했는지에 대한 통찰을 제공한다는 점도 실무에서 큰 장점으로 작용한다.

랜덤 포레스트는 분류 문제뿐만 아니라 연속형 목표 변수를 예측하는 회귀 문제에도 효과적으로 적용된다. 이 경우 알고리즘의 핵심 구조는 유사하지만, 개별 의사결정나무가 출력하는 값과 결과를 집계하는 방식이 다르다. 각 트리는 데이터의 부분 집합과 피처의 부분 집합을 기반으로 학습하여 연속값을 예측하도록 성장한다.

최종 예측은 모든 트리의 예측값을 평균내어 산출한다. 이는 배깅 기법의 회귀 버전에 해당한다. 다수의 트리가 만들어내는 예측값들의 평균을 취함으로써, 단일 의사결정나무가 가질 수 있는 과적합 경향을 줄이고 더 안정적이며 일반화 성능이 높은 예측 모델을 구축한다.

랜덤 포레스트 회귀의 성능은 일반적으로 단일 의사결정나무 회귀보다 우수하다. 특히 노이즈가 많거나 피처 간 상관관계가 복잡한 데이터셋에서 강건한 성능을 보인다. 주요 하이퍼파라미터로는 트리의 개수(n_estimators), 각 분기에서 고려할 최대 피처 수(max_features), 트리의 최대 깊이(max_depth) 등이 있으며, 이들을 튜닝하여 모델의 성능을 최적화할 수 있다.

주로 부동산 가격 예측, 주식 가격 변동 예측, 에너지 소비량 예측 등 다양한 연속값 예측 과제에 활용된다. Scikit-learn 라이브러리의 RandomForestRegressor 클래스를 통해 쉽게 구현하고 실험할 수 있다.

Scikit-learn 라이브러리의 sklearn.ensemble 모듈은 랜덤 포레스트를 구현한 RandomForestClassifier와 RandomForestRegressor 클래스를 제공한다. 이 클래스들은 사용하기 쉬운 API를 통해 분류와 회귀 문제에 랜덤 포레스트를 빠르게 적용할 수 있게 해준다.

기본적인 사용법은 데이터 준비, 모델 객체 생성, 학습, 예측의 단계로 이루어진다. 주요 하이퍼파라미터로는 포레스트를 구성하는 트리의 개수를 결정하는 n_estimators, 각 분기에서 고려할 피처의 수를 지정하는 max_features, 그리고 트리의 최대 깊이를 제어하는 max_depth 등이 있다. 아래 표는 주요 파라미터와 그 역할을 정리한 것이다.

학습이 완료된 모델 객체는 feature_importances_ 속성을 통해 각 피처의 중요도를 확인할 수 있다. 이는 모델의 해석 가능성을 높이는 데 도움이 된다. 또한, fit 메서드로 학습하고 predict 메서드로 예측을 수행하는 간단한 인터페이스는 다른 Scikit-learn 모델과의 일관성을 유지한다.

Scikit-learn의 구현은 병렬 처리를 지원하여 다수의 트리를 효율적으로 학습시킬 수 있다. n_jobs 파라미터를 사용하여 활용할 프로세서 코어 수를 지정하면 대규모 데이터셋에서도 학습 시간을 단축할 수 있다.

그래디언트 부스팅은 앙상블 학습 기법의 하나로, 약한 학습기(weak learner)를 순차적으로 학습시켜 강한 학습기를 만드는 부스팅의 대표적인 알고리즘이다. 랜덤 포레스트가 배깅을 기반으로 여러 트리를 독립적으로 병렬 학습하는 것과 달리, 그래디언트 부스팅은 이전 트리가 예측에 실패한 부분, 즉 잔차(residual)에 집중하여 다음 트리를 학습시키는 순차적 방식이다. 이 과정은 손실 함수(loss function)의 그래디언트(기울기)를 따라 최적점을 찾아가는 최적화 문제로 접근한다.

알고리즘의 핵심 동작은 다음과 같다. 먼저 초기 예측값(예: 대상의 평균값)을 설정한다. 이후 각 반복(트리 추가) 단계에서 현재 모델의 예측값과 실제 값 사이의 잔차를 계산한다. 새로 추가되는 트리는 이 잔차를 목표값으로 하여 학습한다. 학습이 완료되면, 이 트리의 예측값에 학습률(learning rate)이라는 작은 값을 곱하여 기존 모델의 예측값에 더한다. 이 과정을 미리 정해진 수의 트리가 만들어지거나 잔차가 충분히 줄어들 때까지 반복한다.

주요 구현체로는 XGBoost, LightGBM, CatBoost 등이 있다. 이들은 계산 효율성, 결측치 처리, 범주형 변수 지원 등 다양한 측면에서 기본 그래디언트 부스팅을 개선했다. 그래디언트 부스팅은 일반적으로 랜덤 포레스트보다 더 높은 예측 성능을 보이는 경우가 많지만, 과적합에 더 민감하고 하이퍼파라미터 튜닝이 복잡하며 학습 시간이 더 오래 걸리는 단점이 있다.

엑스트라 트리(Extremely Randomized Trees, Extra-Trees)는 랜덤 포레스트와 유사한 앙상블 학습 알고리즘으로, 의사결정 트리의 무작위성을 더욱 극대화한 변형 모델이다. 이 방법은 2006년 피에르 게르마인(Pierre Geurts) 등에 의해 제안되었다[8]. 기본적인 구성은 여러 개의 의사결정나무를 학습하고 그 결과를 집계한다는 점에서 랜덤 포레스트와 동일하지만, 트리를 구성하는 방식에서 두 가지 핵심적인 차이점을 가진다.

첫째, 각 트리를 학습할 때 부트스트랩 샘플링을 사용하지 않고 원본 데이터셋 전체를 사용한다. 둘째, 그리고 가장 중요한 차이는 각 노드에서 최적의 분할 지점을 찾는 방식이다. 랜덤 포레스트는 무작위로 선택된 피처 후보군 내에서 *최적의* 분할 임계값을 계산하여 선택한다. 반면, 엑스트라 트리는 무작위로 선택된 피처에 대해 임계값도 *완전히 무작위*로 선택한다. 즉, 엑스트라 트리는 피처와 임계값을 모두 무작위로 정한 후, 그렇게 생성된 후보 분할들 중에서 가장 좋은 것을 선택한다. 이로 인해 개별 트리의 편향은 증가하지만, 트리들 간의 상관관계는 더욱 낮아지고, 전체적인 계산 속도가 빨라진다는 장점이 생긴다.

엑스트라 트리의 성능 특성은 다음과 같이 정리할 수 있다.

이 알고리즘은 사이킷런(Scikit-learn) 라이브러리에서 ExtraTreesClassifier와 ExtraTreesRegressor 클래스로 구현되어 있어 쉽게 활용할 수 있다. 일반적으로 데이터의 노이즈가 많거나, 랜덤 포레스트가 여전히 과적합되는 경향을 보일 때, 또는 모델 학습 시간을 단축해야 할 때 유용한 대안이 된다.