배깅 및 부스팅

부트스트랩 샘플링은 배깅 알고리즘의 핵심적인 데이터 샘플링 기법이다. 이 방법은 원본 데이터셋에서 중복을 허용한 무작위 추출을 반복하여 여러 개의 새로운 훈련 데이터셋을 생성하는 과정이다.

구체적인 절차는 다음과 같다. 먼저, 원본 데이터셋이 N개의 관측치를 가지고 있다고 가정한다. 이때, 하나의 부트스트랩 샘플을 생성하기 위해 N번의 추출을 수행하는데, 매번 단일 관측치를 무작위로 선택하고 선택된 관측치는 다시 원본 데이터 풀에 돌려놓는다. 이로 인해 일부 관측치는 여러 번 샘플에 포함될 수 있고, 반면 일부 관측치는 전혀 선택되지 않을 수도 있다. 통계적으로, 하나의 부트스트랩 샘플에는 원본 데이터의 약 63.2%의 고유한 관측치가 포함되며, 나머지 약 36.8%는 중복된 관측치이다. 선택되지 않은 약 36.8%의 데이터는 OOB 샘플로서 해당 모델의 성능 검증에 활용될 수 있다.

이 샘플링 방식의 주요 효과는 모델 다양성을 증가시키는 것이다. 각 기본 모델은 서로 다른 부트스트랩 샘플로 학습되므로, 모델마다 약간 다른 데이터 분포를 바탕으로 예측을 수행한다. 이 다양성은 최종적으로 모든 모델의 예측을 앙상블할 때 분산을 줄이는 데 기여한다. 아래 표는 부트스트랩 샘플링의 특징을 요약한 것이다.

이 과정은 독립적으로 K번 반복되어 K개의 서로 다른 부트스트랩 샘플을 만들며, 각 샘플은 하나의 기본 모델(예: 의사결정 나무)을 훈련하는 데 사용된다. 이는 단일 모델이 전체 데이터에 과도하게 적합되는 과적합 문제를 완화하고, 모델의 일반화 성능을 향상시키는 데 기여한다.

배깅에서 생성된 다수의 기본 학습기 예측 결과를 최종 예측값으로 통합하는 방식을 모델 병합 방식 또는 앙상블 방식이라고 한다. 가장 일반적인 병합 방식은 다수결 투표 또는 평균화이다.

분류 문제에서는 각 기본 학습기의 예측 결과(클래스 레이블)를 모아 가장 많은 표를 받은 클래스를 최종 예측값으로 선택한다. 이 방식을 다수결 투표라고 한다. 회귀 문제에서는 각 기본 학습기가 예측한 수치값의 산술 평균을 계산하여 최종 예측값으로 사용한다. 이는 개별 모델의 예측 오차를 상쇄하고 분산을 줄이는 효과가 있다.

이러한 단순 병합 방식은 개별 모델이 서로 독립적으로 학습되었고 오차가 상관관계가 낮을 때 가장 효과적이다. 배깅의 부트스트랩 샘플링은 이러한 독립성을 보장하는 데 기여한다. 결과적으로, 병합 과정은 모델의 편향은 크게 변화시키지 않으면서 분산을 효과적으로 감소시켜 전체적인 일반화 성능을 향상시킨다.

부스팅의 핵심 메커니즘은 약한 학습기(weak learner)들을 순차적으로 학습시키는 것이다. 첫 번째 모델은 원본 데이터셋에 대해 학습을 수행한다. 이후 각 단계에서 새로운 모델은 이전 모델들이 잘못 예측한 샘플, 즉 오분류된 데이터에 더 큰 주의를 기울이도록 설계된다. 이는 각 학습 샘플에 가중치(weight)를 부여하고, 이 가중치를 조정하는 방식으로 구현된다.

초기에는 모든 학습 데이터에 동일한 가중치가 부여된다. 첫 번째 모델이 학습을 마친 후, 이 모델의 예측 오차를 바탕으로 각 데이터 포인트의 가중치가 업데이트된다. 잘못 분류된 샘플의 가중치는 증가시키고, 올바르게 분류된 샘플의 가중치는 감소시킨다. 그 결과, 다음 단계의 모델은 높은 가중치를 가진, 즉 이전 모델이 어려워했던 샘플들을 더욱 중요하게 여기며 학습하게 된다.

이 과정은 사전에 정의된 횟수만큼 또는 오차가 특정 임계값 이하로 떨어질 때까지 반복된다. 최종 예측은 모든 약한 학습기의 예측 결과를 각 모델의 성능(정확도)을 반영한 가중치로 합산하여 만든다. 일반적으로 예측 정확도가 높은 모델에게 더 큰 투표권(가중치)이 주어진다.

이러한 순차적 학습과 동적 가중치 조정 방식을 통해, 부스팅은 개별적으로는 성능이 낮은 모델들을 조합하여 매우 정확한 강력한 앙상블 모델을 구축한다. AdaBoost는 이 원리를 명시적으로 구현한 대표적인 알고리즘이다.

잔차 학습은 부스팅 알고리즘, 특히 그래디언트 부스팅 계열의 핵심 작동 원리이다. 이 방식은 현재까지의 모델이 예측하지 못한 오차, 즉 잔차를 새로운 모델이 학습하는 과정을 반복한다. 초기 모델(보통 간단한 모델)이 데이터에 대한 첫 예측을 수행한 후, 실제 값과 예측 값의 차이를 계산한다. 다음 모델은 원본 데이터의 특징이 아닌, 이전 모델이 만든 잔차를 목표 변수로 삼아 학습한다. 이 과정을 통해 새로운 모델은 이전 모델의 오류를 직접적으로 보정하는 역할을 한다.

학습이 순차적으로 진행될수록, 모델은 점점 더 미세한 잔차를 학습 대상으로 삼게 된다. 각 단계에서 생성된 약한 학습기(예: 얕은 의사결정나무)는 이전 단계의 오차 패턴을 포착하는 데 집중한다. 최종 예측은 모든 약한 학습기의 예측 값을 누적하여 합산하는 방식으로 이루어진다. 이는 마치 정답에 점점 더 가까워지도록 오차를 단계적으로 줄여나가는 과정과 유사하다.

잔차 학습의 주요 장점은 복잡한 비선형 관계를 효과적으로 모델링할 수 있다는 점이다. 모델이 직접적으로 예측하기 어려운 패턴을, 예측 오차를 단계적으로 분해하여 학습함으로써 접근한다. 또한, 각 학습 단계에서 사용되는 목표(잔차)가 점점 작아지기 때문에, 새로운 모델은 일반적으로 간단한 구조를 유지할 수 있다. 이는 전체 앙상블 모델의 복잡성을 관리하고 과적합 위험을 완화하는 데 기여한다.

잔차 학습은 평균 제곱 오차와 같은 손실 함수를 최소화하는 과정으로도 해석될 수 있다. 그래디언트 부스팅에서는 이 잔차가 손실 함수의 음의 그래디언트(기울기)에 해당한다. 따라서, 알고리즘은 손실 함수를 가장 빠르게 감소시킬 방향, 즉 그래디언트 반대 방향으로 새로운 모델을 추가하는 경사 하강법을 수행하는 것과 동일한 원리로 작동한다.

배깅 계열 알고리즘은 배깅의 원리를 구현한 앙상블 학습 방법이다. 이 계열의 가장 대표적인 알고리즘은 랜덬 포레스트이며, 그 외에도 익스트림 랜덬 트리 등이 있다.

랜덬 포레스트는 의사결정 나무를 기반 학습기로 사용하는 배깅의 대표적인 예이다. 이 알고리즘은 부트스트랩 샘플링으로 생성된 여러 개의 데이터 샘플에 대해 각각 의사결정 나무를 독립적으로 학습시킨다. 또한, 각 나무의 분기점을 선택할 때 모든 특성 중 무작위로 선택된 일부 특성만을 고려하는 특성의 무작위 선택 방식을 적용한다. 이 이중 무작위화 과정은 개별 나무들의 상관관계를 낮추고 모델의 다양성을 극대화하여 과적합을 억제하고 일반화 성능을 높이는 데 기여한다. 최종 예측은 모든 나무의 예측 결과를 집계하여 수행한다. 분류 문제에서는 다수결 투표, 회귀 문제에서는 평균을 취한다.

배깅 계열의 다른 알고리즘으로는 익스트림 랜덬 트리가 있다. 이는 랜덬 포레스트와 유사하지만, 각 의사결정 나무를 학습할 때 부트스트랩 샘플 대신 원본 데이터 전체를 사용한다는 점이 다르다. 대신, 분기점을 찾는 과정에서 특성과 분할 임계값을 완전히 무작위로 선택한다. 이로 인해 모델의 편향은 증가할 수 있으나, 매우 빠른 학습 속도와 병렬 처리가 가능하다는 장점이 있다.

부스팅 계열 알고리즘은 약한 학습기(weak learner)를 순차적으로 학습시키며 이전 단계의 오류를 보완하는 방식으로 강력한 앙상블 모델을 구축한다. 이들의 핵심은 각 학습 단계에서 샘플 또는 모델에 가중치를 부여하여 잘못 예측된 부분에 집중한다는 점이다.

대표적인 알고리즘으로는 AdaBoost가 있다. AdaBoost는 이진 분류 문제에서 각 학습 샘플에 가중치를 할당하며, 매 반복마다 이전에 잘못 분류된 샘플의 가중치를 높여 다음 학습기가 해당 샘플에 더 주의를 기울이도록 한다. 최종 예측은 각 약한 학습기의 예측을 그 정확도에 기반한 가중치로 합산하여 결정한다. 이후 발전된 알고리즘인 Gradient Boosting은 잔차(residual)에 대한 학습 개념을 도입했다. 이 방법은 손실 함수(loss function)의 음의 그래디언트(negative gradient) 방향으로 새로운 모델을 순차적으로 추가하여 잔차를 줄여나간다. 의사결정나무(주로 회귀나무)가 약한 학습기로 흔히 사용된다.

보다 최근의 고성능 알고리즘들은 Gradient Boosting의 프레임워크를 확장 및 최적화했다. XGBoost(eXtreme Gradient Boosting)는 정규화 항을 도입하여 과적합을 억제하고, 병렬 처리 및 가지치기(pruning)를 통해 계산 효율성을 극대화했다. LightGBM은 히스토그램 기반 알고리즘과 리프 중심(leaf-wise) 트리 성장 방식을 사용하여 대규모 데이터를 빠르게 처리한다. CatBoost는 범주형 변수(categorical feature)를 자동으로 처리하고 순열(permutation) 기법을 사용하여 예측 편향(prediction shift) 문제를 해결하는 데 강점을 보인다.

이들 알고리즘은 구조적 차이로 인해 서로 다른 장단점을 가지며, 데이터의 규모, 특징의 유형(특히 범주형), 그리고 계산 자원에 따라 선택이 달라진다.

배깅과 부스팅은 모두 앙상블 학습의 대표적인 기법이지만, 학습을 구성하는 방식에서 근본적인 차이를 보인다.

배깅은 병렬적 학습 방식을 채택한다. 원본 데이터셋에서 부트스트랩 샘플링을 통해 여러 개의 서로 다른 학습 데이터셋을 독립적으로 생성하고, 각 데이터셋으로 개별적인 기본 학습기를 동시에 훈련시킨다. 최종 예측은 분류 문제에서는 다수결 투표, 회귀 문제에서는 평균화와 같은 단순한 방식으로 모든 기본 학습기의 결과를 병합하여 수행한다. 이 과정에서 각 기본 학습기는 다른 학습기에 영향을 받지 않고 독립적으로 작동한다.

반면, 부스팅은 순차적 학습 방식을 따른다. 모델은 하나씩 순차적으로 훈련되며, 후속 모델은 앞선 모델들이 잘못 예측한 샘플에 더 집중하도록 설계된다. 일반적으로 각 샘플에는 가중치가 부여되며, 이전 모델에서 오분류된 샘플의 가중치는 증가하고, 정확히 분류된 샘플의 가중치는 감소한다[1]. 따라서 후속 모델은 이전 모델의 실수를 보완하는 방향으로 학습이 진행되어, 점점 더 어려운 샘플을 맞추는 데 초점을 맞춘다.

이러한 학습 방식의 차이는 모델의 다양성과 강건성에도 영향을 미친다. 배깅은 각 모델이 독립적이므로 분산을 줄이는 데 효과적이며, 과적합을 억제하는 경향이 있다. 부스팅은 모델들이 서로 연관되어 순차적으로 오차를 보정하므로 편향을 줄이는 데 강점을 보이지만, 잘못 설계될 경우 잡음이 많은 데이터에 대해 과적합되기 쉽다.

배깅은 부트스트랩 샘플링을 통해 여러 개의 독립적인 약한 학습기를 병렬로 학습시키고, 그 결과를 평균(회귀) 또는 투표(분류)로 집계한다. 이 방식의 주요 장점은 분산을 효과적으로 줄여 과적합을 억제하고 모델의 안정성을 높인다는 점이다. 특히 노이즈가 많은 데이터에 강건한 성능을 보인다. 그러나 각 기본 학습기가 독립적으로 생성되기 때문에, 배깅 모델의 해석 가능성은 상대적으로 낮은 편이다. 배깅의 대표적인 적용 사례는 랜덜 포레스트로, 고차원 데이터나 복잡한 의사결정 경계가 필요한 문제에서 널리 사용된다.

부스팅은 이전 모델의 오류를 순차적으로 보완하는 방식으로 강한 학습기를 만든다. 각 단계에서 잘못 분류된 샘플에 더 높은 가중치를 부여하여 후속 모델이 그 부분에 집중하도록 유도한다. 이로 인해 부스팅은 일반적으로 배깅보다 더 높은 예측 정확도를 달성할 수 있다. 그러나 순차적 학습 구조 때문에 학습 시간이 더 길며, 과적합에 민감할 수 있고, 이상치에 영향을 크게 받는 단점이 있다. 부스팅은 정확도가 매우 중요한 경진 대회나 실무에서 자주 채택되며, 그래디언트 부스팅, XGBoost, LightGBM 등이 그 예이다.

두 방법의 적용 사례를 비교하면 다음과 같다.

따라서 데이터의 특성과 해결하려는 문제의 목표에 따라 알고리즘을 선택해야 한다. 상대적으로 깨끗하고 정제된 대규모 데이터셋에서 최고의 성능을 추구할 때는 부스팅 계열 알고리즘이, 데이터의 품질이 불확실하거나 모델의 안정성과 빠른 구축이 중요할 때는 배깅 계열 알고리즘이 더 적합한 선택이 될 수 있다.

데이터의 특성은 배깅과 부스팅 알고리즘 중 어떤 것을 선택할지 결정하는 핵심 요소이다. 일반적으로 배깅 계열의 랜덜 포레스트는 상대적으로 덜 정제된 데이터나 노이즈가 많은 데이터에 대해 강건한 성능을 보인다. 이는 다수의 결정 트리를 독립적으로 학습하고 평균을 내는 방식이 개별 모델의 과적합과 이상치의 영향을 상쇄하기 때문이다. 반면, 부스팅 계열 알고리즘은 순차적으로 오차를 보정해 나가기 때문에 데이터의 노이즈나 이상치에 민감할 수 있다. 따라서 데이터 품질이 높고 복잡한 패턴을 정밀하게 학습해야 할 경우 그래디언트 부스팅이나 XGBoost와 같은 부스팅 방법이 종종 더 높은 예측 정확도를 달성한다.

데이터의 규모와 차원도 중요한 고려사항이다. 배깅은 각 기반 학습기를 독립적으로 병렬 학습할 수 있어 대규모 데이터셋에서 계산 효율성이 높은 편이다. 부스팅은 순차적 학습 구조상 병렬화에 제약이 있어 학습 시간이 더 오래 걸릴 수 있지만, 최근 XGBoost나 LightGBM과 같은 알고리즘은 이를 극복하기 위한 다양한 최적화 기법을 도입했다. 고차원의 희소 데이터(예: 텍스트 데이터의 Bag-of-Words 표현)를 다룰 때는 특성의 무작위 서브셋을 사용하는 랜덤 포레스트가 효과적일 수 있다.

문제의 종류와 목표도 알고리즘 선택에 영향을 미친다. 분류와 회귀 문제 모두에 두 방법을 적용할 수 있지만, 그 성격은 다르다. 배깅은 분산을 줄이는 데 초점을 맞춰 일반화 성능을 안정화시키는 반면, 부스팅은 편향을 줄이는 데 집중해 훈련 데이터에 대한 적합도를 단계적으로 높인다. 따라서 예측의 해석 가능성이 중요한 비즈니스 의사결정 상황에서는 랜덤 포레스트의 특성 중요도를 직관적으로 확인하기 쉬운 장점이 있다. 반면, Kaggle과 같은 예측 경진대회에서는 극한의 정확도를 요구하는 경우가 많아 부스팅 계열 알고리즘이 압도적으로 선호되는 경향이 있다[2].

결론적으로, 최적의 알고리즘은 데이터의 품질, 규모, 문제의 복잡성, 그리고 해석 가능성에 대한 요구사항을 종합적으로 평가한 후 선택해야 한다. 실제로는 교차 검증을 통해 여러 알고리즘의 성능을 직접 비교하는 것이 가장 확실한 방법이다.

하이퍼파라미터 튜닝은 배깅 및 부스팅 알고리즘의 성능을 최적화하는 핵심 과정이다. 학습 데이터로부터 자동으로 결정되는 모델 파라미터와 달리, 하이퍼파라미터는 모델 학습 전에 사용자가 직접 설정해야 하는 값이다. 적절한 튜닝을 통해 모델의 예측 정확도를 높이고 과적합을 방지하며, 계산 효율성을 개선할 수 있다.

배깅 계열의 대표 알고리즘인 랜덤 포레스트에서는 주로 트리의 개수(n_estimators), 각 분할 시 고려할 특성의 최대 수(max_features), 트리의 최대 깊이(max_depth) 등을 조정한다. 트리 개수가 너무 적으면 성능이 저하되고, 너무 많으면 계산 비용만 증가할 수 있다. 부스팅 계열 알고리즘(그래디언트 부스팅, XGBoost, LightGBM 등)에서는 학습률(learning_rate), 트리 개수, 트리 깊이 외에도 과적합을 제어하기 위한 규제 파라미터(예: L1/L2 규제 강도, 서브샘플링 비율)가 중요하게 작용한다. 특히 학습률과 트리 개수는 서로 트레이드오프 관계에 있어, 낮은 학습률을 사용할 경우 더 많은 트리가 필요하지만 종종 더 나은 일반화 성능을 보인다.

튜닝 방법으로는 그리드 서치, 랜덤 서치, 베이지안 최적화 등이 널리 사용된다. 그리드 서치는 사전 정의된 파라미터 조합을 모두 시도하므로 확실하지만 계산 비용이 높다. 랜덤 서치는 무작위로 샘플링한 조합을 평가하여 더 넓은 영역을 효율적으로 탐색할 수 있다. 최근에는 자동화된 머신러닝(AutoML) 도구를 활용하거나, 교차 검증 성능을 바탕으로 파라미터를 순차적으로 조정하는 베이지안 최적화 방법의 사용이 증가하고 있다.

튜닝 시에는 검증 세트 또는 교차 검증을 반드시 사용하여, 훈련 세트에 대한 성능이 아닌 보지 못한 데이터에 대한 일반화 성능을 기준으로 최적의 파라미터를 선택해야 한다. 또한 도메인 지식과 계산 자원을 고려하여 탐색 범위와 방법을 현실적으로 설정하는 것이 중요하다.