그래디언트 부스팅 (XGBoost, LightGBM)

부스팅은 여러 개의 약한 학습기(weak learner)를 순차적으로 결합하여 강한 학습기(strong learner)를 만드는 앙상블 학습 기법이다. 각 학습기는 이전 학습기가 잘못 예측한 샘플에 더 높은 가중치를 부여받아 학습하며, 최종 예측은 모든 학습기의 예측을 가중합하여 수행한다. 그래디언트 부스팅은 이 부스팅 아이디어에 경사 하강법을 접목한 알고리즘이다. 이전 모델의 예측 오차, 즉 잔차(residual)를 직접 학습하는 대신, 손실 함수(loss function)의 그래디언트(기울기)를 새로운 목표값으로 설정하여 다음 모델을 학습시킨다.

구체적으로, 그래디언트 부스팅은 다음과 같은 과정을 거친다. 먼저, 초기 예측값(예: 목표값의 평균)으로 구성된 단순한 모델(보통 하나의 값)을 만든다. 이후, 각 반복(iteration) 또는 단계(stage)에서 현재 모델의 예측과 실제 값 사이의 손실 함수의 음의 그래디언트(-gradient)를 계산한다. 이 계산된 값을 "잔차" 또는 "의사 잔차(pseudo-residual)"로 간주한다. 다음으로, 이 의사 잔차를 목표값으로 하는 결정 트리와 같은 약한 학습기를 훈련시킨다. 마지막으로, 이 새로 학습된 트리의 예측값에 학습률(learning rate)을 곱한 값을 기존 모델의 예측에 더하여 모델을 업데이트한다. 이 과정은 사전에 정의된 횟수만큼 또는 오차가 수렴할 때까지 반복된다.

이 방식의 핵심 장점은 다양한 손실 함수(제곱 오차, 로지스틱 손실, 힌지 손실 등)를 유연하게 적용할 수 있다는 점이다. 회귀, 분류, 순위 문제 등에 동일한 프레임워크로 접근이 가능하다. 또한, 각 단계에서 그래디언트를 따라 손실을 최소화하는 방향으로 모델이 업데이트되기 때문에 최적화 관점에서 견고한 이론적 배경을 가진다. XGBoost와 LightGBM은 이 그래디언트 부스팅 프레임워크를 기반으로 계산 효율성과 성능을 극대화하기 위해 다양한 최적화 기법을 도입한 대표적인 라이브러리이다.

그래디언트 부스팅의 핵심 학습 메커니즘은 손실 함수를 최소화하는 방향으로 순차적으로 결정 트리를 추가하는 것이다. 이 과정은 각 단계에서 현재 모델의 예측값과 실제값 사이의 오차, 즉 잔차를 새로운 트리가 학습하도록 구성된다. 일반적인 부스팅 알고리즘이 가중치를 조정하며 잘못 분류된 샘플에 집중하는 반면, 그래디언트 부스팅은 손실 함수의 그래디언트(기울기)를 잔차로 사용하여 보다 일반적인 최적화 문제로 접근한다.

구체적인 학습 단계는 다음과 같다. 먼저 초기 모델(예: 상수값)을 설정한 후, 각 반복(트리 추가) 단계에서 다음을 수행한다.

1. 현재 모델의 예측값에 대해 모든 관측치의 손실 함수의 음의 그래디언트(-∇L)를 계산한다. 이 값은 모델이 맞추어야 할 목표값으로 작용하며, 이를 '의사 잔차'라고 부른다.

2. 계산된 의사 잔차를 목표값으로 하는 새로운 결정 트리를 학습시킨다.

3. 새로 학습된 트리의 출력값(리프 노드의 값)을 최적의 스텝 크기(학습률)로 조정하여 기존 모델에 추가한다.

이 과정은 손실 함수를 최소화하기 위해 경사 하강법을 함수 공간에서 수행하는 것과 동일하다. 사용하는 손실 함수에 따라 알고리즘의 행동이 달라지며, 제곱 오차 손실을 사용하면 의사 잔차가 일반적인 잔차(실제값 - 예측값)와 정확히 일치한다.

이러한 접근법은 모델이 데이터의 국지적인 패턴뿐만 아니라 전반적인 손실 함수의 형태를 고려하여 유연하게 성장하도록 한다. 각 트리는 잔차를 줄이는 데 기여하며, 이들의 가중치 합이 최종 예측 모델을 구성한다.

XGBoost는 그래디언트 부스팅 알고리즘의 효율성과 성능을 극대화하기 위해 여러 가지 특징과 최적화 기법을 도입했다. 그 핵심은 정규화된 목적 함수를 사용하고, 이 목적 함수를 근사하여 계산 효율성을 높이는 것이다. 목적 함수는 기존의 손실 함수에 모델의 복잡도를 제한하는 정규화 항을 추가하여 구성된다. 이 정규화 항은 트리의 리프 노드 개수와 리프 노드의 가중치(출력값) 제곱에 페널티를 부여하여 과적합을 방지한다.

계산 속도 최적화를 위해 XGBoost는 근사 알고리즘을 활용한다. 연속형 특징을 분할할 때, 모든 가능한 분할점을 탐색하는 것은 비효율적이다. 따라서 각 특징의 값 분포를 기반으로 분위수를 계산하여 후보 분할점을 제안한다. 이는 히스토그램 기반 알고리즘과 유사한 아이디어로, 계산 복잡도를 크게 줄인다. 또한, 데이터를 메모리에 저장할 때 압축 열 저장 형식을 사용하여 메모리 사용량을 최소화하고 캐시 효율성을 높인다.

시스템 설계 측면에서도 중요한 최적화가 이루어졌다. 병렬 처리는 특징 수준에서 이루어지며, 각 특징에 대한 최적 분할점 탐색을 독립적으로 수행하여 멀티코어 CPU를 효율적으로 활용한다. 결측치 처리는 알고리즘에 내장되어 있어, 모델은 각 분할에서 결측값을 어느 방향(왼쪽 또는 오른쪽 자식 노드)으로 보낼지 최적으로 학습한다. 이는 데이터 전처리 부담을 덜어준다.

XGBoost는 Out-of-Core 컴퓨팅도 지원한다. 대용량 데이터셋이 메모리에 한번에 올라가지 않을 경우, 데이터를 블록 단위로 디스크에서 읽어 처리할 수 있다. 이 과정에서 디스크 I/O를 최적화하기 위해 데이터 압축과 블록 셔플링 기법을 사용한다. 이러한 종합적인 최적화 덕분에 XGBoost는 정확도와 속도 모두에서 뛰어난 성능을 보이며, 다양한 머신러닝 대회와 실무에서 표준 도구로 자리 잡았다.

XGBoost는 과적합을 방지하고 일반화 성능을 높이기 위해 정규화를 적극적으로 도입한 그래디언트 부스팅 구현체이다. 이는 기존 그래디언트 부스팅 머신과 구별되는 핵심 특징 중 하나이다. 정규화는 주로 두 가지 형태로 적용된다. 첫째는 트리의 복잡도에 직접적으로 패널티를 부여하는 L1 정규화와 L2 정규화이다. 이는 리프 노드의 가중치(출력값)가 지나치게 커지는 것을 억제한다. 둘째는 트리 구조 자체를 제한하는 파라미터들이다. 최대 깊이, 리프 노드당 최소 데이터 수, 분할 시 손실 감소량에 대한 최소 임계값 등의 파라미터를 통해 모델의 복잡도를 사전에 통제한다.

결측치 처리 측면에서 XGBoost는 내부 알고리즘을 통해 자동으로 최적의 방향을 학습한다. 각 분기점에서 모델은 결측값을 왼쪽 자식 노드로 보낼지 오른쪽 자식 노드로 보낼지 결정하는 기본 방향을 학습한다[1]. 이 과정은 모든 가능한 분할을 평가할 때 결측값을 포함한 손실 함수의 기대 개선도를 계산하여 이루어진다. 따라서 사용자는 결측값을 별도로 대체(imputation)할 필요 없이 그대로 데이터를 입력할 수 있으며, 모델은 해당 특징에서 결측치가 유의미한 패턴을 가질 경우 이를 활용한다.

이러한 접근 방식은 실무 데이터 처리에 큰 장점을 제공한다. 정규화 항을 목적 함수에 명시적으로 포함시킴으로써, 단순히 훈련 데이터에 맞추는 것을 넘어 보이지 않는 테스트 데이터에서도 안정적인 성능을 발휘하는 모델을 구축할 수 있다. 결측치 자동 처리 기능은 전처리 부담을 줄이고, 특히 결측이 무작위가 아닌 시스템적 원인으로 발생하는 경우 이를 유용한 정보로 활용할 수 있게 한다.

LightGBM은 대규모 데이터셋과 고차원 특성을 효율적으로 처리하기 위해 Gradient Boosting 프레임워크에 두 가지 핵심 알고리즘인 GOSS(Gradient-based One-Side Sampling)와 EFB(Exclusive Feature Bundling)를 도입했다.

GOSS 알고리즘은 모든 데이터를 사용하는 대신 그래디언트(기울기)의 크기에 따라 데이터를 샘플링하여 학습 속도를 높인다. 원리는 그래디언트가 큰 데이터 포인트는 정보를 많이 가지고 있다고 가정하고, 이들은 거의 모두 유지한 채 그래디언트가 작은 데이터 포인트는 무작위로 일부만 샘플링하는 것이다. 이를 통해 전체 데이터를 사용할 때와 유사한 정확도를 유지하면서도 계산 비용을 크게 줄일 수 있다. 구체적으로, 상위 a%의 큰 그래디언트를 가진 데이터는 모두 사용하고, 나머지 데이터에서 b%만 무작위로 추출하여 사용한다[2]. 샘플링된 데이터에 대해서는 가중치를 조정하여 원본 데이터 분포를 보정한다.

EFB 알고리즘은 고차원 데이터에서 발생하는 희소성(Sparsity) 문제를 해결하여 메모리 사용량과 계산 시간을 절감한다. 많은 특성들이 서로 배타적이며 동시에 0이 아닌 값을 가지지 않는다는 관찰에 기반한다. 예를 들어, 원-핫 인코딩으로 생성된 특성들은 동시에 하나만 활성화된다. EFB는 이러한 배타적인 특성들을 하나의 번들로 묶어, 실제로는 하나의 새로운 특성처럼 처리한다. 이 과정은 그래프 채색 문제(Graph Coloring Problem)에 기반한 휴리스틱 알고리즘으로 근사적으로 해결되어, 수천 개의 특성을 수백 개의 번들로 효과적으로 압축할 수 있다. 결과적으로 특성의 차원이 줄어들어 학습 속도가 빨라지고 메모리 효율성이 향상된다.

이 두 알고리즘의 조합은 LightGBM이 기존의 XGBoost나 다른 그래디언트 부스팅 구현체에 비해 더 빠른 학습 속도와 더 낮은 메모리 점유율을 가능하게 하는 기술적 토대를 제공한다.

LightGBM은 의사결정나무를 성장시키는 방식으로 리프 중심 트리 성장 방식을 채택한다. 이는 기존의 레벨 중심 트리 성장 방식과 구별되는 특징이다. 레벨 중심 방식은 트리의 각 레벨(깊이)을 균일하게 채우며 성장시키는 반면, 리프 중심 방식은 손실을 가장 크게 감소시킬 수 있는 하나의 리프 노드를 선택하여 비대칭적으로 트리를 확장한다.

이 방식의 구체적인 알고리즘은 다음과 같이 동작한다. 먼저, 현재 트리의 모든 리프 노드 중에서 정보 이득 또는 손실 함수의 감소폭이 가장 큰 리프 노드를 찾는다. 그런 다음 해당 리프 노드만을 분할하여 두 개의 새로운 자식 리프 노드를 생성한다. 이 과정에서 트리의 다른 부분은 변경되지 않은 채로 유지된다. 결과적으로 트리는 균형이 맞지 않을 수 있지만, 각 분할이 손실 감소에 대한 효율성을 극대화한다.

리프 중심 트리 성장 방식은 몇 가지 장점을 제공한다. 첫째, 동일한 수의 분할(리프 노드 생성)을 수행할 때, 레벨 중심 방식보다 일반적으로 더 큰 손실 감소를 달성한다. 둘째, 과적합을 더 잘 제어할 수 있다. 균형 잡힌 트리보다 복잡도가 낮은 모델을 생성하는 경향이 있기 때문이다. 셋째, GOSS 알고리즘과 결합될 때, 계산 비용을 줄이면서도 중요한 데이터 포인트에 집중하여 분할을 수행할 수 있다.

이러한 접근법은 특히 데이터가 많거나 특징의 차원이 높은 대규모 데이터셋에서 효율적인 학습을 가능하게 하는 LightGBM의 핵심 설계 요소 중 하나이다.

XGBoost와 LightGBM의 성능 및 속도 차이는 주로 트리 구성 알고리즘과 데이터 처리 방식에서 기인한다. 일반적으로 LightGBM은 대용량 데이터셋에서 더 빠른 학습 속도를 보이는 반면, XGBoost는 소규모 또는 중간 규모 데이터셋에서 더 높은 정확도를 달성할 가능성이 있다.

속도 측면에서 LightGBM은 GOSS와 EFB 알고리즘을 통해 계산 효율성을 극대화한다. GOSS는 그래디언트가 큰 데이터 포인트에 집중하여 샘플링함으로써 전체 데이터를 사용하지 않고도 정확한 정보 게인 추정이 가능하게 한다. EFB는 희소한 특성들을 효과적으로 병합하여 계산 복잡도를 줄인다. 또한 리프 중심 트리 성장 방식을 채택하여 불균형 트리 깊이를 허용함으로써 더 낮은 손실을 달성하는 동시에 트리 생성을 가속화한다. 반면 XGBoost는 예측 기반 정렬과 같은 정교한 최적화를 수행하지만, 기본적으로는 수평적으로 모든 리프 노드를 동시에 분할하는 수평적 트리 성장 방식을 사용하므로, 데이터 규모가 커질수록 LightGBM에 비해 상대적으로 학습 시간이 더 길어질 수 있다.

성능(정확도) 비교는 데이터의 특성과 문제의 종류에 크게 의존한다. XGBoost는 정규화 항을 손실 함수에 명시적으로 포함시키고, 가지치기를 통해 더 보수적으로 모델을 구성하는 경향이 있다. 이는 과적합을 잘 방지하고 일반화 성능을 높이는 데 도움을 준다. 특히 데이터의 노이즈가 많거나 특성 수가 상대적으로 적은 경우에 안정적인 결과를 제공한다. LightGBM은 빠른 학습 속도를 위해 데이터를 샘플링하고 리프 중심으로 성장시키기 때문에, 소규모 데이터셋에서는 샘플링으로 인한 정보 손실이나 리프 중심 성장으로 인한 과적합 위험이 상대적으로 높을 수 있다. 따라서 데이터셋의 크기가 작을수록 XGBoost가 미세하게 더 나은 성능을 보이는 경우가 많다.

다음 표는 두 알고리즘의 주요 비교 요소를 요약한다.

결론적으로, 속도가 최우선인 대규모 데이터 환경에서는 LightGBM이, 정확도와 모델 안정성이 더 중요한 소규모 또는 중간 규모의 정교한 문제에서는 XGBoost가 선호되는 경향이 있다. 그러나 이는 절대적인 기준이 아니며, 실제 성능은 하이퍼파라미터 설정에 크게 영향을 받는다.

XGBoost는 예측 과정에서 모든 데이터 포인트에 대한 잔차를 계산하고, 이를 기반으로 결정 트리를 성장시킨다. 이 과정은 정확하지만, 모든 데이터를 메모리에 로드하고 정렬된 히스토그램을 생성해야 하므로 상대적으로 높은 메모리 사용량을 요구한다. 특히 고차원의 희소 행렬 데이터를 다룰 때 메모리 사용량이 크게 증가할 수 있다. 반면, LightGBM은 GOSS와 EFB라는 두 가지 핵심 알고리즘을 통해 메모리 효율성을 극대화한다. GOSS는 그래디언트가 큰 데이터를 우선적으로 샘플링하고, 그래디언트가 작은 데이터는 무작위로 추출하여 사용함으로써 전체 데이터를 사용하지 않고도 효율적인 학습이 가능하게 한다. EFB는 원-핫 인코딩 등으로 생성된 많은 수의 희소 특성을 서로 배타적인 번들로 묶어 실제 특성의 수를 줄인다. 이 두 기법은 학습 속도를 높일 뿐만 아니라, 필요한 메모리 공간을 상당히 절감한다.

정확도 측면에서는 일반적으로 두 알고리즘 모두 강력한 성능을 보인다. XGBoost는 레벨 와이즈 트리 성장 방식을 사용하여 과적합을 방지하고 깊이 있는 최적화를 수행하므로, 특히 중소규모 데이터셋이나 노이즈가 적은 데이터에서 매우 높은 정확도를 달성할 수 있다. LightGBM은 리프 중심 트리 성장 방식을 채택하여 리프 노드를 중심으로 비대칭적으로 트리를 확장한다. 이 방식은 동일한 잎 노드 개수 대비 더 큰 손실 감소를 얻을 수 있어, 종종 더 낮은 오차를 기록한다. 그러나 매우 작은 데이터셋에서는 리프 중심 성장이 과적합을 유발할 수 있어, XGBoost가 더 안정적인 결과를 보여주는 경우도 있다.

두 라이브러리의 메모리 사용량과 정확도는 데이터의 특성과 규모에 따라 상이한 양상을 보인다. 아래 표는 주요 차이점을 비교한 것이다.

종합하면, 메모리 자원이 제한적이거나 대용량 데이터를 처리해야 하는 경우 LightGBM이 압도적인 효율성을 보인다. 반면, 데이터 규모가 크지 않고 최대한의 정확도와 모델 안정성을 추구할 경우, XGBoost가 여전히 강력한 선택지가 될 수 있다. 최적의 선택은 데이터의 크기, 특성의 차원, 하드웨어 제약 조건 및 정확도 요구사항을 종합적으로 고려하여 결정해야 한다.

XGBoost와 LightGBM의 성능을 최적화하기 위해서는 핵심 하이퍼파라미터를 이해하고 조정하는 것이 중요하다. 이들은 과적합을 방지하고, 학습 속도와 예측 정확도 사이의 균형을 맞추는 데 결정적인 역할을 한다.

두 알고리즘은 공통적으로 트리의 복잡성을 제어하는 파라미터를 공유한다. 주요 파라미터는 다음과 같다.

XGBoost에는 고유한 정규화 파라미터가 존재한다. gamma는 리프 노드 추가 분할을 위한 최소 손실 감소 임계값으로, 값이 클수록 보수적인 트리 성장을 유도한다. lambda (L2 정규화)와 alpha (L1 정규화)는 가중치에 대한 정규화 항으로, 모델의 복잡도를 추가로 제어한다. 한편, LightGBM은 효율적인 학습을 위한 독자적인 파라미터를 제공한다. num_leaves는 트리의 최대 리프 개수를 제어하는 주요 파라미터로, max_depth와 연동되어 조정해야 한다[3]. min_data_in_leaf는 하나의 리프에 필요한 최소 데이터 수로, 값이 크면 과적합 방지에 도움이 된다. bagging_freq는 배깅을 수행할 빈도를 설정하여, 0보다 큰 값으로 지정하면 해당 주기마다 데이터를 재샘플링한다.

효율적인 튜닝을 위해 n_estimators와 learning_rate는 종종 함께 조정된다. 많은 트리(n_estimators)와 작은 학습률(learning_rate)의 조합은 성능은 우수하지만 계산 비용이 높은 반면, 적은 트리와 큰 학습률은 빠르지만 불안정할 수 있다. max_depth나 num_leaves와 같은 복잡도 파라미터는 검증 데이터의 성능을 모니터링하며 점진적으로 증가시키는 것이 일반적이다.

그래디언트 부스팅 모델의 성능을 극대화하기 위해서는 체계적인 하이퍼파라미터 튜닝이 필수적이다. 일반적으로 사용되는 방법론은 다음과 같다.

가장 실용적인 접근법은 먼저 넓은 범위로 랜덤 서치를 수행하여 유망한 파라미터 영역을 좁힌 후, 해당 영역에서 그리드 서치를 세밀하게 적용하는 것이다. 최근에는 베이지안 최적화를 구현한 Optuna나 Hyperopt 같은 라이브러리의 사용이 증가하고 있다. 이들은 목적 함수를 정의하면 자동으로 파라미터를 제안하고 평가 결과를 학습하여 효율적인 탐색을 수행한다.

튜닝 과정에서는 k-폴드 교차 검증을 반드시 적용하여 모델의 과적합을 방지하고 일반화 성능을 평가해야 한다. 또한, 학습률(learning_rate)과 트리의 수(n_estimators)는 서로 긴밀하게 연관되어 있으므로, 학습률을 낮출 경우 트리의 수를 늘려주는 것이 일반적이다. 중요한 것은 모든 파라미터를 동시에 튜닝하기보다는, 트리의 깊이(max_depth)나 리프 노드의 최소 데이터 수(min_child_weight) 같은 트리 구조 파라미터를 먼저 결정한 후, 정규화 관련 파라미터를 조정하는 순차적인 접근이 효과적이다.

그래디언트 부스팅 알고리즘, 특히 XGBoost와 LightGBM은 구조화된 데이터를 다루는 분류 문제에서 높은 예측 성능을 보여주며 널리 사용된다. 대표적인 적용 분야로는 신용 평가, 광고 클릭률 예측, 질병 진단, 이탈 고객 예측 등이 있다. 이들은 복잡한 비선형 관계를 모델링하고, 과적합을 효과적으로 제어하며, 범주형 변수의 처리가 용이하다는 공통된 장점을 지닌다.

구체적인 예시로, 금융 기관의 대출 심사 모델을 들 수 있다. 이 모델은 고객의 연령, 소득, 직업, 기존 대출 이력, 신용 카드 사용 패턴 등 수백 개의 특징을 입력받아 해당 고객이 대출 상환을 이행할지(양성 클래스) 아니면 부도를 낼지(음성 클래스)를 이진 분류한다. XGBoost와 LightGBM은 이러한 다양한 특징들 간의 상호작용을 포착하고, 어떤 특징이 최종 결정에 중요한 영향을 미치는지 특징 중요도를 제공하여 모델의 해석성을 높인다.

다중 클래스 분류 문제에도 효과적으로 적용된다. 예를 들어, 제조업에서 센서 데이터를 기반으로 생산된 제품의 품질 등급을 '양호', '보통', '불량'으로 분류하는 경우가 있다. 모델은 온도, 압력, 진동 등 시계열 형태의 센서 데이터를 특징으로 사용하여 각 제품의 최종 등급을 예측한다. LightGBM의 GOSS 알고리즘은 이러한 대규모 데이터셋에서 중요한 샘플에 집중하여 학습 속도를 높이고, EFB 알고리즘은 수많은 센서 특징들을 효율적으로 묶어 메모리 사용량을 줄인다.

실무에서는 Python의 scikit-learn API와 호환되는 xgboost 및 lightgbm 라이브러리를 주로 사용한다. 데이터 전처리 후, XGBClassifier 또는 LGBMClassifier 객체를 생성하고, 하이퍼파라미터 튜닝을 통해 트리의 최대 깊이(max_depth), 학습률(learning_rate), 트리 개수(n_estimators) 등을 최적화한다. 최종 모델은 테스트 세트에서 정확도, 정밀도, 재현율, ROC-AUC 등의 지표로 평가된다.

그래디언트 부스팅 알고리즘은 회귀 분석 문제에서도 높은 예측 성능을 보인다. 주택 가격 예측, 수요 예측, 시계열 데이터 기반의 값 예측 등 다양한 영역에서 활용된다. XGBoost와 LightGBM은 모두 회귀를 위한 목적 함수(objective)를 제공하며, 주로 제곱 오차(MSE)나 절대 오차(MAE) 등을 손실 함수로 사용한다.

주택 가격 예측을 위한 데이터셋에는 방의 개수, 평수, 위치, 건축 연도 등의 특징(feature)이 포함된다. 모델은 이러한 특징과 실제 주택 가격 사이의 복잡한 비선형 관계를 학습한다. 학습 과정에서 각 의사결정나무는 이전 나무들의 예측 잔차(오차)를 줄이는 방향으로 순차적으로 생성된다. 최종 예측값은 모든 나무의 예측값을 합산한 것이다.

실무에서는 교차 검증을 통해 모델의 일반화 성능을 평가하고, 하이퍼파라미터 튜닝을 수행하여 과적합을 방지한다. 특히 LightGBM의 GOSS와 EFB 알고리즘은 대규모 데이터셋을 사용한 회귀 문제에서 학습 속도를 크게 향상시킨다. 회귀 문제에서의 성능 평가는 주로 RMSE, MAE, R-squared 등의 지표를 사용한다.