imbalanced-learn편집자 확인

imbalanced-learn은 불균형 데이터 문제를 해결하기 위한 다양한 언더샘플링 기법을 제공한다. 언더샘플링은 다수 클래스의 샘플 수를 줄여 소수 클래스와의 균형을 맞추는 방법이다. 이 라이브러리는 단순 무작위 제거 방식부터 데이터 분포를 고려한 지능적인 방법까지 여러 알고리즘을 포함하고 있다.

대표적인 언더샘플링 기법으로는 Tomek Links가 있다. 이 방법은 서로 다른 클래스에 속하면서 가장 가까운 이웃인 샘플 쌍을 찾아, 그 중 다수 클래스 샘플을 제거한다. 이를 통해 클래스 간 경계를 더 명확히 만드는 효과가 있다. 또 다른 방법인 Condensed Nearest Neighbor는 분류 경계를 유지하는 데 필수적인 샘플만을 선별하여 데이터셋을 압축한다.

보다 복잡한 알고리즘으로는 Edited Nearest Neighbors와 One-Sided Selection이 있다. Edited Nearest Neighbors는 자신의 k-최근접 이웃 대다수와 클래스가 다른 샘플을 제거하여 노이즈를 제거한다. One-Sided Selection은 Tomek Links를 제거한 후 Condensed Nearest Neighbor 규칙을 적용하는 하이브리드 방식이다. 또한, 인스턴스 hardness threshold는 분류기가 예측하기 어려운 샘플을 기준으로 다수 클래스 샘플을 제거하는 방법을 사용한다.

이러한 기법들은 scikit-learn의 파이프라인과 호환되도록 설계되어, 전처리 단계에서 쉽게 통합되어 사용될 수 있다. 사용자는 데이터의 특성과 문제의 맥락에 따라 적절한 언더샘플링 전략을 선택하여 머신러닝 모델의 성능을 향상시킬 수 있다.

imbalanced-learn은 소수 클래스의 샘플을 인위적으로 증가시켜 클래스 간 불균형을 해소하는 다양한 오버샘플링 기법을 제공한다. 가장 기본적인 방법은 임의 오버샘플링으로, 소수 클래스의 기존 샘플을 무작위로 복제한다. 그러나 이는 과적합을 유발할 수 있어, 보다 정교한 알고리즘이 개발되었다.

대표적인 알고리즘으로 SMOTE가 있다. SMOTE는 소수 클래스 샘플과 그 K-최근접 이웃 사이에 가상의 새로운 샘플을 합성적으로 생성한다. 이를 통해 단순 복제가 아닌, 특징 공간 내에서 다양성을 확보한 새로운 샘플을 추가할 수 있다. SMOTE의 변형으로는 경계선 근처의 샘플을 중점적으로 생성하는 Borderline-SMOTE, 지원 벡터를 기반으로 하는 SVM-SMOTE 등이 포함되어 있다.

더 나아가, ADASYN은 소수 클래스의 분포를 고려하여 샘플링 난이도에 따라 가중치를 두고 새로운 샘플을 생성한다. 데이터의 지역적 밀도가 낮은 영역, 즉 학습이 어려운 영역에 더 많은 샘플을 집중시켜 분류기의 결정 경계를 개선하는 데 초점을 맞춘다.

이 라이브러리는 단순한 복제나 합성을 넘어, SMOTEENN 및 SMOTETomek과 같이 오버샘플링 후 잡음을 제거하는 클리닝 기법과의 결합 방법도 제공한다. 또한, KMeansSMOTE처럼 클러스터링을 활용하여 의미 있는 군집 내에서만 샘플을 생성하거나, 라벨 분포를 고려한 라벨별 샘플링 전략도 지원하여 다양한 데이터 특성에 맞춰 적용할 수 있다.

결합 샘플링 기법은 언더샘플링과 오버샘플링을 단순히 순차적으로 적용하는 것을 넘어, 두 방법을 통합적으로 활용하여 샘플링 과정의 단점을 보완하는 접근법이다. imbalanced-learn 라이브러리는 이러한 하이브리드 방식을 구현한 여러 알고리즘을 제공한다. 대표적인 예로 SMOTE와 Tomek Links 제거 기법을 결합한 SMOTETomek, 또는 SMOTE와 ENN (Edited Nearest Neighbours) 기법을 결합한 SMOTEENN이 있다. 이들은 먼저 오버샘플링으로 소수 클래스의 샘플을 인위적으로 증가시킨 후, 생성된 잡음 샘플이나 중복성을 제거하기 위해 언더샘플링을 적용하여 데이터의 품질을 개선한다.

결합 기법의 핵심 목표는 클래스 간 경계를 명확히 하면서도 정보 손실을 최소화하는 것이다. 예를 들어, SMOTETomek은 SMOTE가 생성할 수 있는 소수 클래스와 다수 클래스 샘플 사이의 중첩을 Tomek Links를 식별하여 제거함으로써 해결한다. 이를 통해 모델이 결정 경계를 학습하는 데 방해가 되는 잡음이 줄어들고, 과적합의 위험을 낮출 수 있다. 사용자는 imblearn의 combine 서브모듈을 통해 이러한 방법들을 쉽게 호출하고, 파이프라인에 통합하여 머신러닝 워크플로우의 일부로 활용할 수 있다.

이러한 기법들은 특히 소수 클래스의 샘플 수가 매우 적거나, 클래스 간 분포가 심하게 치우친 데이터셋에서 유용하게 적용된다. 의료 진단이나 사기 탐지와 같이 소수 클래스의 정확한 식별이 매우 중요한 분야에서 모델의 성능을 향상시키는 데 기여한다. 그러나 결합 기법 역시 계산 비용이 증가할 수 있으며, 하이퍼파라미터 설정에 따라 결과가 민감하게 변할 수 있다는 점은 고려해야 한다.

imbalanced-learn은 불균형 데이터 문제를 해결하기 위한 다양한 앙상블 기법을 제공한다. 이러한 기법은 단순한 리샘플링이 아닌, 앙상블 학습의 원리를 활용하여 샘플링 과정과 모델 학습 과정을 통합함으로써 더욱 견고한 성능을 달성하는 것을 목표로 한다.

대표적인 앙상블 기법으로는 EasyEnsemble과 BalancedRandomForestClassifier가 있다. EasyEnsemble은 다수의 의사결정 나무를 사용하는 부스팅 계열의 방법으로, 각 반복에서 소수 클래스의 모든 샘플과 동일한 수의 다수 클래스 샘플을 무작위로 추출하여 앙상블을 구성한다. BalancedRandomForestClassifier는 랜덤 포레스트 알고리즘을 기반으로 하되, 각 의사결정 나무를 학습시킬 때 부트스트랩 샘플링 대신 균형 잡힌 데이터를 사용하도록 수정한 변형 모델이다.

이 외에도 BalancedBaggingClassifier와 같은 배깅 기반의 방법도 제공된다. 이 방법은 기존 scikit-learn의 배깅 분류기를 확장하여, 각 기본 분류기를 학습시키기 전에 데이터를 균형 있게 리샘플링하는 옵션을 추가하였다. 이러한 앙상블 접근법은 단일 리샘플링 기법에 비해 일반적으로 더 나은 일반화 성능과 과적합 방지 효과를 보여준다.