데이터 드리프트 탐지

개념적 드리프트는 시간이 지남에 따라 머신러닝 모델이 예측하려는 목표 변수와 입력 변수 간의 관계, 즉 모델링하려는 근본적인 개념 자체가 변화하는 현상을 의미한다. 이는 학습 데이터와 운영 환경에서의 데이터 분포가 동일하게 유지되더라도 발생할 수 있다. 예를 들어, 스팸 메일 필터를 학습시킬 때 '할인'이라는 단어가 스팸의 강력한 지표였으나, 시간이 지나 일반 마케팅 메일에서도 흔히 사용되면서 그 예측력이 약화되는 경우가 해당한다. 개념적 드리프트는 모델의 성능 저하를 직접적으로 초래하며, 데이터 값의 변화가 아닌 관계성의 변화에 주목해야 탐지할 수 있다.

이 드리프트는 발생 속도와 형태에 따라 세부적으로 구분된다. 점진적 드리프트, 급격한 드리프트, 순환적 드리프트, 그리고 개념 재출현 등이 주요 유형이다. 점진적 드리프트는 관계가 서서히 변화하는 것이고, 급격한 드리프트는 특정 시점을 기점으로 관계가 갑자기 바뀌는 것을 말한다. 순환적 드리프트는 계절성이나 주기성 패턴을 보이며, 개념 재출현은 과거에 사라졌던 관계가 다시 나타나는 현상을 의미한다.

탐지 방법은 주로 모델의 성능 지표를 모니터링하는 방식에 의존한다. 정확도, 정밀도, 재현율, F1 점수 등의 지표가 예상치 못하게 지속적으로 하락할 때 개념적 드리프트를 의심할 수 있다. 또한, 예측 확률 분포의 변화나 모델의 불확실성이 증가하는 현상을 추적하는 방법도 사용된다. 데이터 분포 드리프트 탐지에 효과적인 Kullback-Leibler 발산이나 Population Stability Index 같은 지표만으로는 개념적 드리프트를 포착하기 어려운 경우가 많다.

데이터 분포 드리프트는 모델의 입력 변수, 즉 특징 공간의 확률 분포가 시간에 따라 변화하는 현상을 의미한다. 이는 모델 학습에 사용된 훈련 데이터의 분포와 실제 운영 환경에서 수집되는 데이터의 분포가 달라지는 경우에 발생한다. 예를 들어, 계절에 따라 제품 판매 패턴이 변하거나, 새로운 사용자 그룹이 유입되어 인구통계학적 특성이 바뀌는 경우가 이에 해당한다. 데이터 분포 드리프트는 모델의 입력값 자체가 변하기 때문에, 모델이 예측을 수행하는 기본 토대가 흔들리게 되어 성능 저하를 초래하는 주요 원인이다.

데이터 분포 드리프트는 크게 공변량 시프트와 개념적 드리프트로 나뉘기도 하지만, 여기서는 입력 특징의 주변 분포 변화에 초점을 둔다. 공변량 시프트는 입력 변수 X의 분포 P(X)가 변하지만, 입력과 출력의 관계인 조건부 분포 P(Y|X)는 동일하게 유지되는 경우를 말한다. 반면, 개념적 드리프트는 P(Y|X)가 변하는 경우이다. 데이터 분포 드리프트 탐지는 주로 P(X)의 변화를 감지하는 것을 목표로 한다.

이러한 드리프트를 탐지하기 위한 방법은 다양하다. 단변량 분석에서는 각 특징별로 칼-백 검정이나 콜모고로프-스미르노프 검정과 같은 통계적 검정을 적용하여 분포의 차이를 측정한다. 다변량 분석의 경우, PCA를 통해 차원을 축소한 후 분포를 비교하거나, 딥러닝 모델을 활용해 데이터의 표현을 학습한 후 그 표현 공간에서의 분포 변화를 모니터링하는 방법이 사용된다. 또한, PSI나 KL 발산과 같은 정보 이론적 지표는 두 분포 간의 차이를 수치화하는 데 널리 활용된다.

라벨 드리프트는 머신러닝 모델의 예측 대상인 종속 변수 또는 목표 변수의 통계적 특성이 시간에 따라 변화하는 현상을 의미한다. 이는 모델이 학습한 시점의 라벨 분포와 실제 서비스 환경에서 관측되는 라벨 분포가 달라지는 경우에 발생한다. 예를 들어, 사기 탐지 모델에서 '사기' 거래의 비율이나 정의가 변화하거나, 질병 진단 모델에서 특정 질병의 진단 기준이나 유병률이 변할 때 라벨 드리프트가 일어날 수 있다.

라벨 드리프트는 주로 두 가지 형태로 나타난다. 첫째는 라벨 자체의 사전 확률, 즉 P(Y)가 변하는 경우이다. 둘째는 라벨에 대한 개념 정의나 라벨링 기준이 변화하는 경우이다. 후자는 개념적 드리프트와 밀접한 관련이 있지만, 변화의 초점이 출력 공간에 있다는 점에서 구별된다.

라벨 드리프트를 탐지하기 위한 주요 방법은 다음과 같다.

라벨 드리프트가 발생하면 모델의 예측 성능이 현저히 저하될 수 있다. 모델은 이전의 라벨 분포에 맞춰 최적화되어 있으므로, 새로운 분포에서는 제대로 작동하지 않기 때문이다. 따라서 라벨 드리프트를 적시에 탐지하고, 새로운 라벨 데이터를 확보하여 모델 재학습을 수행하거나, 문제 정의 자체를 재검토하는 것이 중요하다.

통계적 검정 기반 방법은 두 데이터 집합(예: 학습 데이터와 프로덕션 데이터) 간의 분포 차이가 통계적으로 유의미한지를 검정하여 데이터 드리프트를 탐지하는 고전적이면서도 널리 사용되는 접근법이다. 이 방법은 가설 검정의 프레임워크를 사용하며, 귀무가설은 '두 분포 간에 차이가 없다'는 것이다. 검정 결과 얻은 p-값이 사전에 설정한 유의수준(예: 0.05)보다 작으면 귀무가설을 기각하고 데이터 드리프트가 발생했다고 판단한다.

수치형 변수에 대해서는 콜모고로프-스미르노프 검정이나 윌콕슨 순위합 검정이 자주 활용된다. 콜모고로프-스미르노프 검정은 두 표본의 경험적 누적분포함수를 비교하여 분포의 형태 차이를 탐지하는 데 강점이 있다. 범주형 변수에 대해서는 카이제곱 검정이 각 범주의 빈도수 차이를 평가하는 표준 방법으로 사용된다. 이 외에도 앙드레-칼링거 검정이나 맨-휘트니 U 검정 등 다양한 비모수 검정이 데이터의 특성에 따라 선택되어 적용된다.

이 방법론의 장점은 통계적 엄밀성과 해석의 용이성에 있다. 검정 결과는 통계적 유의성을 명확히 제시하며, 복잡한 머신러닝 모델을 추가로 학습할 필요가 없어 계산 비용이 상대적으로 낮은 편이다. 그러나 단점도 존재하는데, 대규모 고차원 데이터에서는 다중 비교 문제가 발생할 수 있으며, 검정력이 표본 크기에 크게 의존한다. 또한, 검정이 통계적 유의미함만을 알려줄 뿐, 드리프트의 크기나 실제 모델 성능에 미치는 영향 정도를 정량화하지는 못한다는 한계가 있다.

머신러닝 모델 기반 방법은 데이터 드리프트를 탐지하기 위해 모델 자체의 성능 변화나 내부 특성을 활용하는 접근법이다. 이 방법은 모델이 실제 운영 환경에서 어떻게 동작하는지를 직접적으로 관찰하여 드리프트를 포착한다는 장점을 가진다.

가장 일반적인 방법은 모델의 성능 지표를 지속적으로 모니터링하는 것이다. 정확도, 정밀도, 재현율, F1 점수 또는 AUC와 같은 지표가 기준선에서 벗어나는 추세를 보이면 데이터 드리프트가 발생했음을 시사한다. 특히, 모델의 예측 확률 분포나 오차의 패턴 변화를 분석하는 방법도 효과적이다. 예를 들어, 모델의 예측 불확실성이 갑자기 증가하거나, 특정 클래스에 대한 오분류율이 높아지는 현상은 종종 개념적 드리프트나 라벨 드리프트와 연관된다.

또 다른 접근법은 모델의 내부 구조를 활용하는 것이다. 앙상블 학습 기법을 사용하는 경우, 앙상블을 구성하는 개별 모델들(기본 학습기) 간의 예측 불일치 정도가 증가하는 것을 드리프트 신호로 삼을 수 있다. 또는, 드리프트 탐지 전용의 이진 분류기를 학습시키는 방법도 있다. 이는 기준 데이터(과거 정적 데이터)와 현재의 운영 데이터를 구분하도록 분류기를 훈련시킨다. 이 분류기가 두 데이터 집합을 높은 정확도로 구분할수록 두 집합 간에 유의미한 차이가 존재한다는, 즉 드리프트가 발생했다는 증거가 된다[3].

이러한 모델 기반 방법들은 통계적 검정만으로는 포착하기 어려운 복잡한 패턴의 드리프트, 특히 입력 변수와 목표 변수 간의 관계 변화를 감지하는 데 강점을 보인다. 그러나 모델 성능 저하의 원인이 반드시 데이터 드리프트 때문만은 아니라는 점을 고려해야 하며, 다른 탐지 방법과 결합하여 사용하는 것이 바람직하다.

분포 비교 기반 방법은 학습 데이터와 프로덕션 데이터의 전체적인 확률 분포를 직접 비교하여 데이터 드리프트를 탐지하는 접근법이다. 이 방법은 두 데이터 집합 간의 분포 차이를 정량화하는 다양한 거리 또는 발산 지표를 계산하는 것을 핵심으로 한다. 통계적 검정이 특정 통계량의 차이에 초점을 맞춘다면, 분포 비교는 보다 포괄적으로 분포의 형태 자체를 평가한다는 점에서 차이가 있다. 이러한 방법은 특히 입력 피처의 분포 변화를 감지하는 데 효과적이다.

주요 지표로는 쿨백-라이블러 발산(KL 발산), 젠센-섀넌 발산(JS 발산), 와서슈타인 거리, 히스토그램 교차 분석 등이 널리 사용된다. KL 발산은 두 확률 분포 간의 정보량 차이를 측정하지만 비대칭적이라는 한계가 있다. JS 발산은 이를 보완한 대칭적 지표이다. 와서슈타인 거리는 분포의 형태를 지형으로 보고, 한 분포를 다른 분포로 변환하는 데 필요한 최소 "작업량"으로 해석할 수 있다. 이러한 지표들은 연속형 변수와 이산형 변수 모두에 적용 가능하며, 피처별로 개별 계산하거나 다변량 분포를 고려할 수도 있다.

구현 방식은 일반적으로 기준 분포(일반적으로 학습 데이터)와 대상 분포(현재 프로덕션 데이터)를 추정한 후, 선택한 지표를 통해 두 분포 사이의 거리 값을 계산한다. 이 값이 사전에 정의한 임계값을 초과하면 데이터 드리프트가 발생한 것으로 판단한다. 계산 효율성을 위해 데이터를 구간화하여 이산 분포로 근사하거나, 커널 밀도 추정(KDE)과 같은 비모수적 방법을 사용하여 연속 분포를 추정하기도 한다.

분포 비교 기반 방법의 장점은 직관적 해석이 가능하고 드리프트의 존재 여부뿐만 아니라 그 정도를 수치화할 수 있다는 점이다. 그러나 고차원 데이터에서는 분포 추정과 거리 계산이 계산 비용이 크고 정확도가 떨어질 수 있는 "차원의 저주" 문제에 직면할 수 있다. 또한, 임계값 설정이 주관적일 수 있으며, 분포 변화가 실제 모델 성능 저하로 이어지는지에 대한 직접적인 인과 관계는 제공하지 않는다는 한계가 있다.

인구 안정성 지수(PSI)는 모니터링 기간의 데이터 분포와 기준 기간의 데이터 분포 사이의 차이를 측정하는 지표이다. 주로 금융 및 신용평가 분야에서 변수의 안정성을 평가하는 데 널리 사용되며, 값이 클수록 분포 변화가 크다는 것을 의미한다. 일반적으로 PSI 값이 0.1 미만이면 무시할 수 있는 변화, 0.1에서 0.25 사이면 중간 정도의 변화, 0.25를 초과하면 중대한 변화로 해석한다. 계산은 각 구간의 관측 비율과 기대 비율을 기반으로 한다.

쿨백-라이블러 발산(KL 발산)은 두 확률 분포 간의 차이를 정량화하는 정보 이론적 척도이다. 기준 분포 P와 비교 분포 Q가 주어졌을 때, KL 발산은 P를 사용하여 Q를 근사할 때 발생하는 정보 손실을 측정한다. 이 값은 항상 0 이상이며, 두 분포가 완전히 동일할 때만 0이 된다. 그러나 KL 발산은 비대칭적이어서 D_KL(P||Q)와 D_KL(Q||P)의 값이 일반적으로 다르다.

젠슨-섀넌 발산(JS 발산)은 KL 발산의 대칭적이고 평활화된 변형이다. 이는 두 분포의 평균에 대한 각 분포의 KL 발산의 평균으로 정의되며, 그 결과는 항상 0과 1 사이로 제한된다. 이 특성으로 인해 비교 결과를 정규화하여 해석하기에 더 유용하다. 바셰시 거리는 한 분포를 다른 분포로 변형하는 데 필요한 최소 "작업량"으로 해석할 수 있으며, 특히 지지 집합이 겹치지 않거나 부분적으로만 겹치는 분포를 비교할 때 유용하다.

데이터 드리프트 탐지를 자동화하고 모니터링 파이프라인에 통합하기 위해 다양한 오픈소스 도구가 개발되었다. 이러한 도구들은 통계적 검정, 머신러닝 모델, 시각화 기능을 제공하여 개발자와 데이터 과학자가 프로덕션 환경에서 모델 성능 저하의 원인을 신속하게 진단할 수 있도록 돕는다.

주요 오픈소스 도구로는 Evidently AI, Alibi Detect, River, NannyML 등이 있다. 각 도구는 고유한 접근 방식과 강점을 지닌다. Evidently AI는 대화형 보고서와 대시보드를 생성하여 데이터 드리프트, 데이터 품질, 모델 성능을 한눈에 확인할 수 있게 한다. Alibi Detect는 이상치 탐지, 적대적 공격 탐지, 개념적 드리프트와 데이터 드리프트 탐지를 위한 알고리즘 모음을 제공하며, 오프라인 배치 처리와 온라인 탐지 모두를 지원한다. River는 온라인 머신러닝에 특화되어 데이터 스트림에서 실시간으로 변화를 감지하는 데 적합하다. NannyML은 블랙박스 모델의 성능을 실제 라벨 없이 추정하는 기능으로 주목받는다.

이들 도구의 선택은 탐지 환경(배치 vs. 실시간), 필요한 지표의 종류, 통합 편의성에 따라 달라진다. 대부분의 도구는 Python 라이브러리 형태로 제공되며, AWS, GCP, Azure 같은 클라우드 환경이나 Apache Airflow, Kubeflow 같은 오케스트레이션 툴과의 연동을 고려해 설계된 경우가 많다. 표는 몇 가지 대표 도구의 주요 특징을 비교한 것이다.

이러한 도구들을 효과적으로 활용하려면 탐지할 드리프트의 유형, 데이터 볼륨, 허용 가능한 탐지 지연 시간, 그리고 기존 MLOps 스택과의 호환성을 종합적으로 평가해야 한다. 적절한 도구의 선택과 구현은 모델의 장기적인 신뢰성과 유지보수성을 크게 향상시킨다.

모델 재학습은 데이터 드리프트가 탐지되었을 때 가장 일반적으로 사용되는 대응 전략이다. 이는 기존의 학습된 모델이 새로운 데이터 분포에 적응하지 못할 때, 최신 데이터를 사용하여 모델을 처음부터 다시 학습시키거나 업데이트하는 과정을 의미한다. 재학습의 핵심 목표는 모델의 성능을 현재 운영 환경의 데이터에 맞춰 복원하거나 개선하는 것이다. 재학습은 주기적으로 수행하거나, 성능 저하나 드리프트 지표가 특정 임계값을 넘을 때 트리거되는 방식으로 실행된다.

재학습 전략은 사용하는 데이터와 방법에 따라 크게 두 가지로 구분된다. 첫째는 완전 재학습으로, 기존 학습 데이터와 새로 수집된 데이터를 모두 합쳐 모델을 처음부터 새로 학습하는 방식이다. 이 방법은 가장 강력한 성능 향상을 기대할 수 있지만, 계산 비용과 시간이 많이 소요된다는 단점이 있다. 둘째는 점진적 학습 또는 온라인 학습이다. 이는 새로운 데이터 배치가 들어올 때마다 기존 모델을 지속적으로 업데이트하는 방식으로, 리소스 효율성이 높고 실시간 적응이 가능하다. 그러나 새로운 데이터에 과도하게 적응하여 이전 지식을 잊는 망각 문제가 발생할 수 있다.

효과적인 재학습을 위해서는 몇 가지 고려사항이 필요하다. 먼저, 재학습에 사용할 데이터의 품질과 대표성을 검증해야 한다. 새 데이터에 편향이나 오류가 포함되어 있으면 모델 성능이 오히려 악화될 수 있다. 또한, 재학습 빈도와 트리거 조건을 신중히 설정해야 한다. 너무 빈번한 재학습은 불필요한 비용을 발생시키고, 너무 드물면 모델 성능 저하가 지속된다. 마지막으로, 재학습된 모델은 철저한 검증을 거쳐 이전 버전과의 성능을 비교한 후에야 운영 환경에 배포되어야 한다. 이 과정에는 A/B 테스트나 카나리아 배포 등의 점진적 배포 전략이 동반되기도 한다.

데이터 드리프트가 탐지되고 지속될 경우, 모델 재학습만으로는 근본적인 문제를 해결하기 어려울 수 있다. 이때 데이터 자체에 대한 개입이 필요하며, 주로 데이터 재수집과 데이터 전처리 파이프라인의 조정이 수행된다.

데이터 재수집은 새로운 환경을 반영한 최신의 데이터를 확보하는 과정이다. 표본 추출 전략을 변경하거나, 새로운 데이터 소스를 추가하여 표본 편향을 줄이는 것이 목표이다. 예를 들어, 모바일 앱 사용자 데이터만으로 학습된 모델에 데스크톱 웹 사용자 데이터가 새롭게 유입된다면, 이 새로운 채널의 데이터를 체계적으로 수집해야 한다. 재수집은 비용과 시간이 많이 소요되므로, 드리프트의 원인과 영향을 분석한 후에 전략적으로 실행된다.

데이터 전처리 조정은 기존 데이터 파이프라인을 수정하여 드리프트의 영향을 완화하는 방법이다. 주요 접근 방식은 다음과 같다.

이러한 전처리 조정은 모델의 입력 데이터 분포를 안정화시켜, 모델이 변화에 더욱 견고하게 대응하도록 돕는다. 최종적으로는 재수집된 데이터와 조정된 전처리 파이프라인을 바탕으로 모델을 재학습하는 것이 일반적인 워크플로이다.