비지도 학습 방식

비지도 학습은 레이블이 지정되지 않은 데이터에서 숨겨진 패턴, 구조 또는 관계를 발견하는 머신 러닝의 한 방식이다. 지도 학습이 정답(레이블)이 있는 데이터로 모델을 훈련시키는 것과 달리, 비지도 학습은 데이터 자체의 내재적 특성만을 활용하여 학습을 진행한다. 그 주요 목적은 데이터를 설명하거나 요약하는 것이며, 데이터에 대한 사전 지식 없이도 유용한 통찰을 도출하는 데 있다.

이 학습 방식의 궁극적인 목표는 크게 세 가지로 나눌 수 있다. 첫째는 클러스터링을 통한 그룹화로, 유사한 특성을 가진 데이터 포인트들을 동일한 그룹으로 묶어 데이터의 자연스러운 계층이나 세그먼트를 발견하는 것이다. 둘째는 차원 축소로, 고차원 데이터의 정보 손실을 최소화하면서 저차원 공간으로 변환하여 시각화를 용이하게 하거나 연산 효율성을 높이는 것이다. 셋째는 연관 규칙 학습으로, 대규모 데이터셋에서 변수들 간의 빈번하게 함께 발생하는 관계나 규칙을 찾아내는 것이다.

비지도 학습은 데이터 탐색적 분석의 핵심 도구로서, 복잡한 데이터의 본질을 이해하는 첫걸음을 제공한다. 이를 통해 사전에 알려지지 않은 새로운 범주를 발견하거나, 데이터의 잠재적 표현을 학습하여 이후의 지도 학습 작업에 더 좋은 입력 특징을 생성하는 데 활용될 수 있다.

지도 학습은 레이블이 지정된 훈련 데이터를 사용하여 입력과 출력 간의 매핑 함수를 학습하는 반면, 비지도 학습은 레이블이 없는 데이터에서 내재된 패턴이나 구조를 발견하는 데 목적을 둔다. 지도 학습의 목표는 주어진 입력에 대해 정확한 출력을 예측하는 모델을 구축하는 것이며, 분류나 회귀 분석과 같은 작업에 적합하다. 반면 비지도 학습은 데이터 자체의 분포, 군집, 또는 관계를 이해하는 데 초점을 맞춘다.

두 방식의 근본적인 차이는 학습 과정에서의 데이터 형태와 학습 목표에서 비롯된다. 지도 학습에서는 각 데이터 샘플에 '정답'에 해당하는 레이블이 존재하므로, 모델의 예측 오차를 계산하고 이를 최소화하는 방향으로 학습이 진행된다. 비지도 학습에서는 그러한 정답 지표가 존재하지 않으며, 알고리즘은 데이터 포인트 간의 유사성, 거리, 또는 통계적 속성만을 근거로 구조를 추론해야 한다.

요약하면, 지도 학습은 '예측'을, 비지도 학습은 '탐색'을 핵심 목표로 한다. 지도 학습 모델의 성능은 외부 기준(레이블)에 대한 예측 정확도로 객관적으로 평가할 수 있지만, 비지도 학습의 결과는 주관적 해석이 더 많이 개입될 수 있으며, 발견된 구조의 유용성은 최종 응용 목적에 따라 판단된다.

클러스터링은 레이블이 없는 데이터셋 내에서 유사한 특성을 가진 데이터 포인트들을 그룹으로 묶는 비지도 학습의 핵심 기법이다. 이 과정에서 형성된 각 그룹을 클러스터라고 부르며, 동일한 클러스터 내의 데이터는 서로 매우 유사하고, 다른 클러스터에 속한 데이터와는 상대적으로 이질적이다. 클러스터링의 궁극적 목표는 데이터의 내재적 구조를 발견하고, 복잡한 데이터를 해석 가능한 하위 집합으로 조직화하는 것이다.

주요 클러스터링 알고리즘은 그 접근 방식에 따라 크게 분할적 방법, 계층적 방법, 밀도 기반 방법 등으로 나눌 수 있다. 가장 대표적인 분할적 방법인 K-평균 클러스터링은 사전에 정의된 K개의 클러스터 중심을 반복적으로 조정하며 데이터를 할당한다. 계층적 클러스터링은 트리 구조를 생성하여 데이터 포인트를 단계적으로 병합하거나 분리하는 방식으로, 덴드로그램을 통해 다양한 수준의 클러스터링 결과를 한눈에 확인할 수 있다. DBSCAN과 같은 밀도 기반 방법은 모양이 불규칙한 클러스터를 찾는 데 강점이 있으며, 데이터가 밀집된 영역을 클러스터로 정의하고, 밀도가 낮은 지역의 점들은 이상치로 간주한다.

클러스터링의 성능은 적절한 알고리즘 선택과 함께 유사도 척도(예: 유클리드 거리, 코사인 유사도)의 정의에 크게 의존한다. 또한, 최적의 클러스터 수를 결정하는 것은 중요한 과제이며, 엘보우 방법이나 실루엣 계수와 같은 평가 지표가 도움이 된다. 클러스터링 결과는 데이터에 대한 사전 지식 없이도 패턴을 발견하는 탐색적 데이터 분석의 핵심 도구로 활용된다.

차원 축소는 고차원 데이터의 특성 수를 줄이면서 데이터의 핵심 구조나 패턴을 최대한 보존하는 비지도 학습 기법이다. 데이터의 각 특성은 하나의 차원으로 간주되며, 수백 수천 개의 차원을 가진 데이터는 차원의 저주로 인해 계산 비용이 높고 노이즈에 취약하며 시각화가 어려운 문제가 있다. 차원 축소는 이러한 문제를 완화하여 데이터를 더 간결하고 처리하기 쉬운 형태로 변환하는 것을 목표로 한다.

주요 접근 방식은 특징 추출과 특징 선택으로 나뉜다. 특징 추출은 원본 특성들의 선형 또는 비선형 조합을 통해 새로운, 더 적은 수의 특성을 생성한다. 대표적인 알고리즘인 주성분 분석(PCA)은 데이터의 분산을 최대화하는 직교 축을 찾아 데이터를 투영한다. 반면, 특징 선택은 원본 특성 중에서 가장 정보량이 많은 일부를 그대로 선택하는 방식이다.

비선형 구조를 가진 고차원 데이터의 시각화에는 t-SNE나 UMAP 같은 매니폴드 학습 기법이 널리 사용된다. 이 기법들은 데이터 포인트 간의 국소적 유사성 또는 거리를 저차원 공간에서도 보존하려고 노력한다. 특히 t-SNE는 고차원 공간의 확률 분포와 저차원 공간의 확률 분포 간의 차이를 최소화하는 방식으로 작동하여 복잡한 군집 구조를 2차원 또는 3차원으로 효과적으로 나타낼 수 있다.

차원 축소의 결과는 다양한 목적으로 활용된다. 축소된 데이터는 클러스터링이나 다른 머신 러닝 모델의 입력으로 사용되어 성능을 향상시키거나 계산 효율을 높일 수 있다. 또한, 2차원 또는 3차원으로 축소된 데이터는 직접 시각화하여 데이터의 내재된 구조나 군집을 탐색하는 데 유용하게 사용된다.

연관 규칙 학습은 대규모 데이터셋 내에 숨겨진 항목들 간의 흥미로운 관계, 패턴, 규칙을 발견하는 비지도 학습 기법이다. 주로 장바구니 분석이라는 이름으로 알려져 있으며, "만약 A를 구매한 고객이 B도 함께 구매한다면"과 같은 형태의 규칙을 도출하는 데 사용된다. 이러한 규칙은 지지도, 신뢰도, 향상도 같은 척도로 평가되어 의미 있는 패턴만을 선별한다.

가장 대표적인 알고리즘은 Apriori 알고리즘이다. 이 알고리즘은 "어떤 항목집합이 빈번하게 나타나지 않는다면, 그 항목집합을 포함하는 모든 더 큰 집합도 빈번하지 않을 것이다"라는 선험적 원리를 활용한다. 이를 통해 모든 가능한 조합을 탐색하지 않고도 효율적으로 빈발 항목 집합을 찾아낼 수 있다. Apriori 알고리즘 이후에는 계산 효율성을 개선한 FP-Growth 알고리즘 등이 개발되었다.

연관 규칙 학습의 결과는 일반적으로 "X → Y [지지도, 신뢰도]" 형태로 표현된다. 예를 들어, {우유, 빵} → {계란}이라는 규칙은 우유와 빵을 구매한 거래에서 계란도 함께 구매될 가능성을 나타낸다. 이 기법은 소매업의 상품 진열 및 추천 시스템, 의료 데이터에서의 증상-질병 패턴 발견, 웹 로그 분석을 통한 페이지 간 탐색 경로 파악 등 다양한 분야에 적용된다.

K-평균 클러스터링은 비지도 학습의 클러스터링 알고리즘 중 가장 널리 알려지고 단순한 기법 중 하나이다. 이 알고리즘의 목표는 주어진 데이터셋을 사전에 정의된 K개의 군집으로 분할하는 것이다. 각 군집은 그 군집에 속한 데이터 포인트들의 평균 위치를 나타내는 중심점에 의해 정의된다.

알고리즘은 일반적으로 다음과 같은 과정을 반복한다. 먼저, 데이터 공간에 K개의 중심점을 무작위로 초기화한다. 그 후, 두 단계를 수렴할 때까지 반복 수행한다. 할당 단계에서는 각 데이터 포인트를 가장 가까운 중심점이 속한 군집에 할당한다. 이때 거리 측정은 일반적으로 유클리드 거리를 사용한다. 갱신 단계에서는 각 군집에 새롭게 할당된 데이터 포인트들의 평균 좌표를 계산하여 해당 군집의 새로운 중심점으로 재설정한다. 이 과정은 중심점의 이동이 거의 없어지거나 군집 할당이 더 이상 변하지 않을 때 종료된다.

K-평균 알고리즘의 성능은 초기 중심점의 위치와 사용자가 지정한 군집 수 K에 크게 의존한다. 부적절한 초기값은 최적이 아닌 지역 최솟값에 수렴하게 할 수 있다. 이를 완화하기 위해 여러 번의 무작위 초기화를 시도하여 가장 좋은 결과를 선택하는 방법이 흔히 사용된다. 또한 적절한 K값을 결정하는 것은 중요한 과제이며, 엘보우 방법이나 실루엣 계수와 같은 지표가 보조적으로 활용된다.

이 알고리즘은 계산 효율이 높고 대용량 데이터셋에 적용하기 쉬운 장점이 있다. 그러나 군집의 크기나 밀도가 크게 다르거나, 군집이 구형이 아닌 복잡한 형태를 가질 경우 제대로 된 군집화를 수행하지 못하는 한계가 있다. 또한 이상치에 민감하게 반응할 수 있다.

계층적 클러스터링은 데이터 포인트들을 트리 구조로 조직하여 여러 수준의 클러스터 계층을 생성하는 방법이다. 이 기법은 크게 병합적 방식과 분할적 방식으로 나뉜다. 병합적 계층적 클러스터링은 각 데이터 포인트를 개별 클러스터로 시작하여, 가장 유사한 클러스터끼리 반복적으로 병합해 나가는 상향식 접근법이다. 반대로 분할적 방식은 모든 데이터를 하나의 클러스터로 시작하여 반복적으로 분할하는 하향식 접근법이나, 계산 복잡도가 높아 병합적 방식이 더 널리 사용된다.

이 알고리즘의 핵심은 클러스터 간의 거리 또는 유사도를 측정하는 방법에 있다. 대표적인 연결 방법으로는 단일 연결, 완전 연결, 평균 연결, 워드 연결 등이 있다. 단일 연결은 두 클러스터 내 가장 가까운 점 사이의 거리를, 완전 연결은 가장 먼 점 사이의 거리를 사용한다. 평균 연결은 모든 점 쌍 간 거리의 평균을, 워드 연결은 클러스터를 병합할 때 발생하는 분산의 증가량을 최소화하는 기준을 사용한다.

계층적 클러스터링의 결과는 일반적으로 덴드로그램이라는 트리 다이어그램으로 시각화된다. 덴드로그램은 병합 순서와 각 병합 단계에서의 클러스터 간 거리를 보여주며, 이를 통해 사용자는 원하는 군집 수준에서 트리를 자르기만 하면 최종 클러스터를 결정할 수 있다. 이는 사전에 클러스터 수(K)를 지정해야 하는 K-평균 클러스터링과 비교되는 큰 차이점이다.

이 방법의 주요 장점은 사전에 군집 수를 정하지 않아도 되며, 덴드로그램을 통해 데이터의 계층적 구조를 직관적으로 탐색할 수 있다는 점이다. 그러나 대규모 데이터셋에 적용할 경우 계산 비용이 높고, 한 번 병합되거나 분할된 클러스터를 뒤집을 수 없다는 단점이 있다.

DBSCAN은 Density-Based Spatial Clustering of Applications with Noise의 약자로, 밀도 기반 공간 클러스터링의 대표적인 알고리즘이다. 이 알고리즘은 사전에 클러스터의 개수를 지정할 필요가 없으며, 임의의 형태를 가진 클러스터를 발견할 수 있고, 노이즈 또는 이상치를 효과적으로 식별한다는 특징을 가진다.

DBSCAN의 핵심 동작 원리는 두 가지 매개변수, 즉 반경 엡실론(ε)과 최소 포인트 수(MinPts)에 기반한다. 알고리즘은 데이터 공간 내에서 특정 포인트를 기준으로 반경 ε 내에 MinPts 개 이상의 다른 포인트가 존재하면 해당 영역을 밀도가 높은 영역으로 간주하고 클러스터를 형성하기 시작한다. 이 과정에서 포인트는 핵심 포인트, 경계 포인트, 잡음 포인트로 분류된다[1].

다른 클러스터링 방법과 비교했을 때 DBSCAN의 주요 장점과 한계는 다음과 같이 정리할 수 있다.

이러한 특성 때문에 DBSCAN은 K-평균 클러스터링이 잘 동작하지 않는 복잡한 형태의 데이터나 이상치가 많은 데이터에 유용하게 적용된다. 대표적인 활용 예로는 지리 정보 시스템의 위치 데이터 군집화, 이상 거래 탐지, 생물 정보학의 유전자 표현형 분석 등이 있다.

주성분 분석(PCA)은 차원 축소의 대표적인 기법 중 하나로, 고차원 데이터의 분산을 최대한 보존하면서 더 낮은 차원으로 데이터를 변환하는 방법이다. 데이터의 내재된 구조를 찾아 주요한 패턴을 추출하는 데 사용되며, 특히 노이즈 제거와 시각화에 효과적이다.

PCA는 데이터의 공분산 행렬을 계산하고, 이 행렬의 고유벡터와 고유값을 구하는 과정을 통해 작동한다. 고유값이 큰 순서대로 정렬된 고유벡터를 주성분이라고 부르며, 첫 번째 주성분은 데이터의 분산을 가장 크게 설명하는 방향을 나타낸다. 일반적으로 처음 몇 개의 주성분만 선택하여 원본 데이터를 투영함으로써 차원을 축소한다.

이 기법은 데이터 전처리 단계에서 널리 활용된다. 예를 들어, 수백 개의 특징을 가진 이미지 데이터나 유전자 발현 데이터에서 핵심 변수를 추출할 때 PCA를 적용한다. 또한, 3차원 이상의 데이터를 2차원이나 3차원으로 축소하여 인간이 이해하기 쉬운 형태로 시각화하는 데에도 유용하다. 그러나 PCA는 선형 변환에 기반하므로 비선형 관계를 가진 데이터에는 t-SNE나 커널 PCA 같은 다른 방법이 더 적합할 수 있다.

t-SNE는 고차원 데이터를 시각화하기 위해 널리 사용되는 차원 축소 기법이다. 주로 2차원 또는 3차원으로 데이터를 축소하여 인간이 이해하기 쉬운 형태로 표현하는 데 목적이 있다. 이 알고리즘은 2008년 로렌스 반 데르 마텐과 제프리 힌튼에 의해 제안되었다[2].

t-SNE의 핵심 원리는 데이터 포인트 간의 유사성을 확률로 모델링하고, 저차원 공간에서도 이 유사성 구조를 보존하도록 매핑하는 것이다. 고차원에서는 가우시안 분포를 사용해 유사도를 계산하고, 저차원에서는 꼬리가 더 두꺼운 t-분포를 사용한다. 이 t-분포의 사용은 저차원 공간에서 중간 거리의 포인트들을 더 멀리 떨어뜨려 군집 간의 구분을 명확하게 하는 효과가 있다. 결과적으로, 고차원 공간에서 가까운 점들은 저차원에서도 가깝게, 먼 점들은 더 멀리 배치되어 복잡한 구조를 시각적으로 드러내게 된다.

t-SNE는 특히 복잡한 비선형 구조를 가진 데이터의 시각화에 강점을 보인다. 예를 들어, MNIST 손글씨 숫자 데이터셋이나 단어 임베딩 벡터를 2차원 평면에 표현할 때, 유사한 숫자나 단어들이 자연스럽게 군집을 이루는 모습을 관찰할 수 있다. 그러나 몇 가지 주의점이 존재한다. 알고리즘의 결과는 초기 조건과 '퍼plexity'라는 주요 하이퍼파라미터에 민감할 수 있으며, 축소된 공간에서의 절대적 거리보다는 상대적 군집 구조에 의미를 두어야 한다. 또한 계산 복잡도가 높아 대규모 데이터셋에 직접 적용하기에는 비효율적일 수 있어, 보통 주성분 분석(PCA) 등을 선행하여 차원을 어느 정도 줄인 후에 적용하는 것이 일반적이다.

고객 세분화는 비지도 학습 방식, 특히 클러스터링 알고리즘의 대표적인 응용 분야이다. 이는 레이블이 없는 고객 데이터를 분석하여 유사한 특성을 가진 고객 그룹을 자동으로 발견하고 정의하는 과정이다. 기업은 이를 통해 모든 고객을 단일 집단으로 취급하는 대신, 각 세그먼트의 특성에 맞는 맞춤형 마케팅 전략, 상품 추천, 고객 서비스를 설계할 수 있다.

분석에 사용되는 데이터는 인구통계학적 정보(나이, 성별, 지역), 구매 이력(구매 빈도, 평균 구매 금액, 최근 구매 시기), 웹사이트 행동 데이터(페이지 뷰, 클릭 스트림), 그리고 고객 만족도 조사 결과 등 다양하다. K-평균 클러스터링은 가장 널리 사용되는 알고리즘으로, 사전에 정의된 K개의 그룹으로 고객을 분할한다. 계층적 클러스터링은 덴드로그램을 통해 다양한 수준의 세분화 결과를 시각적으로 확인할 수 있게 한다.

고객 세분화의 결과는 다음과 같은 비즈니스 인사이트로 활용된다. 예를 들어, 고가의 상품을 자주 구매하는 소수 그룹(VIP 고객)을 식별하여 우대 관리하거나, 구매 이탈 위험이 높은 세그먼트를 찾아 사전에 예방 캠페인을 실행할 수 있다. 또한, 특정 상품 카테고리에만 관심을 보이는 고객 그룹을 발견하면 교차 판매 기회를 모색하는 데 도움이 된다.

이러한 접근 방식은 마케팅 예산의 효율성을 높이고, 고객 생애 가치를 극대화하며, 새로운 시장 기회를 발견하는 데 기여한다.

이상 탐지는 정상적인 데이터의 패턴을 학습하여 그 패턴에서 벗어나는 드물고 예상치 못한 사례나 관측치를 식별하는 비지도 학습의 주요 응용 분야이다. 레이블이 지정된 이상 데이터가 충분하지 않은 경우가 많기 때문에, 비지도 학습 방식은 정상 데이터의 구조나 분포를 기반으로 모델을 구축하여 이를 기준으로 벗어난 샘플을 탐지하는 데 적합하다.

주요 접근 방식은 크게 두 가지로 나뉜다. 첫째는 정상 데이터가 밀집된 영역을 정의하고 그 경계를 벗어나는 데이터를 이상으로 판단하는 방법이다. 클러스터링 기법 중 하나인 DBSCAN은 밀도 기반으로 군집을 형성하며, 어느 군집에도 속하지 않는 잡음 점들을 이상치 후보로 탐지할 수 있다. 둘째는 데이터의 전체적인 분포나 특성을 모델링하여 재구성 오차가 큰 샘플을 이상으로 간주하는 방법이다. 주성분 분석과 같은 차원 축소 기법은 데이터를 저차원 공간으로 투영한 후 다시 복원하는 과정에서 정상 데이터는 원본과 유사하게 재구성되지만, 이상 데이터는 큰 오차를 보이는 원리를 활용한다.

이상 탐지는 사기 탐지, 네트워크 침입 탐지, 제조 결함 검출, 의료 진단 등 다양한 분야에서 활용된다. 예를 들어, 신용카드 거래 데이터에서 정상적인 소비 패턴을 학습하면, 이를 크게 벗어나는 비정상적인 대금 결제 시도를 실시간으로 탐지할 수 있다. 그러나 정상과 이상의 경계가 모호하거나, 정상 데이터 자체에 노이즈가 포함된 경우 탐지 성능이 저하될 수 있는 한계를 가진다.

비지도 학습은 레이블이 없는 이미지 데이터와 텍스트 데이터에서 숨겨진 구조나 패턴을 발견하는 데 효과적으로 활용된다. 이미지 분석에서는 컴퓨터 비전 분야에서 특징 추출이나 이미지 군집화에 주로 적용된다. 예를 들어, 합성곱 신경망의 오토인코더를 사용해 이미지를 압축 표현으로 학습한 뒤, 이를 바탕으로 유사한 이미지들을 그룹화할 수 있다. 이는 대량의 라벨링되지 않은 이미지 데이터베이스를 조직화하거나, 시각적 유사성을 기반으로 이미지를 검색하는 시스템을 구축하는 데 도움을 준다.

텍스트 분석에서는 자연어 처리 작업에 비지도 학습이 널리 쓰인다. 대표적인 기법으로는 토픽 모델링과 단어 임베딩이 있다. 잠재 디리클레 할당과 같은 토픽 모델링 알고리즘은 문서 집합에서 반복적으로 등장하는 단어들의 패턴을 찾아내어 주요 주제를 자동으로 추출한다. 또한, Word2Vec이나 GloVe 같은 임베딩 기법은 방대한 텍스트 코퍼스에서 단어의 분산 표현을 학습하여, 의미상 유사한 단어들이 벡터 공간에서 가까이 위치하도록 만든다.

이러한 접근법들은 문서 군집화, 감성 분석의 전처리 단계, 또는 검색 엔진의 성능 향상에 기여한다. 예를 들어, 뉴스 기사들을 주제별로 자동 분류하거나, 소셜 미디어의 대화에서 주요 이슈를 발견하는 데 활용될 수 있다. 이미지와 텍스트 모두에서, 비지도 학습은 데이터의 내재적 구조를 해석 가능한 형태로 드러내는 데 핵심적인 역할을 한다.