주성분 분석 (PCA)편집자 확인

공분산 행렬은 주성분 분석의 핵심 수학적 도구이다. 데이터의 각 변수(특징) 쌍 간의 선형 관계를 나타내는 행렬로, 데이터의 구조를 요약한다. 표준화된 데이터 행렬을 X라고 할 때, 공분산 행렬 C는 C = (1/(n-1)) * X^T * X로 계산된다[2]. 이 행렬은 대칭적이며, 대각선 요소는 각 변수의 분산을, 비대각선 요소는 공분산을 나타낸다.

주성분 분석의 목표는 이 공분산 행렬을 고유값 분해하는 것이다. 고유값 분해는 행렬을 고유벡터와 고유값의 곱으로 분해하는 과정이다. 공분산 행렬 C에 대해, C * v = λ * v를 만족하는 0이 아닌 벡터 v(고유벡터)와 스칼라 λ(고유값)를 찾는다. 이때, 고유벡터는 새로운 좌표축인 주성분의 방향을, 고유값은 해당 주성분 축 상의 데이터 분산 크기를 의미한다.

고유값 분해 결과, 고유값이 큰 순서대로 정렬된 고유벡터들이 순차적으로 가장 큰 분산을 가지는 새로운 직교 좌표계를 구성한다. 첫 번째 주성분은 가장 큰 고유값에 대응하는 고유벡터 방향이며, 데이터의 변동성을 가장 많이 설명한다. 이 과정을 통해 원본 데이터의 상관관계가 제거된 새로운 표현을 얻을 수 있다.

주성분 분석의 핵심 목표는 원본 데이터의 분산을 최대한 보존하는 새로운 직교 좌표계를 찾는 것이다. 이 관점에서는 데이터의 분산을 최대화하는 방향을 순차적으로 찾아 주성분을 정의한다. 첫 번째 주성분은 데이터의 분산을 가장 크게 만드는 투영 방향의 단위 벡터이다. 두 번째 주성분은 첫 번째 주성분과 직교하는 조건 하에서 남은 분산을 최대화하는 방향으로 정의되며, 이 과정을 반복한다.

수학적으로, 데이터 행렬 X(각 행이 관측치, 각 열이 변수, 평균이 0으로 조정되었다고 가정)가 주어졌을 때, 단위 벡터 w 방향으로 투영된 데이터의 분산은 w^T Σ w로 계산된다. 여기서 Σ는 데이터의 공분산 행렬이다. 따라서 첫 번째 주성분을 찾는 문제는 제약 조건 ||w||=1 하에서 w^T Σ w를 최대화하는 w를 찾는 최적화 문제가 된다. 이 문제의 해는 공분산 행렬 Σ의 가장 큰 고유값에 해당하는 고유벡터임이 알려져 있다.

이렇게 얻은 고유벡터들은 서로 직교하며, 대응하는 고유값의 크기는 각 주성분 방향으로 설명되는 분산의 양을 나타낸다. 따라서 고유값의 크기를 분석하면 각 주성분의 상대적 중요도를 파악할 수 있다. 분산 최대화 관점은 PCA의 직관적인 이해를 제공하며, 데이터의 변동성이 가장 큰 방향을 찾아 정보를 집약한다는 원리를 명확히 보여준다.

주성분 분석의 오차 최소화 관점은 데이터를 저차원 부분공간에 투영했을 때 발생하는 복원 오차를 최소화하는 문제로 해석한다. 이 관점은 원본 데이터와 저차원 투영 후 다시 복원된 데이터 사이의 거리(보통 유클리드 거리의 제곱합)를 최소화하는 직교 투영을 찾는 것과 동일하다.

구체적으로, 데이터 행렬 X의 각 샘플을 새로운 주성분 축으로 이루어진 k차원 부분공간에 투영하고, 이를 다시 원래의 공간으로 복원했을 때의 오차를 고려한다. 이 재구성 오차의 제곱합을 최소화하는 최적의 부분공간은, 데이터의 공분산 행렬의 가장 큰 k개의 고유값에 대응하는 고유벡터로 이루어진 공간이다. 이는 분산 최대화 관점과 수학적으로 동치인 결과를 제공한다.

다음 표는 두 관점의 대비를 보여준다.

이 관점은 PCA가 데이터를 저차원으로 압축하는 과정에서 정보 손실을 최소화하는 선형 변환임을 명확히 보여준다. 따라서 PCA는 데이터의 본질적인 구조를 가장 잘 보존하면서 차원을 줄이는 효율적인 코딩(coding) 방식으로 이해될 수 있다.

주성분 분석의 알고리즘은 데이터를 표준화하는 단계부터 시작하여 새로운 주성분 좌표계로 변환하는 과정까지 체계적으로 진행된다. 다음은 그 단계별 계산 과정이다.

1. 데이터 표준화 (Standardization)

주성분 분석은 변수의 분산에 크게 영향을 받기 때문에, 서로 다른 척도(scale)를 가진 변수들을 비교 가능하도록 만드는 것이 중요하다. 각 변수(특징)에 대해 평균을 0, 표준편차를 1로 조정하는 표준화를 수행한다. *j*번째 변수의 평균이 μ_j이고 표준편차가 σ_j일 때, *i*번째 샘플의 값 x_ij는 다음과 같이 변환된다.

z_ij = (x_ij - μ_j) / σ_j

2. 공분산 행렬 계산 (Covariance Matrix Computation)

표준화된 데이터 행렬 Z (n개의 샘플과 p개의 변수)가 주어졌을 때, 변수들 간의 관계를 나타내는 공분산 행렬 C를 계산한다. 표준화된 데이터의 경우, 이 공분산 행렬은 상관관계 행렬과 동일하다. 공분산 행렬은 p x p 크기의 대칭 행렬이며, (j, k) 요소는 j번째 변수와 k번째 변수 간의 공분산을 나타낸다.

3. 고유값 분해 수행 (Eigen Decomposition)

계산된 공분산 행렬 C에 대해 고유값 분해를 수행한다. 이는 다음 방정식을 만족하는 고유벡터 v와 고유값 λ를 찾는 과정이다.

Cv = λv

이 과정에서 p개의 고유값(λ_1, λ_2, ..., λ_p)과 이에 대응하는 p개의 고유벡터(v_1, v_2, ..., v_p)를 얻는다. 고유값은 각 주성분이 설명하는 분산의 양을, 고유벡터는 그 주성분의 방향(축)을 나타낸다.

4. 주성분 선택 및 투영 (Selection and Projection)

고유값을 내림차순으로 정렬하고, 그에 해당하는 고유벡터(주성분 축)의 순서도 동일하게 재배열한다. 설명된 분산의 비율이나 누적 기여도를 기준으로 유지할 주성분의 개수 k (k ≤ p)를 선택한다. 최종적으로, 원본 표준화 데이터 Z를 선택된 k개의 고유벡터로 구성된 투영 행렬 W (p x k)에 곱하여 새로운 저차원 데이터 Y (n x k)를 얻는다. 이 변환은 Y = ZW 공식으로 수행된다.

주성분 개수 선택은 주성분 분석 모델의 복잡도와 설명력을 결정하는 핵심 단계이다. 너무 적은 주성분을 선택하면 원본 데이터의 정보를 과도하게 손실하게 되고, 너무 많은 주성분을 선택하면 차원 축소의 의미가 퇴색하며 과적합의 위험이 생긴다. 따라서 분석 목적에 따라 적절한 기준을 적용하여 주성분의 수를 결정해야 한다.

가장 일반적인 방법은 누적 설명 분산 비율을 사용하는 것이다. 각 주성분은 데이터의 총 분산 중 일부를 설명하며, 그 비율은 해당 고유값의 크기에 비례한다. 분석자는 보통 누적 설명 분산 비율이 80~95%에 도달하는 지점까지의 주성분 개수를 선택한다. 예를 들어, 첫 k개의 주성분이 총 분산의 90%를 설명한다면, 나머지 성분은 대부분 노이즈로 간주하고 k개만을 선택한다.

또 다른 직관적인 방법은 스크리 그림을 이용하는 것이다. 이는 각 주성분에 대응하는 고유값을 내림차순으로 그래프에 나타낸 것이다. 그래프에서 고유값이 급격히 감소하다가 완만해지는 지점, 즉 "팔꿈치"가 나타나는 부분까지의 주성분을 유의미한 것으로 판단하고 선택한다. 한편, 카이저 기준은 표준화된 데이터에 대해 고유값이 1 이상인 성분만을 유지하는 간단한 규칙이다. 그러나 이 방법은 주성분 개수를 과대평가할 수 있다는 비판도 있다. 최근에는 교차 검증을 통해 재구성 오차를 최소화하는 주성분 수를 선택하는 방법도 사용된다[3].

주성분 분석의 가장 기본적이고 널리 알려진 응용은 고차원 데이터의 차원 축소이다. 원본 데이터를 주요 변동 방향인 주성분으로 투영하여, 정보 손실을 최소화하면서도 데이터를 저차원 공간으로 표현할 수 있다. 이는 계산 비용 절감, 과적합 방지, 데이터 압축 등 다양한 목적으로 활용된다.

차원 축소의 직접적인 결과물은 데이터의 시각화에 활용된다. 인간은 3차원 이상의 공간을 직관적으로 이해하기 어렵기 때문에, 데이터를 가장 분산이 큰 첫 번째와 두 번째 주성분으로 투영하여 2차원 산점도로 나타내는 것이 일반적이다. 이를 통해 고차원 데이터의 군집 구조, 이상치, 또는 전체적인 분포 형태를 육안으로 확인할 수 있다.

이러한 시각화는 단순히 그래프를 그리는 것을 넘어, 데이터에 내재된 잠재 구조를 발견하는 탐색적 데이터 분석의 강력한 도구 역할을 한다. 예를 들어, 수백 개의 특징을 가진 고객 데이터를 2차원으로 축소하면, 서로 다른 세그먼트의 고객들이 시각적으로 구분되는 군집을 형성하는 것을 관찰할 수 있다.

주성분 분석은 데이터의 주요 변동 방향을 포착하여 노이즈를 효과적으로 분리하고 제거하는 데 활용된다. 이 과정은 데이터의 공분산 행렬을 분석하여 분산이 큰 방향(주성분)과 분산이 작은 방향을 구분하는 원리에 기반한다. 일반적으로 후자의 방향은 무작위 오차나 측정 오류와 같은 노이즈 성분에 해당할 가능성이 높다.

노이즈 제거 절차는 다음과 같다. 먼저, 원본 데이터에 대해 PCA를 수행하여 주성분을 추출한다. 그런 다음, 중요도가 낮은 주성분(즉, 작은 고유값에 대응하는 성분)을 제외하고 주요 주성분만을 선택하여 데이터를 재구성한다. 이 재구성 과정에서 데이터의 본질적인 구조는 보존되지만, 중요하지 않은 변동 성분은 걸러져 제거된다. 예를 들어, 100차원 데이터에서 상위 10개의 주성분만 사용하여 재구성하면, 나머지 90차원에 해당하는 변동은 대부분 노이즈로 간주되어 제거된다.

이 기법은 이미지 처리, 신호 처리, 금융 데이터 분석 등 다양한 분야에서 적용된다. 예를 들어, 흐릿하거나 그레인 노이즈가 있는 이미지에서 PCA를 통해 주요 패턴(예: 가장자리, 질감)을 나타내는 성분만을 남기고 세부적인 노이즈 성분을 제거하면 이미지 품질을 개선할 수 있다. 마찬가지로, 센서 신호에서 배경 잡음을 제거하거나 유전자 발현 데이터에서 실험 오차를 줄이는 데에도 사용된다.

PCA 기반 노이즈 제거의 효과는 주성분 개수 선택에 크게 의존한다. 너무 적은 주성분을 사용하면 유용한 정보까지 손실될 위험이 있고, 너무 많은 주성분을 사용하면 노이즈가 충분히 제거되지 않을 수 있다. 따라서 스크리 그림이나 설명된 분산 비율과 같은 기준을 통해 적절한 주성분 개수를 결정하는 것이 중요하다.

주성분 분석은 데이터의 내재된 구조를 파악하여 새로운 특징 공간을 구성하는 특징 추출 기법으로 널리 활용된다. 이 과정에서 원본 변수들의 선형 조합으로 생성된 주성분들은 데이터의 분산을 최대한 보존하면서도 서로 상관관계가 없도록 설계된다. 따라서 고차원 데이터에서 정보 손실을 최소화하며 효과적인 저차원 표현을 얻을 수 있다.

기계 학습 모델의 입력으로 사용하기 위해 특징 공간을 변환하는 데 PCA가 자주 적용된다. 원본 특징들 사이에 존재하는 다중공선성을 제거하여 모델의 안정성을 높이고, 학습 속도를 개선하며, 과적합 위험을 줄이는 효과가 있다. 또한, 추출된 주성분들은 데이터의 본질적인 구조를 반영하므로, 변환된 공간에서 수행되는 분류나 회귀 분석 작업의 성능을 향상시킬 수 있다.

이러한 특징 추출 과정은 지도 학습과 비지도 학습 모두에서 유용하게 사용된다. 데이터의 라벨 정보 없이도 데이터 자체의 구조를 바탕으로 의미 있는 특징을 도출할 수 있기 때문이다. 결과적으로 PCA는 원본 데이터의 복잡성을 줄이면서도 가장 중요한 정보를 담고 있는 새로운 특징 집합을 제공하는 강력한 도구이다.

주성분 분석은 넘파이와 사이킷런 같은 파이썬 라이브러리를 사용하여 비교적 간단하게 구현할 수 있다. 다음은 표준적인 단계를 따라 붓꽃 데이터셋에 PCA를 적용하는 예제 코드이다.

```python

import numpy as np

import matplotlib.pyplot as plt

from sklearn.datasets import load_iris

from sklearn.decomposition import PCA

from sklearn.preprocessing import StandardScaler

# 데이터 로드 및 표준화

iris = load_iris()

X = iris.data

y = iris.target

scaler = StandardScaler()

X_scaled = scaler.fit_transform(X)

# PCA 적용 (주성분 2개로 축소)

pca = PCA(n_components=2)

X_pca = pca.fit_transform(X_scaled)

# 결과 시각화

plt.figure(figsize=(8, 6))

colors = ['navy', 'turquoise', 'darkorange']

target_names = iris.target_names

for color, i, target_name in zip(colors, [0, 1, 2], target_names):

plt.scatter(X_pca[y == i, 0], X_pca[y == i, 1],

color=color, alpha=.8, lw=2, label=target_name)

plt.legend(loc='best', shadow=False, scatterpoints=1)

plt.title('PCA of IRIS dataset')

plt.xlabel('First Principal Component')

plt.ylabel('Second Principal Component')

plt.show()

# 설명된 분산 비율 출력

print("설명된 분산 비율 (주성분 2개):", pca.explained_variance_ratio_)

print("총 설명된 분산 비율:", sum(pca.explained_variance_ratio_))

```

코드는 크게 데이터 전처리, PCA 모델 적합, 결과 변환 및 시각화 단계로 나뉜다. StandardScaler를 사용한 표준화는 모든 특성이 동일한 스케일을 갖도록 하여 PCA의 결과가 특정 변수의 분산 크기에 지배받지 않도록 한다. PCA 객체의 fit_transform 메서드는 데이터를 적합하고 동시에 변환하여 새로운 주성분 공간의 좌표를 반환한다. explained_variance_ratio_ 속성은 각 주성분이 원본 데이터의 분산을 얼마나 설명하는지 나타내는 지표이다.

결과 해석 시, 시각화된 산점도는 4차원 데이터가 2개의 주성분으로 축소된 후의 분포를 보여준다. 서로 다른 품종의 데이터 포인트들이 주성분 축 상에서 어느 정도 구분되는지를 확인할 수 있다. 설명된 분산 비율을 분석하면 정보 손실을 정량적으로 평가할 수 있다. 예를 들어, 출력값이 [0.729, 0.228]이라면 첫 번째 주성분이 전체 분산의 약 72.9%를, 두 번째 주성분이 약 22.8%를 설명하며, 두 성분이 누적하여 약 95.7%의 분산을 보존한다는 의미이다. 이 비율이 낮으면 중요한 정보가 누락되었을 가능성이 있다.

PCA를 적용한 후의 결과는 주로 스크리 플롯, 주성분 점수, 주성분 로딩을 통해 해석한다. 스크리 플롯은 각 주성분이 설명하는 분산의 양을 보여주며, 주성분 개수를 선택하는 데 핵심적인 역할을 한다. 일반적으로 '팔꿈치 지점' 이후의 성분은 설명 분산이 급격히 감소하여 중요한 정보를 덜 담고 있다고 판단한다.

주성분 로딩은 원본 변수와 각 주성분 간의 관계를 나타낸다. 로딩 값의 크기와 부호를 분석하여 해당 주성분이 어떤 변수들의 조합으로 이루어졌는지 이해할 수 있다. 예를 들어, 첫 번째 주성분이 여러 변수에 대해 비슷한 양의 로딩을 가진다면, 이는 데이터의 전체적인 규모를 반영하는 '크기' 요인으로 해석될 수 있다.

주성분 점수는 원본 데이터를 새로운 좌표계(주성분 공간)에 투영한 값이다. 이 점수를 2차원 또는 3차원으로 시각화하면 데이터 포인트들의 군집 구조나 이상치를 관찰할 수 있다. 또한, 이 점수는 차원 축소된 데이터로서 후속 분석(예: 군집 분석, 회귀 분석)의 입력으로 사용된다.

결과 해석 시 주의할 점은 주성분 자체가 물리적 의미를 항상 가지는 것은 아니라는 것이다. 이는 원본 변수의 선형 결합으로 만들어진 수학적 구성체이며, 해석은 해당 분야의 지식과 로딩 패턴을 결합하여 신중하게 이루어져야 한다. 예를 들어, 금융 데이터에서 첫 번째 주성분이 시장 전체의 움직임을, 두 번째 주성분이 산업별 차이를 나타낼 수 있다[5].

커널 PCA는 주성분 분석의 비선형 확장 버전이다. 표준 PCA는 선형 변환만을 통해 주성분을 찾기 때문에, 데이터가 복잡한 비선형 구조를 가질 때는 효과적인 특징 추출이 어려울 수 있다. 커널 PCA는 커널 트릭을 적용하여 원본 데이터를 고차원의 특성 공간으로 비선형 매핑한 후, 그 공간에서 선형 PCA를 수행하는 방식으로 이 문제를 해결한다.

커널 PCA의 핵심은 데이터 포인트들 간의 커널 함수 계산에 있다. 실제로 고차원 공간으로의 명시적인 변환과 그 공간에서의 공분산 행렬 계산은 계산 비용이 매우 크다. 그러나 커널 트릭을 사용하면, 오직 커널 함수 값(데이터 쌍의 내적)만으로 고차원 공간에서의 PCA 결과를 얻을 수 있다. 대표적인 커널 함수로는 다항식 커널, 방사 기저 함수 커널(RBF 커널 또는 가우시안 커널), 시그모이드 커널 등이 있다.

커널 PCA의 일반적인 알고리즘은 다음과 같은 단계로 이루어진다.

1. 주어진 데이터에 대해 커널 행렬 K를 계산한다. 여기서 K_ij는 커널 함수 k(x_i, x_j)의 값이다.

2. 계산된 커널 행렬을 중앙화하여, 고차원 특성 공간에서 데이터가 평균 0을 갖도록 조정한다.

3. 중앙화된 커널 행렬의 고유값과 고유벡터를 구한다.

4. 상위 고유값에 해당하는 고유벡터를 정규화하여 주성분 축을 얻는다.

커널 PCA는 서포트 벡터 머신과 같은 커널 기반 방법론과 잘 결합되며, 특히 패턴 인식, 이미지 처리, 생정보학 등에서 복잡한 데이터 구조를 분석하는 데 유용하게 적용된다. 그러나 표준 PCA에 비해 계산 복잡도가 높으며, 변환된 공간에서의 주성분이 원본 공간에서 직관적으로 해석하기 어려울 수 있다는 단점도 있다.

희소 PCA는 주성분 분석의 변형으로, 주성분 벡터의 요소 중 많은 부분을 정확히 0으로 만들어 희소성을 부여하는 기법이다. 기존 PCA가 모든 원본 변수들의 선형 결합으로 주성분을 생성하는 반면, 희소 PCA는 각 주성분이 소수의 원본 변수만을 사용하도록 제약을 가한다. 이는 결과의 해석 가능성을 크게 향상시킨다.

주요 목적은 복잡한 고차원 데이터에서 의미 있는 저차원 구조를 발견하면서도, 그 구조가 어떤 원본 변수들에 기인하는지 명확히 파악하는 것이다. 예를 들어, 유전자 발현 데이터에서 특정 주성분이 수백 개의 유전자 중 극히 일부의 유전자만으로 설명된다면, 해당 생물학적 과정을 이해하는 데 훨씬 용이해진다. 이를 달성하기 위해 Lasso 회귀와 유사한 L1 정규화 항을 목적 함수에 추가하여 최적화 문제를 푼다.

이 방법은 특징 선택의 이점과 PCA의 분산 보존 장점을 결합한다. 그러나 최적화 문제가 비볼록(non-convex)하여 계산이 더 복잡하고, 전역 최적해를 보장하기 어려울 수 있다. 또한, 희소성을 조절하는 정규화 매개변수를 적절히 선택해야 하는 추가적인 과제가 존재한다.

주성분 분석과 특이값 분해는 밀접한 수학적 관계를 가진다. 데이터 행렬의 공분산 행렬을 통한 고유값 분해 대신, 데이터 행렬 자체에 특이값 분해를 직접 적용하여 주성분을 계산할 수 있다. 이는 수치 계산상 더 안정적이고 효율적인 방법으로 널리 사용된다.

중심화된 데이터 행렬 \( X \) (각 열의 평균이 0)에 대해, 특이값 분해는 \( X = U \Sigma V^T \) 형태로 표현된다. 여기서 \( V \)의 각 열은 주성분 방향(즉, 공분산 행렬 \( X^T X \)의 고유벡터)에 해당한다. \( \Sigma \)의 대각 원소인 특이값은 해당 주성분 방향으로의 데이터 분산의 제곱근에 비례한다. 따라서 특이값 분해를 통해 고유값 분해와 동일한 주성분 정보를 직접 얻을 수 있다.

실제 구현에서는 데이터의 샘플 수와 특성 수에 따라 효율적인 알고리즘이 선택된다. 일반적으로 많은 머신러닝 라이브러리(예: scikit-learn)의 PCA 구현은 내부적으로 특이값 분해를 사용한다. 이 접근법은 공분산 행렬을 명시적으로 계산하지 않아도 되므로, 특히 특성 수가 매우 많은 고차원 데이터를 다룰 때 계산상의 이점을 제공한다.

주성분 분석은 가장 널리 사용되는 선형 차원 축소 기법이지만, 데이터의 특성과 목적에 따라 다른 방법들이 적합할 수 있다. 주요 대안 기법으로는 선형 판별 분석, t-SNE, UMAP, 자기조직화지도 등이 있으며, 각각 고유한 원리와 적용 영역을 가진다.

선형 기법인 선형 판별 분석은 분류 문제에서 레이블 정보를 활용할 수 있다는 점에서 주성분 분석과 차별점을 가진다. 반면, t-SNE와 UMAP는 복잡한 비선형 매니폴드를 가진 데이터의 시각화에 특히 강력한 성능을 보인다. 자기조직화지도는 차원 축소와 동시에 클러스터링 결과를 격자 형태의 지도로 제공한다는 특징이 있다. 방법 선택은 데이터의 선형성, 레이블 유무, 시각화 필요성, 계산 자원 등 여러 요소를 종합적으로 고려하여 결정해야 한다.