선형 판별 분석편집자 확인

선형 판별 분석(Linear Discriminant Analysis, LDA)은 지도 학습 기반의 통계적 패턴 인식 방법이다. 주어진 데이터를 가장 잘 구분하는 선형 경계를 찾아내는 것이 목표이다. 이 기법은 로널드 피셔가 1936년에 제안한 피셔의 선형 판별(Fisher's Linear Discriminant)에 그 기원을 두고 있으며, 이후 분류와 차원 축소를 위한 핵심 도구로 발전하였다.

LDA의 기본 아이디어는 데이터를 서로 다른 클래스로 투영했을 때, 클래스 간 분산은 최대화하고 클래스 내 분산은 최소화하는 최적의 특성 공간을 찾는 것이다. 이를 통해 클래스 간의 분리가 명확해지고, 새로운 데이터에 대한 분류 성능을 높일 수 있다. LDA는 이름에서 알 수 있듯이 선형적인 결정 경계를 생성한다.

이 방법은 주로 분류 문제에 사용되지만, 고차원 데이터의 시각화나 노이즈 제거를 위한 차원 축소 기법으로도 널리 활용된다. 특히 얼굴 인식과 같은 이미지 처리나 문서 분류, 생물정보학에서의 유전자 표현형 데이터 분석 등 다양한 응용 분야에서 그 유용성이 입증되었다.

LDA는 몇 가지 중요한 가정을 전제로 한다. 가장 큰 가정은 모든 클래스가 동일한 공분산 행렬을 가진다는 것이며, 데이터가 정규 분포를 따른다고 가정한다. 이러한 가정이 성립할 때 LDA는 최적의 분류 성능을 발휘한다. 가정이 충족되지 않는 경우에는 이차 판별 분석(QDA)이나 다른 비선형 분류기가 더 적합할 수 있다.

선형 판별 분석의 수학적 배경은 데이터의 분포를 설명하는 두 가지 핵심 개념, 즉 클래스 내 산포와 클래스 간 산포를 기반으로 한다. 이 두 산포 행렬을 정의하고 최적화하는 과정이 LDA의 핵심이다.

클래스 내 산포와 클래스 간 산포

LDA의 목표는 서로 다른 클래스의 데이터를 가장 잘 구분하는 새로운 축(투영 방향)을 찾는 것이다. 이를 위해 데이터의 변동성을 두 가지 관점에서 수량화한다. 먼저, 클래스 내 산포는 같은 클래스에 속한 데이터 포인트들이 해당 클래스의 평균(중심) 주위에 얼마나 모여 있는지를 나타낸다. 이는 각 클래스별 공분산 행렬을 계산한 후, 모든 클래스에 대해 합산하여 구한다. 클래스 내 산포가 작을수록 동일 클래스의 데이터는 서로 가깝게 모여 있다는 의미이다. 반면, 클래스 간 산포는 서로 다른 클래스들의 평균 벡터들이 전체 평균 벡터로부터 얼마나 떨어져 있는지를 측정한다. 클래스 간 산포가 클수록 클래스들의 중심은 서로 멀리 떨어져 있어 구분하기 쉽다.

LDA는 이 두 산포 행렬의 비율, 즉 클래스 간 산포를 클래스 내 산포로 나눈 값을 최대화하는 투영 벡터를 찾는다. 이는 수학적으로 다음과 같은 최적화 문제로 표현된다.

판별 함수

최적의 투영 방향을 찾는 문제는 일반화된 고유값 문제 $S_B \mathbf{w} = \lambda S_W \mathbf{w}$를 푸는 것과 동일하다. 여기서 $\mathbf{w}$는 찾고자 하는 투영 벡터(판별 벡터)이며, $\lambda$는 해당 방향에서의 목적함수 값(분리 정도)을 나타낸다. 가장 큰 고유값에 대응하는 고유벡터가 데이터를 가장 잘 분리하는 첫 번째 판별 축이 된다. 필요한 차원 수(예: C개의 클래스라면 최대 C-1개)만큼 큰 고유값 순서대로 고유벡터를 선택하여 판별 공간을 형성한다. 이렇게 얻어진 판별 벡터들로 구성된 행렬을 통해 원본 데이터를 새로운 저차원 공간으로 투영할 수 있으며, 이 공간에서 클래스들은 최적으로 분리된다.

선형 판별 분석은 데이터가 몇 가지 기본적인 통계적 가정을 충족할 때 최적의 성능을 발휘한다. 가장 핵심적인 가정은 모든 클래스가 동일한 공분산 행렬을 가진다는 것이다. 즉, 각 클래스 내 데이터 포인트들의 분포 형태와 방향성이 서로 동일하다고 가정한다. 이 가정 하에서 클래스 간 경계는 선형이 되며, 이로 인해 '선형' 판별 분석이라는 이름이 붙었다.

또한, LDA는 데이터가 다변량 정규 분포를 따른다고 가정한다. 각 클래스의 데이터는 다차원 공간에서 정규 분포 형태로 생성되었다고 간주한다. 이 가정은 판별 함수를 유도하는 데 중요한 역할을 한다. 만약 데이터가 심하게 정규 분포를 벗어나거나, 클래스별 공분산 구조가 현저히 다르다면 LDA의 분류 성능은 저하될 수 있다.

마지막으로, LDA는 클래스의 사전 확률을 추정할 수 있다고 가정한다. 이는 각 클래스가 표본 데이터에서 관측된 빈도와 유사한 비율로 나타난다는 것을 의미한다. 사전 확률은 새로운 데이터 포인트를 분류할 때 베이즈 정리를 적용하는 데 사용된다.

이러한 가정들은 현실 세계의 데이터에서 항상 완벽하게 성립하지는 않는다. 그러나 많은 실제 문제에서 LDA는 이러한 가정들로부터 어느 정도 벗어나더라도 강건한 성능을 보여준다. 가정이 심각하게 위배되는 경우에는 이차 판별 분석이나 다른 비선형 분류기를 고려하는 것이 적절하다.

선형 판별 분석 알고리즘의 핵심은 데이터를 가장 잘 구분하는 투영 방향을 찾는 것이다. 이 과정은 주로 산포 행렬 계산과 고유값 문제 해결의 두 단계로 구성된다.

첫 번째 단계는 클래스 내 산포 행렬(S_W)와 클래스 간 산포 행렬(S_B)을 계산하는 것이다. 클래스 내 산포 행렬은 각 클래스 내 데이터 포인트들이 클래스 평균 주위에 얼마나 흩어져 있는지를 측정한다. 반면, 클래스 간 산포 행렬은 서로 다른 클래스의 평균들이 전체 평균을 중심으로 얼마나 떨어져 있는지를 나타낸다. 이 두 행렬은 각각 분산과 평균 차이에 대한 정보를 담고 있다.

두 번째 단계는 최적의 투영 벡터를 찾기 위해 일반화 고유값 문제를 푸는 것이다. 목표는 투영된 공간에서 클래스 간 분산은 최대화하고 클래스 내 분산은 최소화하는 방향을 찾는 것이다. 이는 수학적으로 S_B * w = λ * S_W * w 식을 푸는 것과 동일하다. 여기서 w는 찾고자 하는 투영 벡터(판별 벡터)이고, λ는 해당 방향의 판별력을 나타내는 고유값이다. 일반적으로 가장 큰 고유값(λ)에 대응하는 고유벡터(w)가 첫 번째 판별 벡터가 되며, 두 번째로 큰 고유값에 대응하는 벡터가 두 번째 판별 벡터가 되는 방식으로 순차적으로 찾는다. 찾은 투영 벡터들은 새로운 특징 공간의 축을 형성한다.

이 알고리즘을 통해 얻은 투영 벡터들로 원본 데이터를 선형 변환하면, 원래의 고차원 데이터를 클래스 분리가 뚜렷한 저차원 공간으로 효과적으로 사상할 수 있다.

선형 판별 분석 모델은 새로운 데이터 점을 분류할 때, 각 클래스에 속할 사후 확률을 계산하여 가장 높은 확률을 가진 클래스로 할당한다. 이 사후 확률은 베이즈 정리를 통해 계산되며, 각 클래스의 사전 확률과 데이터 점이 해당 클래스에서 관찰될 가능도(확률 밀도)를 결합한다. LDA는 모든 클래스가 동일한 공분산 구조를 가진다는 가정 하에, 이 계산을 선형 판별 함수의 형태로 단순화한다.

각 클래스 k에 대한 판별 함수 δ_k(x)는 다음과 같이 정의된다.

δ_k(x) = x^T Σ^{-1} μ_k - (1/2) μ_k^T Σ^{-1} μ_k + log(π_k)

여기서 x는 입력 벡터, μ_k는 클래스 k의 평균 벡터, Σ는 모든 클래스에 공통인 공분산 행렬의 추정치, π_k는 클래스 k의 사전 확률이다. 새로운 데이터 점 x_new가 주어지면, 모든 클래스 k에 대해 δ_k(x_new)를 계산하고, 이 값이 최대가 되는 클래스로 x_new를 분류한다. 즉, 결정 규칙은 argmax_k δ_k(x_new)이다.

이 규칙은 본질적으로 마할라노비스 거리를 최소화하는 결정 경계를 생성한다. 공통 공분산 행렬 Σ를 사용하기 때문에, 클래스 간 결정 경계는 선형(초평면)이 된다. 판별 함수 내의 항 x^T Σ^{-1} μ_k는 데이터를 클래스 평균 방향으로 선형 투영한 결과에 해당하며, - (1/2) μ_k^T Σ^{-1} μ_k 항은 클래스 평균의 위치에 대한 보정 역할을 한다. log(π_k) 항은 클래스의 사전 확률이 다를 경우 이를 반영하여, 희귀한 클래스에 대한 분류 기준을 조정한다.

실제 구현에서는 표본 데이터로부터 μ_k, Σ, π_k를 추정한다. 클래스 사전 확률 π_k는 일반적으로 훈련 데이터 세트 내 클래스별 샘플의 비율로 설정된다. 이 분류 규칙은 계산 효율성이 높고, 클래스 조건부 분포가 정규 분포를 따르고 공분산이 동일할 때 최적의 베이즈 분류기에 근접하는 성능을 보인다.

선형 판별 분석은 본래 분류를 위한 방법론이지만, 동시에 효과적인 차원 축소 기법으로도 널리 활용된다. 이 과정의 핵심 목표는 원본 데이터를 저차원 공간으로 투영할 때, 서로 다른 클래스의 데이터 포인트들 사이의 분리는 최대화하고, 동일한 클래스 내부의 데이터 포인트들 사이의 분산은 최소화하는 최적의 투영 벡터를 찾는 것이다. 이러한 투영은 데이터의 본질적인 구조를 보존하면서도 시각화나 전처리 단계에서 유용하게 사용될 수 있다.

차원 축소를 수행할 때, LDA는 일반적으로 클래스 간 산포 행렬과 클래스 내 산포 행렬의 고유값 분해를 통해 얻어진 고유벡터들을 사용한다. 이 고유벡터들은 데이터를 새로운 좌표축으로 변환하는 기준이 된다. 투영 후의 최대 차원 수는 원래 데이터의 차원 수나 (클래스 수 - 1) 중 더 작은 값으로 제한된다. 예를 들어, 세 개의 클래스를 가진 데이터를 2차원 공간으로 시각화하는 것이 일반적인 활용 사례이다.

주성분 분석이 데이터의 전체 분산을 최대화하는 방향으로 차원을 축소하는 비지도 학습 방법이라면, LDA는 클래스 레이블 정보를 활용하여 클래스 분리를 최대화하는 지도 학습 방법이라는 점에서 근본적인 차이가 있다. 따라서 분류 문제의 전처리 단계에서 LDA를 사용하면, PCA보다 더 분별력 있는 저차원 특징을 추출할 수 있는 경우가 많다. 그러나 LDA의 효과는 모든 클래스의 데이터가 정규 분포를 따르고 공통의 공분산 행렬을 가진다는 가정에 크게 의존한다는 점에 유의해야 한다.

선형 판별 분석(LDA)은 데이터의 클래스가 공유하는 공분산 행렬을 가정하고 선형 결정 경계를 찾는 반면, 이차 판별 분석(QDA)은 각 클래스마다 서로 다른 공분산 행렬을 허용하여 이차 결정 경계를 형성한다. 이 근본적인 차이는 모델의 복잡도와 가정의 강도에 직접적인 영향을 미친다.

두 방법의 핵심 차이는 다음 표로 요약할 수 있다.

실제 적용에서는 데이터의 특성에 따라 방법을 선택한다. 클래스 간 공분산 구조가 유사하다고 판단되거나 표본 크기가 작아 공분산 행렬을 정확히 추정하기 어려운 경우에는 LDA가 더 안정적인 성능을 보인다. 반면, 클래스별 데이터의 분산 구조가 현저히 다르거나 표본 크기가 충분히 커서 복잡한 모델을 학습시킬 수 있는 경우에는 QDA가 더 유연한 모델링으로 인해 더 나은 분류 성능을 달성할 수 있다[4]. 일반적으로 LDA는 고전적인 편향-분산 트레이드오프에서 편향이 높고 분산이 낮은 모델에, QDA는 편향이 낮고 분산이 높은 모델에 해당한다.

선형 판별 분석은 데이터의 클래스를 구분하는 데 효과적인 선형 경계를 찾는 기법으로, 여러 실용적인 분야에서 널리 활용된다. 그 핵심은 특징 공간에서 클래스 간 분산은 최대화하고 클래스 내 분산은 최소화하는 투영 방향을 찾는 것이다. 이 특성 덕분에 패턴 인식, 얼굴 인식, 문서 분류, 의료 진단, 생물정보학 등 다양한 영역에서 차원 축소 및 분류기로 사용된다.

패턴 인식 분야에서는 특히 이미지 인식과 음성 인식에 많이 적용된다. 예를 들어, 얼굴 인식 시스템에서는 고차원의 픽셀 데이터를 LDA를 통해 효과적인 저차원 특징 공간으로 변환한 후, 새로운 얼굴 이미지를 분류한다. 이는 주성분 분석이 단순히 분산을 최대화하는 것과 달리, 클래스 레이블 정보를 활용하여 더욱 분별력 있는 특징을 추출하기 때문이다. 또한, 문서 분류에서는 문서를 단어 빈도 벡터로 표현한 후, 주제별로 문서를 구분하는 데 LDA를 사용할 수 있다.

생물정보학에서는 유전자 발현 데이터 분석에 중요한 도구로 쓰인다. 마이크로어레이 실험을 통해 얻은 수천 개의 유전자 발현 프로필은 차원이 매우 높은데, LDA는 이를 몇 개의 선형 판별식으로 축소하여 서로 다른 질병 유형(예: 암의 아형)이나 생물학적 상태를 효과적으로 구분하는 모델을 만드는 데 기여한다. 이를 통해 바이오마커 발견이나 진단 보조 시스템 개발에 활용될 수 있다.

선형 판별 분석의 주요 장점은 계산 효율성과 해석 용이성이다. 이 방법은 공분산 행렬을 추정하고 고유값 문제를 푸는 과정만으로 최적의 투영 방향을 찾을 수 있어 계산 비용이 상대적으로 낮다. 또한 결과로 얻어진 판별 함수가 선형이기 때문에, 각 특징 변수가 분류 결정에 미치는 영향력을 계수의 크기와 부호를 통해 직관적으로 해석할 수 있다. 이는 블랙박스 모델에 비해 큰 강점이다. 또한 LDA는 차원 축소와 분류를 동시에 수행할 수 있어, 고차원 데이터를 시각화하거나 노이즈를 제거하는 데 유용하게 활용된다.

반면, LDA는 몇 가지 명확한 단점과 제약 조건을 가진다. 가장 큰 단점은 모든 클래스가 동일한 공분산 행렬을 공유한다는 강한 가정을 한다는 점이다. 실제 데이터에서 이 가정이 성립하지 않는 경우, 즉 클래스별 데이터 분포의 형태가 크게 다르면 LDA의 성능은 급격히 저하된다. 이러한 경우 이차 판별 분석(QDA)이 더 적합한 대안이 될 수 있다. 또한 LDA는 본질적으로 선형 경계만을 만들 수 있기 때문에, 클래스들이 복잡한 비선형 경계로 구분될 때는 서포트 벡터 머신(SVM)이나 신경망 같은 비선형 모델에 비해 성능이 떨어진다.

다음 표는 LDA의 주요 장단점을 요약하여 비교한다.

종합하면, LDA는 가정이 충족되는 비교적 단순한 구조의 데이터에 대해 강력하고 효율적인 도구이다. 그러나 그 가정이 깨지거나 데이터 관계가 복잡해지면 한계가 뚜렷해지므로, 문제의 특성을 잘 고려하여 적용 여부를 결정해야 한다.

선형 판별 분석의 구현은 파이썬의 scikit-learn 라이브러리를 통해 비교적 쉽게 수행할 수 있다. sklearn.discriminant_analysis 모듈의 LinearDiscriminantAnalysis 클래스를 사용하며, 주요 단계는 데이터 준비, 모델 학습, 예측 및 평가로 구성된다.

아래는 붓꽃 데이터셋을 사용한 기본적인 LDA 구현 예시이다.

```python

# 필요한 라이브러리 임포트

from sklearn.discriminant_analysis import LinearDiscriminantAnalysis

from sklearn.datasets import load_iris

from sklearn.model_selection import train_test_split

from sklearn.metrics import accuracy_score, confusion_matrix

# 데이터 로드 및 분할

iris = load_iris()

X = iris.data

y = iris.target

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# LDA 모델 생성 및 학습

lda = LinearDiscriminantAnalysis()

lda.fit(X_train, y_train)

# 예측 및 성능 평가

y_pred = lda.predict(X_test)

accuracy = accuracy_score(y_test, y_pred)

print(f"분류 정확도: {accuracy:.4f}")

print("혼동 행렬:")

print(confusion_matrix(y_test, y_pred))

```

실습 시 고려할 주요 파라미터와 기법은 다음과 같다.

차원 축소를 위한 LDA 실습에서는 transform 메서드를 사용하여 원본 데이터를 새로운 판별 공간으로 투영하고, 이를 시각화하는 것이 일반적이다. 2차원으로 축소한 결과는 산점도를 통해 클래스 간 분리가 어떻게 이루어졌는지 직관적으로 확인할 수 있다. 또한, explained_variance_ratio_ 속성을 통해 각 판별 벡터가 설명하는 분산 비율을 확인함으로써, 정보 보존 정도를 분석할 수 있다.

• 위키백과 - 선형 판별 분석

• Scikit-learn 공식 문서 - Linear Discriminant Analysis

• 나무위키 - 선형 판별 분석

• Towards Data Science - Linear Discriminant Analysis (LDA) Clearly Explained

• StatQuest with Josh Starmer - Linear Discriminant Analysis (LDA) clearly explained.

• 구글 학술검색 - Linear Discriminant Analysis 논문

• MathWorks - Linear Discriminant Analysis