로지스틱 회귀 모델

로지스틱 회귀 모델의 핵심은 로지스틱 함수를 사용하여 입력 변수와 출력 범주 사이의 확률적 관계를 모델링하는 것이다. 로지스틱 함수는 S자 형태의 곡선을 그리기 때문에 시그모이드 곡선이라고도 불린다. 이 함수는 모든 실수 입력값을 0과 1 사이의 확률 값으로 변환하는 역할을 한다.

로지스틱 함수의 표준적인 형태는 다음과 같다.

$$ f(z) = \frac{1}{1 + e^{-z}} $$

여기서 $z$는 선형 조합 $z = \beta_0 + \beta_1 x_1 + ... + \beta_n x_n$을 나타낸다. $e$는 자연상수이다. 입력 $z$가 매우 커지면 $e^{-z}$는 0에 가까워지고, $f(z)$는 1에 수렴한다. 반대로 $z$가 매우 작아지면 $e^{-z}$는 매우 커지고, $f(z)$는 0에 수렴한다. $z$가 0일 때 함수값은 정확히 0.5가 된다.

시그모이드 곡선의 특성은 다음과 같이 정리할 수 있다.

이러한 수학적 특성 덕분에 로지스틱 함수는 선형 회귀의 결과를 확률로 해석할 수 있게 만드는 '연결 함수' 역할을 한다. 선형 방정식의 결과 $z$가 어떤 값이든, 최종 출력은 항상 유효한 확률 값이 된다. 이 확률값을 기준으로(일반적으로 0.5) 결정 경계를 설정하여 이진 분류를 수행한다.

로지스틱 회귀 모델의 가설 함수는 입력 변수와 예측하고자 하는 결과 사이의 관계를 표현하는 수학적 공식이다. 이진 분류 문제에서 가설 함수 h(x)는 주어진 입력 x에 대해 출력이 1(긍정 클래스)일 확률을 추정한다. 이 확률 추정은 로지스틱 함수 또는 시그모이드 함수를 통해 0과 1 사이의 값으로 변환된다. 함수의 일반적인 형태는 h(x) = g(θᵀx) = 1 / (1 + e^(-θᵀx))이다. 여기서 θ는 모델이 학습할 가중치 벡터이고, θᵀx는 입력 특성의 선형 조합을 의미한다.

결정 경계는 입력 공간을 서로 다른 클래스로 나누는 경계선 또는 경계면이다. 로지스틱 회귀에서 결정 경계는 가설 함수의 출력이 정확히 0.5가 되는 지점들의 집합으로 정의된다. 이는 선형 결합 θᵀx의 값이 0이 되는 지점, 즉 θᵀx = 0인 초평면에 해당한다. 예측은 이 경계를 기준으로 수행된다: h(x) ≥ 0.5이면 y=1로, h(x) < 0.5이면 y=0으로 분류한다.

결정 경계의 형태는 특성의 선형 조합 방식에 따라 달라진다. 가장 기본적인 형태는 선형 결정 경계이다. 예를 들어, 두 개의 특성 x₁과 x₂를 가진 모델에서 경계는 θ₀ + θ₁x₁ + θ₂x₂ = 0으로 표현되는 직선이다. 그러나 다항식 특성을 도입하면 비선형 결정 경계를 생성할 수 있다. x₁²이나 x₁x₂ 같은 고차항을 특성에 포함시키면, 결정 경계는 원, 타원 또는 더 복잡한 곡선 형태를 띨 수 있다.

결정 경계의 위치와 모양은 학습 과정에서 최적화되는 모수 θ의 값에 의해 완전히 결정된다. 모델 학습의 목표는 주어진 데이터를 가장 잘 구분하는, 즉 최대우도추정 기준에서 가장 적합한 θ를 찾아 결정 경계를 설정하는 것이다.

로지스틱 회귀 모델을 학습시키기 위해서는 모델의 예측 오차를 정량화하는 비용 함수가 필요하다. 선형 회귀에서 주로 사용되는 평균 제곱 오차는 로지스틱 회귀의 시그모이드 함수 출력에 적용할 경우 볼록하지 않은(non-convex) 형태가 되어 최적화가 어려워진다. 따라서 로지스틱 회귀에서는 최대우도추정 원리를 기반으로 한 로그 손실 함수를 비용 함수로 사용한다.

이 비용 함수는 실제 레이블(y)과 모델의 예측 확률(h(x)) 사이의 차이를 측정한다. 함수는 다음과 같은 형태를 가진다.

두 경우를 하나의 식으로 통합하면, m개의 훈련 샘플에 대한 전체 비용 함수 J(θ)는 다음과 같이 표현된다[1].

J(θ) = -(1/m) Σ [y⁽ⁱ⁾ log(h(x⁽ⁱ⁾)) + (1 - y⁽ⁱ⁾) log(1 - h(x⁽ⁱ⁾))]

이 함수는 최대우도추정의 관점에서 유도된다. MLE는 주어진 데이터를 관찰할 가능도(우도)를 최대화하는 모델 파라미터를 찾는 통계적 방법이다. 로지스틱 회귀에서는 각 샘플이 해당 클래스에 속할 확률을 베르누이 분포로 모델링하고, 모든 샘플의 우도를 곱한 가능도 함수를 최대화한다. 일반적으로 곱셈 대신 로그를 취한 로그 가능도를 최대화하며, 이는 위의 비용 함수 J(θ)를 최소화하는 것과 수학적으로 동일하다.

이 비용 함수는 볼록한(convex) 형태를 가지므로 경사 하강법과 같은 최적화 알고리즘을 통해 전역 최소점을 찾을 수 있다. 비용 함수를 최소화하는 파라미터 θ를 찾는 과정이 바로 모델이 데이터의 패턴을 학습하는 과정이다.

경사 하강법은 로지스틱 회귀 모델의 매개변수를 학습하기 위해 가장 널리 사용되는 최적화 알고리즘이다. 이 방법은 비용 함수의 기울기(경사)를 계산하여, 비용을 최소화하는 방향으로 매개변수를 반복적으로 업데이트한다. 로지스틱 회귀에서 사용되는 비용 함수는 일반적으로 로그 손실 함수이며, 이 함수는 볼록 함수의 성질을 가지므로 경사 하강법을 통해 전역 최솟값을 찾을 수 있다.

알고리즘은 먼저 가중치와 편향 같은 매개변수에 임의의 초깃값을 부여한다. 이후 각 반복(에포크)마다 현재 매개변수 값에서 비용 함수의 편미분을 계산한다. 계산된 기울기의 반대 방향, 즉 비용이 감소하는 방향으로 매개변수를 조정한다. 이 조정의 크기는 학습률이라는 하이퍼파라미터에 의해 결정된다. 학습률이 너무 크면 최솟점을 지나쳐 발산할 수 있고, 너무 작으면 수렴 속도가 매우 느려진다.

실제 구현에서는 모든 데이터를 한 번에 처리하는 배치 경사 하강법보다는, 계산 효율성과 국소 최솟점 탈출 능력을 향상시킨 확률적 경사 하강법이나 미니배치 경사 하강법이 더 자주 사용된다. 학습이 진행됨에 따라 비용 함수의 값이 감소하는지를 모니터링하여 알고리즘이 올바르게 수렴하고 있는지 확인한다. 일정 횟수의 에포크 이후 또는 비용 함수의 감소가 거의 없어지면 알고리즘을 중단하고 최종 매개변수를 얻는다.

로지스틱 회귀 모델의 과적합을 방지하고 일반화 성능을 향상시키기 위해 정규화 기법이 적용된다. 정규화는 모델의 복잡도를 제어하는 방법으로, 특히 고차원 데이터나 특성의 수가 많을 때 유용하다. 로지스틱 회귀에서는 주로 비용 함수에 페널티 항을 추가하여 가중치의 크기를 제한하는 방식을 사용한다.

가장 일반적인 두 가지 정규화 방법은 L1 정규화와 L2 정규화이다. L1 정규화는 라쏘 회귀라고도 불리며, 비용 함수에 가중치의 절댓값의 합을 페널티 항으로 더한다. 이는 불필요한 특성의 가중치를 정확히 0으로 만들 수 있어 특성 선택의 효과를 동시에 가져온다. 반면, L2 정규화는 릿지 회귀라고도 불리며, 가중치의 제곱의 합을 페널티 항으로 더한다. 이는 모든 가중치를 균일하게 작게 유지하려는 경향이 있다.

정규화의 강도는 하이퍼파라미터인 정규화 매개변수(보통 λ 또는 C로 표기)로 조절한다. λ 값이 크거나 C 값이 작을수록 페널티가 강해져 가중치가 더욱 제한되고 모델이 단순해진다. 반대로 λ 값이 작거나 C 값이 크면 페널티가 약해져 모델이 훈련 데이터에 더욱 가깝게 적합될 수 있다. 최적의 정규화 강도는 일반적으로 교차 검증을 통해 결정한다.

혼동 행렬은 이진 분류 모델의 성능을 평가할 때 예측 결과와 실제 클래스를 네 가지 경우의 수로 교차 표시한 표이다. 이 표는 모델이 얼마나 정확하게 분류했는지, 그리고 어떤 종류의 오류를 발생시키는지를 한눈에 파악할 수 있게 해준다. 행렬의 행은 실제 클래스를, 열은 모델이 예측한 클래스를 나타낸다.

표준적인 이진 분류에서 네 가지 결과는 다음과 같이 정의된다.

True Positive와 True Negative는 모델이 올바르게 분류한 경우이다. False Positive는 실제로는 부정 클래스인데 긍정으로 잘못 예측한 경우(1종 오류)이며, False Negative는 실제로는 긍정 클래스인데 부정으로 잘못 예측한 경우(2종 오류)이다.

혼동 행렬 자체는 숫자로 구성된 표이지만, 이를 기반으로 정밀도, 재현율, F1 점수 등 여러 핵심 성능 지표를 계산한다. 예를 들어, 재현율은 TP / (TP + FN)으로 계산되며, 실제 긍정 샘플 중 모델이 얼마나 올바르게 찾아냈는지를 나타낸다. 각 지표는 모델의 서로 다른 측면을 강조하므로, 적용 분야에 따라 중요하게 여겨지는 지표가 달라진다[3].

이진 분류 모델의 성능을 평가하는 데는 단순한 정확도 외에도 여러 지표가 필요하다. 특히 데이터의 클래스 분포가 불균형할 때는 정확도만으로는 모델의 진짜 성능을 판단하기 어렵다. 이러한 문제를 해결하기 위해 혼동 행렬을 기반으로 한 정밀도, 재현율, 그리고 이를 종합한 F1 점수가 널리 사용된다.

정밀도는 모델이 양성(Positive)이라고 예측한 샘플 중 실제로 양성인 샘플의 비율이다. 이는 '거짓 양성'을 얼마나 줄였는지를 나타내며, 스팸 메일 필터링처럼 잘못된 양성 판정(정상 메일을 스팸으로 분류)의 비용이 클 때 중요한 지표가 된다. 재현율은 실제 양성인 샘플 중 모델이 양성으로 올바르게 예측한 샘플의 비율이다. 이는 '거짓 음성'을 얼마나 피했는지를 보여주며, 질병 진단처럼 실제 양성(환자)을 놓치는 경우의 비용이 클 때 핵심 평가 기준이 된다.

정밀도와 재현율은 일반적으로 트레이드오프 관계에 있다. 하나를 높이면 다른 하나는 낮아지는 경향이 있어, 두 지표를 동시에 고려해야 한다. 이를 위해 두 지표의 조화 평균인 F1 점수를 사용한다. F1 점수는 정밀도와 재현율이 모두 높을수록 높은 값을 가지며, 두 지표를 균형 있게 종합한 단일 점수를 제공한다. 모델 비교나 하이퍼파라미터 튜닝 시 유용한 기준이 된다.

적절한 평가 지표의 선택은 비즈니스 목표와 문제의 맥락에 달려 있다. 예를 들어, 신용 사기 탐지에서는 사기를 놓치지 않는 것(재현율)이 매우 중요할 수 있지만, 추천 시스템에서는 사용자에게 정말 관련 높은 아이템만 보여주는 것(정밀도)이 더 중요할 수 있다.

ROC 곡선은 이진 분류 모델의 성능을 평가하기 위한 그래픽 도구이다. 이 곡선은 분류기의 임계값을 변화시키면서 계산된 진양성률과 위양성률의 관계를 나타낸다. 진양성률은 재현율과 동일하며, 실제 양성인 샘플 중에서 모델이 올바르게 양성으로 예측한 비율을 의미한다. 위양성률은 실제 음성인 샘플 중에서 모델이 잘못하여 양성으로 예측한 비율을 의미한다. ROC 곡선은 좌상단에 가까울수록, 즉 진양성률이 높고 위양성률이 낮은 상태를 유지할수록 모델의 성능이 우수함을 나타낸다.

ROC 곡선 아래의 면적을 AUC라고 한다. AUC 값은 0과 1 사이의 값을 가지며, 완벽한 분류기의 경우 1의 값을 가진다. 무작위 추측에 해당하는 분류기의 ROC 곡선은 대각선이 되며, 이때의 AUC 값은 0.5이다. 따라서 AUC 값이 0.5에 가까울수록 모델의 분별력이 없음을 의미하고, 1에 가까울수록 우수한 성능을 가진 모델임을 의미한다. AUC는 모델의 예측 확률 점수를 기반으로 한 종합적인 평가 지표로, 특히 불균형 데이터셋에서도 비교적 안정적인 평가가 가능하다는 장점이 있다.

ROC 곡선과 AUC는 단일 지표인 정확도가 가진 한계를 보완한다. 특히 양성과 음성 클래스의 분포가 균형잡히지 않은 경우, 정확도는 오해의 소지가 있을 수 있다. 예를 들어, 데이터의 95%가 음성인 경우 모든 샘플을 음성으로 예측하는 모델의 정확도는 95%가 되지만, 이 모델은 양성 샘플을 전혀 찾아내지 못한다. ROC 곡선과 AUC는 이러한 문제에서 자유로우며, 임계값에 관계없이 모델의 예측 능력을 전반적으로 평가하는 데 유용하다.

로지스틱 회귀 모델을 효과적으로 학습시키기 위해서는 입력 데이터에 대한 적절한 전처리가 필수적이다. 모델의 성능과 안정성은 데이터의 품질에 크게 의존한다.

데이터 전처리의 첫 단계는 결측치 처리이다. 결측치가 많은 변수는 제거하는 것이 일반적이며, 중요한 변수의 경우 평균, 중앙값, 최빈값 등으로 대체하거나 KNN 같은 알고리즘을 이용해 예측값으로 채울 수 있다. 다음으로는 이상치 탐지와 처리가 필요하다. 로지스틱 회귀는 이상치에 민감할 수 있으므로, IQR 방법이나 Z-score를 사용해 이상치를 식별한 후 제거하거나 조정한다. 범주형 변수는 원-핫 인코딩을 통해 수치형으로 변환해야 한다. 순서가 없는 범주형 변수에 라벨 인코딩을 적용하면 모델이 잘못된 순서 관계를 학습할 위험이 있다.

마지막으로, 특성 스케일링은 특히 경사 하강법을 사용할 때 중요한 단계이다. 입력 특성들의 스케일이 크게 다르면 학습 속도가 느려지고 최적점에 수렴하기 어려울 수 있다. 표준화는 각 특성을 평균 0, 표준편차 1로 변환하며, 정규화는 값을 특정 범위(예: 0과 1 사이)로 조정한다. 로지스틱 회귀에서는 표준화가 더 일반적으로 권장된다. 또한, 특성 간의 높은 상관관계(다중공선성)는 모델 계수의 해석을 어렵게 만들 수 있으므로, 상관관계 분석을 통해 불필요한 변수를 제거하거나 주성분 분석을 적용해 차원을 축소할 수 있다.

로지스틱 회귀 모델을 구현하기 위해 가장 널리 사용되는 파이썬 라이브러리는 scikit-learn과 statsmodels이다. 두 라이브러리는 접근 방식과 제공 정보에 차이가 있다. scikit-learn은 통일된 API와 높은 성능에 중점을 두어 예측 모델 구축에 적합하며, statsmodels는 통계적 추론과 모델 해석에 더 많은 세부 정보를 제공한다.

다음은 scikit-learn을 사용한 기본적인 이항 분류 예시이다.

```python

from sklearn.linear_model import LogisticRegression

from sklearn.model_selection import train_test_split

from sklearn.preprocessing import StandardScaler

# 데이터 분할

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 특성 스케일링 (선택적)

scaler = StandardScaler()

X_train_scaled = scaler.fit_transform(X_train)

X_test_scaled = scaler.transform(X_test)

# 모델 생성 및 학습

model = LogisticRegression(penalty='l2', C=1.0, solver='lbfgs', max_iter=1000)

model.fit(X_train_scaled, y_train)

# 예측

y_pred = model.predict(X_test_scaled)

y_pred_proba = model.predict_proba(X_test_scaled)[:, 1]

```

solver 매개변수로 최적화 알고리즘('lbfgs', 'liblinear', 'saga' 등)을, penalty로 정규화 유형('l2', 'l1', 'none')을, C로 정규화 강도를 조절할 수 있다.

반면, statsmodels는 회귀 계수에 대한 p-값과 신뢰 구간 같은 통계적 정보를 상세히 제공한다. 이는 변수의 유의성을 검정하거나 모델을 해석할 때 유용하다.

```python

import statsmodels.api as sm

# 상수항 추가

X_train_sm = sm.add_constant(X_train)

# 모델 적합

logit_model = sm.Logit(y_train, X_train_sm)

result = logit_model.fit(disp=0) # 최적화 과정 출력 억제

# 결과 요약 출력 (계수, p-value, 신뢰구간 등 포함)

print(result.summary())

```

다항 분류(다항 로지스틱 회귀)의 경우, scikit-learn에서는 LogisticRegression의 multi_class 매개변수를 'multinomial' 또는 'ovr'(One-vs-Rest)로 설정하여 처리한다. statsmodels에서는 MNLogit 클래스를 사용한다.