선형 회귀 분석

단순 선형 회귀는 하나의 독립 변수와 하나의 종속 변수 사이의 선형 관계를 모델링하는 기법이다. 이는 가장 기본적이고 직관적인 회귀 분석 형태로, 두 변수 간의 관계를 직선 방정식으로 설명한다. 모델의 일반적인 형태는 Y = β₀ + β₁X + ε로 표현된다. 여기서 Y는 종속 변수, X는 독립 변수, β₀는 y절편, β₁은 기울기 또는 회귀 계수, ε은 오차항을 의미한다.

모델의 목표는 주어진 데이터 포인트들에 가장 잘 맞는, 즉 잔차의 제곱합을 최소화하는 직선을 찾는 것이다. 이 직선을 최적 적합선 또는 회귀선이라고 부른다. 회귀 계수 β₁은 독립 변수 X가 한 단위 증가할 때 종속 변수 Y의 평균적인 변화량을 나타낸다. β₀는 X가 0일 때 Y의 예측된 평균값을 의미한다.

단순 선형 회귀는 산점도 상에서 두 변수의 관계가 대략 직선적 패턴을 보일 때 적용한다. 예를 들어, 광고 비용(X)과 매출액(Y)의 관계나, 공부 시간(X)과 시험 점수(Y)의 관계를 분석하는 데 사용된다. 모델을 구축한 후에는 상관계수나 결정계수(R²)를 통해 관계의 강도를 평가한다.

다중 선형 회귀는 하나의 종속 변수를 두 개 이상의 독립 변수로 설명하는 회귀 분석 기법이다. 단순 선형 회귀가 y = β₀ + β₁x + ε 형태라면, 다중 선형 회귀 모델은 일반적으로 y = β₀ + β₁x₁ + β₂x₂ + ... + βₚxₚ + ε 형태로 표현된다. 여기서 y는 종속 변수, x₁부터 xₚ는 p개의 독립 변수, β₀는 절편, β₁부터 βₚ는 각 독립 변수에 대한 회귀 계수, ε는 오차항을 의미한다. 이 모델은 여러 요인이 동시에 결과에 미치는 영향을 추정하고자 할 때 사용된다.

모델의 회귀 계수 β는 각 독립 변수가 종속 변수에 미치는 순수한 영향력을 나타낸다. 예를 들어, 집의 가격(y)을 예측하는 모델에서 독립 변수로 평수(x₁), 방의 개수(x₂), 지어진 연도(x₃)를 사용한다면, β₂는 '방의 개수'가 한 단위 증가할 때 '평수'와 '지어진 연도'는 고정된 상태에서 집 가격이 평균적으로 얼마나 변화하는지를 보여준다. 이러한 해석은 다른 변수들의 효과를 통제한 상태에서 이루어지므로, 단변량 분석보다 더 정확한 인과 관계 추론에 기여할 수 있다.

다중 선형 회귀 분석을 수행할 때는 다중공선성에 주의해야 한다. 다중공선성은 독립 변수들 사이에 강한 상관관계가 존재할 때 발생하며, 이는 회귀 계수의 추정치를 불안정하게 만들고 해석을 어렵게 한다. 이를 진단하기 위해 분산팽창지수를 계산하거나 상관 행렬을 검토한다. 또한, 모델의 적합도를 평가하기 위해 수정된 R-제곱을 주로 사용하는데, 이는 변수의 개수가 증가함에 따라 인위적으로 높아질 수 있는 R-제곱의 문제점을 보정한 지표이다.

선형 회귀 분석 모델이 유효한 통계적 추정과 해석을 제공하기 위해서는 몇 가지 기본적인 가정을 충족해야 합니다. 이 가정들은 최소제곱법을 통해 추정된 계수들이 BLUE (최량 선형 불편 추정량)의 성질을 가지도록 보장합니다. 주요 가정은 다음과 같습니다.

첫째, 선형성입니다. 독립 변수와 종속 변수 간의 관계는 선형적이어야 합니다. 이는 모델의 구조가 Y = β₀ + β₁X₁ + ... + βₖXₖ + ε 형태로 표현될 수 있음을 의미합니다. 둘째, 오차의 독립성입니다. 잔차들 간에는 상관관계가 없어야 합니다. 특히 시계열 데이터에서는 잔차의 자기상관이 발생하지 않아야 합니다. 셋째, 등분산성입니다. 오차의 분산은 모든 독립 변수 값에 대해 일정해야 합니다. 이를 위반하면 이분산성 문제가 발생하여 추정의 효율성이 떨어집니다.

넷째, 오차의 정규성입니다. 모집단에서의 오차항(ε)은 평균이 0인 정규 분포를 따라야 합니다. 이 가정은 표본 크기가 충분히 클 경우 중심극한정리에 의해 완화될 수 있지만, 가설 검정과 신뢰구간 구축에는 중요합니다. 다섯째, 독립 변수 간에는 강한 다중공선성이 존재하지 않아야 합니다. 한 독립 변수가 다른 독립 변수들의 선형 조합으로 설명될 수 있으면 계수 추정이 불안정해지고 해석이 어려워집니다.

이러한 가정들은 모델을 적합시킨 후 잔차 분석을 통해 검증할 수 있습니다. 예를 들어, 잔차 대 예측값 산점도를 통해 선형성과 등분산성을, Q-Q 플롯을 통해 정규성을 확인합니다. 가정이 심각하게 위반될 경우, 변수 변환, 다른 모델 선택, 또는 정규화 기법 적용 등을 고려해야 합니다.

최소제곱법은 선형 회귀 분석 모델의 회귀 계수를 추정하는 가장 기본적이고 널리 사용되는 방법이다. 이 방법의 핵심 목표는 실제 관측값과 모델이 예측한 값 사이의 잔차 제곱의 합을 최소화하는 회귀 직선을 찾는 것이다. 즉, 모든 데이터 포인트로부터 회귀선까지의 수직 거리(오차)를 제곱하여 더한 값을 최소로 만드는 기울기와 절편을 계산한다.

수학적으로, 단순 선형 회귀 모델 y = β₀ + β₁x + ε에서 최소제곱법은 다음 비용 함수를 최소화하는 β₀ (절편)와 β₁ (기울기)를 찾는다.

S(β₀, β₁) = Σ(yᵢ - (β₀ + β₁xᵢ))²

이 잔차 제곱합을 각 매개변수에 대해 편미분하여 0으로 놓은 정규 방정식을 풀면 회귀 계수에 대한 해를 직접적으로 구할 수 있다. 다중 선형 회귀의 경우에도 동일한 원리가 적용되며, 행렬 연산을 통해 해를 구한다[3].

최소제곱법은 해석이 명확하고 계산 효율이 높다는 장점이 있다. 그러나 이 방법은 선형 회귀의 기본 가정(선형성, 독립성, 등분산성, 정규성)이 충족될 때 최선의 불편 추정량을 제공한다. 가정이 위배되거나 이상치가 존재하는 경우 추정치가 크게 왜곡될 수 있으며, 이럴 때는 릿지 회귀나 로버스트 회귀 같은 대안적 방법을 고려해야 한다.

경사 하강법은 손실 함수의 값을 최소화하는 모수를 찾기 위한 반복적인 최적화 알고리즘이다. 선형 회귀에서 주로 사용되는 손실 함수인 평균 제곱 오차를 최소화하는 회귀 계수를 효율적으로 탐색한다. 이 방법은 함수의 기울기를 계산하고, 그 반대 방향으로 파라미터를 조금씩 업데이트하여 점진적으로 최적점에 접근한다.

알고리즘은 먼저 가중치와 편향과 같은 모수에 임의의 초기값을 설정한다. 이후 현재 모수 값에서 손실 함수의 기울기를 계산한다. 계산된 기울기의 반대 방향으로, 미리 정해진 학습률이라는 작은 값을 곱해 모수를 업데이트한다. 이 과정을 기울기가 0에 가까워질 때까지, 또는 미리 정한 반복 횟수에 도달할 때까지 반복한다.

최소제곱법이 정규 방정식을 통해 해를 한 번에 구하는 분석적 방법이라면, 경사 하강법은 반복을 통해 근사해를 찾는 수치적 방법이다. 대규모 데이터셋이나 변수가 매우 많은 고차원 데이터에서는 정규 방정식의 계산 비용이 매우 커지므로, 경사 하강법이 더 효율적일 수 있다. 또한 정규화 항이 추가된 릿지 회귀나 라쏘 회귀와 같이 분석적 해를 구하기 어려운 모델의 최적화에도 널리 적용된다.

R-제곱 (결정 계수)은 선형 회귀 분석 모델이 종속 변수의 변동을 얼마나 잘 설명하는지를 나타내는 지표이다. 일반적으로 0과 1 사이의 값을 가지며, 1에 가까울수록 모델의 설명력이 높음을 의미한다. 이 값은 종속 변수의 총 변동 중 회귀 모델에 의해 설명되는 변동의 비율로 정의된다[5]. R-제곱은 모델의 적합도를 평가하는 가장 대표적인 척도 중 하나로 널리 사용된다.

R-제곱의 계산 공식은 다음과 같다.

R-제곱(R²) = SSR / SST = 1 - (SSE / SST)

그러나 R-제곱에는 중요한 한계가 존재한다. 독립 변수의 수가 증가하면, 모델이 데이터에 과적합될 가능성이 있음에도 불구하고 R-제곱 값은 항상 증가하거나 유지되는 경향을 보인다. 이는 모델의 실제 예측 능력을 과대평가할 수 있는 위험을 초래한다. 이러한 문제를 보완하기 위해 조정된 R-제곱이 사용된다. 조정된 R-제곱은 독립 변수의 개수와 표본 크기를 고려하여 R-제곱 값을 조정하므로, 불필요한 변수를 추가할 때 패널티를 부여한다.

R-제곱은 모델의 설명력을 직관적으로 이해할 수 있게 해주지만, 높은 R-제곱 값이 반드시 좋은 예측 모델을 의미하지는 않는다. 특히 이상치의 영향을 크게 받을 수 있으며, 인과 관계를 증명하지는 않는다. 따라서 모델 평가 시에는 평균 제곱 오차나 평균 절대 오차 같은 다른 지표들과 함께 종합적으로 고려해야 한다.

평균 제곱 오차(Mean Squared Error, MSE)는 회귀 분석 모델의 예측값과 실제 관측값 사이의 차이, 즉 잔차를 제곱하여 평균한 값이다. 이는 모델의 예측 정확도를 측정하는 가장 일반적인 지표 중 하나로, 오차가 클수록 패널티를 크게 부과하는 특성을 가진다.

계산 공식은 다음과 같다. n개의 관측치에 대해 실제값을 y_i, 모델의 예측값을 ŷ_i라고 할 때, MSE = (1/n) * Σ(y_i - ŷ_i)^2 으로 정의된다. 각 오차를 제곱하기 때문에, 큰 오차에 대해 더 민감하게 반응하며, 오차의 단위는 원본 데이터 단위의 제곱이 된다. 이를 보완하기 위해 제곱근을 취한 평균 제곱근 오차(RMSE)도 자주 사용된다.

MSE는 최소제곱법을 통한 선형 회귀 모델 학습의 목적 함수로 직접 사용된다. 모델 파라미터를 추정할 때 MSE를 최소화하는 방향으로 학습이 진행된다. 다른 평가 지표인 평균 절대 오차(MAE)와 비교할 때, MSE는 제곱 항으로 인해 이상치의 영향을 더 크게 받는 경향이 있다. 따라서 데이터에 이상치가 많을 경우 모델 평가 지표로 MSE를 사용하는 것은 주의를 요한다.

평균 절대 오차는 회귀 분석 모델의 예측 정확도를 평가하는 지표 중 하나이다. 예측값과 실제 관측값 사이의 절대적 차이의 평균을 계산하여 모델의 오차 크기를 직관적으로 보여준다. 수식은 MAE = (1/n) * Σ|y_i - ŷ_i|로 표현되며, 여기서 y_i는 실제값, ŷ_i는 예측값, n은 관측치의 수를 의미한다.

이 지표의 주요 장점은 해석이 매우 간단하다는 점이다. 오차의 단위가 원본 데이터와 동일하기 때문에, 예를 들어 주가 예측 모델에서 MAE가 5라면 '평균적으로 예측이 5원씩 틀린다'고 직접적으로 이해할 수 있다. 또한 평균 제곱 오차(MSE)나 평균 제곱근 오차(RMSE)와 달리 오차를 제곱하지 않기 때문에 이상치의 영향을 상대적으로 덜 받는 강건한 특성을 가진다.

다만, 이러한 강건성은 역으로 중요한 큰 오차를 완화시킬 수 있다는 단점이 될 수 있다. 모델 성능을 종합적으로 평가할 때는 MAE와 함께 R-제곱이나 MSE 등 다른 지표를 함께 참고하는 것이 일반적이다. 아래 표는 MAE와 MSE의 주요 특징을 비교한 것이다.

실제 적용 시, MAE는 비즈니스 현장에서 예측 오차로 인한 평균적 손실을 추정하는 데 유용하게 사용된다. 예를 들어 재고 관리에서 일일 수요 예측 모델의 MAE가 10개라면, 평균적으로 10개의 과잉 또는 부족 재고가 발생할 수 있음을 의미하므로 안전 재고 수준을 설정하는 데 참고 자료로 활용될 수 있다.

선형 회귀 분석 모델이 과적합을 방지하고 일반화 성능을 향상시키기 위해 사용하는 기법이다. 정규화는 모델의 가중치에 제약을 가함으로써 모델 복잡도를 통제한다. 이 과정에서 계수 값의 크기를 줄이거나 일부를 0으로 만들어 모델을 단순화한다.

정규화의 대표적인 방법으로 릿지 회귀와 라쏘 회귀가 있다. 두 방법 모두 손실 함수에 페널티 항을 추가한다. 릿지 회귀는 가중치의 제곱합(L2 노름)에 페널티를 부여하여 모든 계수의 크기를 균등하게 줄이는 L2 정규화를 적용한다. 반면, 라쏘 회귀는 가중치의 절댓값의 합(L1 노름)에 페널티를 부여하는 L1 정규화를 사용한다. 이는 불필요한 특성의 계수를 정확히 0으로 만들어 특성 선택의 효과를 동시에 가져온다.

두 방법의 차이는 편향-분산 트레이드오프와 관련이 있다. 릿지 회귀는 계수를 완만하게 축소시켜 안정적인 예측을 제공하지만, 모든 특성을 유지한다. 라쏘 회귀는 해석 가능성이 높은 간결한 모델을 생성할 수 있으나, 상관관계가 높은 특성들 중 하나만을 선택하는 경향이 있다. 이 두 방법을 결합한 엘라스틱넷 회귀도 널리 사용된다.

다항 회귀는 선형 회귀 분석의 한 형태로, 독립 변수와 종속 변수 간의 관계를 직선이 아닌 곡선으로 모델링한다. 독립 변수의 거듭제곱 항(예: x², x³)을 새로운 특성으로 추가하여 선형 모델의 구조를 유지하면서 비선형 관계를 설명할 수 있다. 기본적인 선형 회귀 모델이 y = β₀ + β₁x + ε 형태라면, 2차 다항 회귀 모델은 y = β₀ + β₁x + β₂x² + ε의 형태를 가진다. 이때 모델은 여전히 계수(β)에 대해 선형이므로, 최소제곱법과 같은 표준 선형 회귀 학습 방법을 그대로 적용할 수 있다.

다항 회귀 모델의 차수(가장 높은 거듭제곱) 선택은 중요한 과제이다. 차수가 너무 낮으면 과소적합이 발생해 데이터의 패턴을 제대로 포착하지 못한다. 반면 차수가 지나치게 높으면 과대적합이 일어나 훈련 데이터에 지나치게 맞춰져 새로운 데이터에 대한 일반화 성능이 떨어진다. 적절한 차수는 교차 검증을 통해 결정하는 것이 일반적이다. 또한, 다항 항을 추가하면 특성 간의 다중공선성 문제가 발생할 수 있어, 정규화 기법을 함께 적용하는 경우가 많다.

다항 회귀는 속도와 가속도의 관계, 성장 곡선 분석, 공정 최적화 등 다양한 분야에서 활용된다. 구현은 사이킷런 라이브러리의 PolynomialFeatures를 사용해 원본 특성을 변환한 후, 선형 회귀 모델에 적용하는 방식으로 이루어진다. 이 접근법은 모델의 해석 가능성을 유지하면서도 단순한 선형 회귀로는 설명하기 어려운 복잡한 패턴을 포착하는 데 유용하다.

이상치는 다른 관측치들과 현저히 다른 값을 가지는 데이터 포인트를 의미한다. 이는 측정 오류, 데이터 입력 실수, 또는 실제로 드문 현상으로 인해 발생할 수 있다. 이상치는 종속 변수의 값이 예상 범위를 크게 벗어나는 경우를 말하며, 회귀 직선의 기울기와 절편을 크게 끌어당겨 모델의 예측 성능을 왜곡시킬 수 있다.

영향점은 모델의 매개변수 추정치에 불균형적으로 큰 영향을 미치는 관측치이다. 모든 영향점이 이상치는 아니지만, 대부분의 영향점은 독립 변수 공간에서 다른 점들과 멀리 떨어져 있거나(높은 레버리지), 큰 잔차를 가지는 이상치인 경우가 많다. 영향점의 존재는 회귀 계수의 표준 오차를 증가시키고, 모델의 안정성을 해칠 수 있다.

이상치와 영향점을 탐지하는 방법은 다음과 같다.

쿡의 거리는 특정 관측치를 제거했을 때 회귀 계수 벡터가 얼마나 변하는지를 종합적으로 측정한 지표이다. 일반적으로 쿡의 거리가 1을 넘거나, 4/(n-p-1) (n: 표본 수, p: 독립변수 수)보다 크면 영향력이 큰 점으로 판단한다[7].

이러한 점들을 처리할 때는 단순 삭제보다는 발생 원인을 먼저 조사해야 한다. 측정 오류라면 수정하거나 삭제할 수 있지만, 유효한 데이터라면 모델을 변형(예: 로버스트 회귀 사용)하거나 데이터 변환을 고려하는 것이 바람직하다.

선형 회귀 분석 모델의 성능과 신뢰도를 높이기 위해서는 모델 학습 전에 데이터 전처리 과정이 필수적이다. 이 과정은 데이터의 품질을 개선하고, 모델이 가진 기본 가정을 충족시키도록 돕는다. 주요 전처리 단계에는 결측치 처리, 이상치 탐지 및 처리, 특성 스케일링, 범주형 변수 인코딩, 그리고 다중공선성 검토 등이 포함된다.

결측치는 제거하거나 평균, 중앙값, 최빈값 등으로 대체한다. 이상치는 모델의 계수 추정에 큰 영향을 미칠 수 있으므로 탐지 후 제거하거나 변환한다. 특성 스케일링은 각 특성의 값 범위를 표준화하거나 정규화하여, 경사 하강법 등의 최적화 알고리즘이 효율적으로 동작하도록 하고, 계수 비교를 용이하게 만든다. 범주형 변수는 원-핫 인코딩이나 라벨 인코딩을 통해 수치형으로 변환해야 한다.

마지막으로, 독립 변수들 간의 높은 상관관계를 나타내는 다중공선성 문제를 확인한다. VIF(Variance Inflation Factor) 값을 계산하거나 상관관계 행렬을 살펴 높은 상관관계를 보이는 변수 중 하나를 제거하는 등의 조치를 취할 수 있다. 이러한 전처리 과정은 모델의 예측 정확도를 높일 뿐만 아니라, 추정된 계수의 해석을 더욱 신뢰할 수 있게 만든다.

파이썬의 사이킷런 라이브러리는 선형 회귀 모델 구현을 위한 직관적이고 강력한 도구를 제공한다. 기본적인 구현은 sklearn.linear_model 모듈의 LinearRegression 클래스를 임포트하고, 데이터를 훈련 세트와 테스트 세트로 분리한 후 fit() 메서드로 모델을 학습시키는 과정을 거친다. 학습이 완료된 모델은 predict() 메서드를 사용하여 새로운 데이터에 대한 예측을 수행할 수 있다. 모델의 계수와 절편은 각각 coef_와 intercept_ 속성을 통해 확인할 수 있다[8].

다음은 붓꽃 데이터셋의 일부 변형 데이터를 활용한 단순한 예시 코드이다. 이 예시는 특징 공학이나 교차 검증과 같은 고급 기법을 생략하고, 가장 기본적인 워크플로우를 보여준다.

```python

# 필요한 라이브러리 임포트

import numpy as np

import matplotlib.pyplot as plt

from sklearn.linear_model import LinearRegression

from sklearn.model_selection import train_test_split

from sklearn.metrics import mean_squared_error, r2_score

# 예제 데이터 생성 (예: 집 크기(제곱미터)에 따른 가격(억 원))

# X: 독립 변수 (2D 배열 형태), y: 종속 변수

np.random.seed(42)

X = 2 * np.random.rand(100, 1) # 0~2 사이의 값 100개

y = 4 + 3 * X + np.random.randn(100, 1) # y = 4 + 3X + 노이즈

# 데이터를 훈련 세트와 테스트 세트로 분리

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 선형 회귀 모델 인스턴스 생성 및 학습

model = LinearRegression()

model.fit(X_train, y_train)

# 테스트 세트에 대한 예측 수행

y_pred = model.predict(X_test)

# 모델 성능 평가

mse = mean_squared_error(y_test, y_pred)

r2 = r2_score(y_test, y_pred)

print(f"학습된 모델의 절편 (intercept): {model.intercept_[0]:.4f}")

print(f"학습된 모델의 계수 (coefficient): {model.coef_[0][0]:.4f}")

print(f"평균 제곱 오차 (MSE): {mse:.4f}")

print(f"결정 계수 (R^2): {r2:.4f}")

# 결과 시각화 (선택 사항)

plt.scatter(X_test, y_test, color='black', label='Actual Data')

plt.plot(X_test, y_pred, color='blue', linewidth=3, label='Regression Line')

plt.xlabel('House Size')

plt.ylabel('House Price')

plt.legend()

plt.show()

```

실무에서는 이 기본 흐름에 표준화나 정규화, 다중공선성 검토, 잔차 분석 등의 단계가 추가된다. 또한, 판다스 데이터프레임을 사용하여 데이터를 불러오고 전처리하는 것이 일반적이다. 다중 선형 회귀의 경우 입력 데이터 X가 여러 개의 열(특징)을 가진 2차원 배열이면 동일한 코드 구조로 구현이 가능하다.