가중 최소제곱법

가중 최소제곱법에서 가중치의 핵심 역할은 각 관측값이 회귀 분석 모델의 계수 추정에 기여하는 정도를 조절하는 것이다. 일반 최소제곱법은 모든 관측값에 동일한 중요도를 부여하지만, 현실 데이터에서는 관측값마다 측정 오차의 크기나 신뢰도가 다를 수 있다. 가중 최소제곱법은 이러한 차이를 반영하여, 오차의 분산이 작아 상대적으로 정확도가 높은 관측값에는 더 큰 가중치를, 반대로 분산이 커 불확실성이 큰 관측값에는 더 작은 가중치를 부여한다.

이러한 가중치 부여는 이분산성이 존재하는 상황에서 특히 중요하다. 이분산성은 오차의 분산이 독립 변수의 값에 따라 변하는 현상으로, 이를 무시하고 일반 최소제곱법을 적용하면 계수 추정량은 비효율적이 되고 표준 오차 추정이 왜곡될 수 있다. 가중 최소제곱법은 각 관측값의 오차 분산에 반비례하는 가중치를 설정함으로써, 이분산성의 영향을 보정하고 보다 효율적이고 신뢰할 수 있는 추정치를 제공한다.

수학적으로, 가중치는 대각 가중치 행렬 W의 형태로 모델에 통합된다. 이 행렬의 대각 원소는 각 관측값에 할당된 가중치를 나타내며, 목적은 가중된 잔차 제곱합을 최소화하는 것이다. 결과적으로 도출되는 가중 최소제곱 추정량은 불편 추정량의 성질을 유지하면서도 일반 최소제곱 추정량보다 더 작은 분산을 가지는, 즉 더 효율적인 추정량이 된다. 이는 통계학과 계량경제학에서 모델의 예측 정확도를 높이고 통계적 추론의 타당성을 보장하는 데 기여한다.

가중 최소제곱 추정량은 일반 최소제곱법의 목적함수를 확장하여 구한다. 일반 최소제곱법이 잔차 제곱합을 최소화하는 반면, 가중 최소제곱법은 각 관측값의 잔차에 사전에 결정된 가중치를 곱한 가중 잔차 제곱합을 최소화한다. 이 목적함수는 행렬 표기로 (y - Xβ)'W(y - Xβ)로 표현되며, 여기서 W는 가중치로 구성된 대각 행렬이다. 이 목적함수를 최소화하는 β에 대한 해를 구하면 가중 최소제곱 추정량을 얻을 수 있다.

이 추정량의 해는 수학적으로 β_hat = (X'WX)^(-1) X'Wy의 형태를 가진다. 이 공식은 일반 최소제곱 추정량 공식에서 가중치 행렬 W가 추가된 형태로, 회귀 분석의 기본 프레임워크를 유지하면서 각 데이터 포인트의 신뢰도 차이를 반영한다. 가중치 행렬 W의 대각 원소 w_i는 일반적으로 i번째 관측값의 오차 분산 σ_i^2에 반비례하도록 설정된다. 즉, 오차 분산이 작을수록(데이터의 정확도가 높을수록) 해당 관측값에 더 큰 가중치가 부여된다.

가중 최소제곱 추정량은 불편 추정량의 성질을 가진다. 또한, 가중치가 오차의 실제 공분산 행렬의 역행렬에 비례하도록 정확히 설정되었다면, 이 추정량은 가우스-마르코프 정리에 따라 최선의 선형 불편 추정량이 된다. 이는 이분산성 하에서 일반 최소제곱 추정량보다 더 효율적이고, 즉 더 작은 분산을 가진 추정치를 제공함을 의미한다.

실제 적용에서는 오차의 진정한 분산을 알지 못하는 경우가 대부분이므로, 이분산성을 감지하고 적절한 가중치 함수를 선택하는 과정이 선행되어야 한다. 이를 통해 구성된 가중치 행렬을 사용한 추정은, 가정된 모형이 적절하다면 계량경제학 및 다양한 과학 분야에서 보다 신뢰할 수 있는 통계적 추론의 기초를 마련한다.

이분산성 감지는 가중 최소제곱법을 적용하기 위한 전제 조건을 확인하는 중요한 단계이다. 이분산성이란 회귀 모형에서 오차항의 분산이 모든 관측치에 대해 일정하지 않고, 설명 변수의 값이나 다른 요인에 따라 변하는 현상을 말한다. 이러한 이분산성이 존재할 때 일반 최소제곱법을 사용하면 추정치의 효율성이 떨어지고, 표준 오차 추정이 편향될 수 있어 가설 검정의 신뢰도가 낮아진다.

이분산성을 감지하는 방법은 크게 그래픽 방법과 공식적인 검정 방법으로 나눌 수 있다. 가장 기본적인 그래픽 방법은 잔차 플롯을 살펴보는 것이다. 일반 최소제곱법으로 모형을 적합시킨 후, 예측값 또는 특정 설명 변수에 대해 표준화된 잔차나 잔차의 절댓값을 산점도로 그려본다. 만약 잔차들이 무작위적으로 흩어져 있지 않고 깔때기 모양이나 특정 패턴을 보인다면 이분산성이 존재할 가능성이 높다.

공식적인 통계 검정 방법으로는 브로슈-페이지 검정, 화이트 검정, 골드펠트-콴트 검정 등이 널리 사용된다. 예를 들어, 화이트 검정은 오차 분산이 모든 설명 변수 및 그들의 제곱, 교차항과 관련이 있다는 대립가설을 검정한다. 이러한 검정들은 대체로 귀무가설이 '등분산성'일 때, 유의미한 p-값이 나오면 이분산성이 존재한다고 판단하는 구조를 가진다. 이분산성이 감지되면, 다음 단계로 적절한 가중치 함수를 선택하여 가중 최소제곱법을 적용하게 된다.

가중치 함수 선택은 가중 최소제곱법의 핵심 단계로, 각 관측값에 부여할 가중치를 어떻게 결정할지에 대한 문제이다. 이 과정은 오차의 분산 구조에 대한 사전 정보나 가정에 크게 의존한다. 가장 이상적인 상황은 각 관측값의 오차 분산이 정확히 알려져 있는 경우로, 이때는 그 역수를 가중치로 사용하면 된다. 그러나 실제 분석에서는 이러한 정보를 사전에 알기 어려운 경우가 대부분이므로, 오차 분산의 패턴을 추정하여 가중치를 결정하는 방법이 주로 사용된다.

일반적인 접근법은 두 단계로 이루어진다. 첫 번째 단계에서는 일반 최소제곱법으로 초기 모형을 적합하고, 그 잔차를 분석하여 오차 분산이 어떻게 변하는지(예: 설명 변수의 값에 비례하는지)를 탐색한다. 두 번째 단계에서는 탐색된 패턴을 바탕으로 가중치 함수를 선택한다. 대표적인 가중치 함수로는 오차 분산이 특정 설명 변수에 비례한다고 가정할 때, 그 변수 값의 역수를 가중치로 사용하는 방법이 있다. 또는 잔차의 절댓값이나 제곱을 종속 변수로 하는 보조 회귀 분석을 통해 분산의 함수 형태를 직접 추정하기도 한다.

가중치 선택의 정확성은 최종 추정량의 효율성에 직접적인 영향을 미친다. 부적절한 가중치 함수를 선택하면 이분산성을 완전히 교정하지 못하거나, 오히려 추정의 변동성을 증가시킬 수 있다. 따라서 도메인 지식이나 이론적 배경을 통해 오차 구조에 대한 합리적인 가정을 수립하는 것이 중요하며, 다양한 가중치 함수를 적용한 후 모형의 적합도를 비교하는 실용적인 방법도 널리 사용된다.