평균 제곱근 오차

평균 제곱근 오차의 공식은 추정값과 실제값 사이의 차이, 즉 잔차의 제곱을 평균한 후 그 제곱근을 구하는 형태를 가진다. 이는 유클리드 거리 개념과 연결되어 예측 오차의 크기를 하나의 대표값으로 요약한다.

공식은 다음과 같이 표현된다. 예측값을 ŷᵢ, 실제 관측값을 yᵢ, 그리고 전체 관측치의 개수를 n이라고 할 때, 평균 제곱근 오차는 RMSE = √[ Σ(ŷᵢ - yᵢ)² / n ] 으로 계산된다. 계산 과정은 먼저 각 관측치에 대해 예측값과 실제값의 차이(오차)를 구하고, 이 오차를 제곱하여 모든 관측치에 대해 합산(Σ)한다. 이 합을 관측치의 총 수 n으로 나누어 평균 제곱 오차를 구한 뒤, 최종적으로 그 제곱근을 취한다.

이 공식의 구조는 몇 가지 중요한 의미를 내포한다. 오차를 제곱하기 때문에, 양의 오차와 음의 오차가 상쇄되지 않고 모두 양의 값으로 누적된다. 이는 예측의 정확도를 평가할 때 방향보다는 크기에 더 초점을 맞추게 한다. 또한, 제곱 과정으로 인해 큰 오차에 대해 더 민감하게 반응하는 특성이 생기며, 이는 이상치의 영향을 상대적으로 크게 받을 수 있음을 의미한다. 마지막으로 제곱근을 취함으로써, 지표의 단위가 원본 데이터의 단위와 일치하게 되어 해석이 용이해진다.

평균 제곱근 오차를 계산하는 구체적인 예시를 살펴본다. 가령, 어떤 기계 학습 모델이 5개의 데이터 포인트에 대해 예측을 수행했고, 그 실제값과 예측값이 다음과 같다고 가정한다.

계산은 먼저 각 관측치에 대한 오차(예측값 - 실제값)를 구하고, 이를 제곱하여 합산하는 과정으로 진행된다. 그 후 평균을 내고 제곱근을 취한다.

1. 오차 제곱 계산: (12-10)²=4, (14-15)²=1, (18-20)²=4, (26-25)²=1, (31-30)²=1

2. 오차 제곱의 합: 4 + 1 + 4 + 1 + 1 = 11

3. 평균: 11 / 5 = 2.2

4. 제곱근: √2.2 ≈ 1.483

따라서 이 모델의 평균 제곱근 오차는 약 1.483이다. 이 값은 예측값과 실제값 사이의 평균적인 오차 크기를 원래 데이터의 단위(이 예시에서는 임의의 단위)로 나타낸다. 평균 제곱근 오차가 0에 가까울수록 모델의 예측 정확도가 높다고 평가할 수 있다. 이 계산 과정은 회귀 분석이나 시계열 분석 등 다양한 분야에서 예측 모델의 성능을 정량적으로 비교하는 데 핵심적으로 활용된다.

평균 제곱근 오차의 가장 큰 장점은 오차의 크기에 민감하게 반응한다는 점이다. 제곱을 통해 오차를 계산하기 때문에, 예측값과 실제값 사이의 큰 오차가 존재할 경우 그 영향이 확대되어 나타난다. 이는 모델이 특히 큰 오류를 내는 경우를 빠르게 파악하고, 그런 오류에 대해 더욱 강력한 패널티를 부여하여 모델 개선을 유도할 수 있게 해준다. 따라서 회귀 분석이나 기계 학습 모델 평가에서 치명적인 큰 오차를 탐지하는 데 유용하다.

또한, 평균 제곱근 오차는 오차의 단위를 실제값과 동일하게 유지시켜 해석을 용이하게 한다. 계산 과정에서 오차를 제곱했다가 다시 제곱근을 취하기 때문에, 최종 결과값은 원본 데이터와 동일한 척도와 단위를 갖게 된다. 예를 들어 집값을 만원 단위로 예측하는 모델의 평균 제곱근 오차가 '5'라면, 이는 평균적으로 약 5만원의 오차가 있음을 직관적으로 이해할 수 있다. 이는 통계학과 계량 경제학을 비롯한 다양한 응용 분야에서 모델 성능을 실제 상황에 비추어 평가할 때 중요한 장점이 된다.

마지막으로, 수학적으로 매끄럽고 미분 가능한 특성을 지닌다. 제곱 함수는 연속적이며 모든 점에서 미분이 가능하기 때문에, 기계 학습 알고리즘, 특히 경사 하강법과 같은 최적화 기법을 사용할 때 매우 유리하다. 오차 함수의 기울기를 계산하여 모델 파라미터를 업데이트하는 과정이 원활하게 이루어질 수 있어, 모델 훈련과 최적화에 널리 채택되는 근거가 된다.

평균 제곱근 오차는 제곱을 기반으로 하기 때문에, 이상치에 매우 민감하다는 단점을 가진다. 실제값과 예측값의 차이인 오차를 제곱하여 평균을 내므로, 큰 오차는 더욱 과장되어 반영된다. 이는 모델의 전반적인 성능을 왜곡할 수 있으며, 특히 데이터에 극단적인 값이 몇 개만 포함되어 있어도 평균 제곱근 오차 값이 크게 증가할 수 있다.

또한, 평균 제곱근 오차는 오차의 단위가 원본 데이터와 동일한 제곱근 단위로 표현되지만, 그 값 자체만으로는 오차의 크기가 '얼마나 나쁜지'에 대한 절대적인 기준을 제시하기 어렵다. 예를 들어, 주택 가격 예측에서 5000만 원의 평균 제곱근 오차가 큰지 작은지는 데이터의 전체 규모(예: 평균 가격이 5억 원인지 50억 원인지)에 대한 맥락 없이는 판단하기 힘들다. 따라서 다른 모델의 성능을 비교하는 상대적 지표로는 유용하지만, 단일 값으로 모델의 정확도를 해석할 때는 주의가 필요하다.

마지막으로, 평균 제곱근 오차는 오차의 방향(과대 예측 또는 과소 예측)에 대한 정보를 제공하지 않는다. 모든 오차를 양수로 처리하여 평균을 내기 때문에, 모델이 체계적으로 값을 높게 예측하는지 낮게 예측하는지에 대한 편향을 확인하려면 평균 오차와 같은 다른 지표를 함께 살펴봐야 한다.

평균 절대 오차(MAE)는 회귀 분석이나 예측 모델의 성능을 평가하는 지표 중 하나로, 예측값과 실제값 사이의 오차의 절댓값을 평균한 값이다. 즉, 모든 개별 오차의 크기를 그대로 더해 평균을 낸 것으로, 오차의 평균적인 '크기'를 직관적으로 이해할 수 있게 해준다.

평균 절대 오차의 계산 공식은 다음과 같다. 예측값을 ŷᵢ, 실제값을 yᵢ, 관측치의 총 개수를 n이라고 할 때, MAE = ( Σ |ŷᵢ - yᵢ| ) / n 으로 나타낼 수 있다. 이 공식은 평균 제곱근 오차(RMSE)의 공식에서 오차를 제곱하는 대신 절댓값을 취하고, 제곱근을 씌우지 않은 형태라고 볼 수 있다.

평균 절대 오차의 주요 장점은 해석이 매우 용이하다는 점이다. 계산된 값의 단위가 원본 데이터의 단위와 동일하므로, '예측값이 실제값과 평균적으로 얼마나 차이가 나는가'를 그대로 파악할 수 있다. 또한 제곱을 사용하지 않기 때문에 이상치의 영향을 상대적으로 덜 받는 강건한 특성을 가진다.

반면, 평균 절대 오차는 모든 오차를 동일한 가중치로 평균하기 때문에, 큰 오차와 작은 오차를 구분하지 않는다. 따라서 모델이 특히 큰 오차를 내는 것을 심각하게 페널티 주고 싶은 경우에는 평균 제곱근 오차가 더 적합한 지표가 될 수 있다. 두 지표는 모델 평가 시 상호 보완적으로 함께 사용되는 경우가 많다.

평균 절대 백분율 오차는 예측 오차를 실제값에 대한 백분율로 나타내어 평균한 지표이다. 영어로는 Mean Absolute Percentage Error, 줄여서 MAPE라고 부른다. 이 지표는 예측값과 실제값 사이의 오차 크기를 상대적인 관점에서 평가할 수 있게 해주며, 특히 시계열 분석이나 수요 예측 분야에서 널리 활용된다.

계산 방법은 각 관측치에서 예측값과 실제값의 차이의 절댓값을 실제값으로 나눈 후, 이를 백분율로 변환하여 모든 관측치에 대해 평균을 구하는 것이다. 공식은 MAPE = (1/n) * Σ(|(실제값 - 예측값)| / 실제값) * 100 으로 표현된다. 이 공식은 절대 오차를 상대 오차로 변환하는 과정을 포함한다.

평균 절대 백분율 오차의 가장 큰 장점은 결과값이 백분율로 표현되기 때문에, 서로 다른 스케일을 가진 데이터셋 간의 예측 정확도를 비교하기 용이하다는 점이다. 예를 들어, 단위가 다른 제품의 판매량 예측 성능을 비교하거나, 다양한 모델의 성능을 직관적으로 평가할 때 유용하게 사용된다.

그러나 이 지표는 실제값이 0에 가까울 경우 분모가 0이 되어 계산이 불가능해지거나 값이 극단적으로 커질 수 있는 단점이 있다. 또한, 오차가 대칭적으로 처리되지 않아 과소 예측과 과대 예측에 대한 패널티가 동일하지 않을 수 있다는 비판도 존재한다. 이러한 한계를 보완하기 위해 대칭 평균 절대 백분율 오차(sMAPE)나 평균 절대 표준화 오차(MASE) 같은 변형 지표들이 제안되기도 한다.

결정 계수(R-squared 또는 R²)는 회귀 분석에서 모형이 종속 변수의 변동을 얼마나 잘 설명하는지를 나타내는 지표이다. 평균 제곱근 오차가 예측 오차의 절대적 크기를 측정한다면, 결정 계수는 모델의 설명력을 0에서 1 사이의 상대적 비율로 제시한다는 점에서 차이가 있다.

결정 계수는 총 변동(SST) 중 회귀 모형에 의해 설명되는 변동(SSR)의 비율로 계산된다. 공식은 R² = SSR / SST = 1 - (SSE / SST)로 표현되며, 여기서 SSE는 잔차 제곱합이다. 값이 1에 가까울수록 모델이 데이터를 완벽하게 적합한다는 의미이며, 0에 가까우면 모델이 종속 변수의 변동을 거의 설명하지 못함을 의미한다.

이 지표는 모델의 적합도를 빠르게 평가할 수 있는 장점이 있으나, 과적합을 감지하지 못하고 설명 변수가 추가될수록 값이 증가하는 단점도 있다. 따라서 수정 결정 계수를 함께 참고하거나, 평균 제곱근 오차와 같은 실제 오차 크기 지표와 병행하여 모델을 평가하는 것이 일반적이다.

결정 계수는 통계학, 계량경제학, 기계 학습 모델 평가, 그리고 사회과학 연구 등 다양한 분야에서 회귀 모형의 유용성을 판단하는 핵심 지표로 널리 활용된다.