오차론과 통계 처리(정확도와 정밀도)

계통오차는 측정 과정에서 일정한 방향으로 편향을 일으키는 오차이다. 이 오차는 원인이 명확하고 규칙적이어서 측정값을 일관되게 실제값보다 크게 또는 작게 만든다. 예를 들어, 저울의 영점이 맞지 않거나, 뷰렛의 눈금이 부정확한 경우, 또는 실험자의 습관적인 판독 오류가 여기에 해당한다. 계통오차는 원인을 찾아 제거하거나 보정함으로써 줄이거나 제거할 수 있다.

반면, 우연오차는 불규칙하고 예측 불가능한 요인에 의해 발생하는 오차이다. 이 오차는 측정값을 실제값보다 크게 만들기도 하고 작게 만들기도 하여, 측정값에 무작위적인 변동을 부여한다. 실험 환경의 미세한 변화, 기기의 감도 한계, 또는 측정자의 미세한 판독 차이 등이 그 원인이다. 우연오차는 완전히 제거할 수 없지만, 통계적 방법을 통해 그 영향을 평가하고 최소화할 수 있다.

두 오차의 특성을 비교하면 다음과 같다.

실제 측정에서는 계통오차와 우연오차가 동시에 존재한다. 양질의 측정 결과를 얻기 위해서는 계통오차를 가능한 한 제거한 후, 남은 우연오차를 통계적으로 처리하여 최종적인 불확도를 평가하는 과정이 필요하다.

절대오차는 측정값과 참값 사이의 차이의 절대값을 의미한다. 즉, 측정값에서 참값을 뺀 값의 크기이다. 절대오차는 측정의 정확도를 평가하는 기본적인 지표로 사용되며, 단위가 있는 값을 가진다. 예를 들어, 어떤 물질의 실제 질량이 10.00g인데 측정 결과가 10.05g이라면, 절대오차는 0.05g이다. 절대오차가 작을수록 측정값이 참값에 가깝다고 판단할 수 있다.

상대오차는 절대오차를 참값으로 나눈 값으로, 일반적으로 백분율(%)로 표현한다. 이는 측정의 정확도를 상대적인 관점에서 평가하며, 측정 대상의 크기에 따른 오차의 비율을 나타낸다. 상대오차 = (절대오차 / 참값) × 100% 의 공식으로 계산한다. 앞선 예에서 상대오차는 (0.05g / 10.00g) × 100% = 0.5%가 된다.

두 개념의 차이와 중요성은 다음과 같이 정리할 수 있다.

절대오차는 동일한 크기의 오차를 비교할 때 유용하지만, 측정 대상의 규모가 다른 경우 정확도를 비교하기 어렵다는 한계가 있다. 예를 들어, 100g 물질을 측정할 때 1g의 절대오차와 1g 물질을 측정할 때 1g의 절대오차는 절대값은 같지만, 그 의미는 크게 다르다. 이때 상대오차는 각각 1%와 100%로, 후자의 측정이 훨씬 부정확함을 명확히 보여준다. 따라서 화학 실험에서는 절대오차와 상대오차를 함께 고려하여 측정 결과의 질을 종합적으로 평가한다.

정확도는 측정값이 참값에 얼마나 가까운지를 나타내는 척도이다. 이는 측정의 정확성을 평가하는 데 사용되는 핵심 개념으로, 계통오차의 크기에 주로 영향을 받는다. 높은 정확도를 가진 측정은 참값에 매우 근접한 결과를 제공한다.

정확도를 평가하는 일반적인 방법은 인증표준물질을 사용하는 것이다. 알려진 농도나 값을 가진 표준물질을 측정 장비로 분석하여 얻은 결과와 이론값을 비교한다. 두 값 사이의 차이, 즉 절대오차나 상대오차를 계산하여 정확도를 정량화한다. 예를 들어, 100.0 mg/L의 표준 용액을 분석하여 98.5 mg/L의 값을 얻었다면, 이 측정의 정확도는 상대적으로 낮다고 평가할 수 있다.

정확도는 종종 정밀도와 대비되어 설명된다. 정밀도가 반복 측정 간의 일관성을 의미하는 반면, 정확도는 옳은 값을 측정하는 능력을 의미한다. 한 측정이 정밀하지만 정확하지 않을 수 있으며(예: 일관되게 참값에서 벗어난 결과), 반대로 정확하지만 정밀하지 않을 수도 있다(예: 평균은 참값에 가깝지만 개별 측정값이 넓게 퍼져 있음). 이상적인 측정은 높은 정확도와 높은 정밀도를 모두 갖춘다.

화학 실험에서 정확도는 최종 결론의 신뢰성을 직접적으로 결정하므로, 교정을 통한 계통오차의 제거와 적절한 통계적 처리가 필수적이다.

정밀도는 동일한 대상에 대한 반복 측정 결과들이 서로 얼마나 잘 일치하는지를 나타내는 척도이다. 즉, 측정의 재현성 또는 반복성을 의미한다. 정밀도가 높다는 것은 측정값들이 서로 가깝게 모여 분산이 작음을 뜻하며, 이는 측정 과정의 우연오차가 작음을 반영한다. 정밀도는 정확도와 독립적인 개념으로, 정밀도가 높다고 해서 반드시 참값에 가깝다는 보장은 없다.

정밀도를 평가하는 주요 지표로는 편차, 분산, 표준편차 등이 있다. 이 중 가장 널리 사용되는 것은 표준편차이다. 표준편차는 개별 측정값들이 평균값으로부터 평균적으로 얼마나 떨어져 있는지를 수치화한다. 표준편차가 작을수록 데이터가 평균 주위에 밀집해 있어 정밀도가 높다고 판단한다. 상대적인 비교를 위해 변동계수(표준편차를 평균으로 나눈 값)를 사용하기도 한다.

정밀도는 일반적으로 세 가지 수준으로 구분하여 평가한다.

* 반복성: 동일한 조건(동일한 조작자, 동일한 기기, 짧은 시간 간격)에서의 정밀도

* 재현성: 변경된 조건(다른 조작자, 다른 기기, 다른 실험실)에서의 정밀도

* 중간정밀도: 위 두 조건 사이의 조건(예: 다른 날짜, 다른 교정 주기)에서의 정밀도

화학 실험에서 정밀도는 일련의 반복 측정을 통해 직접 평가된다. 예를 들어, 어떤 용액의 농도를 5회 연속 측정한 결과의 표준편차를 계산함으로써 해당 분석 방법의 정밀도를 정량화할 수 있다. 정밀도 평가는 실험 방법의 신뢰성을 확인하고, 측정 결과에 기재할 불확도를 추정하는 데 필수적인 과정이다.

평균값은 측정값의 중심 경향을 나타내는 가장 기본적인 통계량이다. 일반적으로 산술 평균을 사용하며, n회 측정한 값 x₁, x₂, ..., xₙ의 평균값은 모든 측정값의 합을 측정 횟수 n으로 나눈 값으로 계산된다. 평균값은 데이터 집합의 대표값으로 간주되지만, 극단적인 값(이상치)의 영향을 받을 수 있다는 점에 유의해야 한다.

측정값의 흩어짐 정도를 정량화하는 가장 일반적인 지표는 표준편차이다. 표준편차는 각 측정값이 평균값으로부터 평균적으로 얼마나 떨어져 있는지를 나타낸다. 표준편차가 작을수록 측정값들이 평균 주위에 밀집해 있어 정밀도가 높다고 평가할 수 있다. 모집단의 표준편차(σ)와 표본의 표준편차(s)는 계산식에 차이가 있으며, 실험에서는 보통 유한 횟수의 측정을 통해 표본 표준편차를 구하게 된다.

평균값과 표준편차는 종종 함께 보고되어 측정 결과의 신뢰성을 평가하는 기초를 제공한다. 예를 들어, 어떤 용액의 농도를 5회 측정한 결과가 다음과 같다고 가정해 보자.

이 데이터의 평균값은 약 0.1006 mol/L이며, 표준편차는 약 0.0021 mol/L로 계산된다. 이 표준편차 값은 개별 측정값들이 평균값 주위에서 대략 ±0.002 mol/L 범위 내에서 변동하고 있음을 의미한다.

신뢰구간은 측정값의 평균이 위치할 것으로 예상되는 값의 범위를 확률적으로 나타낸다. 일반적으로 표본 평균(\(\bar{x}\))과 표준편차(\(s\)), 표본 크기(\(n\))를 바탕으로 계산되며, 특정 신뢰수준(예: 95%) 하에서 모집단의 진짜 평균(\(\mu\))이 그 구간 안에 있을 것이라고 추정한다. 신뢰구간의 폭은 표준편차가 클수록, 표본 크기가 작을수록 넓어지며, 이는 추정의 불확실성이 크다는 것을 의미한다.

불확도는 측정 결과의 신뢰성을 정량적으로 표현하는 척도로, 측정값이 가질 수 있는 값의 분산을 나타낸다. 국제표준화기구(ISO)에서 제정한 《측정 불확도 표현 지침》에 따라 표준 불확도, 합성 불확도, 확장 불확도 등으로 구분된다. 표준 불확도는 하나의 표준편차에 해당하는 불확실성을, 확장 불확도는 일반적으로 95% 신뢰수준에 해당하는 범위(보통 표준 불확도에 포함인자 k=2를 곱함)를 의미한다.

신뢰구간과 불확도는 밀접한 관련이 있다. 둘 다 측정의 정밀도와 신뢰성을 평가하는 데 사용되지만, 신뢰구간은 주로 통계적 추정의 관점에서, 불확도는 측정 과학의 관점에서 강조된다. 화학 실험에서는 측정값에 ± 기호와 함께 확장 불확도를 표기하여 결과의 신뢰성을 보고한다. 예를 들어, 농도 측정값이 \(1.25 \pm 0.03 \text{ mol/L}\) (k=2)로 보고된다면, 이는 약 95%의 확률로 진짜 값이 1.22 mol/L에서 1.28 mol/L 사이에 존재함을 의미한다.

기기적 오차는 측정에 사용되는 계기나 기기 자체의 한계, 결함, 또는 특성으로 인해 발생하는 계통오차의 한 유형이다. 이 오차는 동일한 조건에서 반복 측정을 하더라도 일정한 방향과 크기로 계속 나타나는 경향이 있어, 측정 결과의 정확도에 직접적인 영향을 미친다.

기기적 오차의 주요 원인은 다음과 같다. 첫째, 눈금의 불완전함이나 영점의 오조정과 같은 기기의 선천적 결함이 있다. 둘째, 감도나 분해능과 같은 기기의 고유한 물리적 한계가 있다. 예를 들어, 0.1 mL 단위로 눈금이 있는 뷰렛은 그보다 작은 부피 차이를 정확히 읽을 수 없다. 셋째, 기기의 마모나 노화, 외부 충격으로 인한 성능 저하도 원인이 된다.

이러한 오차를 최소화하기 위해서는 정기적인 교정과 보정이 필수적이다. 교정은 표준 물질이나 표준 기기를 사용하여 측정 기기의 오차를 정량적으로 확인하는 과정이다. 보정은 교정 결과를 바탕으로 측정값에 수학적 보정 계수를 적용하거나 기기의 조정 나사를 조절하여 오차를 수정하는 작업이다. 또한, 측정 전에 항상 기기의 영점과 눈금을 확인하고, 측정 범위에 적합한 정밀도의 기기를 선택하는 것이 중요하다.

조작적 오차는 측정 과정에서 실험자의 개인적 능력, 습관, 주의력 부족 등에 의해 발생하는 오차이다. 이는 측정자에 따라 그 크기와 방향이 달라질 수 있으며, 계통오차의 한 유형으로 분류된다. 실험자의 피로도나 숙련도 차이, 판독 오류, 시료 취급 시의 부주의 등이 주요 원인이다.

구체적인 예로는 뷰렛의 눈금을 읽을 때 시선의 각도에 따른 시차 오류, 저울에 시료를 올릴 때의 충격, 피펫을 사용한 정확한 액체의 취급 실패, 또는 반응 종점 판단의 주관성 등이 포함된다. 이러한 오차는 실험자의 경험과 주의를 기울임으로써 일정 부분 줄일 수 있지만, 완전히 제거하기는 어렵다.

조작적 오차를 최소화하기 위한 일반적인 방법은 다음과 같다.

• 표준화된 실험 절차(SOP)를 엄격히 준수한다.

• 충분한 훈련을 통해 측정 기술을 숙달시킨다.

• 가능한 경우, 동일한 측정을 여러 실험자가 수행하여 개인 편향을 확인한다.

• 자동화된 기기를 사용하거나, 눈금 판독 시 버니어 캘리퍼스나 마이크로미터와 같은 보조 도구를 활용한다.

이러한 오차는 실험 결과의 정확도에 직접적인 영향을 미치므로, 신뢰할 수 있는 데이터를 얻기 위해서는 지속적인 주의와 훈련이 필요하다.

환경적 오차는 측정이 이루어지는 주변 조건의 변화나 이상으로 인해 발생하는 계통오차 또는 우연오차를 통칭한다. 이 오차는 실험자의 통제 범위 밖에 있는 외부 요인에 기인하며, 측정 장비나 시료 자체가 아닌 실험 환경의 상태에 직접적으로 영향을 받는다. 일반적인 원인으로는 온도, 습도, 기압, 진동, 전자기 간섭, 조명, 대기 중의 먼지 또는 가스 농도 등이 포함된다.

예를 들어, 정밀한 질량 측정 시 실험실의 온도 변화는 저울의 금속 부품과 시료의 팽창 또는 수축을 유발하여 질량 측정값에 영향을 미칠 수 있다. 마찬가지로, 전위차 적정과 같은 전기화학 실험에서는 주변의 전자기장이나 접지 상태가 측정 신호에 노이즈를 유발할 수 있다. 습도는 흡습성 물질의 무게 변화를 일으키거나, 특정 화학 반응의 속도에 영향을 줄 수 있다.

이러한 오차를 최소화하기 위해 실험실에서는 환경 조건을 통제하는 것이 중요하다. 이를 위해 항온항습실을 사용하거나, 장비에 방진대를 설치하며, 전자기 차폐 장치를 활용한다. 또한, 측정 전에 장비와 시료를 충분히 환경에 적응시키는 평형 시간을 갖거나, 실험 기록에 당시의 환경 조건(예: 온도 23.5°C, 상대습도 45%)을 상세히 기재하여 데이터 해석 시 참고하도록 한다.

교정은 측정 기기의 지시값이나 출력값을 표준값 또는 기준값과 비교하여 오차를 확인하고, 필요한 경우 보정을 통해 그 오차를 줄이거나 제거하는 과정이다. 이는 측정 결과의 정확도를 확보하기 위한 필수 절차이다. 교정은 일반적으로 공인된 표준 물질이나 고정밀도의 표준기를 사용하여 수행되며, 그 결과는 교정 증명서나 교정 곡선의 형태로 문서화된다[3].

보정은 교정 과정에서 확인된 오차를 수학적으로 보정하거나 기기의 조정을 통해 실제 측정값을 참값에 가깝게 만드는 조치를 의미한다. 예를 들어, 분석 저울의 영점 조정, 뷰렛의 눈금 보정, 또는 분광광도계의 파장 보정이 여기에 해당한다. 보정은 기기의 계통오차를 줄이는 데 중점을 둔다.

화학 실험실에서는 측정 기기의 신뢰성을 유지하기 위해 정기적인 교정 일정을 수립한다. 유리 기구의 용량 보정, 온도계의 눈금 검증, 크로마토그래피 장비의 머무름 시간 보정 등이 빈번히 이루어진다. 적절한 교정과 보정을 통해 계통오차를 최소화할 수 있으며, 이는 실험 데이터의 정확도와 전반적인 신뢰도를 크게 향상시킨다.

반복 측정은 동일한 조건 하에서 같은 대상에 대한 측정을 여러 번 수행하는 것을 말한다. 이 과정을 통해 얻은 개별 측정값들의 집합은 우연오차의 영향을 줄이고 측정 결과의 신뢰성을 높이는 데 기여한다. 단일 측정은 우연한 변동에 크게 영향을 받을 수 있지만, 반복 측정을 통해 얻은 평균값은 이러한 변동을 상쇄시키는 경향이 있다.

평균화는 반복 측정으로 얻은 데이터 집합의 대표값을 산출하는 핵심 과정이다. 일반적으로 산술 평균이 사용되며, 이는 모든 측정값의 합을 측정 횟수로 나눈 값이다. 평균값은 개별 측정값보다 전체 데이터의 중심 경향을 더 잘 반영한다. 평균화의 효과는 측정 횟수가 증가할수록 표준편차나 표준오차와 같은 불확도 지표가 감소한다는 점에서 확인할 수 있다.

반복 횟수를 결정할 때는 실험의 목적, 허용 가능한 불확도 수준, 그리고 시간 및 비용과 같은 실용적 제약을 고려해야 한다. 일반적으로 화학 실험에서는 최소 3회 이상의 반복 측정을 수행하는 것이 권장된다. 측정값의 변동이 클 경우, 더 많은 반복 횟수가 필요할 수 있다. 반복 측정 데이터는 이후 t-검정이나 신뢰구간 계산과 같은 통계적 분석의 기초 자료로 활용된다.

표에서 볼 수 있듯이, 측정 횟수(n)가 증가함에 따라 평균의 표준오차는 감소한다. 이는 평균값이 참값에 더 가까울 가능성이 높아짐을 의미하며, 결과의 정밀도가 향상되었음을 보여준다.

t-검정은 두 집단의 평균값이 통계적으로 유의미한 차이를 보이는지 판단하는 가설 검정 방법이다. 주로 표본의 크기가 작을 때(n < 30) 사용되며, 정규 분포를 따르는 데이터에 적용된다. 화학 실험에서는 서로 다른 실험 방법의 결과 비교, 시약의 농도 차이 검증, 또는 처리 전후의 측정값 변화 평가 등에 널리 활용된다.

t-검정의 핵심은 t-통계량을 계산하는 것이다. t-통계량은 두 평균의 차이를 두 집단의 변동성을 고려한 표준 오차로 나눈 값이다. 계산된 t-통계량을 자유도에 해당하는 t-분포의 임계값과 비교하여 귀무가설의 기각 여부를 결정한다. 일반적으로 사용되는 유의수준(α)은 0.05 또는 0.01이다.

화학에서 자주 사용되는 t-검정 유형은 다음과 같다.

검정 결과, 계산된 p-값이 설정한 유의수준보다 작으면 두 평균 간에 통계적으로 유의한 차이가 존재한다고 결론지을 수 있다. 예를 들어, 새로운 분석 방법의 정확도를 검증하기 위해 표준물질로 측정한 값들의 평균과 표준물질의 인증값을 단일 표본 t-검정으로 비교할 수 있다. t-검정을 적용할 때는 데이터가 검정의 가정을 충족하는지 먼저 확인해야 하며, 가정이 위배될 경우 비모수 검정법을 고려해야 한다.

F-검정은 두 개 이상의 표본 집단 간 분산이 통계적으로 유의미하게 차이가 나는지를 검정하는 방법이다. 이 검정은 주로 분산분석의 일환으로 사용되며, 두 집단의 분산을 비교하여 그 동질성을 평가한다. 검정의 귀무가설은 '두 집단의 모분산이 동일하다'이며, 대립가설은 '두 집단의 모분산이 다르다'이다.

F-검정 통계량(F-value)은 두 표본 분산의 비율로 계산된다. 일반적으로 더 큰 분산을 분자로, 더 작은 분산을 분모로 놓는다. 계산식은 다음과 같다.

F = s₁² / s₂²

여기서 s₁²과 s₂²는 비교하는 두 표본의 분산이다. 이렇게 계산된 F-값은 자유도가 (n₁-1, n₂-1)인 F-분포와 비교된다.

화학 실험에서 F-검정은 주로 두 가지 목적으로 활용된다. 첫째, 두 가지 다른 측정 방법이나 두 대의 기기에서 얻은 데이터의 정밀도(재현성)가 동일한지를 비교할 때 사용한다. 예를 들어, 새로운 분석 방법의 반복성(분산)이 기존 표준 방법의 반복성과 통계적으로 차이가 없는지 확인하는 데 적용할 수 있다. 둘째, 분산분석을 통해 세 개 이상의 집단 평균을 비교하기 전에, 집단 간 분산의 동질성을 검증하는 선행 조건으로 사용된다. 이는 t-검정이 두 집단의 분산이 같다는 가정 하에 이루어지는 것과 유사한 맥락이다.

F-검정 결과를 해석할 때는 유의수준(예: 0.05)에서의 임계값과 계산된 F-값을 비교한다. 계산된 F-값이 임계값보다 크면 귀무가설을 기각하여 두 분산이 통계적으로 유의미하게 다르다고 결론지을 수 있다. 반대로 F-값이 임계값보다 작으면 두 분산 간에 유의미한 차이가 없다고 판단한다. 이 검정은 실험 조건이나 분석 방법의 변화가 결과의 산포(정밀도)에 미치는 영향을 정량적으로 평가하는 강력한 도구이다.