분산분석 (r1)

분산분석에서 요인은 관심의 대상이 되는 독립 변수를 가리킨다. 이는 실험자가 통제하거나 관찰하는 조건이나 특성으로, 집단 간 차이를 설명하는 원인이 된다. 예를 들어, 농작물 수확량에 영향을 미치는 요인으로 비료의 종류, 품종, 관수 방법 등을 생각할 수 있다. 각 요인은 여러 개의 수준을 가질 수 있다. 수준은 요인이 취할 수 있는 구체적인 값이나 상태를 의미한다. 앞선 예에서 비료 요인의 수준은 'A사 비료', 'B사 비료', '무비료'와 같이 설정될 수 있다.

분산분석의 핵심은 이러한 요인과 수준에 따라 데이터의 총 변동을 분해하는 데 있다. 실험 설계는 연구하고자 하는 요인의 개수와 수준의 조합에 따라 결정된다. 가장 기본적인 형태인 일원분산분석은 하나의 요인만을 고려하며, 각 수준이 서로 다른 실험 집단을 구성한다. 반면, 이원분산분석은 두 개의 요인을 동시에 분석하여 각 요인의 주효과뿐만 아니라 요인 간의 상호작용 효과까지 검정할 수 있다.

요인은 크게 고정 요인과 무선 요인으로 구분된다. 고정 요인은 연구자가 의도적으로 선택한 특정 수준들만을 분석 대상으로 하는 경우를 말한다. 예를 들어, 세 가지 특정 광고 전략의 효과를 비교하는 연구에서 광고 전략 요인은 고정 요인이다. 반면, 무선 요인은 분석에 포함된 수준들이 가능한 모든 수준 중 무작위로 추출된 표본으로 간주되는 경우를 의미한다. 공장의 생산 라인에서 여러 대의 기계를 무작위로 선택하여 성능을 비교할 때, 기계 요인은 무선 요인이 될 수 있다. 이 구분은 분산분석 모형과 결과 해석에 영향을 미친다.

분산분석은 관측된 전체 데이터의 변동을 여러 원인으로 분해하여 분석한다. 이때 변동은 크게 집단 간 변동과 집단 내 변동으로 구분된다. 집단 간 변동은 서로 다른 처리나 집단(예: 다른 비료를 사용한 농작물 그룹)의 평균값 차이에서 기인하는 변동을 의미한다. 즉, 연구자가 관심을 갖는 실험 요인의 효과가 이 변동에 반영된다. 반면 집단 내 변동은 동일한 처리나 집단 내에 존재하는 개별 관측값들의 흩어짐을 나타낸다. 이는 측정 오차나 통제되지 않은 개체 간 차이와 같은 무작위 오차에 의해 발생한다.

분산분석의 핵심은 이 두 가지 변동의 크기를 비교하는 데 있다. 집단 간 변동이 집단 내 변동에 비해 상대적으로 클수록, 관찰된 집단 평균의 차이가 우연이 아닌 실험 요인의 효과일 가능성이 높아진다. 이를 정량적으로 비교하기 위해 각 변동을 해당 자유도로 나눈 평균제곱을 계산한다. 집단 간 변동의 평균제곱(MSB)을 집단 내 변동의 평균제곱(MSW)으로 나눈 값이 바로 F-통계량이다.

F-통계량이 크다는 것은 집단 평균들 사이의 차이(집단 간 변동)가 집단 내에서 자연스럽게 예상되는 변동(집단 내 변동)보다 현저히 크다는 것을 의미한다. 통계적 유의성을 판단하기 위해 계산된 F-통계량을 F-분포와 비교하여 p-값을 도출한다. p-값이 사전에 설정한 유의수준(예: 0.05)보다 작으면, '모든 집단의 평균이 동일하다'는 귀무가설을 기각하고 집단 간에 통계적으로 유의미한 차이가 존재한다고 결론 내린다.

따라서 분산분석은 단순히 평균을 비교하는 것을 넘어, 데이터의 총 변동성을 체계적으로 분해하고, 실험 효과의 신호(집단 간 변동)가 무작위 노이즈(집단 내 변동)보다 유의미하게 큰지를 검정하는 선형 모형 기반의 강력한 도구이다. 이 원리는 일원분산분석 뿐 아니라 이원분산분석이나 다변량분산분석과 같은 더 복잡한 분석의 기초가 된다.

분산분석에서 검정의 출발점은 귀무가설과 대립가설의 설정이다. 귀무가설은 일반적으로 비교하는 모든 집단의 평균이 동일하다는 주장이다. 예를 들어, 서로 다른 세 가지 비료를 사용한 작물의 평균 수확량을 비교하는 일원분산분석에서는 "세 가지 비료 집단의 평균 수확량은 모두 같다"는 진술이 귀무가설이 된다.

반면 대립가설은 귀무가설의 반대 주장으로, 비교하는 집단 중 적어도 하나의 평균은 다른 집단과 통계적으로 유의미하게 다르다는 것을 의미한다. 위의 예시에서 대립가설은 "세 가지 비료 집단의 평균 수확량은 모두 같지 않다"가 된다. 이는 구체적으로 어느 집단 간에 차이가 있는지를 명시하지 않으며, 단지 차이가 존재한다는 점을 주장한다.

분산분석은 집단 간 변동과 집단 내 변동을 비교하여 계산한 F-통계량을 통해 이 가설들을 검정한다. 만약 집단 간 평균 차이로 인한 변동이 집단 내 우연한 변동에 비해 충분히 크다면, F-통계량은 커지고 이에 따른 p-값이 매우 작아진다. 연구자는 일반적으로 사전에 설정한 유의수준(예: 0.05)과 p-값을 비교하여 귀무가설을 기각할지 여부를 결정한다.

귀무가설이 기각되면, 적어도 한 쌍의 집단 평균 간에 유의미한 차이가 존재한다는 증거를 얻은 것이다. 그러나 분산분석 결과만으로는 정확히 어느 집단들 사이에 차이가 있는지 알 수 없으며, 이는 사후 검정을 통해 추가로 분석해야 한다. 반대로 귀무가설을 기각하지 못하는 경우, 현재 데이터로는 집단 간 평균에 유의미한 차이가 있다고 결론 내릴 수 없다.

일원분산분석은 하나의 독립변수, 즉 요인에 초점을 맞춘 분산분석의 가장 기본적인 형태이다. 이 방법은 세 개 이상의 독립적인 집단 간 평균에 유의미한 차이가 있는지를 검정하는 데 사용된다. 예를 들어, 서로 다른 세 종류의 비료를 사용했을 때 작물의 수확량 평균을 비교하거나, 여러 지역의 주택 가격 평균을 비교하는 경우에 적용할 수 있다. 분석의 핵심은 관측된 데이터의 전체 변동을 '집단 간 변동'과 '집단 내 변동'으로 분해하여, 집단 간 평균 차이로 인한 변동이 집단 내 우연히 발생하는 변동에 비해 통계적으로 유의미한 크기인지를 평가하는 것이다.

분석은 특정한 통계적 가정 하에 수행된다. 주요 가정으로는 각 집단의 데이터가 정규분포를 따라야 하는 정규성, 모든 집단의 분산이 동일해야 하는 등분산성, 그리고 각 관측값이 서로 독립적으로 수집되어야 하는 독립성이 있다. 이러한 가정이 충족되지 않을 경우, 분석 결과의 신뢰도가 떨어질 수 있으며, 비모수 검정 방법을 고려해야 할 수도 있다.

분석 절차는 먼저 귀무가설(모든 집단의 평균이 동일하다)과 대립가설(적어도 한 집단의 평균은 다르다)을 설정하는 것으로 시작한다. 이후 제곱합을 계산하여 변동을 정량화하고, 이를 자유도로 나누어 평균제곱을 구한다. 최종적으로 집단 간 평균제곱을 집단 내 평균제곱으로 나눈 F-통계량을 계산하며, 이 F-통계량의 확률분포를 통해 p-값을 도출한다. 계산된 p-값이 사전에 설정한 유의수준(예: 0.05)보다 작으면 귀무가설을 기각하여 집단 간 평균에 통계적으로 유의한 차이가 있다고 결론지을 수 있다.

일원분산분석의 결과가 유의미하다고 판단되면, 이는 '적어도 한 쌍의 집단 간에 차이가 있다'는 것만을 알려줄 뿐, 정확히 어느 집단들 사이에 차이가 있는지는 알 수 없다. 이러한 구체적인 차이를 확인하기 위해서는 사후 검정이 필요하다. 대표적인 사후 검정 방법으로는 Tukey의 HSD 검정, Scheffé 검정, Bonferroni 교정 등이 있으며, 이러한 방법들은 다중 비교 문제를 통제하면서 개별 집단 쌍을 비교한다.

이원분산분석은 두 개의 독립 변수, 즉 두 개의 요인이 하나의 종속 변수에 미치는 영향을 동시에 분석하는 통계적 방법이다. 이 방법은 각 요인의 주효과뿐만 아니라 두 요인 간의 상호작용 효과도 검정할 수 있다는 점에서 일원분산분석보다 더 많은 정보를 제공한다. 예를 들어, 새로운 약물의 효과를 연구할 때 약물의 종류(요인 A)와 투여 용량(요인 B)이 환자의 회복 지표에 미치는 영향을 따로 분석하는 동시에, 특정 약물이 특정 용량에서만 효과가 극대화되는지와 같은 상호작용을 확인할 수 있다.

분석 과정은 일원분산분석을 확장한 형태로, 총 변동을 요인 A에 의한 변동, 요인 B에 의한 변동, A와 B의 상호작용에 의한 변동, 그리고 오차 변동으로 분해한다. 각 요인과 상호작용에 대해 F-통계량을 계산하고, 이를 통해 각 효과가 통계적으로 유의미한지 판단한다. 이때, 상호작용 효과가 유의미하다면 주효과를 단독으로 해석하는 것은 주의를 요하며, 상호작용을 고려한 해석이 필수적이다.

이원분산분석은 실험계획법에서 널리 사용되며, 특히 공학, 심리학, 농학 등 다양한 분야의 연구 설계에 활용된다. 분석을 위해서는 일원분산분석과 마찬가지로 데이터가 정규성, 등분산성, 독립성의 가정을 충족해야 하며, 가정이 위배될 경우에는 비모수 검정이나 데이터 변환 등의 대안을 고려해야 한다.

다변량분산분석은 일원분산분석이나 이원분산분석과 마찬가지로 두 개 이상의 집단 간 평균 차이를 검정하는 통계 방법이다. 그러나 일반적인 분산분석이 단일한 종속변수에 대한 집단 간 차이를 분석하는 반면, 다변량분산분석은 동시에 두 개 이상의 종속변수들에 대한 집단 간 차이를 검정한다. 이는 여러 측정된 결과 변수들이 서로 상관관계를 가질 수 있기 때문에, 각 변수를 따로 분석할 때 발생할 수 있는 오류를 통제하고, 변수들의 조합을 통해 나타나는 전반적인 차이를 더욱 정확하게 평가하기 위한 목적을 가진다.

이 분석 방법은 심리학, 교육학, 의학 연구 등에서 널리 활용된다. 예를 들어, 서로 다른 세 가지 교육 방법이 학생들의 수학 점수, 과학 점수, 읽기 점수에 미치는 전반적인 효과를 한 번에 비교하고자 할 때 적합하다. 각 과목 점수를 별도로 분석하는 대신, 세 점수를 하나의 변수 집합으로 보고 집단 간 차이를 검정함으로써 방법의 종합적 효과를 평가할 수 있다.

다변량분산분석의 기본 원리는 종속변수들의 선형 조합을 생성하여, 이 조합된 변수에 대해 집단 간 변동이 집단 내 변동보다 유의미하게 큰지를 검정하는 것이다. 분석에는 윌크스 람다, 필라이의 추적, 호텔링의 T제곱과 같은 여러 검정 통계량이 사용될 수 있다. 분석 결과가 유의미하다면, 이는 하나 이상의 종속변수들에서, 또는 변수들의 어떤 조합에서 집단 간에 차이가 존재함을 의미한다.

다변량분산분석을 수행하기 위해서는 일반 분산분석의 가정인 정규성, 등분산성, 독립성 외에도 추가적인 조건을 충족해야 한다. 가장 중요한 것은 여러 종속변수들이 다변량 정규분포를 따라야 하며, 각 집단에서 변수들의 공분산 행렬이 동일해야 한다는 점이다. 이러한 가정이 위반될 경우 분석 결과의 신뢰도가 떨어질 수 있으므로 사전에 검토가 필요하다.

공분산분석은 일원분산분석이나 이원분산분석과 마찬가지로 집단 간 평균 차이를 검정하는 통계적 방법이다. 그러나 이 방법의 핵심 특징은 분석에 포함된 공변량의 효과를 통제한다는 점에 있다. 공변량은 종속 변수에 영향을 미칠 수 있는 연속형 변수로, 실험자가 통제하기 어려운 변인이다. 예를 들어, 새로운 교육 방법의 효과를 평가할 때 학생들의 사전 학업 성취도를 공변량으로 포함시켜 그 영향을 제거한 후 순수한 교육 방법의 효과만을 검정하는 데 사용할 수 있다.

이 분석은 기본적으로 선형 회귀 모형과 분산분석을 결합한 형태의 일반 선형 모형에 속한다. 모형에는 범주형 독립 변수인 요인과 함께, 연속형 독립 변수인 공변량이 포함된다. 분석의 주요 목적은 공변량의 효과를 통제하거나 제거한 상태에서, 각 실험 처리 집단의 조정된 평균이 통계적으로 유의미하게 다른지 검증하는 것이다. 이를 통해 혼란 변수로 인한 오염 효과를 줄이고, 실험 처리의 순수 효과에 대한 추정 정확도를 높일 수 있다.

공분산분석을 수행하기 위해서는 분산분석의 기본 가정인 정규성, 등분산성, 독립성을 만족해야 한다. 여기에 더해 몇 가지 중요한 추가 가정이 필요하다. 첫째는 공변량과 종속 변수 간의 선형 관계가 존재해야 한다는 것이다. 둘째는 회귀 기울기 동질성 가정으로, 이는 공변량과 종속 변수 간의 관계가 모든 실험 집단에서 동일해야 함을 의미한다. 이 가정이 위배되면 집단 간 조정된 평균을 비교하는 것이 타당하지 않게 된다.

이 분석 방법은 심리학, 교육학, 의학 연구 등 다양한 분야의 실험 연구에서 널리 활용된다. 특히 피험자를 무작위로 배정하기 어려운 준실험 설계나 현장 실험에서, 초기 차이를 통계적으로 보정해야 할 때 유용하다. 예를 들어, 서로 다른 병원에서 시행하는 치료법의 효과를 비교할 때, 환자들의 초기 건강 상태를 공변량으로 포함시켜 분석할 수 있다.

반복측정 분산분석은 동일한 피험자나 실험 단위에 대해 시간에 따라 반복적으로 측정을 수행하거나, 여러 조건을 동일한 대상에 적용하여 얻은 데이터를 분석하는 통계 방법이다. 이 방법은 일원분산분석이나 이원분산분석과 달리, 측정값들이 서로 독립적이지 않다는 점을 고려하여 설계된다. 주로 시간 경과에 따른 변화를 추적하거나, 여러 처치 조건을 동일한 개인에게 적용하는 실험 설계에서 활용된다. 예를 들어, 특정 약물 투여 전, 투여 직후, 투여 1시간 후의 혈압을 같은 환자군에서 측정하는 경우에 적합한 분석법이다.

이 분석 방법의 핵심은 데이터의 총 변동을 피험자 간 변동과 피험자 내 변동으로 분리하는 데 있다. 피험자 내 변동은 다시 시간이나 조건에 따른 효과(처치 효과)와 나머지 오차로 나누어진다. 이를 통해 개인 간의 고유한 차이(예: 기저 혈압의 차이)를 통제한 상태에서 순수한 처치 효과나 시간에 따른 효과를 검정할 수 있다. 따라서 독립성 가정이 위반되는 반복 측정 자료에서 보다 정밀한 분석이 가능해진다.

반복측정 분산분석을 수행할 때는 구형성 가정을 충족해야 한다. 이는 모든 측정 시점 또는 조건 쌍 간의 차이 분산이 동일해야 함을 의미한다. 구형성 가정이 위반되면 F-검정의 결과가 편향될 수 있어, 그린하우스-가이서 수정이나 휴인-펠트 수정과 같은 보정 방법을 적용하여 자유도를 조정해야 한다. 분석 후 유의미한 주효과가 발견되면, 대비 검정이나 사후 검정을 통해 구체적으로 어떤 시점이나 조건 간에 차이가 있는지를 추가로 탐색한다.

이 방법은 심리학, 의학, 신경과학, 운동과학 등 다양한 분야의 종단 연구나 실험 연구에서 널리 사용된다. 특히 제한된 피험자를 대상으로 하거나 개인 내 변이를 주요 관심사로 삼는 연구 설계에 매우 유용하다.

분산분석의 주요 가정 중 하나는 정규성이다. 이는 각 처리 집단 내에서 관측된 데이터가 정규 분포를 따르는 것을 의미한다. 구체적으로, 각 요인의 수준별로 생성된 데이터의 오차 항이 정규 분포를 이룬다고 가정한다. 이 가정은 분산분석에서 사용되는 F-검정의 타당성과 검정력에 영향을 미친다.

정규성 가정은 주로 잔차를 분석하여 확인한다. Q-Q 플롯이나 Shapiro-Wilk 검정과 같은 방법을 통해 잔차의 분포가 정규 분포에서 얼마나 벗어났는지 평가할 수 있다. 데이터가 정규성을 크게 위반하는 경우, 분석 결과의 신뢰도가 떨어질 수 있다.

정규성 가정이 충족되지 않을 때는 몇 가지 대안을 고려할 수 있다. 비모수적 방법인 크루스칼-왈리스 검정을 사용하거나, 데이터에 변환을 적용하여 정규성에 가깝게 만들 수 있다. 또한, 부트스트랩과 같은 재표본추출 기법을 활용할 수도 있다.

등분산성은 분산분석을 수행하기 위해 반드시 충족해야 하는 핵심 가정 중 하나이다. 이는 비교 대상이 되는 모든 집단의 분산이 동일하다는 것을 의미한다. 즉, 각 집단 내 데이터의 흩어짐 정도가 서로 비슷해야 한다. 등분산성 가정이 위배되면, 집단 간 평균 차이를 검정하는 데 사용되는 F-검정의 결과가 왜곡될 수 있다. 이는 귀무가설을 잘못 기각하거나 기각하지 못하는 오류를 초래할 가능성을 높인다.

등분산성을 검정하는 방법에는 여러 가지가 있다. Levene 검정과 Bartlett 검정이 널리 사용되며, 특히 Levene 검정은 정규성 가정에 덜 민감하여 실무에서 자주 활용된다. 시각적으로는 상자 그림을 통해 각 집단의 사분위 범위와 이상치를 비교하여 등분산성을 간략히 점검할 수 있다.

등분산성 가정이 충족되지 않을 경우, 몇 가지 대처 방안이 존재한다. 데이터에 변환을 적용하거나(예: 로그 변환), 등분산성을 가정하지 않는 비모수 검정법인 Kruskal-Wallis 검정을 사용할 수 있다. 또한, Welch의 분산분석과 같이 등분산성을 요구하지 않는 대안적 분산분석 방법을 적용하는 것도 한 가지 해결책이다.

독립성은 분산분석의 세 가지 기본 가정 중 하나이다. 이 가정은 각 관측치 또는 각 실험 단위에서 발생한 오차가 서로 독립적이어야 함을 의미한다. 즉, 한 관측치의 결과가 다른 관측치의 결과에 영향을 미쳐서는 안 된다. 이는 통계학에서 확률 변수 간의 관계를 정의하는 중요한 개념이다.

독립성 가정이 위반되는 대표적인 경우는 시계열 데이터나 반복 측정 데이터에서 나타난다. 예를 들어, 같은 실험 참가자에게 시간을 두고 반복적으로 측정을 하거나, 공간적으로 가까운 위치에서 샘플을 채취하는 경우, 인접한 관측치 간에 상관관계가 생겨 독립성이 깨질 수 있다. 사회과학 조사에서 가구 내 여러 구성원을 조사할 때도 응답이 독립적이지 않을 수 있다.

독립성 위반은 분석 결과에 심각한 영향을 미친다. 특히 제1종 오류를 범할 확률, 즉 실제로는 차이가 없는데 유의미한 차이가 있다고 잘못 판단할 확률이 증가할 수 있다. 이를 검출하기 위해 잔차 분석을 실시하여 잔차의 자기상관을 확인하거나, 실험 설계 단계에서 완전 확률화 설계를 적용하는 것이 일반적이다.

독립성을 보장할 수 없는 경우에는 반복측정 분산분석이나 혼합 모형과 같은 다른 통계 기법을 사용하여 데이터의 구조를 적절히 모델링해야 한다.

분산분석을 수행할 때는 먼저 검정하고자 하는 가설을 명확히 설정한다. 이는 통계적 가설 검정의 첫 단계로, 귀무가설과 대립가설을 수립하는 과정이다. 귀무가설은 일반적으로 비교하는 모든 집단의 평균이 동일하다는 주장이다. 예를 들어, 세 가지 다른 비료를 사용한 작물의 평균 수확량을 비교하는 일원분산분석에서는 "세 가지 비료 그룹의 평균 수확량은 모두 같다"는 진술이 귀무가설이 된다.

반면 대립가설은 귀무가설의 반대 주장으로, 비교하는 집단 중 적어도 하나의 평균이 다른 집단과 통계적으로 유의미하게 다르다는 것을 의미한다. 위의 예시에서 대립가설은 "세 가지 비료 그룹의 평균 수확량은 모두 같지 않다"가 된다. 즉, 적어도 한 쌍의 그룹 간에 차이가 존재함을 주장한다. 이원분산분석에서는 주효과뿐만 아니라 요인 간의 상호작용 효과에 대한 가설도 추가로 설정할 수 있다.

가설 설정은 연구 설계 단계에서 이루어지며, 분석의 목적과 비교 대상이 무엇인지에 따라 그 내용이 결정된다. 설정된 가설은 이후 제곱합 계산, F-통계량 도출, p-값을 통한 유의성 판단의 기준이 된다. 올바른 가설 설정 없이는 분석 결과를 해석하는 것이 무의미해질 수 있으므로, 연구 질문을 정확히 반영하는 것이 중요하다.

분산분석에서 제곱합 계산은 전체 데이터의 변동을 여러 구성 요소로 분해하는 핵심 단계이다. 이 과정은 관측된 데이터의 총 변동을 집단 간 변동과 집단 내 변동으로 나누어 각 요인의 효과를 정량적으로 평가하는 기초를 제공한다.

총제곱합은 모든 관측값이 전체 평균으로부터 얼마나 떨어져 있는지를 나타내는 지표로, 각 관측값과 전체 평균 간 차이의 제곱을 모두 합산하여 계산한다. 이 총 변동은 다시 집단 간 제곱합과 집단 내 제곱합으로 분해된다. 집단 간 제곱합은 각 집단의 평균이 전체 평균과 얼마나 다른지를 측정하여 처리 효과나 요인의 영향을 반영한다. 반면, 집단 내 제곱합은 각 집단 내부에서 개별 관측값이 해당 집단 평균과 얼마나 차이가 나는지를 합산한 것으로, 무작위 오차나 통제되지 않은 변동을 나타낸다.

이러한 제곱합의 분해는 선형 모형의 관점에서 이해할 수 있으며, 일원분산분석에서는 하나의 요인에 의한 효과를, 이원분산분석에서는 두 요인의 주효과와 상호작용 효과를 각각의 제곱합으로 분리하여 계산한다. 제곱합을 각각의 자유도로 나누면 평균제곱이 되며, 이는 이후 F-통계량을 계산하는 데 직접적으로 사용된다. 따라서 제곱합 계산의 정확성은 전체 가설 검정의 타당성에 결정적인 영향을 미친다.

제곱합 계산은 수작업으로 수행될 수 있지만, 현대에는 통계 패키지 소프트웨어를 통해 자동으로 처리되는 경우가 대부분이다. 계산 공식은 비교적 간단하지만, 특히 다변량분산분석이나 공분산분석과 같은 복잡한 설계에서는 행렬 연산을 활용하여 제곱합을 도출한다.

분산분석의 핵심 단계는 F-통계량을 계산하는 것이다. 이 통계량은 집단 간 변동과 집단 내 변동의 비율로 정의된다. 구체적으로, 집단 간 평균 제곱(MSB)을 집단 내 평균 제곱(MSW)으로 나누어 계산한다. 여기서 평균 제곱은 각 제곱합을 해당 자유도로 나눈 값이다. 이 계산은 귀무가설 하에서 모든 집단의 평균이 동일하다면, F-통계량의 값이 1에 가까울 것으로 기대된다는 원리에 기반한다.

F-통계량의 계산은 일원분산분석을 예로 들면 명확해진다. 먼저 총제곱합(SST)을 집단 간 제곱합(SSB)과 집단 내 제곱합(SSW)으로 분해한다. 그런 다음 SSB를 집단 수(k)에서 1을 뺀 값(k-1)으로 나누어 MSB를 구하고, SSW를 총 관측치 수(N)에서 집단 수(k)를 뺀 값(N-k)으로 나누어 MSW를 구한다. 최종적으로 F-통계량은 MSB / MSW의 공식으로 산출된다.

이렇게 계산된 F-통계량은 F-분포와 비교된다. 분석가는 미리 설정한 유의수준에 해당하는 F-분포의 임계값과 계산된 F-통계량을 비교하거나, 통계 소프트웨어에서 제공하는 p-값을 확인하여 귀무가설의 기각 여부를 판단한다. F-통계량이 임계값보다 크거나 p-값이 유의수준보다 작으면, 집단 평균들 사이에 통계적으로 유의미한 차이가 존재한다는 대립가설을 채택하게 된다.

F-통계량 계산은 이원분산분석이나 다변량분산분석과 같은 더 복잡한 설계로도 확장된다. 예를 들어 이원분산분석에서는 주효과 A, 주효과 B, 그리고 A와 B의 상호작용 효과에 대해 각각 별도의 F-통계량을 계산하여 각 요인의 영향을 개별적으로 검정한다. 이 과정에서 제곱합의 분해가 더 세분화되며, 각 효과에 대응하는 자유도로 나누어 평균 제곱을 구하는 원리는 동일하게 적용된다.

분산분석에서 유의성 판단은 계산된 F-통계량과 p-값을 기준으로 이루어진다. 분석의 최종 목적은 귀무가설(예: 모든 집단의 평균이 동일하다)을 기각할 수 있는지 여부를 결정하는 것이다. 이 판단은 일반적으로 사전에 설정한 유의수준(보통 0.05)과 비교하여 p-값을 평가함으로써 내려진다.

구체적으로, F-분포를 따르는 F-통계량이 계산되면, 해당 자유도(집단 간, 집단 내)에서의 p-값을 구한다. 만약 p-값이 설정된 유의수준(예: 0.05)보다 작다면, 관찰된 집단 간 변동이 우연히 발생했을 가능성이 낮다고 판단하여 귀무가설을 기각한다. 이는 통계적으로 유의한 집단 간 평균 차이가 존재한다는 결론을 내리게 한다. 반대로, p-값이 유의수준보다 크다면 귀무가설을 기각할 충분한 증거가 없다고 판단한다.

유의성 판단은 제1종 오류(귀무가설이 참인데 기각하는 오류)를 통제하는 데 초점을 맞춘다. 따라서 p-값이 유의수준보다 작아 귀무가설이 기각되더라도, 이는 집단 간 차이가 '실제로 존재한다'는 절대적 증명이 아니라 '통계적 증거가 있다'는 의미로 해석해야 한다. 또한, 유의성 판단은 집단 간 차이가 존재하는지 여부만을 알려줄 뿐, 어떤 구체적인 집단 쌍 사이에 차이가 있는지는 알 수 없다. 이러한 세부적인 차이를 분석하기 위해서는 사후 검정이 필요하다.

Tukey의 HSD 검정은 일원분산분석 결과, 세 개 이상의 집단 평균 간에 통계적으로 유의한 차이가 존재한다고 판단된 후, 구체적으로 어느 집단들 사이에 차이가 있는지를 알아보기 위해 사용하는 사후 검정 방법이다. HSD는 "Honestly Significant Difference"의 약자로, 정직한 유의차 검정이라는 의미를 지닌다. 이 방법은 모든 가능한 집단 쌍의 평균 차이를 동시에 비교하며, 제1종 오류를 실험 전체 수준으로 통제하는 특징을 가진다.

검정은 각 집단의 평균 차이를 계산하고, 이를 임계값과 비교하는 방식으로 진행된다. 임계값은 학생화 범위 분포를 기반으로 하며, 표본 크기와 비교하는 집단 수, 그리고 오차의 자유도에 따라 결정된다. 계산된 평균 차이가 임계값보다 크면, 해당 두 집단의 평균은 통계적으로 유의하게 다르다고 해석한다. 이 방법은 비교 횟수가 많아질수록 더 보수적인(즉, 차이를 발견하기 어려운) 기준을 적용하게 된다.

Tukey의 HSD 검정은 그룹별 표본 크기가 동일한 경우에 가장 강력하며, 표본 크기가 다를 경우에도 사용 가능하지만 약간의 수정이 필요할 수 있다. 이 검정은 심리학, 교육학, 농학 등 다양한 실험 연구 분야에서 널리 활용되며, 특히 모든 가능한 쌍별 비교를 수행해야 할 때 선호되는 방법 중 하나이다. 다른 대표적인 사후 검정법으로는 Bonferroni 교정이나 Scheffé 검정 등이 존재한다.

Scheffé 검정은 분산분석 후에 수행되는 사후 검정 방법 중 하나이다. 이 방법은 특히 비교할 집단의 수가 많거나, 사전에 계획되지 않은 모든 가능한 비교를 수행해야 할 때 주로 사용된다. Ronald Fisher의 F-분포 이론을 기반으로 하여 개발된 이 검정은 다른 사후 검정에 비해 보수적이며, 제1종 오류(귀무가설을 잘못 기각하는 오류)를 통제하는 데 강점을 가진다.

Scheffé 검정의 가장 큰 특징은 모든 가능한 대비 비교를 허용한다는 점이다. 이는 연구자가 실험 전에 특정한 비교 쌍만을 계획하지 않았더라도, 분산분석 결과가 유의미한 후에 데이터를 탐색적으로 살펴보며 발견된 차이를 검정하는 데 적합하다. 따라서 탐색적 연구나 예상치 못한 결과를 확인해야 하는 상황에서 유용하게 적용된다. 그러나 이 같은 유연성 때문에 검정력이 다른 방법들에 비해 낮아, 실제로 차이가 존재함에도 불구하고 이를 발견하지 못할 가능성이 상대적으로 높다는 단점도 있다.

검정 절차는 먼저 전체 분산분석에서 계산된 F-통계량과 자유도를 기반으로 Scheffé의 임계값을 계산하는 것이다. 이후 관심 있는 두 개 이상의 집단 평균을 선형 결합한 대비 값을 구하고, 이에 대한 검정 통계량을 계산한다. 계산된 검정 통계량이 Scheffé 임계값보다 크면, 해당 대비에 대한 집단 평균 차이가 통계적으로 유의미하다고 판단한다. 이 방법은 Tukey의 HSD 검정이나 Bonferroni 교정과 달리 복잡한 비교, 예를 들어 한 집단의 평균과 다른 여러 집단 평균의 평균을 비교하는 것도 가능하게 한다.

Scheffé 검정은 주로 사회과학이나 의학 연구 등에서 집단 수가 많고 비교가 복잡한 실험 연구 설계 후 분석에 활용된다. 보수적인 검정 특성상 발견된 유의미한 차이는 강력한 증거로 받아들여질 수 있으나, 검정력 문제로 인해 사전에 계획된 명확한 가설이 있을 때는 Dunnett 검정이나 Bonferroni 교정 같은 다른 방법이 선호되기도 한다.

Bonferroni 교정은 다중 비교 문제를 해결하기 위한 가장 보수적인 사후 검정 방법 중 하나이다. 이 방법은 여러 개의 가설을 동시에 검정할 때 발생하는 제1종 오류의 누적 확률을 통제하기 위해 개발되었다. 기본 원리는 각 개별 비교에 대한 유의수준을 전체 유의수준보다 더 엄격하게 조정하는 것이다.

구체적으로, 총 *m*번의 독립적인 가설 검정을 수행할 경우, Bonferroni 교정은 각 개별 검정에 사용할 유의수준 α'를 α' = α / m 으로 설정한다. 예를 들어, 전체 유의수준 α를 0.05로 두고 4번의 비교를 한다면, 각 비교는 α' = 0.05 / 4 = 0.0125의 기준으로 유의성을 판단한다. 이는 가족별 오류율을 원래 의도한 수준(예: 5%) 이하로 유지하기 위한 것이다.

이 방법은 계산이 간단하고 적용이 용이하다는 장점이 있지만, 지나치게 보수적이라는 단점도 있다. 특히 비교 횟수 *m*이 많아질수록 개별 검정의 기준이 매우 엄격해져서, 실제로는 차이가 존재함에도 불구하고 통계적 유의성을 발견하지 못할 확률(제2종 오류)이 높아진다. 따라서 Tukey의 HSD 검정이나 Scheffé 검정과 같은 다른 사후 검정 방법에 비해 검정력이 낮은 편으로 평가된다.

Bonferroni 교정은 일원분산분석의 사후 검정뿐만 아니라, 상관분석이나 회귀분석에서 여러 변수에 대한 검정을 할 때도 널리 활용된다. 보수적인 결과를 도출하는 것이 연구의 안전성 측면에서 중요할 때, 또는 비교 횟수가 많지 않은 경우에 적합한 방법이다.

분산분석은 실험 연구에서 가장 핵심적인 분석 도구 중 하나이다. 실험 연구는 하나 이상의 독립 변인을 의도적으로 조작하고, 그에 따른 종속 변인의 변화를 측정하여 인과 관계를 규명하는 방법이다. 이때, 실험자가 조작하는 독립 변인을 요인이라고 하며, 각 요인이 취하는 구체적인 조건을 수준이라고 한다. 예를 들어, 새로운 약물의 효과를 검증하는 임상 시험에서 '약물 투여 여부'가 요인이 되고, '투약군'과 '위약군'이 그 수준이 된다. 분산분석은 이러한 여러 실험 조건(수준) 하에서 측정된 집단들의 평균이 통계적으로 유의미하게 차이가 나는지를 동시에 검정할 수 있다.

분산분석의 강점은 단순히 두 집단의 평균을 비교하는 t-검정을 넘어, 세 개 이상의 집단을 한 번에 비교할 수 있다는 점에 있다. 이는 다중 비교 문제를 효과적으로 통제하면서도, 여러 요인의 효과와 이들 간의 상호작용 효과까지 분석할 수 있게 해준다. 예를 들어, 이원분산분석을 사용하면 '온도'와 '압력'이라는 두 가지 요인이 제품의 수율에 미치는 주효과와, 특정 온도와 압력이 결합되었을 때 나타나는 상호작용 효과를 각각 검정할 수 있다. 이는 공정 최적화를 위한 실험계획법에서 매우 유용하게 활용된다.

실험 연구에서 분산분석을 적용할 때는 그 가정을 충족해야 한다. 측정된 데이터는 각 실험 조건 내에서 정규 분포를 따라야 하며(정규성), 모든 조건에서 데이터의 분산이 동일해야 한다(등분산성). 또한 각 실험 대상으로부터 얻은 관측치는 서로 독립적이어야 한다. 이러한 가정이 위배될 경우, 분석 결과의 신뢰도가 떨어질 수 있으며, 경우에 따라 비모수 검정이나 데이터 변환을 고려해야 한다. 분산분석 결과가 유의미하다고 판단되면, 구체적으로 어떤 집단 간에 차이가 있는지를 알아보기 위해 사후 검정을 실시한다.

분산분석은 품질 관리 분야에서 공정이나 제품의 특성에 영향을 미치는 요인을 규명하고 최적 조건을 찾는 데 핵심적으로 활용된다. 특히 실험계획법과 결합되어, 여러 공정 조건(예: 온도, 압력, 원료 배합비)을 동시에 변화시켜 실험한 후, 어떤 요인이 결과 변수(예: 제품 강도, 수율)에 유의미한 영향을 주는지를 체계적으로 분석하는 데 사용된다. 이를 통해 불필요한 실험 횟수를 줄이면서도 신뢰할 수 있는 공정 최적화 결론을 도출할 수 있다.

구체적으로, 일원분산분석은 서로 다른 기계, 교대조, 원료 공급처와 같은 단일 요인이 제품의 품질 특성 평균에 차이를 만드는지 검정하는 데 사용된다. 예를 들어, 세 대의 생산 기계에서 나온 제품의 두께 평균이 동일한지 분석하여 특정 기계의 이상 유무를 판단할 수 있다. 더 복잡한 분석을 위해 이원분산분석은 두 가지 요인(예: 온도와 촉매 종류)의 주효과와 함께 이들 간의 상호작용 효과까지 평가한다. 이는 특정 온도에서만 특정 촉매가 효과를 발휘하는지와 같은 복합적인 관계를 이해하는 데 필수적이다.

분산분석 실행 후, 유의미한 차이가 발견되면 사후 검정을 통해 구체적으로 어떤 집단(예: 어떤 기계, 어떤 조건) 간에 차이가 있는지를 추가로 조사한다. 품질 관리에서는 Tukey의 HSD 검정이나 Duncan의 다중범위검정 등이 널리 사용되어, 차이의 원인을 정밀하게 규명하고 개선 조치의 대상과 방향을 설정하는 근거를 제공한다. 이 모든 과정은 궁극적으로 공정 능력 분석과 연계되어 제조 공정의 안정성과 품질 일관성을 높이는 데 기여한다.

사회과학 조사에서 분산분석은 실험 연구나 관찰 연구를 통해 수집된 데이터를 분석하는 핵심 도구로 널리 활용된다. 특히 교육학, 심리학, 사회학, 정치학 등 다양한 분야에서 두 개 이상의 집단 간 평균 차이가 통계적으로 유의미한지를 검증하는 데 사용된다. 예를 들어, 서로 다른 교육 방법이 학생들의 학업 성취도에 미치는 효과를 비교하거나, 다양한 광고 전략이 소비자 태도 변화에 미치는 영향을 평가하는 연구에서 일원분산분석이 적용된다. 또한 인구통계학적 요인(예: 연령대, 성별, 소득 수준)에 따른 사회적 현상의 차이를 분석하는 데에도 적합하다.

보다 복잡한 연구 설계에서는 이원분산분석이나 공분산분석이 더 빈번하게 사용된다. 이원분산분석은 두 개의 독립 변수(예: 교육 방법과 성별)가 종속 변수에 미치는 주효과와 함께 두 변수 간의 상호작용 효과를 동시에 분석할 수 있다. 공분산분석은 연구자가 통제하지 못한 공변량의 영향을 통계적으로 제거한 후, 실험 처치의 순수한 효과를 검정하고자 할 때 유용하다. 예를 들어, 사전 지식 수준을 공변량으로 통제한 후 새로운 교수법의 효과를 평가하는 연구가 이에 해당한다.

사회과학 데이터는 종종 설문지나 척도를 통해 측정되며, 이러한 측정값의 분석에는 분산분석의 기본 가정인 정규성, 등분산성, 독립성이 충족되는지 확인하는 것이 중요하다. 가정 위반 시에는 데이터 변환을 시도하거나, 비모수 검정을 대안으로 고려할 수 있다. 분석 결과 유의미한 집단 간 차이가 발견되면, Tukey의 HSD 검정이나 Bonferroni 교정과 같은 사후 검정을 실시하여 구체적으로 어떤 집단 쌍 사이에 차이가 존재하는지를 추가로 탐색한다. 이를 통해 연구자는 단순한 평균 차이를 넘어, 사회 현상에 대한 보다 정교하고 실질적인 해석을 도출할 수 있다.