교차 검증 (r1)

K-Fold 교차 검증은 가장 널리 사용되는 교차 검증 방법 중 하나이다. 이 방법은 전체 데이터셋을 k개의 동일한 크기의 부분 집합, 즉 '폴드'로 무작위 분할한다. 이후 k번의 반복 학습과 평가를 수행하는데, 각 반복마다 하나의 폴드를 검증 세트로 사용하고 나머지 (k-1)개의 폴드를 훈련 세트로 사용한다.

이 과정은 k번 반복되며, 각 폴드는 정확히 한 번씩 검증 세트의 역할을 맡게 된다. 최종적인 모델 성능은 k번의 평가에서 얻은 성능 지표(예: 정확도, F1 점수)의 평균값으로 계산된다. 일반적으로 k 값은 5 또는 10을 많이 사용하며, 데이터 크기가 매우 작을 경우에는 Leave-One-Out 교차 검증을 고려하기도 한다[1].

K-Fold 교차 검증의 주요 장점은 모든 데이터 포인트가 정확히 한 번은 평가에 사용되므로 데이터를 효율적으로 활용할 수 있다는 점이다. 또한, 단순한 홀드아웃 검증에 비해 성능 추정의 분산을 줄여 더 안정적인 평가 결과를 제공한다. 그러나 데이터 분포가 불균형할 경우, 특정 폴드에 클래스 샘플이 고르게 분포되지 않아 편향된 평가 결과를 초래할 수 있다는 단점이 있다. 이러한 경우 Stratified K-Fold 교차 검증이 대안으로 사용된다.

K-Fold 교차 검증은 데이터를 무작위로 분할하기 때문에, 각 폴드에 속한 샘플의 클래스 비율이 원본 데이터셋의 클래스 분포와 크게 달라질 수 있다. 이는 특히 불균형 데이터셋에서 문제가 된다. 특정 클래스의 샘플이 적을 경우, 어떤 폴드에는 해당 클래스의 샘플이 전혀 포함되지 않아 검증이 제대로 이루어지지 않을 수 있다.

Stratified K-Fold 교차 검증은 이러한 문제를 해결하기 위해 고안된 방법이다. 이 방법은 각 폴드가 원본 데이터셋의 클래스 비율을 최대한 유지하도록 계층화(stratify)하여 데이터를 분할한다. 분류 문제에서 주로 사용되며, 회귀 문제에는 일반적으로 적용되지 않는다.

실제 적용 시, 사이킷런 라이브러리의 StratifiedKFold 클래스를 사용하여 쉽게 구현할 수 있다. 이 클래스는 cross_val_score 함수와 함께 사용되거나, 분할기를 직접 생성하여 사용자 정의 평가 루프에 통합될 수 있다.

Leave-One-Out 교차 검증은 K-Fold 교차 검증의 극단적인 형태로, 폴드의 수 K를 전체 데이터 샘플의 수 N과 동일하게 설정하는 방법이다. 이는 각 반복에서 하나의 샘플만을 검증 세트로 사용하고, 나머지 N-1개의 샘플을 훈련 세트로 사용하는 것을 의미한다. 이 과정은 N개의 샘플 각각이 한 번씩 검증 세트가 될 때까지 총 N번 반복된다.

이 방법의 가장 큰 장점은 훈련에 가능한 최대한의 데이터를 사용한다는 점이다. 각 반복마다 단 하나의 샘플만을 제외하고 모든 데이터로 모델을 학습시키므로, 데이터가 극도로 부족한 상황에서도 안정적인 성능 평가를 기대할 수 있다. 또한, 편향이 매우 낮은 평가 결과를 제공한다는 특징이 있다. 그러나 N번의 모델 학습과 평가를 수행해야 하므로, 데이터셋의 크기가 커질수록 계산 비용이 매우 크게 증가한다는 심각한 단점이 존재한다.

따라서 Leave-One-Out 교차 검증은 주로 샘플 수가 매우 적은 소규모 데이터셋에 적용된다. 대규모 데이터셋에서는 K-Fold 교차 검증 (일반적으로 K=5 또는 K=10)이 계산 효율성과 성능 추정의 안정성 사이에서 더 나은 절충안으로 여겨진다. 또한, Leave-One-Out 방식은 각 반복의 훈련 세트가 매우 높은 중복도를 가지기 때문에, 평가 결과의 분산이 높아질 수 있다는 비판도 있다.

Leave-P-Out 교차 검증은 교차 검증의 한 유형으로, 데이터셋에서 *p*개의 샘플을 검증 세트로, 나머지 모든 샘플을 학습 세트로 사용하는 방법이다. 이 과정은 가능한 모든 *p*개 샘플의 조합에 대해 반복적으로 수행된다. Leave-One-Out 교차 검증은 이 방법에서 *p*가 1인 특수한 경우에 해당한다.

이 방법은 주로 샘플 수(*n*)가 매우 적은 소규모 데이터셋에서 모델의 성능을 정밀하게 평가할 때 사용된다. 모든 가능한 학습-검증 조합을 평가하기 때문에 데이터를 최대한 활용하여 안정적인 성능 추정치를 제공할 수 있다. 그러나 그 계산 비용은 매우 높은 편이다. 가능한 조합의 수는 이항 계수 *nCp*로 계산되며, 이는 *n*과 *p*가 커질수록 기하급수적으로 증가한다.

예를 들어, 데이터셋에 10개의 샘플이 있고 *p*를 2로 설정하면, 검증 세트로 사용될 2개 샘플의 가능한 조합은 총 45가지가 된다. 각 조합에 대해 모델을 학습하고 평가해야 하므로, 대규모 데이터셋에는 실용적이지 않다.

이 방법은 특히 샘플 간의 독립성을 가정할 수 있고, 데이터의 모든 부분집합을 균등하게 평가하는 것이 중요한 연구 분야[2]에서 유용하게 적용된다. 최종 성능 지표는 모든 반복에서 얻은 검증 점수의 평균으로 계산된다.

Shuffle Split 교차 검증은 K-Fold 교차 검증의 변형으로, 데이터를 무작위로 섞은 후 반복적으로 훈련 세트와 검증 세트를 분할하는 방법이다. 고정된 폴드 구조를 사용하지 않고, 매 반복마다 독립적인 무작위 샘플링을 통해 데이터를 분할한다는 점이 특징이다. 이 방식은 데이터 분할에 더 많은 유연성을 제공하며, 특히 데이터셋의 크기가 크거나 K-Fold 교차 검증의 제약을 벗어나고자 할 때 유용하게 적용된다.

이 방법의 핵심 매개변수는 반복 횟수(n_splits), 훈련 세트 비율(train_size), 검증 세트 비율(test_size)이다. 예를 들어, n_splits=5, train_size=0.7, test_size=0.3으로 설정하면, 전체 데이터를 무작위로 섞은 상태에서 70%를 훈련용, 30%를 검증용으로 선택하는 과정을 서로 다른 5번의 무작위 분할로 독립적으로 수행한다. 각 반복에서 선택된 샘플은 중복될 수 있으며, 이는 부트스트랩 샘플링과 유사한 효과를 낳는다.

이 방법은 과적합을 방지하고 모델의 일반화 성능을 더 안정적으로 추정하는 데 도움을 준다. 그러나 무작위성으로 인해 각 실행 시 결과가 약간 달라질 수 있으며, 특히 작은 데이터셋에서는 검증 세트의 클래스 분포가 불균형해질 위험이 있다. 따라서 Stratified K-Fold 교차 검증처럼 클래스 균형을 유지해야 하는 문제에는 적합하지 않을 수 있다.

데이터 분할은 교차 검증의 첫 번째 핵심 단계로, 전체 데이터셋을 학습용과 검증용 세트로 체계적으로 나누는 과정이다. 이 과정의 목표는 모델이 학습 과정에서 보지 못한 데이터에 대한 일반화 성능을 보다 신뢰성 있게 추정하는 것이다. 단순한 홀드아웃 검증과 달리, 교차 검증은 데이터를 여러 번 반복하여 분할하고 검증함으로써 평가 결과의 변동성을 줄인다.

가장 일반적인 K-Fold 교차 검증 방식에서는 전체 데이터를 k개의 비슷한 크기의 부분 집합, 즉 폴드로 무작위 분할한다. 이후 k번의 반복 실험을 수행하며, 각 반복마다 하나의 폴드를 검증 세트로, 나머지 (k-1)개의 폴드를 학습 세트로 사용한다. 이 과정은 각 폴드가 정확히 한 번씩 검증 세트의 역할을 할 때까지 계속된다. 분할 시 데이터의 순서가 성능에 영향을 미칠 수 있는 경우를 방지하기 위해, 데이터를 분할하기 전에 셔플링을 적용하는 것이 일반적이다.

분류 문제에서 클래스 불균형이 존재할 경우, 단순한 무작위 분할은 각 폴드 내의 클래스 비율이 원본 데이터셋과 크게 달라질 수 있다. 이를 해결하기 위해 Stratified K-Fold 교차 검증이 사용된다. 이 방법은 각 폴드가 전체 데이터셋의 클래스 분포를 대표하도록 보장한다. 예를 들어, 원본 데이터에서 클래스 A와 B의 비율이 7:3이라면, 각 폴드 내에서도 대략적으로 7:3의 비율을 유지하도록 데이터를 분배한다.

사용 가능한 데이터가 매우 적은 경우에는 Leave-One-Out 교차 검증이나 Leave-P-Out 교차 검증과 같은 exhaustive 방식을 고려할 수 있다. LOOCV는 n개의 샘플이 있을 때, 하나의 샘플을 검증 세트로, 나머지 n-1개를 학습 세트로 사용하는 과정을 n번 반복한다. 이는 가장 극단적인 형태의 k-폴드 교차 검증으로, k가 샘플 수 n과 동일한 경우에 해당한다. 데이터 분할 전략의 선택은 데이터의 크기, 분포, 그리고 해결하려는 문제의 특성에 따라 결정된다.

데이터가 학습 세트와 검증 세트로 분할되면, 각 폴드에 대해 모델 학습과 검증이 순차적으로 반복된다. 일반적으로 K번의 반복이 수행되며, 각 반복에서는 하나의 폴드가 검증 세트 역할을 하고 나머지 K-1개의 폴드가 학습 세트를 구성한다.

학습 단계에서는 학습 세트 데이터를 사용하여 모델의 매개변수를 추정하거나 의사결정나무의 구조를 결정하는 등의 작업이 이루어진다. 이때 모델은 검증 세트에 대한 정보를 전혀 사용하지 않는다. 검증 단계에서는 학습된 모델을 고정된 상태로 유지한 채, 검증 세트의 입력 데이터만을 모델에 입력하여 예측값을 생성한다. 이 예측값과 검증 세트의 실제 정답 레이블을 비교하여 해당 폴드의 성능 점수를 계산한다.

이 과정은 검증 세트로 지정되는 폴드가 한 번씩 순환될 때까지 계속된다. 예를 들어, 5-폴드 교차 검증에서는 총 5개의 독립적인 모델이 학습되고 각각 다른 1/5의 데이터로 검증을 받는다. 최종적으로는 K개의 서로 다른 검증 세트에서 얻은 성능 평가 결과가 얻게 된다.

이 방식은 모든 데이터 포인트가 정확히 한 번씩 검증 세트로 사용되도록 보장한다. 따라서 단일 홀드아웃 검증에 비해 데이터를 더 효율적으로 활용하며, 평가 결과의 변동성을 줄이는 데 기여한다.

성능 평가 지표 계산 단계에서는 각 검증 세트에 대해 학습된 모델의 예측 성능을 정량적으로 측정합니다. 이를 위해 사전에 정의된 평가 지표를 사용하며, 문제의 유형(분류, 회귀 등)에 따라 적절한 지표가 선택됩니다. 예를 들어, 분류 문제에서는 정확도, 정밀도, 재현율, F1 점수, ROC-AUC 등을 사용할 수 있습니다. 회귀 문제에서는 평균 제곱 오차, 평균 절대 오차, 결정 계수 등이 일반적으로 활용됩니다.

계산 과정은 각 폴드에서 독립적으로 이루어집니다. 모델이 검증 세트의 샘플에 대해 예측을 수행하면, 이 예측값과 실제 정답 레이블을 비교하여 선택한 평가 지표의 값을 산출합니다. 이는 해당 폴드의 모델 성능을 대표하는 하나의 스칼라 값이 됩니다. 모든 폴드에 대해 동일한 평가 지표를 적용하여 일관된 비교가 가능하도록 합니다.

이 단계의 결과는 K개의 폴드에서 나온 K개의 평가 점수 집합입니다. 예를 들어, 5-폴드 교차 검증을 정확도로 평가했다면, [0.82, 0.85, 0.80, 0.83, 0.84]와 같은 5개의 값이 얻어집니다. 이 값들은 다음 단계인 결과 평균화를 통해 모델의 전반적인 예측 성능과 그 변동성을 추정하는 데 사용됩니다.

교차 검증 과정에서 각 폴드는 독립적인 검증 세트로 사용되며, 이에 대한 성능 평가 지표(예: 정확도, 정밀도, 재현율, F1 점수, RMSE 등)가 계산된다. 결과 평균화는 이렇게 얻은 여러 개의 성능 지표 값을 하나의 대표값으로 종합하는 최종 단계이다.

가장 일반적인 방법은 각 폴드에서 계산된 성능 지표의 산술 평균을 구하는 것이다. 예를 들어, 5-폴드 교차 검증을 수행하여 각 폴드의 정확도가 [0.92, 0.89, 0.94, 0.90, 0.93]으로 나왔다면, 최종 보고되는 모델 성능은 (0.92+0.89+0.94+0.90+0.93)/5 = 0.916이 된다. 평균과 함께 표준 편차나 최소/최대값을 함께 보고하는 것이 일반적이다. 이는 모델 성능의 변동성과 안정성을 보여준다.

평균화의 목적은 단일 훈련 세트와 테스트 세트 분할에 의존할 때 발생할 수 있는 우연적 편향을 줄이는 데 있다. 데이터 분할 방식에 따라 성능 평가가 크게 달라질 수 있으므로, 여러 번의 검증 결과를 평균함으로써 모델의 일반화 성능을 더 신뢰할 수 있게 추정한다. 회귀 문제에서는 평균 제곱 오차의 평균을, 불균형 데이터가 있을 경우에는 Stratified K-Fold 교차 검증 후 계산된 지표의 평균을 사용하는 등 문제 유형에 맞는 지표를 평균화한다.

교차 검증은 단일 홀드아웃 검증에 비해 데이터를 더 효율적으로 활용한다는 핵심적 장점을 가집니다. 모든 데이터 포인트가 한 번씩은 검증 세트로 사용되므로, 특히 데이터가 부족한 상황에서도 안정적인 성능 평가가 가능해집니다. 이는 모델의 일반화 성능을 더 신뢰할 수 있게 추정하도록 돕습니다.

과적합을 탐지하는 데 유용한 도구로 작동합니다. 단순히 훈련 세트에 대한 오차가 낮고 테스트 세트에 대한 오차가 높은 패턴을 반복적으로 관찰함으로써, 모델이 훈련 데이터에 지나치게 맞춰져 있다는 사실을 확인할 수 있습니다. 또한, 하이퍼파라미터 튜닝이나 모델 선택 과정에서 서로 다른 모델이나 파라미터 설정을 공정하게 비교할 수 있는 기준을 제공합니다.

마지막으로, 교차 검증 결과는 단일 숫자가 아닌 성능 점수의 분포(예: 정확도의 평균과 표준편차)로 제공됩니다. 이를 통해 모델 성능의 변동성을 정량적으로 평가할 수 있어, 추정의 안정성에 대한 추가적인 통찰을 얻을 수 있습니다.

교차 검증은 일반화 성능을 평가하는 강력한 도구이지만, 몇 가지 단점과 적용 시 주의해야 할 사항이 존재한다.

가장 큰 단점은 계산 비용이 크게 증가한다는 점이다. K-Fold 교차 검증을 사용하면 모델을 K번 학습시켜야 하므로, 단순 홀드아웃 검증에 비해 학습 시간이 약 K배 증가한다. 이는 데이터셋 규모가 크거나 모델이 복잡할 경우 실질적인 문제가 될 수 있다. 또한, 교차 검증 과정에서 데이터를 반복적으로 분할하고 학습하므로, 하이퍼파라미터 튜닝과 같은 작업과 결합하면 전체 파이프라인의 복잡성이 증가한다.

적용 시 주의사항으로는 데이터의 독립성과 무작위성 가정이 있다. 시계열 데이터나 공간 데이터처럼 관측치 간에 상관관계가 존재하는 경우, 단순 무작위 분할은 미래 정보가 과거를 예측하는 데 누출될 수 있어 비현실적으로 낙관적인 성능 평가를 초래한다[4]. 이러한 경우 시간적 순서를 고려한 분할 전략이 필요하다. 또한, 데이터 분포가 불균형할 때는 Stratified K-Fold 교차 검증을 사용하지 않으면 특정 폴드에 소수 클래스가 포함되지 않아 편향된 평가 결과를 얻을 수 있다. 마지막으로, 교차 검증 결과는 최종 모델 성능 자체가 아니라, 해당 모델이 새로운 데이터에 대해 일반화될 것으로 기대되는 성능의 추정치라는 점을 명심해야 한다.

교차 검증은 하이퍼파라미터 튜닝 과정에서 모델의 일반화 성능을 안정적으로 추정하기 위한 핵심 기법으로 활용된다. 단순히 훈련 세트와 검증 세트를 한 번 나누어 사용하는 홀드아웃 검증은 데이터 분할에 따른 성능 추정의 변동성이 크고, 검증 세트에 과도하게 적합되는 위험이 있다. 교차 검증은 이러한 문제를 완화하며, 주어진 하이퍼파라미터 조합에 대한 모델 성능을 더욱 신뢰할 수 있는 방식으로 평가한다.

가장 일반적인 접근법은 그리드 서치나 랜덤 서치와 같은 자동화된 튜닝 알고리즘 내부에 K-Fold 교차 검증을 통합하는 것이다. 예를 들어, 5-폴드 교차 검증을 사용한 그리드 서치는 다음과 같은 절차로 진행된다. 먼저, 탐색할 하이퍼파라미터 조합의 그리드를 정의한다. 그 후, 각 조합에 대해 5-폴드 교차 검증을 수행하여 5개의 검증 폴드에서 얻은 성능 점수(예: 정확도, F1 점수)의 평균을 계산한다. 최종적으로, 이 평균 검증 성능이 가장 높은 하이퍼파라미터 조합을 최적의 설정으로 선택한다.

이 과정을 통해 선택된 하이퍼파라미터는 단일 검증 세트에 의존할 때보다 데이터의 특정 부분에 덜 민감하고, 과적합의 위험을 줄이며 보다 강건한 모델 구성을 가능하게 한다. 특히 지도 학습에서 분류나 회귀 모델의 복잡도를 조절하는 파라미터(예: 의사결정나무의 최대 깊이, 서포트 벡터 머신의 규제 파라미터 C)를 튜닝할 때 표준적인 방법으로 사용된다.

교차 검증은 여러 후보 머신러닝 모델 중에서 가장 성능이 우수한 모델을 선택하는 객관적인 기준을 제공한다. 단순히 훈련 세트에 대한 성능만으로 모델을 선택하면 과적합된 모델을 선정할 위험이 크다. 교차 검증을 통해 각 모델의 일반화 성능을 반복적으로 평가함으로써, 보이지 않는 새로운 데이터에 대한 예측 능력이 가장 뛰어난 모델을 식별할 수 있다.

모델 선택 과정에서는 주로 K-Fold 교차 검증이 활용된다. 각 후보 모델에 대해 동일한 K-겹 분할을 적용하여 검증 성능을 측정하고, 그 평균을 비교한다. 이때 검증 성능의 분산도 함께 고려하여 성능이 안정적인 모델을 선호하는 것이 바람직하다. 예를 들어, 선형 회귀, 의사결정 나무, 랜덤 포레스트 모델을 비교할 때, 각 모델의 교차 검증 평균 점수를 표로 정리하면 명확하게 비교할 수 있다.

위 표에서 랜덤 포레스트 모델이 가장 낮은 평균 RMSE와 작은 표준편차를 보여 가장 우수하고 안정적인 모델로 선택될 수 있다. 이 과정은 하이퍼파라미터 튜닝과 결합되어 최적의 모델 구성을 찾는 모델 선택의 핵심 단계가 된다.

교차 검증은 과적합을 탐지하고 완화하는 핵심적인 도구이다. 단순히 훈련 세트와 테스트 세트를 한 번 나누어 평가하는 홀드아웃 검증은 특정 분할에 의해 우연히 좋은 성능이 나오거나, 데이터 분할이 모델 평가에 편향을 줄 수 있다. 교차 검증은 데이터를 여러 번 반복하여 분할하고 평가함으로써, 모델이 훈련 데이터에만 지나치게 맞춰지는 현상을 보다 일반화된 방식으로 진단할 수 있게 한다.

교차 검증을 통해 과적합을 방지하는 메커니즘은 주로 두 가지 측면에서 작동한다. 첫째, 검증 과정 자체가 과적합에 대한 조기 경보 역할을 한다. 만약 K-Fold 교차 검증에서 각 폴드마다 모델 성능의 변동이 매우 크다면, 이는 모델이 특정 훈련 데이터 하위 집합에 과도하게 의존하고 있음을 시사한다. 둘째, 교차 검증의 결과로 얻은 여러 성능 지표의 평균값은 단일 홀드아웃 검증 결과보다 훨씬 신뢰할 수 있는 일반화 성능 추정치를 제공한다. 이 추정치를 바탕으로 모델의 복잡도를 조절하거나 정규화 강도를 조정하는 등의 결정을 내릴 수 있다.

실제 적용에서는 교차 검증을 하이퍼파라미터 튜닝과 결합하여 사용한다. 예를 들어, 그리드 서치나 랜덤 서치를 수행할 때 내부적으로 교차 검증을 사용하면, 튜닝 과정이 검증 세트에 대한 과적합을 유발하는 것을 방지할 수 있다. 이렇게 선택된 최적의 하이퍼파라미터를 가진 모델은 보지 못한 새로운 데이터(테스트 세트)에 대해서도 더 견고한 성능을 발휘할 가능성이 높아진다.

홀드아웃 검증은 머신러닝 모델의 성능을 평가하는 가장 기본적이고 직관적인 방법 중 하나이다. 이 방법은 전체 데이터셋을 학습용 세트와 검증용 세트, 두 부분으로 단 한 번 분할하여 사용한다. 일반적으로 데이터의 70-80%는 훈련 데이터로, 나머지 20-30%는 테스트 데이터로 할당하는 것이 일반적이다[6].

이 방법의 가장 큰 장점은 구현이 간단하고 계산 비용이 낮다는 점이다. 모델은 훈련 세트로 한 번 학습한 후, 보지 못한 테스트 세트에 대해 한 번만 평가하면 된다. 따라서 대규모 데이터셋이나 복잡한 모델을 빠르게 평가할 때 유용하다. 또한 최종 모델 성능을 보고하는 용도로도 자주 사용된다.

그러나 홀드아웃 검증에는 몇 가지 명확한 단점이 존재한다. 평가 결과가 단일한 무작위 분할에 크게 의존한다는 점이 가장 큰 문제이다. 분할이 어떻게 되었는지에 따라 성능 추정치의 분산이 매우 커질 수 있다. 특히 데이터의 양이 적을수록 이 변동성은 더욱 심해진다. 또한 테스트 세트에 할당된 데이터는 모델 학습 과정에서 전혀 사용되지 않아, 가용 데이터를 완전히 활용하지 못한다는 비효율성도 있다.

이러한 한계 때문에 홀드아웃 검증은 주로 초기 프로토타이핑이나 데이터 양이 매우 많은 경우에 간편한 검증 방법으로 사용된다. 보다 신뢰할 수 있는 성능 평가를 위해서는 데이터를 여러 번 반복하여 샘플링하고 평가하는 K-Fold 교차 검증과 같은 방법이 일반적으로 선호된다.

부트스트랩은 통계학에서 표본 데이터로부터 반복적으로 재표본을 추출하여 통계량의 분포를 추정하는 재표집 방법이다. 이 방법은 머신러닝과 통계적 추론에서 모델의 성능이나 매개변수의 불확실성을 평가하는 데 널리 사용된다. 부트스트랩의 핵심은 주어진 원본 데이터셋에서 중복을 허용한 무작위 복원 추출을 통해 여러 개의 새로운 표본(부트스트랩 표본)을 생성하는 것이다. 각 부트스트랩 표본은 원본 데이터셋과 동일한 크기를 가지지만, 일부 데이터는 여러 번 포함되고 일부는 전혀 포함되지 않을 수 있다.

부트스트랩은 교차 검증과 유사하게 데이터의 효율적 활용과 성능 평가를 목표로 하지만, 그 접근 방식에서 차이를 보인다. 교차 검증이 데이터를 중복 없이 분할하여 검증하는 반면, 부트스트랩은 중복을 허용한 재표집을 통해 여러 평가를 생성한다. 이 방법의 주요 장점은 특히 작은 데이터셋에서도 안정적인 추정치를 제공할 수 있다는 점이다. 또한, 표준 오차, 신뢰 구간과 같은 통계량의 불확실성을 계산하는 데 유용하게 적용된다.

부트스트랩의 한계는 계산 비용이 높을 수 있다는 점이다. 수백에서 수천 번의 반복이 필요하기 때문에 대규모 데이터셋이나 복잡한 모델에서는 실행 시간이 길어질 수 있다. 또한, 부트스트랩 표본들이 원본 데이터의 분포를 완벽하게 대표하지 못할 위험이 항상 존재한다. 이 방법은 로버스트 통계 기법으로 분류되며, 앙상블 학습의 배깅 같은 알고리즘의 이론적 기반을 제공하기도 한다.

중첩 교차 검증은 하이퍼파라미터 튜닝과 모델 선택 과정에서 발생할 수 있는 낙관적 편향을 줄이기 위해 설계된 교차 검증 기법이다. 이 방법은 두 개의 교차 검증 루프를 중첩하여 사용한다. 내부 루프는 모델의 하이퍼파라미터를 선택하거나 튜닝하는 데 사용되고, 외부 루프는 튜닝된 모델의 성능을 공정하게 평가하는 데 사용된다.

일반적인 단일 K-Fold 교차 검증을 사용해 하이퍼파라미터를 튜닝하고 동일한 데이터로 성능을 평가하면, 모델이 검증 세트에 과적합되어 최종 성능 추정치가 지나치게 낙관적으로 나타나는 문제가 있다. 중첩 교차 검증은 이 문제를 해결한다. 외부 루프에서 데이터를 훈련 세트와 테스트 세트로 나눈 후, 훈련 세트만을 사용해 내부 루프를 실행한다. 내부 루프에서 최적의 하이퍼파라미터를 찾으면, 그 파라미터로 전체 외부 훈련 세트를 다시 학습시켜 별도로 떼어놓은 외부 테스트 세트에서 성능을 측정한다. 이 과정을 외부 루프의 모든 폴드에 대해 반복한다.

이 방법은 계산 비용이 매우 크다는 단점이 있다. 외부와 내부 루프를 모두 교차 검증으로 수행하면 모델 학습 횟수가 폭발적으로 증가하기 때문이다. 그러나 과적합을 방지하고 모델 성능을 보다 신뢰할 수 있게 추정할 수 있어, 최종 모델 평가나 학술 논문의 실험 설계에서 중요한 방법론으로 여겨진다.

cross_val_score 함수는 사이킷런 라이브러리에서 제공하는 가장 기본적이고 널리 사용되는 교차 검증 유틸리티이다. 이 함수는 사용자가 지정한 평가 지표를 사용하여 K-겹 교차 검증 또는 기타 교차 검증 전략을 간편하게 수행하고, 각 검증 폴드에서 얻은 성능 점수의 배열을 반환한다. 내부적으로 데이터 분할, 모델 학습, 예측, 평가의 전체 과정을 자동화하여 반복적인 코드 작성을 줄여준다.

함수의 주요 매개변수는 다음과 같다.

기본 사용 예시는 다음과 같다. cv=5를 지정하면 5-겹 교차 검증을 수행한다.

```python

from sklearn.model_selection import cross_val_score

from sklearn.ensemble import RandomForestClassifier

model = RandomForestClassifier()

scores = cross_val_score(model, X, y, cv=5, scoring='accuracy')

print("각 폴드 점수:", scores)

print("평균 점수:", scores.mean())

```

cross_val_score는 내부적으로 fit과 score 메서드를 가진 모든 사이킷런 추정기와 호환된다. scoring 매개변수에 문자열 또는 호출 가능 객체를 전달하여 다양한 평가 지표를 활용할 수 있으며, 분류, 회귀, 클러스터링 작업에 맞는 지표를 선택해야 한다. 또한 cv 매개변수에 사용자 정의 교차 검증 분할기 객체를 전달하여 계층적 K-겹 교차 검증이나 셔플 분할 등의 복잡한 전략도 적용 가능하다.

Scikit-learn 라이브러리는 KFold와 StratifiedKFold 클래스를 제공하여 각각 기본적인 K-Fold 교차 검증과 계층화된 K-Fold 교차 검증을 손쉽게 구현할 수 있게 한다. 이 클래스들은 데이터를 분할하는 인덱스 생성기 역할을 하며, 주로 cross_val_score 함수나 사용자 정의 루프와 함께 사용된다.

KFold 클래스는 데이터를 단순히 k개의 폴드로 무작위 또는 순차적으로 분할한다. 주요 매개변수로는 폴드 수(n_splits), 데이터를 섞을지 여부(shuffle), 그리고 난수 시드(random_state)가 있다. 데이터를 섞는 것은 샘플 순서에 의존성을 제거하고 평가 결과의 편향을 줄이는 데 도움이 된다. 사용 예시는 다음과 같다.

```python

from sklearn.model_selection import KFold

kf = KFold(n_splits=5, shuffle=True, random_state=42)

for train_index, val_index in kf.split(X):

X_train, X_val = X[train_index], X[val_index]

y_train, y_val = y[train_index], y[val_index]

# 모델 학습 및 평가 수행

```

반면, StratifiedKFold 클래스는 분류 문제에서 특히 중요하다. 이 클래스는 각 폴드가 전체 데이터셋의 클래스 비율을 최대한 유지하도록 분할한다. 이는 소수 클래스가 특정 폴드에 집중되지 않도록 하여 검증 신뢰도를 높인다. 사용법은 KFold와 유사하지만, split 메서드에 특성 데이터 X와 함께 레이블 데이터 y를 반드시 제공해야 한다.

```python

from sklearn.model_selection import StratifiedKFold

skf = StratifiedKFold(n_splits=5, shuffle=True, random_state=42)

for train_index, val_index in skf.split(X, y):

X_train, X_val = X[train_index], X[val_index]

y_train, y_val = y[train_index], y[val_index]

# 모델 학습 및 평가 수행

```

두 클래스의 선택 기준은 문제의 유형에 달려 있다. 일반적인 회귀 문제나 데이터의 클래스 분포가 균일한 경우에는 KFold를 사용해도 무방하다. 그러나 불균형한 클래스 분포를 가진 분류 문제에서는 StratifiedKFold를 사용하는 것이 표준적인 방법이다. 이를 통해 각 폴드에서 얻은 성능 평가 지표의 분산을 줄이고, 모델의 일반화 성능을 더 안정적으로 추정할 수 있다.

사용자 정의 교차 검증 전략은 Scikit-learn과 같은 머신러닝 라이브러리가 제공하는 기본 교차 검증 방법 외에, 연구자나 실무자가 특정 문제나 데이터의 고유한 특성에 맞춰 검증 절차를 직접 설계하는 것을 의미한다. 이는 데이터의 시간적 의존성, 계층적 구조, 불균형 분포 등 일반적인 방법으로 처리하기 어려운 복잡한 시나리오에서 필요하다.

사용자 정의 전략을 구현하는 일반적인 방법은 sklearn.model_selection 모듈의 BaseCrossValidator 클래스를 상속하여 새로운 검증기(validator) 클래스를 만드는 것이다. 사용자는 get_n_splits와 split 메서드를 반드시 구현해야 한다. split 메서드는 학습용 인덱스와 검증용 인덱스를 순차적으로 생성(yield)하는 제너레이터여야 한다. 예를 들어, 시계열 데이터의 경우 시간 순서를 유지하면서 과거 데이터로 학습하고 미래 데이터로 검증하는 롤링 윈도우 방식의 검증기를 직접 구현할 수 있다.

다른 접근법으로는, 라이브러리의 유연한 클래스를 조합하여 전략을 구성하는 방법이 있다. PredefinedSplit이나 TimeSeriesSplit을 활용하거나, KFold의 분할 방식을 제어하는 함수를 cv 매개변수에 직접 전달할 수 있다. 또한, 데이터 그룹 간의 누수를 방지하기 위해 그룹 K-Fold 교차 검증을 사용하거나, 동일한 환자의 데이터가 훈련 세트와 테스트 세트에 동시에 나타나는 것을 막기 위해 그룹 정보를 기반으로 분할할 수 있다.

이러한 사용자 정의 전략을 통해 모델 평가의 신뢰성을 높이고, 데이터의 본질적인 구조를 반영한 보다 정확한 성능 추정이 가능해진다.