PolynomialFeatures

degree 매개변수는 PolynomialFeatures 변환기가 생성할 다항식의 최고 차수를 결정한다. 이 값은 양의 정수로 지정되며, 기본값은 2이다. 예를 들어, degree=2로 설정하면 원본 특성들 간의 2차항(제곱항)과 교호작용항(두 특성의 곱)이 생성된다. degree 값을 높일수록 더 복잡한 고차 다항식 특성들이 생성되어, 데이터에 존재할 수 있는 더 복잡한 비선형 관계를 모델링할 수 있는 잠재력을 제공한다.

그러나 degree 값을 지나치게 높게 설정하는 것은 주의가 필요하다. degree가 높아질수록 생성되는 특성의 수가 기하급수적으로 증가하여 차원의 저주 문제를 야기할 수 있다. 이는 계산 비용을 급격히 증가시키고, 모델이 훈련 데이터에 과도하게 맞춰지는 과적합 위험을 높인다. 따라서 적절한 degree 값은 교차 검증 등의 방법을 통해 데이터의 복잡도와 모델의 일반화 성능을 고려하여 실험적으로 결정하는 것이 일반적이다.

실제 적용에서는 degree=2 또는 degree=3이 가장 흔히 사용되며, 이는 많은 실제 문제에서 충분한 비선형성을 포착하면서도 계산 효율성을 유지할 수 있기 때문이다. 고차 다항식 특성을 생성한 후에는 특성들의 값 범위 차이가 매우 커질 수 있으므로, 표준화나 정규화와 같은 스케일링 작업을 수행하는 것이 모델 학습의 안정성과 성능에 중요하다.

interaction_only는 PolynomialFeatures 변환기의 주요 매개변수 중 하나로, 다항식 특성 생성 시 각 특성의 자기 자신의 거듭제곱(예: x^2, x^3)을 포함할지 여부를 결정한다. 이 매개변수의 기본값은 False이며, 이 경우 degree 매개변수에 지정된 차수까지 모든 특성의 거듭제곱과 교차항을 생성한다. interaction_only를 True로 설정하면, 특성 간의 순수한 교차항(예: x*y, x*y*z)만 생성하고, 각 특성의 거듭제곱 항(예: x^2)은 생성하지 않는다.

이 매개변수의 설정은 특성 공학의 목적에 따라 달라진다. 순수한 상호작용 효과만을 모델링하고자 할 때 유용하다. 예를 들어, 두 개의 입력 특성 A와 B가 있을 때, A와 B 각각의 제곱항보다는 A와 B의 곱(A*B)이 실제 목표 변수와 더 밀접한 관계를 가질 수 있다. 특히 물리 법칙이나 도메인 지식에서 곱셈 형태의 관계가 명확한 경우, interaction_only=True를 사용하면 불필요한 특성의 증가를 방지하면서 모델의 해석력을 높일 수 있다.

interaction_only 매개변수를 True로 설정하는 것은 차원의 저주를 완화하고 과적합 위험을 낮추는 데에도 기여한다. 불필요한 고차항을 생성하지 않음으로써 최종 특성 공간의 차원을 크게 줄일 수 있어, 계산 효율성과 모델의 일반화 성능을 동시에 개선할 수 있다. 이는 선형 회귀나 로지스틱 회귀와 같은 선형 모델을 사용할 때 중요한 고려 사항이 된다.

include_bias 매개변수는 생성된 다항식 특성 행렬에 편향(절편) 항을 포함할지 여부를 결정한다. 이 매개변수의 기본값은 True로 설정되어 있으며, 이 경우 생성된 특성 행렬의 첫 번째 열로 모든 값이 1인 열이 추가된다. 이 열은 선형 회귀 모델이나 다른 선형 모델에서 사용되는 절편(intercept) 항에 해당한다.

include_bias 매개변수를 False로 설정하면 이 편향 열이 생성되지 않는다. 이는 사용하는 기계 학습 알고리즘이 자체적으로 절편 항을 처리하거나, 사용자가 별도로 절편을 모델링하고자 할 때 유용하다. 예를 들어, scikit-learn의 일부 추정기(estimator)는 fit_intercept 매개변수를 통해 절편 계산을 별도로 제어할 수 있다. PolynomialFeatures의 출력에 편향 열이 이미 포함되어 있다면 이러한 추정기에서 중복으로 절편을 계산할 수 있으므로, include_bias=False로 설정하여 조정해야 할 수 있다.

따라서 include_bias 설정은 전체 특성 공학 파이프라인과 최종 모델의 절편 처리 방식을 고려하여 결정하는 것이 중요하다. 대부분의 경우 편의성을 위해 기본값인 True를 사용하되, 파이프라인 구성에 따라 명시적으로 False를 선택하여 불필요한 중복이나 모델의 해석 복잡성을 피할 수 있다.

PolynomialFeatures를 사용하여 특성의 차수를 높이면 생성되는 특성의 개수가 기하급수적으로 증가한다. 이는 차원의 저주라는 현상을 초래한다. 차원의 저주란 특성 공간의 차원이 증가함에 따라 데이터의 밀도가 급격히 희박해져서 모델 학습에 필요한 데이터 양이 폭발적으로 증가하는 문제를 말한다. 예를 들어, 원본 특성이 10개이고 degree=3으로 설정하면, 생성되는 다항식 특성의 수는 수백 개에 달할 수 있다.

이렇게 차원이 폭발적으로 증가하면 몇 가지 심각한 문제가 발생한다. 첫째, 모델의 계산 복잡도가 매우 높아져 학습과 예측에 걸리는 시간이 크게 증가한다. 둘째, 고차원 공간에서는 모든 데이터 포인트가 서로 멀리 떨어져 있는 것처럼 보이게 되어, 모델이 의미 있는 패턴을 학습하기 어려워진다. 셋째, 과적합의 위험이 매우 커진다. 모델이 노이즈까지 학습하여 훈련 데이터에는 매우 정확하게 맞지만, 새로운 데이터에 대한 일반화 성능은 크게 떨어질 수 있다.

따라서 PolynomialFeatures를 적용할 때는 degree 매개변수를 신중하게 선택해야 한다. 무작정 차수를 높이는 것은 오히려 성능을 저하시킬 수 있다. 일반적으로 2차나 3차 정도로 시작하는 것이 권장된다. 또한, 생성된 고차원 특성에 대해 특성 선택 기법을 적용하여 불필요한 특성을 제거하거나, 정규화를 포함한 모델을 사용하여 과적합을 방지하는 전략이 필요하다.

PolynomialFeatures 변환을 사용하면 원본 특성의 고차항과 교호작용항이 생성되어 특성 공간의 차원이 급격히 증가한다. 이로 인해 모델이 훈련 데이터에 지나치게 복잡하게 적응하여 과적합이 발생할 위험이 크게 높아진다. 특히 데이터의 샘플 수에 비해 생성된 특성의 수가 많을 때 이 문제는 두드러진다.

과적합을 방지하기 위해 PolynomialFeatures 사용 시에는 반드시 정규화 기법을 함께 적용하는 것이 일반적이다. 선형 모델의 경우, L1 정규화(Lasso)나 L2 정규화(Ridge)를 결합하여 모델의 복잡도를 제어한다. 또는 교차 검증을 통해 최적의 다항식 차수를 선택하거나, 중요하지 않은 특성을 제거하는 특성 선택 과정을 거치는 것도 효과적인 방법이다.

따라서 이 변환 기법은 모델의 표현력을 높이는 강력한 도구이지만, 그 사용에는 주의가 필요하다. 적절한 정규화 전략 없이 고차수 다항식 특성을 그대로 선형 회귀나 다른 기계 학습 알고리즘에 입력하면, 훈련 데이터에서는 우수한 성능을 보이지만 새로운 테스트 데이터에서는 형편없는 일반화 성능을 보이는 결과를 초래할 수 있다.

PolynomialFeatures 변환을 적용하면 원본 특성의 곱셈과 거듭제곱으로 인해 생성된 새로운 특성들의 값 범위가 크게 달라질 수 있다. 예를 들어, 원본 특성의 값이 0에서 10 사이인 경우, 그 제곱 특성은 0에서 100 사이의 값을 가지게 되어 스케일 차이가 발생한다. 선형 회귀나 서포트 벡터 머신과 같이 거리 기반의 알고리즘은 이러한 스케일 차이에 민감하게 반응하여, 값의 범위가 큰 특성에 지나치게 가중치를 부여하는 문제가 생길 수 있다.

이를 해결하기 위해 변환 후 스케일링을 수행하는 것이 일반적이다. 표준화나 정규화 등의 스케일링 기법을 적용하여 모든 특성이 비슷한 범위를 갖도록 조정하면, 모델이 각 특성을 공정하게 학습할 수 있다. scikit-learn 라이브러리에서는 Pipeline을 사용하여 PolynomialFeatures 변환과 StandardScaler 같은 스케일링 단계를 순차적으로 결합하는 것이 효율적인 워크플로우로 권장된다.

스케일링은 모델의 수렴 속도를 높이고, 과적합 위험을 줄이며, 최종 예측 성능을 안정화하는 데 기여한다. 따라서 다항식 특성 생성은 비선형 관계를 포착하는 강력한 도구이지만, 이를 효과적으로 활용하기 위해서는 반드시 후속 스케일링 과정을 고려해야 한다.