커널 밀도 추정

커널 함수는 커널 밀도 추정의 핵심 구성 요소로, 각 데이터 포인트 주변에 어떻게 확률 질량을 분배할지를 결정하는 수학적 함수이다. 이 함수는 일반적으로 대칭적이고, 적분값이 1이며, 음수가 아닌 값을 가지는 확률 밀도 함수의 성질을 만족한다. 커널 함수의 선택은 추정된 밀도 곡선의 매끄러움과 형태에 직접적인 영향을 미친다.

주요 커널 함수들은 공통적으로 특정한 수학적 형태를 가지며, 각기 다른 특성을 보인다. 가장 널리 사용되는 가우시안 커널은 정규 분포의 형태를 따르며, 무한한 지지를 가져 모든 점에서 양의 가중치를 부여한다. 에파네치니코프 커널은 이론적으로 최적의 점근적 효율을 가지는 것으로 알려져 있으며, 유한한 지지를 가져 특정 범위 밖의 가중치는 0이 된다. 직사각형 커널 또는 uniform kernel은 가장 단순한 형태로, 지정된 대역폭 내에서 균일한 가중치를 부여한다.

커널 함수의 특성은 주로 그 지지와 매끄러움의 정도로 구분된다. 지지는 함수가 0이 아닌 값을 가지는 정의역의 범위를 의미한다. 무한 지지 커널은 모든 점에 대해 약간의 영향을 미치지만, 유한 지지 커널은 계산 효율성이 높을 수 있다. 매끄러움은 커널 함수의 미분 가능성과 관련이 있으며, 추정된 밀도 함수의 매끄러움을 결정한다. 일반적으로 더 매끄러운 커널을 사용하면 추정된 밀도 곡선도 더 매끄러워진다.

실제 응용에서는 데이터의 특성과 분석 목표에 따라 커널 함수를 선택한다. 가우시안 커널이 가장 보편적으로 사용되지만, 계산 비용을 줄이기 위해 유한 지지 커널을 선택하거나, 특정한 형태의 편향을 제어하기 위해 다른 커널을 실험하기도 한다.

대역폭은 커널 밀도 추정의 결과를 결정하는 가장 중요한 조절 매개변수이다. 이는 각 데이터 점 주변에 퍼지는 커널의 너비를 통제하며, 추정된 밀도 함수의 평활화 정도를 직접적으로 좌우한다.

너무 작은 대역폭을 선택하면 추정치는 각 관측 데이터 점에 과도하게 집중되어 지나치게 들쭉날쭉하고 변동이 심한 결과를 낳는다. 이는 과적합에 해당하며, 데이터의 본질적인 구조보다는 무작위적인 노이즈를 따라가는 현상이다. 반대로, 너무 큰 대역폭을 사용하면 데이터의 세부적인 특징이 완전히 사라져 지나치게 평탄하고 단순화된 추정치가 생성된다. 이는 과소적합 상태로, 중요한 패턴이나 봉우리를 놓칠 수 있다. 따라서 적절한 대역폭은 데이터에 내재된 실제 분포의 구조를 정확히 포착하면서도 무작위 변동을 적당히 평활화하는 균형점을 찾는 것이다.

대역폭 선택의 중요성은 다음과 같은 측면에서 강조된다.

결국, 대역폭 선택은 단순한 기술적 매개변수 조정을 넘어, 커널 밀도 추정의 성공 여부를 가르는 핵심 결정이다. 데이터의 규모, 변동성, 그리고 분석의 최종 목적에 맞춰 신중하게 선택되어야 한다.

가우시안 커널은 커널 밀도 추정에서 가장 널리 사용되는 커널 함수 중 하나이다. 이 커널은 표준 정규 분포의 확률 밀도 함수를 기반으로 하며, 중심에서 멀어질수록 부드럽게 감쇠하는 종 모양의 곡선 형태를 가진다. 수학적으로는 K(u) = (1/√(2π)) * exp(-½ u²)로 정의되며, 여기서 u는 표준화된 거리를 나타낸다. 이 함수는 모든 실수 값에 대해 정의되며, 무한대까지 지원을 갖는다는 특징이 있다.

가우시안 커널의 주요 장점은 그 부드러움과 수학적으로 잘 알려진 성질에 있다. 커널 함수가 무한 번 미분 가능하기 때문에 추정된 밀도 함수도 매우 매끄럽고 연속적인 곡선을 생성한다. 이는 데이터의 기본 분포를 시각적으로 매끄럽게 표현하는 데 특히 유리하다. 또한, 가우시안 프로세스나 베이즈 추론 등 다른 통계적 방법론과의 이론적 호환성도 뛰어나다.

다만, 계산 비용이 상대적으로 높고, 모든 데이터 포인트에 대해 전체적인 영향을 미치기 때문에 대역폭 선택이 추정 결과에 민감하게 작용할 수 있다. 대역폭이 너무 작으면 과도하게 들쭉날쭉한 추정이, 너무 크면 중요한 세부 정보가 소실된 과도하게 평활화된 추정이 이루어질 수 있다.

다양한 커널 함수의 성능을 비교한 연구 결과를 요약하면 다음과 같다.

이 표에서 보듯, 가우시안 커널은 최적 효율 측면에서는 에파네치니코프 커널에 약간 뒤지지만, 그 부드러움과 범용성 때문에 여전히 가장 인기 있는 선택지로 남아 있다.

에파네치니코프 커널은 커널 밀도 추정에서 자주 사용되는 커널 함수 중 하나로, 최적 효율성을 지닌 이차 커널로 알려져 있다. 이 커널의 함수 형태는 구형 또는 타원형의 돔 모양을 띤다.

에파네치니코프 커널의 수학적 정의는 다음과 같다. 주어진 대역폭 $h$와 표준화 상수에 대해, 커널 함수 $K(u)$는 $|u| \le 1$일 때 $K(u) = \frac{3}{4}(1 - u^2)$이고, 그 외의 경우에는 0이다[4]. 이는 2차 함수 형태로, 중심에서 멀어질수록 가중치가 0으로 부드럽게 감소하다가 거리가 1을 초과하면 완전히 0이 된다. 이로 인해 추정된 밀도 곡선이 매우 매끄럽고 연속적인 특성을 보인다.

이 커널의 주요 특징은 이론적으로 평균제곱오차 기준에서 최적의 효율을 갖는다는 점이다. 즉, 동일한 대역폭을 사용할 때, 에파네치니코프 커널은 많은 다른 커널 함수들보다 점근적 효율성이 높다. 그러나 실제 구현에서는 가우시안 커널이나 다른 커널과의 성능 차이가 미미한 경우가 많다. 이 커널은 지원 구간이 유한하다는 점에서 직사각형 커널과 유사하지만, 경계에서 불연속이 아닌 부드러운 감쇠를 보인다는 차이가 있다.

에파네치니코프 커널은 계산 효율이 좋고 이론적으로 우수한 특성을 지녀 널리 참조되지만, 실제 응용에서는 계산의 편의성이나 무한 지원 구간이 필요한 경우 가우시안 커널이 더 자주 선택되기도 한다.

직사각형 커널은 커널 밀도 추정에서 사용되는 가장 단순한 형태의 커널 함수 중 하나이다. 이 커널은 때로 상자형 커널 또는 균일 커널이라고도 불린다. 그 함수 형태는 중심점을 기준으로 일정 거리 내에서는 동일한 상수값을 가지며, 그 외의 범위에서는 0의 값을 가진다. 수학적으로는 주어진 대역폭 *h*에 대해, 점 *x*에서의 커널 값 *K(u)*는 |u| ≤ 1/2일 때 1의 값을, 그렇지 않을 때는 0의 값을 갖도록 정의된다[5]. 이는 각 데이터 포인트가 그 주변의 일정 구간에 균일한 '상자' 형태의 영향을 미친다는 것을 의미한다.

이 커널의 주요 특징은 계산이 매우 간단하고 직관적이라는 점이다. 그러나 그 단순함 때문에 발생하는 단점도 명확하다. 추정된 밀도 함수가 매끄럽지 않고 계단 형태를 띠게 되어, 연속적인 데이터의 분포를 표현하는 데는 적합하지 않을 수 있다. 또한, 커널 함수의 1차 미분이 불연속이기 때문에 추정된 밀도 곡선도 미분 불가능한 지점을 가질 수 있다. 다음은 직사각형 커널과 다른 일반적인 커널 함수의 간략한 비교이다.

따라서 직사각형 커널은 개념 이해나 교육적 목적, 또는 계산 효율성이 극도로 중요한 특수한 상황을 제외하고는 실제 데이터 분석에서 널리 사용되지 않는다. 보다 일반적인 응용 분야에서는 가우시안 커널이나 에파네치니코프 커널과 같이 더 매끄러운 추정 결과를 제공하는 커널 함수가 선호된다.

규칙 기반 방법은 대역폭 선택을 위해 데이터의 분포 특성(예: 표본 크기, 분산, 범위)을 기반으로 한 수학적 공식을 사용하는 접근법이다. 이 방법은 계산 비용이 저렴하고 명시적인 공식을 제공하기 때문에 빠르게 적용할 수 있다는 장점이 있다. 그러나 데이터의 실제 복잡한 구조를 완전히 반영하지 못할 수 있으며, 특히 다봉 분포나 비정규 분포에서 성능이 저하될 수 있다.

가장 널리 알려진 규칙은 스코트 규칙과 실버먼 규칙이다. 스코트 규칙은 데이터가 정규 분포를 따른다는 가정 하에 최적의 대역폭을 제공한다. 이 규칙에 따르면, 1차원 데이터에 대한 대역폭 *h*는 *h = 1.06σn^{-1/5}*로 계산된다. 여기서 *σ*는 표본 표준편차이고 *n*은 표본 크기이다. 실버먼 규칙은 스코트 규칙을 개선한 것으로, 표준편차와 사분위 범위를 모두 고려하여 더 강건한 추정을 제공한다. 실버먼 규칙의 공식은 *h = 0.9 min(σ, IQR/1.34) n^{-1/5}*이다. 여기서 *IQR*은 사분위 범위이다.

다른 규칙 기반 방법으로는 정규 참조 규칙이 있다. 이는 추정 대상 밀도 함수가 정규 분포라는 기준 모형에 가깝다는 가정에서 출발한다. 이 방법은 커널 함수의 형태와 데이터의 차원에 의존하는 상수를 포함하는 일반화된 공식을 사용한다. 예를 들어, 가우시안 커널을 사용하는 1차원 데이터의 경우, 최소화하려는 평균제곱오차 기준에 따라 대역폭이 결정된다.

이러한 규칙들은 탐색적 데이터 분석이나 대역폭 선택의 초기값 설정에 유용하게 사용된다. 그러나 실제 응용에서는 데이터의 특성을 더 잘 반영하는 교차 검증 기반 방법과 함께 사용되거나, 그 결과와 비교 검토되는 경우가 많다.

교차 검증 기반 방법은 주어진 데이터를 활용하여 대역폭 매개변수를 최적화하는 데이터 중심적 접근법이다. 이 방법의 핵심 아이디어는 일부 데이터를 '훈련'에, 나머지를 '검증'에 사용하여 추정된 밀도 함수가 보이지 않는 데이터를 얼마나 잘 설명하는지 평가하는 것이다. 가장 널리 사용되는 기준은 최대우도교차검증과 최소제곱교차검증이다.

최대우도교차검증은 로그우도를 최대화하는 대역폭을 선택한다. 구체적으로, i번째 관측치를 제외한 나머지 n-1개의 데이터로 커널 밀도 추정을 수행한 후, 이 추정치가 제외된 i번째 관측치에서 갖는 로그 우도의 합을 최대화하는 대역폭 h를 찾는다. 이 방법은 직관적이지만, 대역폭이 지나치게 작아져 분산이 커지는 과적합 경향이 있을 수 있다[7].

최소제곱교차검증은 추정된 밀도 함수와 실제 알려지지 않은 밀도 함수 사이의 적분제곱오차를 최소화하는 것을 목표로 한다. 실제 밀도 함수는 알 수 없으므로, 이 오차의 추정량을 구성하여 최소화한다. 이 방법은 일반적으로 더 안정적인 대역폭을 제공하는 경향이 있지만, 계산 비용이 더 클 수 있다. 다른 방법으로는 부트스트랩을 활용한 교차 검증도 존재한다.

이러한 교차 검증 방법들은 데이터의 분포 형태에 대한 강한 사전 가정 없이 대역폭을 선택할 수 있게 해주지만, 계산량이 많고 표본 크기가 매우 작을 때는 불안정한 결과를 낳을 수 있다.

커널 밀도 추정은 데이터 시각화에서 1차원 데이터 또는 다변량 데이터의 확률 밀도 함수를 부드러운 곡선이나 곡면으로 시각화하는 데 널리 사용된다. 히스토그램과 유사하게 데이터의 분포 형태를 보여주지만, 계급 구간과 같은 불연속적인 구분 없이 연속적인 추정치를 제공한다는 점에서 차이가 있다. 이를 통해 데이터가 집중된 영역과 희소한 영역을 직관적으로 파악할 수 있다.

1차원 데이터의 경우, 각 데이터 포인트에 커널 함수(예: 가우시안 커널)를 위치시키고 이를 모두 합산하여 생성된 부드러운 곡선이 밀도 추정 곡선이 된다. 이 곡선은 확률 밀도의 높고 낮음을 보여주며, 최빈값이 여러 개인 다봉 분포를 식별하는 데 특히 유용하다. 대역폭 매개변수는 곡선의 부드러움을 조절하며, 너무 작으면 과도하게 들쭉날쭉한 곡선이, 너무 크면 중요한 세부 정보가 소실된 과도하게 평탄한 곡선이 생성된다.

2차원 또는 3차원 다변량 데이터의 경우, 커널 밀도 추정은 등고선 플롯이나 3차원 표면 플롯으로 시각화될 수 있다. 예를 들어 지리적 데이터에서 포인트 데이터(예: 범죄 발생 위치, 상점 위치)의 공간적 집중 패턴을 부드러운 열지도 형태로 표현하는 데 활용된다. 이는 단순한 점의 분포를 보는 것보다 지역적 핫스팟을 명확히 드러내준다.

이러한 시각화는 통계적 분석의 탐색적 데이터 분석 단계에서 데이터의 기본적인 분포 특성을 이해하고, 이후 모델링이나 가설 수립을 위한 기초 자료로 활용된다.

커널 밀도 추정은 군집 분석에서 데이터의 밀도 분포를 기반으로 군집을 식별하는 데 활용된다. 이 방법은 데이터 공간에서 밀도가 높은 영역을 군집의 중심으로 간주하고, 밀도가 낮은 영역을 군집 간 경계로 해석한다. K-평균 알고리즘이나 계층적 군집화와 같은 전통적인 거리 기반 방법과 달리, 밀도 기반 군집 분석은 사전에 군집의 개수를 지정할 필요가 없으며 임의의 형태의 군집을 발견할 수 있다는 장점을 가진다.

가장 대표적인 밀도 기반 군집 알고리즘인 DBSCAN은 커널 밀도 추정의 개념과 직접적으로 연관된다. DBSCAN은 주어진 점 주변의 반경(ε) 내에 존재하는 데이터 점의 수(최소점 수, MinPts)를 계산하여 핵심 점, 경계 점, 잡음을 구분한다. 이는 본질적으로 각 점에서의 데이터 밀도를 직사각형 커널을 사용하여 추정하는 것과 유사하다. 커널 밀도 추정을 적용하면, DBSCAN의 단순한 개수(count) 기반 밀도 측정을 다양한 커널 함수를 통한 연속적인 밀도 추정값으로 대체할 수 있어 군집 경계를 더 부드럽고 정확하게 정의하는 데 도움이 된다.

커널 밀도 추정을 군집 분석에 적용할 때의 주요 단계는 다음과 같다. 먼저 전체 데이터셋에 대해 커널 밀도 추정을 수행하여 확률 밀도 함수(PDF)를 생성한다. 그 다음, 이 밀도 지도에서 지역적 최댓값(피크)을 찾아 각각을 잠재적인 군집 중심으로 식별한다. 마지막으로, 분수령 알고리즘과 같은 기법을 사용하여 각 데이터 점을 가장 가까운 밀도 피크에 할당하거나, 특정 밀도 등고선을 기준으로 군집 영역을 구분한다. 이 방법은 특히 배경 잡음이 많거나 군집의 밀도가 서로 다른 복잡한 데이터셋에서 효과적이다.

이러한 밀도 기반 접근법의 한계는 대역폭 선택에 민감하다는 점이다. 대역폭이 너무 작으면 과도하게 많은 군집이 생성되고, 너무 크면 중요한 군집 구조를 놓칠 수 있다. 따라서 군집 분석의 성능을 최적화하기 위해서는 데이터의 특성에 맞는 적절한 커널 함수와 대역폭을 선택하는 과정이 필수적이다.

커널 밀도 추정은 데이터의 확률 밀도 함수를 추정하는 비모수적 방법으로, 이상치 탐지에 효과적으로 활용된다. 이 방법은 데이터 포인트 주변의 국소적 밀도를 계산하여, 상대적으로 낮은 밀도를 가진 영역에 위치한 관측치를 이상치로 의심할 수 있는 근거를 제공한다. 밀도 기반 이상치 탐지의 핵심 아이디어는 정상 데이터는 고밀도 영역에 모여 있고, 이상치는 저밀도 영역에 흩어져 있다는 가정이다.

구체적인 절차는 먼저 전체 데이터셋에 대해 커널 밀도 추정을 수행하여 각 데이터 포인트에서의 추정된 밀도값을 계산하는 것이다. 그런 다음, 이 밀도값에 기반하여 임계값을 설정한다. 임계값 설정 방법은 여러 가지가 있다. 예를 들어, 밀도값의 분포를 분석하여 하위 α%에 해당하는 데이터를 이상치로 분류하거나, 밀도값의 평균과 표준편차를 이용하여 정규 분포를 가정하고 일정 표준편차 이하의 값을 갖는 포인트를 탐지할 수 있다. 이 접근법의 장점은 데이터의 분포 형태에 대한 강한 사전 가정이 필요하지 않다는 점이다.

커널 밀도 추정 기반 이상치 탐지의 성능은 대역폭 선택에 크게 의존한다. 대역폭이 너무 작으면 추정된 밀도 함수가 지나치게 울퉁불퉁해져서 정상 데이터 영역 내에서도 많은 국소적 저밀도 영역이 생성되어 위양성이 증가할 수 있다. 반대로 대역폭이 너무 크면 밀도 함수가 과도하게 평활화되어 이상치와 정상 데이터의 밀도 차이가 뚜렷하지 않아 위음성이 증가할 수 있다. 따라서 이상치 탐지를 목적으로 할 때는 일반적인 밀도 추정보다 더 신중한 대역폭 최적화가 요구된다.

이 방법은 다변량 커널 밀도 추정을 통해 다차원 데이터의 이상치 탐지로 자연스럽게 확장된다. 다차원 공간에서 데이터의 밀도를 추정함으로써 변수 간의 복잡한 상호작용을 고려한 이상치를 발견할 수 있다는 장점이 있다. 그러나 차원의 저주 현상으로 인해 고차원 데이터에서는 모든 영역의 밀도 추정값이 매우 낮아져 이상치를 구분하기 어려워질 수 있다는 한계도 존재한다[9].

Python의 SciPy와 scikit-learn 라이브러리는 커널 밀도 추정을 구현하고 적용하는 데 널리 사용되는 도구를 제공한다. 두 라이브러리는 서로 다른 접근 방식과 사용 사례를 가지고 있어, 사용자는 분석 목적에 맞게 선택할 수 있다.

scikit-learn의 sklearn.neighbors.KernelDensity 클래스는 scikit-learn의 일관된 API 디자인을 따르며, 다른 기계 학습 모델과의 통합이 용이하다. 이 클래스는 fit과 score_samples 메서드를 통해 데이터를 학습하고 새로운 지점에서의 로그 확률 밀도를 추정한다. 주로 군집 분석이나 생성 모델의 구성 요소로 활용된다. 반면, SciPy의 scipy.stats.gaussian_kde 클래스는 순수한 밀도 추정에 초점을 맞추며, 단변량 및 다변량 데이터에 대한 추정 객체를 생성하고 evaluate 메서드로 밀도를 계산한다. 이는 통계적 분석과 시각화에 더 직접적으로 사용된다.

주요 구현 상의 차이점은 다음 표와 같다.

사용 예시로, scikit-learn을 이용한 밀도 추정은 먼저 KernelDensity(bandwidth=0.5, kernel='gaussian')으로 모델을 초기화한 후 fit 메서드로 학습시키고 score_samples로 평가한다. SciPy는 gaussian_kde(dataset)으로 추정기를 생성한 후 evaluate(grid_points)를 호출하여 그리드 지점에서의 밀도 값을 얻는다. 대규모 데이터셋을 다루거나 다른 기계 학습 파이프라인에 통합할 때는 scikit-learn이 유리하며, 빠른 프로토타이핑이나 표준 가우시안 커널을 사용한 분석에는 SciPy가 간편하다.

R 언어는 통계학 및 데이터 과학 분야에서 널리 사용되며, 커널 밀도 추정을 위한 강력하고 다양한 기능을 제공합니다. 기본 stats 패키지의 density() 함수가 핵심 도구로, 사용이 간편하면서도 다양한 커널 함수와 대역폭 선택 방법을 지원합니다.

주요 함수와 패키지는 다음과 같습니다.

density() 함수를 사용한 기본적인 예제는 다음과 같습니다.

```r

# 데이터 생성

data <- rnorm(100)

# 커널 밀도 추정 실행 (가우시안 커널, Silverman의 규칙으로 대역폭 선택)

dens_est <- density(data, bw = "nrd0", kernel = "gaussian")

# 결과 플롯

plot(dens_est, main = "Kernel Density Estimate")

```

고차원 데이터를 다루거나 보다 정교한 분석이 필요할 경우, ks 패키지의 kde() 함수를 사용합니다. 이 함수는 자동으로 적절한 대역폭 행렬을 선택할 수 있으며, 2차원 및 3차원 등고선 플롯이나 3차원 표면 플롯을 쉽게 생성할 수 있습니다. R의 ggplot2 패키지와도 연동하여 고품질의 시각화를 구현하는 것이 일반적입니다.