시그모이드 함수 (r1)

표준 시그모이드 함수는 가장 일반적으로 사용되는 시그모이드 함수 형태로, 로지스틱 함수라고도 불린다. 이 함수는 실수 전체를 입력으로 받아 0과 1 사이의 값을 출력한다. 수학적으로는 S(x) = 1 / (1 + e^(-x)) 또는 동치인 S(x) = e^x / (e^x + 1)로 정의된다. 여기서 e는 자연로그의 밑인 자연상수를 나타낸다.

함수의 그래프는 S자 모양의 곡선을 그리며, 입력값 x가 음의 무한대로 갈수록 함수값은 0에 점근하고, 양의 무한대로 갈수록 1에 점근한다. 중심점인 x=0에서의 함수값은 정확히 1/2이다. 이 함수는 모든 실수에서 연속이며 무한히 미분 가능하다는 특징을 가진다.

표준 시그모이드 함수는 로지스틱 함수의 특별한 형태이며, 이를 일반화한 여러 변형이 존재합니다. 가장 일반적인 형태는 로지스틱 함수로, S(x) = 1 / (1 + e^{-k(x - x0)})로 표현됩니다. 여기서 k는 곡선의 기울기(성장률)를 결정하는 매개변수이며, x0는 곡선의 중심점(중간값이 0.5가 되는 지점)을 나타냅니다. 표준 시그모이드는 k=1, x0=0인 특수한 경우에 해당합니다.

이 일반화된 형태는 다양한 응용 분야에서 유연하게 사용됩니다. 예를 들어, k 값을 크게 하면 계단 함수에 가까운 급격한 변화를 모델링할 수 있고, 작게 하면 완만한 변화를 표현할 수 있습니다. 중심점 x0를 조정함으로써 함수의 출력이 0.5가 되는 임계점을 원하는 위치로 이동시킬 수 있습니다. 이는 로지스틱 회귀 분석에서 독립 변수의 척도나 데이터 분포에 맞춰 모델을 조정할 때 유용하게 활용됩니다.

이러한 일반화는 시그모이드 곡선이 단순한 S자 모양을 넘어서, 생물학적 성장, 화학 반응 속도, 시장 확산 모델 등 다양한 자연 현상과 사회 현상을 더 정확하게 기술하는 데 기여합니다.

시그모이드 함수의 출력값은 항상 0과 1 사이의 실수 값을 가집니다. 입력값이 음의 무한대로 갈수록 함수값은 0에 점근하며, 입력값이 양의 무한대로 갈수록 함수값은 1에 점근합니다. 그러나 정확히 0이나 1이 되는 점은 존재하지 않습니다. 이 특성 덕분에 함수의 출력을 확률로 해석하는 데 널리 사용됩니다.

이 함수는 단조 증가 함수입니다. 즉, 입력값 x가 증가하면 함수값 S(x)도 항상 증가합니다. 도함수는 항상 양수이기 때문에 그래프 상에서 절대로 감소하는 부분이 없습니다. 이 단조성은 함수의 역함수가 존재함을 보장하며, 이 역함수는 로짓 함수(logit function)라고 불립니다.

출력 범위가 제한되어 있다는 점은 인공신경망에서 그래디언트 소실 문제를 일으킬 수 있는 원인이 되기도 합니다. 또한, 입력값의 크기에 상관없이 출력이 0과 1 사이로 압축되기 때문에, 입력의 절대적 크기에 대한 정보가 상대적으로 약해질 수 있습니다.

시그모이드 함수는 실수 전체 구간에서 무한히 미분 가능한 매끄러운 함수이다. 이는 함수의 도함수를 구할 수 있고, 그 도함수 역시 연속이며 미분 가능함을 의미한다.

시그모이드 함수의 도함수는 함수 자신을 이용하여 간단하게 표현된다. S'(x) = S(x) * (1 - S(x))라는 관계가 성립한다[1]. 이 공식은 특히 역전파 알고리즘을 사용하는 신경망 학습에서 계산상의 이점을 제공한다. 기울기를 계산할 때 함수값 S(x)만 알면 도함수값을 즉시 얻을 수 있기 때문이다.

도함수의 형태에서 알 수 있듯이, 함수의 출력값이 0 또는 1에 매우 가까워지면 도함수의 값은 0에 수렴한다. 이 특성은 기울기 소실 문제를 일으키는 주요 원인이 된다. 입력의 절대값이 큰 영역에서 함수의 기울기가 거의 0이 되어, 신경망의 가중치 업데이트가 매우 느려지거나 멈출 수 있다.

함수의 2차 도함수 또한 구할 수 있으며, 변곡점은 함수값이 정확히 1/2이 되는 x=0 지점에 위치한다. 이 점을 기준으로 함수의 모양이 위로 볼록한 상태에서 아래로 볼록한 상태로 바뀐다.

시그모이드 함수는 인공 신경망의 초기 역사에서 가장 널리 사용된 활성화 함수 중 하나이다. 이 함수는 뉴런의 출력을 0과 1 사이의 연속적인 값으로 압축하여, 신경망이 비선형적인 결정 경계를 학습할 수 있게 하는 핵심적인 역할을 했다. 특히 다층 퍼셉트론(MLP)과 같은 피드포워드 신경망에서 은닉층과 출력층의 활성화 함수로 자주 채택되었다.

이 함수가 신경망에 적용될 때, 각 뉴런의 가중합(입력과 가중치의 선형 조합)은 시그모이드 함수를 통과하여 최종 출력값을 생성한다. 출력값이 0과 1 사이로 제한되기 때문에, 신경망의 출력을 확률로 해석하기에 매우 적합했다. 이러한 특성 덕분에 이진 분류 문제에서 출력층의 활성화 함수로 사용되었으며, 출력값은 특정 클래스에 속할 확률을 의미했다.

역전파 알고리즘의 발전과 함께, 시그모이드 함수의 미분 가능성은 신경망 학습의 핵심이 되었다. 경사 하강법을 통해 가중치를 조정하기 위해서는 활성화 함수의 도함수가 필요했고, 시그모이드 함수는 모든 점에서 매끄럽게 미분 가능했기 때문에 오차의 기울기를 네트워크의 이전 층으로 효율적으로 전파할 수 있었다. 이는 신경망이 복잡한 패턴을 학습하는 데 중요한 기여를 했다.

그러나 심층 신경망이 등장하면서 시그모이드 함수는 몇 가지 심각한 한계로 인해 은닉층에서의 사용이 줄어들었다. 가장 큰 문제는 기울기 소실 현상이었다. 함수의 도함수 값이 입력값이 0에서 멀어질수록 매우 빠르게 0에 가까워졌기 때문에, 여러 층을 거치며 역전파되는 기울기가 급격히 줄어들어 깊은 네트워크의 학습이 매우 느리거나 불가능해지는 경우가 많았다. 또한, 함수의 출력이 0을 중심으로 하지 않아 학습 과정이 비효율적일 수 있다는 지적도 받았다.

시그모이드 함수는 출력값을 0과 1 사이로 압축한다는 점에서 확률값으로 해석하기에 매우 적합하다. 이 특성 덕분에 로지스틱 회귀에서 사건 발생 확률을 모델링하는 데 널리 사용된다. 또한 함수가 모든 점에서 매끄럽고 미분 가능하며, 그 도함수가 S'(x) = S(x)(1 - S(x))라는 간단한 형태를 가진다. 이는 역전파 알고리즘을 통한 신경망 학습 시 그래디언트 계산을 용이하게 만드는 장점이 된다.

그러나 심층 신경망에서 활성화 함수로 사용될 때는 몇 가지 심각한 한계를 보인다. 가장 큰 문제는 기울기 소실 현상이다. 입력값의 절대값이 커지면 함수의 기울기가 0에 매우 가까워지기 때문에, 여러 층을 거치며 역전파되는 그래디언트가 급격히 줄어들어 학습이 거의 정체된다. 또한 함수의 출력이 0을 중심으로 하지 않아 출력의 평균이 0이 아니므로, 그래디언트 업데이트가 지그재그 패턴을 보여 학습 효율이 떨어진다.

계산 측면에서도 비효율적인 부분이 있다. 지수 함수 계산은 상대적으로 비용이 높은 연산에 속한다. 특히 대규모 신경망이나 임베디드 시스템에서는 이 계산 부하가 성능 저하의 원인이 될 수 있다. 이러한 한계들로 인해, 심층 신경망의 은닉층에서는 ReLU 함수나 그 변형들이 시그모이드 함수를 대체하는 경우가 많다.

tanh 함수는 쌍곡탄젠트(hyperbolic tangent) 함수의 약자로, 수학적으로는 tanh(x) = (e^x - e^{-x}) / (e^x + e^{-x})로 정의된다. 이 함수는 시그모이드 함수와 밀접한 관계가 있으며, 표준 시그모이드 함수를 선형 변환하여 얻을 수 있다. 구체적으로, tanh(x) = 2 * σ(2x) - 1이 성립한다[3].

tanh 함수의 출력 범위는 개구간 (-1, 1)이며, 입력값이 음의 무한대로 갈수록 -1에, 양의 무한대로 갈수록 1에 수렴한다. 이는 출력값이 0을 중심으로 대칭이라는 점에서 표준 시그모이드 함수와 구별되는 특징이다. 또한 tanh 함수는 모든 실수에서 미분 가능하며, 그 도함수는 1 - tanh²(x)로 표현된다.

초기 인공신경망에서는 출력 범위가 0 중심이라는 특성 때문에 tanh 함수가 표준 시그모이드 함수보다 선호되기도 했다. 출력 평균이 0에 가까우면 이후 계층으로의 입력이 편향되지 않아 학습이 더 안정적으로 진행될 수 있다고 여겨졌기 때문이다. 또한 도함수의 최댓값이 시그모이드 함수보다 크기 때문에, 그래디언트 소실 문제가 상대적으로 덜 심각할 수 있다. 그러나 여전히 입력의 절댓값이 커지면 도함수가 0에 가까워지는 포화 문제는 존재한다.

ReLU는 Rectified Linear Unit의 약자로, 입력값이 0보다 크면 그 값을 그대로 출력하고, 0 이하이면 0을 출력하는 함수이다. 수식으로는 f(x) = max(0, x)로 표현된다. 이 함수는 2010년대 이후 심층 신경망에서 가장 널리 사용되는 활성화 함수가 되었다.

시그모이드 함수와 비교했을 때 ReLU의 가장 큰 장점은 계산의 단순함과 기울기 소실 문제의 완화이다. 시그모이드 함수는 입력값이 극단적일 때 기울기가 0에 가까워져 학습이 느려지는 문제가 있지만, ReLU는 양의 영역에서 기울기가 항상 1이기 때문에 역전파 과정이 효율적이다. 또한 지수 함수 연산이 필요 없는 선형 함수 형태이므로 계산 속도가 매우 빠르다.

그러나 ReLU는 "죽은 ReLU"라는 단점도 가지고 있다. 입력값이 음수인 뉴런은 항상 0을 출력하게 되고, 이 뉴런으로 들어오는 기울기도 0이 되어 가중치가 더 이상 업데이트되지 않는 현상이 발생할 수 있다. 이를 해결하기 위해 입력값이 음수일 때 매우 작은 기울기를 주는 Leaky ReLU나 Parametric ReLU 같은 변형 함수들이 제안되었다.

따라서, 확률값 출력이나 게이트 제어가 필요한 순환 신경망의 일부 계층에서는 여전히 시그모이드 함수가 사용되지만, 대부분의 심층 순전파 신경망의 은닉층에서는 ReLU나 그 변형들이 표준 활성화 함수로 자리 잡았다.