오차 역전파

연쇄 법칙은 미적분학의 기본 정리 중 하나로, 합성 함수의 도함수를 구하는 방법을 제공한다. 함수 $y = f(u)$와 $u = g(x)$가 있을 때, 합성 함수 $y = f(g(x))$의 도함수는 $\frac{dy}{dx} = \frac{dy}{du} \cdot \frac{du}{dx}$로 계산된다. 이는 도함수의 곱으로 표현 가능함을 의미한다.

오차 역전파 알고리즘은 이 연쇄 법칙을 다변수 함수와 벡터, 행렬의 형태로 확장하여 적용한다. 신경망은 입력부터 출력까지 여러 층의 함수가 중첩된 하나의 거대한 합성 함수로 볼 수 있다. 각 층의 가중치에 대한 최종 손실 함수의 기울기를 계산하려면, 출력층에서부터 시작해 각 층을 거슬러 올라가며 국소적인 도함수(편미분)들을 연쇄적으로 곱해 나간다.

예를 들어, 3층 신경망에서 출력 $a^{(3)}$에 대한 손실 $L$의 도함수 $\frac{\partial L}{\partial a^{(3)}}$를 먼저 계산한다. 그다음, 두 번째 층의 가중치 $W^{(2)}$에 대한 기울기를 구하려면 $\frac{\partial L}{\partial W^{(2)}} = \frac{\partial L}{\partial a^{(3)}} \cdot \frac{\partial a^{(3)}}{\partial z^{(3)}} \cdot \frac{\partial z^{(3)}}{\partial W^{(2)}}$와 같이 연쇄 법칙을 반복 적용한다. 여기서 $z^{(3)}$은 두 번째 층의 가중합을 의미한다.

이 과정을 통해 알고리즘은 각 매개변수(가중치와 편향)에 대한 손실 함수의 기울기를 효율적으로 한 번의 순전파와 역전파로 계산할 수 있다. 이는 각 매개변수에 대해 개별적으로 미분을 계산하는 것보다 훨씬 계산 효율이 높다[2].

손실 함수는 신경망의 예측 출력과 실제 목표값 사이의 차이를 측정하는 함수이다. 이 함수의 출력값, 즉 손실은 모델의 성능을 나타내는 지표로 사용된다. 일반적인 손실 함수로는 평균 제곱 오차와 교차 엔트로피 오치가 있다. 손실 함수의 값을 최소화하는 것이 머신 러닝 모델 학습의 핵심 목표이다.

기울기는 손실 함수의 출력값을 특정 가중치나 편향에 대해 편미분한 값이다. 기울기는 손실 함수의 곡면에서 현재 지점의 가장 가파른 상승 방향을 가리킨다. 따라서, 이 기울기의 반대 방향으로 매개변수를 조정하면 손실을 줄일 수 있다. 오차 역전파 알고리즘의 핵심 목적은 네트워크의 모든 매개변수에 대한 이 기울기를 효율적으로 계산하는 것이다.

기울기 계산은 연쇄 법칙을 통해 이루어진다. 신경망은 여러 층의 함수가 합성된 복잡한 함수이므로, 손실 함수 L을 가중치 w에 대해 직접 미분하는 것은 어렵다. 대신, 중간 변수들을 통해 연쇄적으로 미분한다. 예를 들어, 어떤 가중치 w에 대한 기울기는 ∂L/∂w = (∂L/∂a) * (∂a/∂z) * (∂z/∂w)와 같이 계산된다. 여기서 z는 가중합, a는 활성화 함수의 출력을 의미한다.

이렇게 계산된 기울기는 경사 하강법 등의 최적화 알고리즘에 사용되어 가중치를 업데이트한다. 각 가중치는 자신의 기울기에 비례하는 크기로 조정되어, 전체 네트워크의 손실이 점차 감소하도록 한다. 따라서, 정확한 기울기 계산은 학습이 올바른 방향으로 진행되도록 하는 데 필수적이다.

순전파는 인공 신경망에서 입력 데이터가 네트워크의 입력층부터 출력층까지 순차적으로 전달되는 과정이다. 입력 벡터는 각 은닉층을 통과하며 가중치와의 선형 결합 및 활성화 함수의 비선형 변환을 거쳐 최종 출력값을 생성한다.

구체적인 단계는 다음과 같다. 입력층의 노드들은 외부에서 주어진 데이터 값을 그대로 전달한다. 첫 번째 은닉층의 각 뉴런은 이전 층의 모든 출력값에 해당 연결의 가중치를 곱한 합, 즉 가중합을 계산한다. 이 가중합은 바이어스 항이 더해진 후, 시그모이드 함수나 ReLU와 같은 비선형 활성화 함수를 통과하여 해당 뉴런의 최종 출력값이 된다. 이 과정이 네트워크의 모든 층에 대해 반복되어, 마지막 출력층의 뉴런 활성화 값이 네트워크의 예측값이 된다.

순전파의 결과는 손실 함수를 통해 평가된다. 신경망의 예측 출력과 실제 목표값(레이블)을 비교하여 하나의 스칼라 값인 손실을 계산한다. 이 손실 값은 네트워크의 현재 성능을 정량화하며, 이후 역전파 알고리즘에서 이 손실을 최소화하기 위해 각 가중치를 얼마나 조정해야 할지에 대한 근거를 제공한다.

손실 함수의 출력값을 계산하는 과정을 순전파라고 한다. 순전파가 완료되면, 신경망의 최종 출력값과 실제 목표값 사이의 차이를 정량화해야 한다. 이 차이를 측정하는 함수가 손실 함수이다. 오차 계산은 이 손실 함수의 값을 구하는 단계이다.

사용하는 손실 함수의 종류는 해결하려는 문제의 유형에 따라 결정된다. 대표적인 예는 다음과 같다.

계산된 오차 값은 신경망의 전반적인 성능을 나타내는 단일 스칼라 값이다. 이 값은 역전파 알고리즘의 출발점이 된다. 알고리즘의 목표는 이 오차를 최소화하는 방향으로 네트워크의 모든 가중치와 편향을 조정하는 것이다. 따라서 오차 계산은 네트워크가 현재 얼마나 잘못되었는지를 정의하고, 이후에 이루어질 모든 파라미터 업데이트의 근거를 제공하는 핵심 단계이다.

역전파를 통한 기울기 계산은 연쇄 법칙을 활용하여 손실 함수의 기울기를 출력층에서 입력층 방향으로 효율적으로 분배하는 과정이다. 이 알고리즘의 핵심은 각 가중치와 편향에 대한 손실의 변화율, 즉 기울기를 계산하여 이후 경사 하강법 단계에서 매개변수를 업데이트할 수 있도록 하는 것이다.

계산은 출력층에서 시작하여 입력층 방향으로 진행된다. 먼저, 최종 출력값과 목표값을 비교하여 계산된 오차가 출력층의 각 뉴런에 할당된다. 그런 다음, 이 오차는 각 뉴런의 활성화 함수의 도함수와 결합되어 해당 뉴런의 '델타(δ)' 또는 '오차 신호'를 생성한다. 이 델타는 "이 뉴런이 전체 오차에 얼마나 기여했는가"를 나타내는 척도이다.

생성된 델타는 네트워크를 거꾸로 전파되며, 이전 층의 각 뉴런에 대한 델타를 계산하는 데 사용된다. 특정 가중치에 대한 손실의 기울기는, 해당 가중치가 연결하는 다음 층 뉴런의 델타와 이전 층 뉴런의 출력값(활성화 값)의 곱으로 구해진다. 이 과정을 표로 정리하면 다음과 같다.

이 알고리즘의 가장 큰 장점은 효율성이다. 각 매개변수에 대한 기울기를 직접 수치 미분으로 계산하는 것보다 훨씬 빠르고 정확하다. 한 번의 순전파와 역전파로 네트워크의 모든 매개변수에 대한 기울기를 동시에 얻을 수 있어, 대규모 신경망의 학습을 실용적으로 만드는 기반이 되었다.

경사 하강법은 손실 함수의 값을 최소화하기 위해 매개변수를 반복적으로 조정하는 최적화 알고리즘이다. 이 방법은 함수의 기울기가 가장 가파르게 감소하는 방향, 즉 음의 기울기 방향으로 매개변수를 업데이트한다. 역전파 알고리즘은 각 매개변수에 대한 손실 함수의 기울기를 효율적으로 계산하여 제공하며, 경사 하강법은 이 계산된 기울기 정보를 사용하여 실제로 가중치와 편향을 조정하는 과정을 담당한다.

기본적인 경사 하강법의 업데이트 규칙은 다음과 같은 수식으로 표현된다.

θ = θ − η ⋅ ∇θ J(θ)

여기서 θ는 업데이트 대상 매개변수(가중치나 편향), η는 학습률, ∇θ J(θ)는 역전파를 통해 구한 해당 매개변수에 대한 손실 함수 J의 기울기이다. 이 과정은 모델의 예측 오차가 충분히 줄어들 때까지, 또는 정해진 횟수만큼 반복된다.

경사 하강법에는 사용하는 데이터의 양에 따라 몇 가지 주요 변형이 존재한다. 이들은 계산 효율성과 수렴 안정성 사이의 트레이드오프를 가진다.

일반적으로 현대 딥러닝에서는 미니배치 경사 하강법이 가장 널리 사용된다. 순수한 배치나 확률적 방식의 단점을 보완하면서도 GPU의 병렬 계산 능력을 효율적으로 활용할 수 있기 때문이다.

학습률은 경사 하강법 알고리즘에서 매 반복마다 가중치를 업데이트할 때 기울기에 곱해지는 하이퍼파라미터이다. 이 값은 단일 스칼라 값으로, 모델이 얼마나 빠르게 또는 느리게 학습할지를 결정하는 핵심 요소이다. 학습률이 너무 크면 최적점을 지나쳐 발산하거나 진동할 수 있으며, 너무 작으면 학습 속도가 매우 느려지거나 지역 최소점에 갇힐 수 있다. 따라서 적절한 학습률을 선택하는 것은 신경망 훈련 성공의 관건이다.

학습률의 설정은 일반적으로 실험을 통해 이루어진다. 널리 사용되는 방법은 0.1, 0.01, 0.001과 같은 10의 거듭제곱 단위로 값을 시도해보는 것이다. 더 정교한 접근법으로는 학습률을 고정하지 않고 훈련 과정에 따라 동적으로 변화시키는 학습률 스케줄링을 사용한다. 대표적인 스케줄링 방법으로는 훈련이 진행됨에 따라 학습률을 점차 감소시키는 학습률 감소가 있다. 이는 초기에는 큰 보폭으로 빠르게 수렴 영역에 접근하고, 후기에는 작은 보폭으로 정밀하게 최적점을 찾도록 돕는다.

다양한 학습률이 모델 수렴에 미치는 영향을 요약하면 다음과 같다.

학습률을 자동으로 조정하는 적응형 학습률 알고리즘들도 널리 사용된다. Adam, RMSProp, Adagrad 등의 옵티마이저는 각 가중치마다 개별적인 학습률을 동적으로 계산하여, 기울기의 크기에 반비례하도록 조정한다. 이는 기울기 소실 문제나 기울기 폭발 문제를 완화하고, 희소한 데이터에 대한 학습을 개선하는 데 도움을 준다.

미니배치 학습은 경사 하강법을 수행할 때 전체 훈련 데이터 세트를 한 번에 사용하지 않고, 데이터를 작은 묶음(배치)으로 나누어 각 배치마다 오차 역전파 알고리즘을 적용하고 가중치를 업데이트하는 방법이다. 이는 배치 경사 하강법과 확률적 경사 하강법 사이의 절충안에 해당한다.

미니배치 학습의 과정은 다음과 같다. 먼저, 전체 N개의 훈련 샘플을 미리 정해진 배치 크기(예: 32, 64, 128)로 무작위로 나눈다. 그런 다음, 각 미니배치에 대해 순전파를 수행하여 예측값을 계산하고, 손실 함수를 통해 오차를 구한 뒤, 역전파 알고리즘으로 해당 배치에 대한 평균 기울기를 계산한다. 이렇게 계산된 기울기를 사용하여 네트워크의 가중치와 편향을 한 번 업데이트한다. 이 과정을 모든 미니배치에 대해 반복하여 한 바퀴를 도는 것을 1 에포크라고 한다.

미니배치 학습은 여러 실용적 장점을 제공한다. 첫째, 배치 경사 하강법에 비해 메모리 사용량이 적고 계산이 효율적이다. 특히 대규모 데이터셋을 다룰 때 유리하다. 둘째, 단일 샘플을 사용하는 확률적 방식보다 기울기 추정의 분산이 작아 수렴이 더 안정적이다. 또한, 현대 GPU나 TPU와 같은 하드웨어는 행렬 연산에 최적화되어 있어, 미니배치 형태의 데이터를 병렬 처리하는 데 매우 효율적이다. 배치 크기는 하이퍼파라미터로, 작을수록 빠르고 노이즈가 많은 업데이트를, 클수록 정확하고 안정적인 업데이트를 야기하므로 문제에 따라 조정해야 한다.

역전파 과정에서 계산된 기울기를 바탕으로 가중치를 업데이트할 때, 기본적인 경사 하강법은 고정된 학습률을 사용한다. 이는 간단하지만 수렴 속도가 느리거나, 손실 함수의 골짜기에서 진동하거나, 지역 최솟값에 빠질 위험이 있다. 이러한 문제를 완화하기 위해 모멘텀과 적응형 학습률 방법이 개발되었다.

모멘텀은 물리학의 관성 개념을 차용한 최적화 기법이다. 이 방법은 과거 기울기 업데이트 방향을 일정 비율로 유지하여 현재의 기울기 업데이트에 더함으로써, 최적화 경로에 관성을 부여한다. 이는 업데이트 방향이 급격히 변하는 것을 억제하고, 일관된 방향으로 가속하도록 돕는다. 모멘텀은 일반적으로 다음과 같은 수식으로 표현된다.

수식: v_t = β * v_{t-1} + η * ∇J(θ_t), θ_{t+1} = θ_t - v_t

이를 통해 기울기가 작은 지역에서도 누적된 모멘텀 덕분에 빠르게 이동할 수 있으며, 골짜기 바닥에서의 진동을 줄여준다. 모멘텀의 변형으로는 네스테로프 가속 경사가 있다.

적응형 학습률 방법은 각 매개변수마다 독립적으로 학습률을 조정하는 알고리즘 군을 말한다. 대표적인 방법으로는 AdaGrad, RMSProp, Adam이 있다. AdaGrad는 지금까지 누적된 기울기의 제곱값의 합을 이용해 학습률을 조정한다. 자주 업데이트되는 매개변수는 학습률이 작아지고, 드물게 업데이트되는 매개변수는 학습률이 커진다. 그러나 학습이 진행될수록 누적 값이 커져 학습률이 지나치게 작아질 수 있다는 단점이 있다. RMSProp는 AdaGrad의 단점을 보완하여 기울기 제곱값의 이동 평균을 사용해 최근 기울기의 영향력을 더 크게 반영한다. Adam은 모멘텀(1차 모멘트)과 RMSProp(2차 모멘트)의 아이디어를 결합한 방법으로, 현재 가장 널리 사용되는 적응형 학습률 최적화 알고리즘 중 하나이다.

기울기 소실 문제는 심층 신경망을 역전파 알고리즘으로 학습시킬 때 발생하는 주요 난제 중 하나이다. 이 문제는 신경망의 출력층에서 입력층 방향으로 오차를 전파하며 계산하는 과정에서, 기울기 값이 지나치게 작아져서 네트워크의 앞쪽 계층(입력층에 가까운 계층)의 가중치가 거의 업데이트되지 않는 현상을 의미한다. 특히 활성화 함수로 시그모이드 함수나 하이퍼볼릭 탄젠트 함수를 사용하는 경우, 이 함수들의 도함수 값이 입력값이 크거나 작을 때 0에 매우 가까워지는 특성 때문에 문제가 두드러진다.

역전파는 연쇄 법칙에 기반하여 각 가중치에 대한 손실 함수의 편미분을 계산한다. 이 과정에서 각 계층의 기울기는 상위 계층에서 전달받은 기울기에 해당 계층의 활성화 함수의 도함수를 곱하는 형태로 계산된다. 시그모이드 함수의 도함수는 최대값이 0.25에 불과하며, 0에서 멀어질수록 급격히 0으로 수렴한다. 따라서 여러 계층을 거치면서 이 작은 값들이 반복적으로 곱해지면, 최종적으로 앞쪽 계층으로 전달되는 기울기의 크기는 기하급수적으로 감소하게 된다. 결과적으로 네트워크의 뒷부분은 학습이 진행되지만, 앞부분은 효과적으로 학습되지 않아 심층 신경망의 성능을 크게 저하시킨다.

이 문제를 완화하기 위한 여러 방법이 개발되었다. 가장 대표적인 해결책은 활성화 함수를 ReLU와 같이 도함수의 값이 0 또는 1로 일정한 함수로 교체하는 것이다. ReLU는 양수 구간에서 도함수가 1이므로, 기울기가 여러 계층을 통과하더라도 크기가 쉽게 감쇠하지 않는다. 또한, 배치 정규화를 각 계층에 적용하여 활성화 값의 분포를 안정화시키거나, 잔차 연결을 도입한 ResNet과 같은 네트워크 구조를 사용하여 기울기가 직접 앞쪽 계층으로 흐를 수 있는 경로를 만드는 방법도 효과적이다. 가중치 초기화 전략(예: He 초기화)을 개선하는 것도 기울기 소실 문제를 초기에 완화하는 데 도움을 준다.

기울기 폭발 문제는 인공 신경망을 역전파 알고리즘으로 학습시킬 때 발생하는 주요 난제 중 하나이다. 이 문제는 네트워크의 깊은 층으로 오차 신호를 역전파하는 과정에서, 계산되는 기울기의 값이 지수적으로 급격히 커지는 현상을 의미한다. 특히 많은 층을 가진 심층 신경망이나 순환 신경망에서 긴 시퀀스를 처리할 때 두드러지게 나타난다.

이 문제의 근본 원인은 연쇄 법칙에 따라 기울기를 계산할 때, 각 층의 가중치 행렬에 대한 편미분이 반복적으로 곱해지기 때문이다. 만약 가중치 행렬의 고윳값이 1보다 크다면, 역전파가 진행될수록 기울기의 크기가 계속해서 커지게 된다. 이는 기울기 소실 문제와 정반대의 현상으로, 결과적으로 가중치 업데이트가 매우 불안정해지고, 가중치 값이 급격히 증가하여 NaN과 같은 수치적 불안정성을 초래할 수 있다.

기울기 폭발 문제를 완화하기 위한 대표적인 기법은 기울기 클리핑이다. 이 방법은 역전파를 통해 계산된 기울기의 노름이 사전에 설정한 임계값을 초과할 경우, 기울기의 크기를 임계값 이하로 줄여서 업데이트를 수행한다. 또한, 가중치 초기화 전략을 신중하게 선택하거나(예: Xavier 초기화, He 초기화), 배치 정규화를 적용하여 각 층의 활성화 값 분포를 안정화시키는 것도 도움이 된다. 순환 신경망에서는 LSTM이나 GRU와 같은 게이트 메커니즘을 갖춘 구조를 사용하여 장기 의존성을 학습하면서도 기울기 흐름을 더 잘 제어할 수 있다.

다층 퍼셉트론(MLP)은 오차 역전파 알고리즘이 가장 기본적으로 적용되는 신경망 구조이다. 입력층, 하나 이상의 은닉층, 출력층으로 구성되며, 각 층은 여러 개의 뉴런(또는 노드)으로 이루어지고, 인접한 층의 모든 뉴런 사이에 가중치 연결이 존재한다. 이러한 완전 연결 구조는 각 뉴런이 이전 층의 모든 뉴런의 출력을 입력으로 받아 가중합을 계산한 후, 활성화 함수(예: 시그모이드 함수, ReLU)를 적용하여 출력을 생성한다.

역전파는 다층 퍼셉트론의 학습을 가능하게 하는 핵심 메커니즘이다. 순전파 과정에서 입력 데이터는 네트워크를 통과하여 최종 출력을 생성한다. 이 출력과 기대하는 목표값 사이의 오차는 손실 함수(예: 평균 제곱 오차)로 계산된다. 역전파 알고리즘은 이 손실 값을 바탕으로, 출력층에서 입력층 방향으로 오차를 전파하면서 각 가중치에 대한 손실의 기울기(편미분)를 연쇄 법칙을 통해 효율적으로 계산한다.

다층 퍼셉트론에서의 역전파 계산은 체계적으로 이루어진다. 먼저 출력층의 오차를 계산한 후, 이 오차를 은닉층의 오차로 역전파시킨다. 각 가중치의 기울기는 "해당 가중치가 연결된 후속 층 뉴런의 오차"와 "해당 가중치의 입력 값"의 곱으로 구해진다. 이 과정에서 활성화 함수의 도함수가 곱해지며, 이로 인해 기울기 소실 문제가 발생할 수 있다[7].

역전파를 통해 계산된 기울기는 경사 하강법 등의 최적화 알고리즘과 결합되어 네트워크의 모든 가중치와 편향을 업데이트하는 데 사용된다. 이 과정을 반복함으로써 다층 퍼셉트론은 주어진 작업에 맞게 내부 매개변수를 조정하여 복잡한 비선형 결정 경계를 학습할 수 있게 된다. 따라서 역전파는 다층 퍼셉트론이 단순한 퍼셉트론의 한계를 극복하고 복잡한 패턴을 인식하는 능력을 갖추도록 하는 기반이 된다.

합성곱 신경망에서 오차 역전파 알고리즘은 합성곱층과 풀링층과 같은 고유한 구조에 맞게 변형되어 적용된다. 기본적인 경사 하강법 원리는 동일하지만, 가중치를 공유하는 커널 필터와 지역적 연결성으로 인해 기울기 계산 방식이 다층 퍼셉트론과는 차이가 있다.

합성곱층에서의 역전파는 각 필터의 파라미터에 대한 기울기를 계산하는 과정을 포함한다. 하나의 필터는 입력 특징 맵의 특정 지역을 순회하며 동일한 가중치를 적용하므로, 해당 필터에 대한 기울기는 필터가 적용된 모든 위치에서의 기울기의 합으로 계산된다[8]. 이는 국소적 연결과 가중치 공유라는 CNN의 핵심 특성이 역전파 시에도 유지됨을 의미한다.

풀링층은 일반적으로 학습 가능한 파라미터를 가지지 않지만, 역전파 과정에서 기울기를 전달하는 역할을 한다. 최대 풀링의 경우, 순전파 때 선택된 최대값의 위치로 기울기를 전달하는 방식으로 동작한다. 평균 풀링은 해당 영역에 들어온 기울기를 균등하게 분배한다. 다음 표는 합성곱 신경망의 주요 층에서의 역전파 특성을 비교한 것이다.

이러한 변형된 역전파 알고리즘 덕분에 합성곱 신경망은 이미지의 공간적 계층 구조를 효과적으로 학습할 수 있다. 역전파를 통해 필터는 가장 유용한 특징(예: 모서리, 질감)을 추출하도록 최적화된다.

순환 신경망은 시계열 데이터나 자연어와 같은 순차 데이터를 처리하기 위해 설계된 인공 신경망의 한 종류이다. 이전 단계의 출력이 다음 단계의 입력으로 다시 공급되는 순환 연결을 가지고 있어, 네트워크가 일종의 '기억'을 유지할 수 있게 한다. 이러한 구조는 시간에 따라 변화하는 패턴을 학습하는 데 필수적이다.

순환 신경망에서 오차 역전파 알고리즘은 시간 축을 따라 적용되며, 이를 시간에 따른 오차 역전파라고 부른다. 이 과정은 네트워크의 오차를 출력층에서 시작해 입력층으로, 그리고 시간을 거슬러 이전 시간 단계까지 전파한다. 각 시간 단계에서의 가중치에 대한 기울기는 해당 시간 단계와 그 이전 모든 시간 단계에서 발생한 오차의 합으로 계산된다[9].

시간에 따른 오차 역전파는 순환 신경망이 시퀀스 내의 장기적인 관계를 학습하는 데 핵심 메커니즘을 제공한다. 이를 통해 언어 모델링, 기계 번역, 음성 인식 같은 복잡한 순차 처리 작업이 가능해졌다.