경사 하강법

손실 함수는 머신 러닝 모델의 예측값과 실제값 사이의 오차를 정량화하는 함수이다. 이 함수의 값을 최소화하는 모델 매개변수를 찾는 것이 학습의 목표이다. 손실 함수는 주어진 데이터에 대해 매개변수의 함수로 표현되며, 평균 제곱 오차, 교차 엔트로피 등이 널리 사용된다.

기울기(그래디언트)는 손실 함수의 변화율을 나타내는 벡터이다. 각 매개변수 방향으로의 편미분으로 구성되며, 함수 값이 가장 가파르게 증가하는 방향을 가리킨다. 경사 하강법은 이 기울기의 반대 방향으로 매개변수를 조정하여 손실을 점차 줄여나간다.

기울기를 계산하는 과정은 연쇄 법칙을 통해 이루어지는 역전파 알고리즘의 핵심이다. 고차원 공간에서 손실 함수의 표면은 매우 복잡할 수 있으나, 현재 위치의 기울기는 그 지점에서의 국소적 정보만을 제공한다[1]. 따라서 경사 하강법은 이 국소적 정보를 반복적으로 이용해 전역 최솟값에 근접하려 시도한다.

경사 하강법의 핵심은 매개변수를 업데이트하는 규칙에 있다. 이 규칙은 현재 지점에서 계산된 기울기의 반대 방향으로 매개변수를 조금씩 이동시켜 손실 함수의 값을 점차 감소시킨다. 기본적인 업데이트 공식은 다음과 같다.

θ = θ - η * ∇J(θ)

여기서 θ는 최적화하려는 매개변수 벡터(예: 가중치와 편향)를, η는 학습률을, ∇J(θ)는 현재 θ에서의 손실 함수 J의 기울기 벡터를 나타낸다. 기울기 ∇J(θ)는 손실 함수가 가장 가파르게 증가하는 방향을 가리키므로, 이에 음의 학습률을 곱해 반대 방향, 즉 손실이 가장 빠르게 감소하는 방향으로 매개변수를 조정한다.

학습률 η는 업데이트의 보폭을 결정하는 매우 중요한 초매개변수이다. 학습률이 너무 크면 최적점을 지나쳐 발산할 수 있고, 너무 작으면 학습 속도가 매우 느려지거나 국소 최솟값에 조기에 갇힐 수 있다. 적절한 학습률을 설정하거나, 학습 과정에 따라 학습률을 동적으로 조정하는 학습률 스케줄링 기법이 자주 사용된다.

이 기본 업데이트 규칙은 다양한 변형의 기초가 된다. 예를 들어, 모멘텀은 과거 기울기의 이동 평균을 반영하여 관성 효과를 주고, Adam과 같은 적응형 알고리즘은 각 매개변수에 대해 개별적인 학습률을 계산한다. 이러한 고급 기법들은 기본 규칙이 가진 진동 문제나 느린 수렴 속도를 개선하기 위해 개발되었다.

배치 경사 하강법은 경사 하강법의 가장 기본적인 형태로, 매 학습 단계에서 전체 훈련 데이터를 사용하여 손실 함수의 기울기를 계산하고 매개변수를 업데이트한다. 이 방법은 모든 데이터 포인트에 대한 기울기의 평균을 취하기 때문에, 각 단계의 파라미터 업데이트 방향이 전체 데이터셋에 대한 진정한 기울기 방향에 가깝다는 장점을 가진다. 이로 인해 업데이트가 매우 안정적이며, 손실 함수의 표면이 볼록한 경우 전역 최솟값으로 수렴할 수 있다.

그러나 이 방법에는 명확한 단점이 존재한다. 가장 큰 문제는 매 반복마다 전체 데이터셋을 처리해야 하므로 계산 비용이 매우 크다는 점이다. 대규모 데이터셋에서는 단일 업데이트를 수행하는 데에도 상당한 시간이 소요되어 학습 속도가 현저히 느려진다. 또한, 전체 데이터셋을 메모리에 한 번에 로드해야 하므로 하드웨어 자원에 대한 요구 사항이 높다.

배치 경사 하강법의 업데이트 과정은 다음과 같은 수식으로 표현된다.

$$\theta = \theta - \eta \cdot \nabla_{\theta} J(\theta)$$

여기서 $\theta$는 모델 매개변수, $\eta$는 학습률, $\nabla_{\theta} J(\theta)$는 전체 훈련 데이터에 대해 계산한 손실 함수 $J$의 기울기를 의미한다. 이 기울기는 각 데이터 포인트에서 계산된 기울기의 산술 평균이다.

이 방법은 데이터셋 크기가 비교적 작을 때나, 안정적인 수렴이 가장 중요한 경우에 유용하게 적용된다. 그러나 현대의 대규모 딥러닝 문제에서는 계산 효율성을 위해 확률적 경사 하강법이나 미니배치 경사 하강법이 더 널리 사용된다.

확률적 경사 하강법은 배치 경사 하강법의 한계를 보완하기 위해 고안된 변형 알고리즘이다. 배치 경사 하강법은 매 단계에서 전체 훈련 데이터에 대한 기울기를 계산하여 매개변수를 업데이트한다. 이는 정확한 기울기 방향을 제공하지만, 데이터셋이 클 경우 한 번의 업데이트에 필요한 계산 비용이 매우 커지고 메모리 요구 사항이 높아지는 단점이 있다.

확률적 경사 하강법은 이 문제를 해결하기 위해 매 반복마다 단 하나의 훈련 샘플을 무작위로 선택하여 그 샘플에 대한 기울기만을 계산한다. 그 후, 이 하나의 샘플로 계산된 기울기를 사용하여 매개변수를 즉시 업데이트한다. 이 과정은 모든 훈련 샘플이 한 번씩 사용될 때까지, 즉 한 에포크가 완료될 때까지 반복된다. 업데이트 공식은 배치 경사 하강법과 유사하나, 손실 함수 J(θ)가 전체 데이터에 대한 것이 아닌 단일 샘플 (x^(i), y^(i))에 대한 손실로 대체된다.

그러나 단일 샘플의 기울기는 전체 데이터의 평균 기울기를 대표하지 않기 때문에, 업데이트 경로는 매우 노이즈가 많고 불안정하다. 이로 인해 손실 값이 감소하는 전체적인 추세 속에서도 크게 요동칠 수 있다. 이러한 불안정성은 학습이 끝날 무렵 정확한 최솟값 근처에서 진동을 일으키는 원인이 되기도 한다. 이 문제를 완화하기 위해 학습률을 점차 감소시키는 학습률 스케줄링 기법이 종종 함께 사용된다.

미니배치 경사 하강법은 배치 경사 하강법과 확률적 경사 하강법의 절충안이다. 이 방법은 전체 훈련 데이터를 한 번에 사용하지도 않고, 단 하나의 샘플만 사용하지도 않는다. 대신, 매 반복마다 전체 데이터셋에서 무작위로 추출한 작은 부분 집합, 즉 미니배치를 사용하여 기울기를 계산하고 매개변수를 업데이트한다.

일반적으로 미니배치의 크기는 32, 64, 128, 256 등 2의 거듭제곱으로 설정하는 것이 일반적이다. 이 크기는 하드웨어의 메모리 아키텍처와 효율적인 병렬 계산에 유리하기 때문이다. 미니배치 크기는 중요한 초매개변수로, 모델의 학습 속도와 안정성에 직접적인 영향을 미친다. 크기가 너무 작으면 확률적 경사 하강법에 가까워져 업데이트의 분산이 커지고 불안정해질 수 있다. 반대로 크기가 너무 크면 배치 경사 하강법에 가까워져 한 번의 업데이트에 필요한 계산량과 메모리 사용량이 급증하며, 국소 최솟값에 빠질 가능성이 높아진다.

미니배치 경사 하강법의 장점은 다음과 같이 요약할 수 있다.

이 방법은 현대 딥러닝에서 사실상의 표준 최적화 절차로 자리 잡았다. 대부분의 딥러닝 프레임워크는 데이터 로더를 통해 미니배치를 자동으로 생성하고 순회하는 기능을 기본으로 제공한다. 한 에포크가 완료되면, 데이터셋은 일반적으로 섞여서 다음 에포크에서 새로운 미니배치 구성을 갖게 된다.

모멘텀은 경사 하강법의 최적화 기법 중 하나로, 물리학의 관성 개념을 차용하여 기울기 업데이트에 이전 업데이트 방향의 일부를 더해주는 방법이다. 이는 손실 함수의 표면이 평탄하거나 곡률이 급격하게 변하는 지형에서 기울기가 진동하거나 수렴 속도가 느려지는 문제를 완화하는 데 효과적이다.

기본적인 경사 하강법의 매개변수 업데이트 공식은 θ = θ - η * ∇J(θ)이다. 여기서 θ는 매개변수, η는 학습률, ∇J(θ)는 현재 기울기를 의미한다. 모멘텀은 여기에 속도(velocity) 항 v를 도입한다. 속도는 과거 기울기들의 지수 가중 이동 평균으로 계산되며, 업데이트 규칙은 다음과 같다.

v_t = γ * v_{t-1} + η * ∇J(θ_t)

θ_{t+1} = θ_t - v_t

여기서 γ는 모멘텀 계수(보통 0.9 근처의 값)로, 이전 속도를 얼마나 유지할지 결정한다. 이는 공이 언덕을 굴러내려갈 때 관성에 의해 평평한 지역을 통과하거나 골짜기 방향으로 가속하는 효과를 모방한다.

모멘텀의 주요 이점은 두 가지이다. 첫째, 목적 함수의 기울기가 한 방향으로 지속적으로 가리키는 경우, 속도가 누적되어 업데이트가 가속화된다. 둘째, 손실 표면이 고원(plateau)이나 골짜기(ravine)처럼 특정 방향으로는 기울기가 작고 다른 방향으로는 큰 경우, 진동을 줄이고 더 직접적인 경로로 최솟값을 향해 나아가게 한다. 이는 배치 경사 하강법이나 확률적 경사 하강법의 단점을 보완하는 데 기여한다. 모멘텀의 변형으로는 속도에 제곱된 기울기를 고려하는 네스테로프 가속 경사(NAG) 방법도 널리 사용된다.

RMSProp(Root Mean Square Propagation)은 경사 하강법의 최적화 기법 중 하나로, 적응형 학습률 알고리즘에 속한다. 이 기법은 제프리 힌튼이 강의 노트에서 제안한 방법으로, 각 매개변수에 대해 학습률을 개별적으로 조정하여 효율적인 학습을 가능하게 한다. 특히 기울기의 크기에 따라 학습률을 조정함으로써, 기울기가 큰 방향에서는 학습률을 낮추고 기울기가 작은 방향에서는 학습률을 높이는 방식으로 작동한다.

RMSProp의 핵심은 기울기의 제곱값의 이동 평균을 유지하는 것이다. 알고리즘은 다음과 같은 단계로 진행된다. 먼저, 현재 기울기의 제곱값을 계산한다. 그런 다음, 이 값을 이전까지 누적된 제곱 기울기의 지수 이동 평균에 반영한다. 이 평균값의 제곱근을 분모로 사용하여 현재 기울기를 나누어 실제 업데이트에 사용할 스케일링된 기울기를 구한다. 이 과정은 각 매개변수마다 독립적으로 수행된다.

RMSProp의 업데이트 규칙은 다음과 같이 표현된다.

1. $E[g^2]_t = \beta E[g^2]_{t-1} + (1 - \beta) g_t^2$

2. $\theta_{t+1} = \theta_t - \frac{\eta}{\sqrt{E[g^2]_t + \epsilon}} g_t$

이 방법의 주요 장점은 손실 함수의 곡면이 비등방성일 때, 즉 한 방향의 기울기는 크고 다른 방향의 기울기는 작을 때 효과적이라는 점이다. RMSProp은 이러한 상황에서 진동을 줄이고 보다 안정적으로 최적점을 향해 수렴하도록 돕는다. 또한, 기울기 소실/폭발 문제를 완화하는 데 일부 기여할 수 있다. 그러나 단점으로는 학습률 $\eta$를 수동으로 설정해야 하며, 너무 큰 학습률은 여전히 불안정성을 초래할 수 있다는 점이 있다.

Adam은 2014년 디데리크 킹마와 지미 바가 제안한 최적화 알고리즘이다. 이는 모멘텀과 RMSProp의 아이디어를 결합한 적응형 학습률 방법으로, 경사 하강법의 변종 중 하나이다. Adam은 각 매개변수에 대해 개별적인 학습률을 계산하며, 이 학습률은 기울기의 첫 번째 모멘트(평균)와 두 번째 모멘트(분산)의 추정치를 기반으로 적응적으로 조정된다.

Adam의 업데이트 규칙은 크게 네 단계로 이루어진다. 첫째, 현재 미니배치의 기울기를 계산한다. 둘째, 이 기울기를 사용하여 기울기의 지수 이동 평균(일차 모멘트 추정치, m_t)과 기울기 제곱의 지수 이동 평균(이차 모멘트 추정치, v_t)을 각각 갱신한다. 셋째, 초기화 편향을 보정하기 위해 이 모멘트 추정치들을 보정한다. 넷째, 보정된 모멘트를 사용하여 매개변수를 업데이트한다. 수식은 다음과 같이 표현된다.

여기서 α는 학습률, β₁과 β₂는 각각 일차 및 이차 모멘트의 감쇠율(보통 0.9와 0.999에 가깝게 설정), ε은 0으로 나누는 것을 방지하는 작은 상수(예: 10⁻⁸)이다.

Adam은 RMSProp이 제공하는 각 매개변수별 적응형 학습률에 모멘텀의 관성 효과를 더한 것으로 해석할 수 있다. 이로 인해 기울기의 방향으로는 가속화되고, 변동이 큰 방향으로는 학습률이 감소하여 안정적인 수렴을 돕는다. 이러한 특성 덕분에 Adam은 심층 신경망 훈련에서 널리 채택되었으며, 비교적 넓은 범위의 하이퍼파라미터에 대해 강건한 성능을 보인다.

학습률 스케줄링은 훈련 과정에서 학습률을 동적으로 조정하는 전략이다. 고정된 학습률을 사용할 경우, 최적점 근처에서 진동하거나 수렴 속도가 느려지는 문제가 발생할 수 있다. 학습률 스케줄링은 이러한 문제를 완화하기 위해, 훈련 초기에는 비교적 큰 학습률로 빠르게 진전시키고, 후기에는 작은 학습률로 세밀하게 조정하여 안정적인 수렴을 돕는다.

주요 학습률 스케줄링 방법은 다음과 같다.

이러한 스케줄링 기법은 배치 크기나 옵티마이저의 종류와 함께 중요한 하이퍼파라미터로 간주된다. 적절한 스케줄링 전략을 선택하면 모델의 최종 성능과 훈련 시간에 큰 영향을 미칠 수 있다.

적응형 학습률은 경사 하강법의 매개변수 업데이트 과정에서 각 매개변수마다 개별적인 학습률을 동적으로 조정하는 기법을 통칭한다. 고정된 학습률을 사용하는 전통적인 방법은 모든 매개변수에 동일한 크기의 업데이트를 적용하지만, 이는 매개변수의 중요도나 변화 폭이 다를 수 있다는 점을 고려하지 않는다. 적응형 학습률 알고리즘은 각 매개변수의 과거 기울기 정보를 활용하여, 기울기가 크게 변동하는 매개변수에는 작은 학습률을, 일관된 방향으로 움직이는 매개변수에는 큰 학습률을 할당함으로써 더 효율적이고 안정적인 최적화를 목표로 한다.

대표적인 적응형 학습률 알고리즘으로는 AdaGrad, RMSProp, Adam 등이 있다. AdaGrad는 각 매개변수의 기울기 제곱값을 누적하여 학습률을 조정한다. 이는 자주 등장하거나 크기가 큰 기울기를 가진 매개변수의 학습률을 빠르게 감소시킨다. 그러나 학습이 진행될수록 누적 제곱합이 지나치게 커져 학습률이 거의 0에 수렴하는 문제가 발생할 수 있다. RMSProp은 AdaGrad의 단점을 보완하여 기울기 제곱의 이동 평균을 사용함으로써 최근의 기울기 정보에 더 큰 가중치를 두어 학습률이 과도하게 줄어드는 것을 방지한다.

Adam은 모멘텀(Momentum)과 RMSProp의 아이디어를 결합한 알고리즘이다. Adam은 기울기의 일차 모멘트(평균)와 이차 모멘트(분산)의 추정값을 모두 사용하여 매개변수를 업데이트한다. 이는 기울기의 방향을 고려하는 모멘텀의 장점과 각 매개변수의 적응형 학습률 조정 능력을 결합한 것으로, 다양한 문제에서 뛰어난 성능을 보여주며 현재 가장 널리 사용되는 적응형 최적화 알고리즘 중 하나이다.

적응형 학습률 기법의 주요 장점은 학습률을 수동으로 튜닝하는 부담을 줄여준다는 점이다. 또한, 희소 데이터를 다루거나 매개변수의 스케일이 매우 다른 경우에 효과적이다. 예를 들어, 자연어 처리에서 단어 임베딩 레이어는 매우 희소한 기울기를 가지는 반면, 완전 연결 레이어는 상대적으로 조밀한 기울기를 가지므로, 각 매개변수에 맞춤형 학습률을 적용하는 것이 유리하다. 그러나 모든 문제에 대해 항상 최적의 선택은 아니며, 때로는 단순한 확률적 경사 하강법이나 모멘텀이 더 나은 결과를 낼 수도 있다[4].

경사 하강법은 손실 함수의 기울기를 따라 반복적으로 매개변수를 업데이트하여 함수의 최솟값을 찾는 알고리즘이다. 그러나 이 방법은 목표 함수가 볼록 함수가 아닌 복잡한 형태, 특히 여러 개의 골짜기(극소점)를 가진 경우 국소 최솟값에 갇힐 위험이 있다. 국소 최솟값은 함수의 전체 정의역에서 가장 낮은 값을 가지는 전역 최솟값이 아닌, 주변 근방에서는 가장 낮지만 더 낮은 값이 존재할 수 있는 지점을 의미한다. 경사 하강법이 이러한 지점에 도달하면, 해당 점에서의 기울기가 0에 가까워지거나 0이 되어 매개변수 업데이트가 중단되기 때문이다.

국소 최솟값 문제는 특히 고차원의 복잡한 모델, 예를 들어 심층 신경망의 학습에서 더욱 두드러진다. 매개변수 공간이 매우 넓고 비선형적이어서 손실 함수의 표면이 수많은 국소 최솟값, 안장점, 평평한 고원으로 구성될 수 있다. 안장점은 한 방향에서는 극소값이지만 다른 방향에서는 극대값인 지점으로, 기울기가 0이 되어 학습이 정체될 수 있다. 실제로 고차원 공간에서는 안장점이 국소 최솟값보다 훨씬 빈번하게 나타난다는 연구 결과도 있다[5].

이 문제를 완화하기 위한 여러 방법이 개발되었다. 모멘텀 기법은 과거 기울기의 방향을 일부 유지하여 국소 최솟값의 함정에서 벗어나거나 평평한 지역을 가속화하여 통과하도록 돕는다. 확률적 경사 하강법은 매 단계마다 무작위로 선택된 데이터의 잡음을 기반으로 기울기를 계산하여, 결정론적인 경로에서 벗어나 국소 최솟값을 탈출할 가능성을 높인다. 더 발전된 적응형 학습률 알고리즘인 Adam이나 RMSProp은 매개변수별로 학습률을 동적으로 조정하여 보다 효율적으로 최적점을 탐색한다. 또한, 학습 초기에 비교적 큰 학습률을 사용하는 등의 학습률 스케줄링 전략도 국소 최솟값을 빠져나오는 데 도움을 줄 수 있다.

기울기 소실 문제는 인공 신경망을 역전파 알고리즘으로 학습시킬 때, 오차 신호가 하위 층으로 전파되면서 기울기 값이 점점 작아져 거의 0에 가까워지는 현상이다. 이는 주로 시그모이드 함수나 하이퍼볼릭 탄젠트 함수와 같은 활성화 함수의 도함수 값이 0에서 1 사이의 매우 작은 범위를 가지기 때문에 발생한다[6]. 여러 층을 거치며 이 작은 값들이 반복적으로 곱해지면, 최종적으로 입력층 근처의 가중치에 대한 기울기가 극도로 작아져 가중치 업데이트가 거의 이루어지지 않게 된다. 결과적으로 네트워크의 앞쪽 층은 학습 속도가 매우 느려지거나 전혀 학습되지 않는 문제가 생긴다.

반대로 기울기 폭발 문제는 기울기 값이 층을 거듭하며 기하급수적으로 커지는 현상이다. 이는 주로 가중치 행렬의 초기값이 너무 크게 설정되었거나, 순환 신경망에서 장기 의존성을 학습할 때 발생한다. 기울기가 폭발하면 가중치 업데이트 값이 지나치게 커져 수치적 불안정성을 초래하고, 가중치 값이 NaN이 되거나 발산하여 학습이 완전히 실패할 수 있다.

이러한 문제를 완화하기 위한 여러 방법이 개발되었다. ReLU 계열의 활성화 함수는 양의 입력에 대해 도함수가 1이므로 기울기 소실 문제를 크게 줄인다. LSTM과 GRU와 같은 게이트 메커니즘을 가진 순환 신경망 구조는 장기 의존성 학습과 기울기 소실 문제를 해결하는 데 효과적이다. 또한, 가중치 초기화 기법인 He 초기화나 Xavier 초기화는 각 층의 출력 분산을 안정화시키려는 목적으로 설계되었다. 심층 신경망에서는 배치 정규화를 적용하여 각 층의 입력 분포를 안정화시킴으로써 기울기의 흐름을 개선하기도 한다.