최적화 알고리즘편집자 확인

확률적 경사 하강법(SGD)은 딥러닝 모델 훈련에 가장 기본적으로 사용되는 최적화 알고리즘이다. 이 방법은 전체 훈련 데이터셋을 사용하여 손실 함수의 기울기(gradient)를 계산하는 배치 경사 하강법(Batch Gradient Descent)의 단점을 해결하기 위해 고안되었다. 배치 경사 하강법은 매 단계마다 전체 데이터에 대한 기울기를 계산해야 하므로 계산 비용이 크고 메모리 요구사항이 높다는 문제가 있다. SGD는 매 반복(iteration)마다 단 하나의 훈련 샘플을 무작위로 선택하여 그 샘플에 대한 기울기만을 계산하고 매개변수(가중치)를 업데이트한다. 이로 인해 단일 업데이트의 계산 속도가 매우 빠르고, 대규모 데이터셋에서도 실용적으로 적용할 수 있다.

SGD의 매개변수 업데이트 규칙은 다음과 같은 간단한 공식으로 표현된다.

θ = θ - η * ∇J(θ; x_i, y_i)

여기서 θ는 모델의 매개변수, η는 학습률(learning rate), ∇J(θ; x_i, y_i)는 무작위로 선택한 i번째 샘플 (x_i, y_i)에 대한 손실 함수의 기울기를 의미한다. 이 업데이트는 각 훈련 샘플에 대해 순차적으로 수행된다.

SGD의 주요 특징과 영향은 다음과 같다.

그러나 SGD는 몇 가지 명확한 단점을 지닌다. 첫째, 단일 샘플의 기울기는 전체 데이터의 기울기를 대표하지 않기 때문에 업데이트 경로가 매우 불안정하고 진동(variance)이 크다. 이로 인해 수렴 속도가 느려질 수 있다. 둘째, 학습률을 적절하게 설정하는 것이 매우 중요하며, 고정된 학습률을 사용할 경우 최솟값 근처에서 진동하거나 수렴에 실패할 수 있다. 이러한 단점을 보완하기 위해 미니배치 경사 하강법(Mini-batch Gradient Descent)이 널리 사용된다. 미니배치 방식은 전체 데이터도, 단일 샘플도 아닌 작은 크기의 데이터 묶음(예: 32, 64, 128개 샘플)을 사용하여 기울기를 추정함으로써 SGD의 잡음을 줄이면서도 배치 방식보다 계산 효율을 유지한다. 현대 딥러닝 프레임워크에서 'SGD'라고 지칭할 때는 대개 이 미니배치 방식을 의미하는 경우가 많다. SGD는 그 단순함과 효율성으로 인해 여전히 많은 모델 훈련의 기본이 되며, 더 복잡한 최적화 알고리즘들의 비교 기준(baseline)으로 자주 활용된다.

확률적 경사 하강법은 손실 함수의 기울기 방향으로 매 단계 파라미터를 업데이트하지만, 손실 표면이 협곡이나 평평한 지역과 같이 기울기가 불규칙한 경우 진동하거나 수렴 속도가 느려지는 문제가 있다. 모멘텀 알고리즘은 이러한 문제를 완화하기 위해 물리학의 운동량 개념을 도입한다. 이는 과거 기울기 업데이트 방향을 일종의 관성으로 활용하여 현재 기울기 방향과 결합함으로써, 업데이트 방향을 평활화하고 협곡을 따라 더 빠르게 진행하도록 돕는다.

모멘텀의 핵심은 기울기 벡터를 직접 사용하는 대신, 기울기의 지수 가중 이동 평균을 계산하여 파라미터 업데이트에 사용하는 것이다. 구체적으로, 현재 시점 t에서의 속도 벡터 v_t는 다음과 같이 계산된다.

v_t = β * v_{t-1} + (1 - β) * ∇J(θ_{t-1})

여기서 β는 모멘텀 계수(보통 0.9 근처의 값)이며, ∇J(θ)는 파라미터 θ에서의 손실 함수의 기울기이다. 이후 파라미터는 이 속도 벡터를 사용하여 업데이트된다.

θ_t = θ_{t-1} - η * v_t

여기서 η는 학습률이다. 이 공식은 과거의 업데이트 방향(v_{t-1})이 현재 기울기(∇J)에 일정 비율로 더해져 새로운 업데이트 방향(v_t)을 형성함을 보여준다.

이 메커니즘 덕분에 모멘텀은 손실 함수 표면에서 일관된 방향으로의 기울기가 지속되면 속도가 누적되어 가속되며, 기울기 방향이 자주 바뀌는 경우에는 상쇄되어 진동을 줄인다. 결과적으로, 확률적 경사 하강법에 비해 협곡을 따라 더 빠르고 안정적으로 수렴하는 경향이 있다. 모멘텀은 이후 네스테로프 가속 경사 및 Adam과 같은 많은 현대적 최적화 알고리즘의 기본 구성 요소로 통합되었다.

네스테로프 가속 경사(Nesterov Accelerated Gradient, NAG)는 모멘텀 알고리즘을 개선한 최적화 방법이다. 이 알고리즘은 유리 네스테로프(Yurii Nesterov)가 1983년에 제안한 아이디어를 기반으로 한다[2]. 기본적인 모멘텀은 현재 위치의 기울기(gradient)를 계산하여 속도를 업데이트한 후, 그 속도로 이동한다. 반면 NAG는 먼저 모멘텀 항만큼 "예측"된 미래 위치로 이동한 후, 그 지점에서의 기울기를 계산하여 속도를 보정한다. 이 "선 점프, 후 계산" 방식이 핵심 차이점이다.

NAG의 업데이트 공식은 다음과 같다. 먼저 현재 매개변수 θ_t에 대해 모멘텀 항 v_{t-1}을 이용해 예측 위치를 계산한다.

θ_{lookahead} = θ_t + γ * v_{t-1}

그런 다음 이 예측 위치에서의 기울기 ∇J(θ_{lookahead})를 구한다. 최종적으로 속도 v_t와 매개변수 θ_{t+1}은 아래와 같이 업데이트된다.

v_t = γ * v_{t-1} + η * ∇J(θ_t + γ * v_{t-1})

θ_{t+1} = θ_t - v_t

여기서 γ는 모멘텀 계수, η는 학습률이다. 이 과정은 공이 언덕을 굴러내려갈 때, 관성으로 인해 앞으로 나아갈 방향을 미리 보고 그 지점의 경사를 반영하여 속도를 조절하는 것에 비유할 수 있다.

이러한 접근법은 특히 손실 함수의 곡률이 높은 영역(예: 좁고 긴 골짜기 형태)에서 더 나은 성능을 보인다. 모멘텀만 사용할 경우 진동(oscillation)이 발생하며 수렴이 느려질 수 있지만, NAG는 미리 보는(look-ahead) 기울기 정보로 인해 이러한 진동을 감소시키고 더 빠르게 최적점을 향해 이동할 수 있다. 결과적으로 NAG는 모멘텀에 비해 이론적으로 더 우수한 수렴 속도를 보장하며, 실제로 심층 신경망 학습에서도 종종 더 안정적이고 빠른 수렴을 달성한다.

AdaGrad는 적응형 학습률 알고리즘의 초기이자 대표적인 방법 중 하나이다. 이 알고리즘의 핵심 아이디어는 각 모델 파라미터에 대해 과거 기울기(gradient)의 제곱값을 누적하여, 파라미터별로 학습률을 독립적으로 조정하는 것이다. 구체적으로, 빈번하게 업데이트되는 파라미터는 누적 제곱 기울기 값이 커져 학습률이 작아지고, 드물게 업데이트되는 파라미터는 누적 값이 작아 상대적으로 큰 학습률을 유지한다. 이는 희소 데이터를 다루는 문제, 예를 들어 자연어 처리에서 단어 임베딩을 학습할 때 특히 효과적이다[5].

AdaGrad의 업데이트 규칙은 다음과 같은 수식으로 표현된다. 여기서 $g_t$는 시간 $t$에서의 기울기, $G_t$는 $g_t$의 제곱을 요소별로 누적한 행렬, $\eta$는 초기 학습률, $\epsilon$은 0으로 나누는 것을 방지하기 위한 작은 상수이다.

$$G_t = G_{t-1} + g_t \odot g_t$$

$$\theta_{t+1} = \theta_t - \frac{\eta}{\sqrt{G_t + \epsilon}} \odot g_t$$

이러한 단점, 특히 학습률의 조기 감소 문제를 해결하기 위해 이후 RMSProp와 Adam 같은 알고리즘이 개발되었다. RMSProp은 AdaGrad의 누적 방식을 지수 이동 평균으로 변경하여 과거 기울기의 영향을 점차 감쇠시킴으로써 이 문제를 완화한다. 따라서 AdaGrad는 종종 매우 볼록 함수 최적화나 특정 희소성 문제에 제한적으로 사용되며, 더 발전된 적응형 알고리즘의 기반을 제공한 중요한 이정표로 평가받는다.

RMSProp(Root Mean Square Propagation)은 적응형 학습률 알고리즘의 하나로, AdaGrad의 학습률이 지나치게 빠르게 감소하는 문제를 해결하기 위해 제안되었다. 제프리 힌튼이 강의 노트에서 처음 소개한 이 방법은 각 매개변수에 대한 기울기의 제곱을 지수이동평균(Exponential Moving Average)으로 누적하여 학습률을 조정한다.

알고리즘의 핵심은 기울기의 크기에 따라 학습률을 동적으로 조정하는 것이다. 각 반복(iteration)에서 매개변수 $w$에 대한 기울기 $g_t$를 계산한 후, 그 제곱의 지수이동평균 $E[g^2]_t$를 갱신한다. 이때 감쇠율 $\rho$ (보통 0.9)를 사용하여 과거 기울기 정보를 서서히 잊게 만든다. 갱신 공식은 다음과 같다.

$E[g^2]_t = \rho E[g^2]_{t-1} + (1 - \rho) g_t^2$

그 후, 매개변수 업데이트는 $w_{t+1} = w_t - \frac{\eta}{\sqrt{E[g^2]_t + \epsilon}} \cdot g_t$ 와 같이 수행된다. 여기서 $\eta$는 전역 학습률, $\epsilon$은 0으로 나누는 것을 방지하기 위한 작은 상수이다.

RMSProp의 주요 장점은 곡률이 급격하게 변하는 문제나 희소한 기울기를 갖는 문제에서 효과적으로 작동한다는 점이다. 특히, 순환 신경망(RNN) 훈련에 널리 사용되었다. AdaGrad와 비교했을 때, 지수이동평균을 사용함으로써 과거의 모든 기울기 제곱을 동일한 가중치로 누적하는 것이 아니라 최근의 기울기 정보에 더 큰 비중을 둔다. 이로 인해 학습률이 지나치게 작아져 학습이 조기에 멈추는 현상을 완화할 수 있다. 이후 등장한 Adam 최적화 알고리즘은 RMSProp의 아이디어에 모멘텀 개념을 결합하여 발전시켰다.

Adam은 적응형 학습률 알고리즘의 하나로, 모멘텀과 RMSProp의 아이디어를 결합한 알고리즘이다. 2014년에 제안된 이후로 딥러닝 분야에서 가장 널리 사용되는 최적화 방법 중 하나가 되었다. 이 알고리즘은 각 매개변수에 대해 개별적으로 학습률을 조정하며, 과거 기울기의 지수 이동 평균(1차 모멘트)과 제곱된 기울기의 지수 이동 평균(2차 모멘트)을 모두 추정하여 파라미터를 업데이트한다.

Adam의 업데이트 규칙은 크게 네 단계로 이루어진다. 첫째, 현재 기울기(g_t)를 계산한다. 둘째, 1차 모멘트(m_t)와 2차 모멘트(v_t)를 각각의 감쇠 계수 β1, β2를 사용해 지수 이동 평균으로 추정한다. 셋째, 초기화 편향을 보정한 추정치(^m_t, ^v_t)를 계산한다. 마지막으로, 이 보정된 모멘트 추정치와 학습률(α)을 사용하여 파라미터를 업데이트한다. 수식은 다음과 같다.

m_t = β1 * m_{t-1} + (1 - β1) * g_t

v_t = β2 * v_{t-1} + (1 - β2) * g_t^2

^m_t = m_t / (1 - β1^t)

^v_t = v_t / (1 - β2^t)

θ_t = θ_{t-1} - α * ^m_t / (√^v_t + ε)

Adam의 주요 장점은 학습률을 자동으로 조정한다는 점이다. 1차 모멘트는 모멘텀과 유사한 가속 효과를 제공하고, 2차 모멘트는 RMSProp처럼 기울기의 크기에 따라 학습률을 스케일링한다. 또한 편향 보정 단계는 학습 초기에 모멘트 추정치가 0에 가깝게 초기화되어 발생하는 편향을 줄여준다. 일반적으로 권장되는 하이퍼파라미터 값은 β1=0.9, β2=0.999, ε=10^{-8}이다.

이 알고리즘은 실제로 다양한 문제에서 강력한 성능을 보이며, 하이퍼파라미터에 비교적 덜 민감한 편이다. 그러나 AdamW와 같은 후속 연구에서는 가중치 감쇠를 적용하는 방식에 문제가 있음을 지적하며 개선된 버전을 제안하기도 했다. Adam은 기본적으로 신경망 훈련에 매우 효과적이지만, 모든 문제에 최적인 것은 아니며 데이터셋과 모델 구조에 따라 다른 알고리즘이 더 나은 결과를 낼 수 있다.

Adam 알고리즘의 변형으로, 가중치 감쇠를 표준적인 L2 정규화 방식이 아닌 옵티마이저 업데이트 단계에서 직접 분리하여 적용하는 기법이다. AdamW는 Adam의 원래 구현에서 발생하는 가중치 감쇠와 학습률 스케줄링 간의 결합 문제를 해결하기 위해 제안되었다.

기존 Adam에서는 가중치 감쇠 항이 기울기와 함께 계산되어 업데이트에 포함된다. 이는 가중치 감쇠가 학습률에 의해 스케일링되는 효과를 내며, 학습률이 변경될 때마다 실제 적용되는 정규화의 강도가 변하게 만든다. AdamW는 이 문제를 해결하기 위해 가중치 감쇠 항을 기울기 업데이트와 분리하여, 기울기와 무관하게 가중치 값 자체에 직접 감쇠를 적용한다. 이로 인해 하이퍼파라미터 튜닝이 더 직관적이고 안정적이며, 특히 전이 학습이나 미세 조정 시 더 나은 일반화 성능을 보이는 경우가 많다.

주요 특징은 다음과 같다.

이 방법은 심층 신경망 훈련, 특히 ResNet, Transformer와 같은 현대적 아키텍처에서 널리 채택되었다. AdamW는 PyTorch와 Hugging Face Transformers 라이브러리 등 주요 딥러닝 프레임워크에서 기본 또는 권장 옵티마이저로 포함되어 있다.

뉴턴 방법은 함수의 근을 찾거나 함수의 극값을 구하기 위한 반복법이다. 이 방법은 목적 함수를 2차 테일러 급수로 근사하고, 그 근사 함수의 극소점을 반복적으로 찾아가는 방식으로 작동한다. 기울기 정보만을 사용하는 1차 최적화 방법과 달리, 뉴턴 방법은 헤세 행렬로 표현되는 2차 도함수 정보를 활용하여 수렴 속도를 크게 높인다.

알고리즘은 현재 매개변수 지점에서 목적 함수의 기울기와 헤세 행렬을 계산한 후, 다음 업데이트를 수행한다. 업데이트 공식은 헤세 행렬의 역행렬과 기울기 벡터의 곱을 현재 지점에서 빼는 형태를 가진다. 이는 근사된 2차 함수의 정확한 극소점으로 이동하는 단계에 해당한다. 뉴턴 방법은 헤세 행렬이 양의 정부호 행렬일 때 잘 작동하며, 볼록 함수에 대해서는 매우 빠른 2차 수렴 속도를 보인다.

그러나 뉴턴 방법은 몇 가지 심각한 실용적 한계를 가진다. 가장 큰 문제는 헤세 행렬과 그 역행렬을 계산하고 저장하는 데 드는 계산 비용이 매우 크다는 점이다. 특히 매개변수가 많은 딥러닝 모델에서는 이 계산이 사실상 불가능하다. 또한 헤세 행렬이 양의 정부호 행렬이 아닐 경우 알고리즘이 발산할 수 있으며, 목적 함수가 강하게 볼록 함수가 아닐 때는 예상치 못한 방향으로 업데이트될 위험이 있다.

이러한 단점으로 인해 딥러닝에서는 순수한 뉴턴 방법이 거의 사용되지 않는다. 대신, 헤세 행렬을 근사하거나 암묵적으로 추정하는 준뉴턴 방법이나 헤세 행렬의 곱셈만을 계산하는 헤세-벡터 곱 기법 등이 더 널리 연구되고 적용된다.

준뉴턴 방법은 뉴턴 방법의 핵심 요소인 헤세 행렬의 계산과 역행렬 구하기라는 두 가지 큰 비용 문제를 해결하기 위해 개발된 알고리즘 군이다. 이 방법들은 헤세 행렬을 직접 계산하지 않고, 이전 단계의 기울기 정보를 이용하여 헤세 행렬의 역행렬을 근사하는 행렬을 점진적으로 업데이트한다. 이를 통해 뉴턴 방법의 빠른 수렴 속도는 유지하면서, 각 반복에서의 계산 부담을 크게 줄인다.

가장 대표적인 준뉴턴 방법은 BFGS 알고리즘이다. BFGS는 Broyden, Fletcher, Goldfarb, Shanno 네 사람의 이름을 따서 명명되었으며, 곡률 정보를 정밀하게 근사한다. 이 알고리즘은 현재의 근사 헤세 역행렬에 두 개의 순위-1 업데이트 행렬을 더하는 방식으로 업데이트를 수행한다. BFGS는 일반적으로 강력한 성능을 보이지만, 메모리에 저장해야 하는 근사 행렬의 크기가 매개변수 수의 제곱에 비례하기 때문에 고차원 문제에서는 메모리 사용량이 매우 커질 수 있다.

이러한 메모리 문제를 해결하기 위해 제안된 변형이 L-BFGS이다. L-BFGS는 '제한 메모리 BFGS'를 의미하며, 최근 m개의 기울기 차이와 매개변수 차이 벡터만을 저장하여 헤세 역행렬의 근사를 암묵적으로 계산한다. 이로 인해 메모리 사용량은 매개변수 수에 선형적으로 비례하게 되어 대규모 최적화 문제에 실용적으로 적용될 수 있다. 준뉴턴 방법의 업데이트 규칙은 일반적으로 다음과 같은 형태를 가진다.

준뉴턴 방법은 볼록 최적화 문제에서 특히 효과적이며, 로지스틱 회귀나 지도 학습 모델의 훈련과 같은 중간 규모의 문제에서 널리 사용된다. 그러나 목적 함수가 매우 비볼록하거나 확률적 노이즈가 큰 딥러닝 모델의 최적화에는 확률적 경사 하강법이나 Adam과 같은 1차 방법이 더 선호되는 경향이 있다.

학습률은 최적화 알고리즘이 매 단계(iteration)마다 파라미터를 업데이트하는 크기를 결정하는 가장 중요한 하이퍼파라미터 중 하나이다. 학습률 설정 방식은 크게 고정 학습률과 가변 학습률로 나뉜다.

고정 학습률은 훈련이 시작될 때 설정된 학습률 값을 훈련이 끝날 때까지 변경하지 않고 사용하는 방식이다. 이 방식은 구현이 단순하고 이해하기 쉽다는 장점이 있다. 그러나 초기 학습률을 적절히 설정하는 것이 매우 중요하며, 너무 큰 값은 발산을 일으키고 너무 작은 값은 수렴 속도를 극단적으로 느리게 만든다. 또한, 훈련 후반에 최적점 근처에 도달했을 때 고정된 큰 학습률은 해 주변을 진동하거나 오히려 벗어나게 하는 원인이 될 수 있다.

이에 반해 가변 학습률은 훈련 과정 중에 학습률 값을 동적으로 조정하는 전략을 의미한다. 가장 일반적인 형태는 학습률 감쇠로, 훈련이 진행됨에 따라 학습률을 점차 줄여나간다. 초기에는 상대적으로 큰 학습률로 빠르게 전역 최적점 방향으로 접근하고, 후반부에는 작은 학습률로 세밀하게 조정하며 수렴하도록 유도한다. 가변 학습률은 학습률 스케줄링의 핵심 개념으로, 시간 기반 감쇠, 단계별 감쇠, 성능 기준 감쇠(예: 검증 손실이 개선되지 않을 때 감소) 등 다양한 세부 전략이 존재한다.

현대 딥러닝에서는 모델의 복잡도가 높고 훈련 데이터가 방대해짐에 따라, 고정 학습률만으로는 효율적인 최적화를 달성하기 어렵다. 따라서 확률적 경사 하강법이나 Adam과 같은 알고리즘을 사용하더라도, 대부분의 경우 학습률을 사전에 정의된 스케줄에 따라 감소시키거나, 순환 학습률과 같이 동적으로 변화시키는 가변 학습률 방식을 적용한다.

학습률 감쇠는 훈련 과정에서 학습률을 점진적으로 낮추는 전략이다. 고정된 학습률을 사용하면 최적점 근처에서 진동하거나 수렴하지 못할 수 있으므로, 초기에는 빠른 진보를 위해 상대적으로 큰 학습률을 사용하고, 후기에는 정밀한 조정을 위해 학습률을 줄이는 것이 일반적이다.

주요 학습률 감쇠 전략은 다음과 같다.

전략 선택은 문제의 특성과 모델 구조에 의존한다. 컨볼루션 신경망을 이용한 이미지 분류에는 단계적 감쇠나 코사인 감쇠가 흔히 사용되는 반면, 변환기 모델 기반의 자연어 처리에서는 학습률을 예열(warmup) 단계 후 선형 또는 코사인 감쇠를 적용하는 것이 표준적이다. 핵심 목표는 너무 빨리 감쇠하여 학습이 조기에 정체되는 것을 피하면서도, 너무 느리게 감쇠하여 최적점 주변에서 불안정하게 진동하는 상황을 방지하는 데 있다.

순환 학습률은 학습 과정에서 학습률을 사전에 정의된 규칙에 따라 주기적으로 변동시키는 전략이다. Leslie N. Smith가 2015년에 제안한 이 방법은 고정된 학습률이나 단조 감소하는 학습률보다 더 나은 성능을 보일 수 있다[7]. 핵심 아이디어는 학습률을 최소값(base_lr)과 최대값(max_lr) 사이에서 삼각파(triangular wave)와 같은 패턴으로 반복적으로 증가 및 감소시키는 것이다.

주요 매개변수는 기본 학습률, 최대 학습률, 주기(cycle length), 단계 크기(step size) 등이다. 가장 일반적인 형태는 '삼각형(triangular)' 정책으로, 학습률이 선형적으로 최대값까지 상승한 후 다시 선형적으로 기본값까지 하강하는 하나의 주기를 형성한다. 변형으로는 주기의 절반 동안만 학습률을 증가시키는 '삼각형2(triangular2)'나 주기마다 최대 학습률을 절반으로 줄이는 '지수 감쇠(exp_range)' 정책 등이 있다.

이 방법의 장점은 하이퍼파라미터 탐색 비용을 줄일 수 있다는 점이다. 매우 낮은 학습률과 매우 높은 학습률 사이를 빠르게 탐색함으로써 모델이 수렴할 최적의 학습률 범위를 실험적으로 찾는 데 도움이 된다. 또한, 학습률이 주기적으로 높아질 때 손실 함수의 평평한 지역(saddle point)을 탈출할 기회를 제공하고, 감소할 때 안정적으로 수렴하도록 유도하여 전반적인 수렴 속도를 개선할 수 있다.

실제 적용에서는 보통 한 주기를 수 에포크에서 수십 에포크로 설정한다. 아래는 삼각형 정책의 한 주기 동안 학습률이 변화하는 개요를 보여준다.

이 기법은 확률적 경사 하강법(SGD) 및 그 변종들과 함께 사용되며, 특히 심층 신경망 학습에서 널리 활용된다.

최적화 알고리즘의 선택은 해결하려는 문제의 특성에 크게 의존한다. 일반적으로 컨벡스 함수 최적화, 신경망 훈련, 대규모 데이터 처리, 희소 데이터 모델링 등 문제 유형에 따라 각기 다른 알고리즘이 우수한 성능을 보인다.

예를 들어, 컨벡스 최적화 문제에서는 뉴턴 방법이나 L-BFGS가 빠른 2차 수렴 속도를 보이지만, 신경망 훈련과 같은 고차원 비컨벡스 문제에서는 계산 비용이 너무 높고 안정성이 떨어진다. 반면, 자연어 처리 모델에서는 특성 행렬이 매우 희소하여 기울기가 드물게 갱신되는 경우가 많다. AdaGrad는 각 매개변수에 대한 학습률을 독립적으로 조정하여 희소한 특성에 더 큰 업데이트를 적용함으로써 이런 문제에 효과적이다. 최근 대부분의 딥러닝 응용 분야에서는 Adam이나 그 변형들이 기본 선택지로 널리 사용되며, 이는 적응형 학습률과 모멘텀을 결합해 다양한 문제에 대해 강건한 성능을 보이기 때문이다.

수렴 속도는 알고리즘이 최적점에 도달하는 데 필요한 반복 횟수나 계산 시간을 의미한다. 일반적으로 확률적 경사 하강법은 느린 수렴 속도로 인해 복잡한 문제에서 비효율적일 수 있다. 모멘텀이나 네스테로프 가속 경사와 같은 방법은 관성을 도입하여 진동을 줄이고 수렴 속도를 가속화하는 데 기여한다. 적응형 학습률 알고리즘인 Adam은 각 매개변수에 개별적인 학습률을 적용하여 초기 수렴 속도가 매우 빠른 것으로 알려져 있다.

수렴의 안정성은 알고리즘이 지역 최적점에 빠지지 않고 전역 최적점에 가깝게 수렴하거나, 발산하지 않고 안정적으로 학습을 진행하는 능력을 말한다. 고정 학습률을 사용하는 SGD는 학습률이 너무 크면 발산할 수 있고, 너무 작으면 수렴이 매우 느려지는 안정성 문제를 가진다. RMSProp과 Adam은 과거 기울기의 제곱을 기반으로 학습률을 조정하여 진동을 억제하고 안정성을 향상시킨다.

수렴 속도와 안정성은 종종 트레이드오프 관계에 있다. 너무 공격적인 학습률 스케줄링은 빠른 초기 수렴을 보장할 수 있지만, 후반부에 불안정하거나 최적점 주변에서 진동할 수 있다. 반면, 매우 보수적인 접근법은 안정적이지만 학습 시간이 과도하게 길어질 수 있다. 실제 적용에서는 문제의 특성(예: 손실 함수의 곡률, 데이터의 노이즈 수준)에 따라 두 요소의 균형을 맞추는 것이 중요하다.

다양한 알고리즘의 수렴 속도와 안정성을 비교한 연구 결과는 다음과 같은 경향을 보인다.

이 표는 일반적인 경향을 나타내며, 실제 성능은 작업과 구현 세부 사항에 따라 달라질 수 있다.

하이퍼파라미터 민감도는 알고리즘의 성능이 하이퍼파라미터 설정값에 얼마나 크게 의존하는지를 나타내는 지표이다. 민감도가 높은 알고리즘은 최적의 하이퍼파라미터를 찾기 위해 많은 실험과 튜닝이 필요하며, 그렇지 않을 경우 수렴 속도가 현저히 떨어지거나 발산할 수 있다. 반면 민감도가 낮은 알고리즘은 비교적 넓은 범위의 하이퍼파라미터에서도 안정적인 성능을 보인다.

주요 최적화 알고리즘들의 민감도는 다음과 같이 비교할 수 있다.

일반적으로 적응형 학습률 알고리즘은 기본 경사 하강법 계열보다 학습률에 대한 민감도가 낮은 편이다. 예를 들어, Adam은 다양한 문제에서 기본 학습률(예: 0.001)로도 합리적인 성능을 보이는 반면, SGD는 모델과 데이터셋에 맞춰 세심하게 학습률을 조정해야 한다. 그러나 Adam의 경우 너무 낮은 학습률은 학습을 지연시키고, 너무 높은 학습률은 불안정성을 초래할 수 있다.

이러한 민감도는 실제 적용 시 중요한 실용적 고려사항이 된다. 계산 자원이 제한되거나 빠른 프로토타이핑이 필요한 경우, 하이퍼파라미터 민감도가 낮은 알고리즘을 선택하는 것이 유리하다. 반면, 최고의 성능을 추구하고 충분한 튜닝 시간을 가질 수 있다면, 민감도가 높지만 잠재적 성능이 우수한 알고리즘을 선택할 수도 있다. 최근 연구들은 자동 미분화(AutoML)나 베이지안 최적화를 통해 하이퍼파라미터 탐색 과정을 자동화함으로써 민감도가 높은 알고리즘의 사용 장벽을 낮추고 있다.

메타러닝을 활용한 최적화는 최적화 알고리즘 자체의 학습 또는 적응을 목표로 하는 패러다임이다. 이 접근법은 기존에 수동으로 설계되거나 경험적으로 선택되던 하이퍼파라미터, 특히 학습률과 같은 최적화 관련 파라미터를 데이터와 태스크로부터 자동으로 획득하려고 시도한다. 핵심 아이디어는 '최적화를 위한 학습(learning to optimize)'으로, 메타 학습자가 기본 최적화 과정을 개선하는 방법을 배우는 것이다[11].

구체적인 방법으로는 순환 신경망(RNN)이나 LSTM과 같은 모델을 메타 최적화기(meta-optimizer)로 사용하는 것이 있다. 이 메타 최적화기는 기본 모델의 경사 하강법 업데이트 규칙을 예측하도록 훈련된다. 훈련은 다양한 손실 함수 표본에 대해 수행되며, 목표는 메타 최적화기가 새로운, 보지 못한 손실 함수에 대해서도 효율적으로 기본 모델의 파라미터를 업데이트할 수 있도록 일반화 능력을 키우는 것이다. 또 다른 접근법은 강화 학습을 적용하는 것으로, 최적화 과정을 순차적 의사결정 문제로 모델링하고, 학습률 조정 같은 행동에 대한 보상을 정의하여 최적의 정책을 학습한다.

이 분야의 주요 장점은 문제에 특화된 최적화 전략을 자동으로 발견할 수 있다는 점이다. 예를 들어, 컨볼루션 신경망(CNN)과 순환 신경망(RNN)은 서로 다른 손실 함수 지형을 가지므로, 메타러닝을 통해 각 아키텍처에 더 적합한 업데이트 규칙을 찾을 수 있다. 그러나 여전히 과제도 존재한다. 메타 모델 자체를 훈련시키는 데 상당한 계산 비용이 들며, 메타 훈련 단계에서 사용하지 않은 유형의 문제로 일반화하는 것이 어려울 수 있다. 또한, 발견된 규칙이 확률적 경사 하강법(SGD)이나 Adam과 같은 기존의 잘 이해된 알고리즘보다 해석하기 훨씬 어려운 '블랙박스'가 될 위험이 있다.

대규모 분산 최적화는 현대 딥러닝 모델, 특히 거대 언어 모델이나 대규모 컴퓨터 비전 모델을 학습시킬 때 필수적인 기술이다. 모델의 매개변수가 수십억에서 수조 개에 이르고 학습 데이터셋의 규모도 방대해지면서, 단일 GPU나 머신으로는 학습 시간과 메모리 한계를 극복하기 어렵기 때문이다. 이 접근법의 핵심은 계산 작업과 데이터를 여러 처리 장치(예: GPU 클러스터, TPU 팟)에 분배하여 병렬로 처리함으로써 전체 학습 시간을 획기적으로 단축하는 것이다.

주요 병렬화 전략은 데이터 병렬화와 모델 병렬화로 나뉜다. 데이터 병렬화는 가장 널리 쓰이는 방식으로, 전체 학습 데이터를 여러 노드에 나누어 배치하고, 각 노드는 모델의 완전한 복사본을 가지고 순전파와 역전파를 수행한다. 이후 각 노드에서 계산된 기울기를 동기화하여 평균을 낸 다음, 모든 노드의 모델 가중치를 일관되게 갱신한다. 이 과정에서 All-Reduce 연산이 핵심 통신 패턴으로 사용된다. 반면, 모델 병렬화는 모델 자체의 층이나 연산을 여러 장치에 분할하여 배치한다. 단일 모델이 하나의 장치 메모리에 담기지 않을 때 주로 사용되며, 파이프라인 병렬화와 텐서 병렬화 같은 세부 기법이 포함된다.

효율적인 분산 최적화를 구현하기 위해서는 통신 오버헤드와 동기화 비용을 최소화하는 것이 중요하다. 이를 위해 다양한 기법이 개발되었다.

이러한 분산 최적화 프레임워크와 라이브러리(예: PyTorch의 DistributedDataParallel, Horovod, DeepSpeed)는 복잡한 통신 로직을 추상화하여 연구자와 엔지니어가 비교적 쉽게 대규모 학습을 수행할 수 있게 지원한다. 최근 연구는 이종 컴퓨팅 환경에서의 효율성, 통신과 계산의 균형 최적화, 그리고 에너지 효율성을 높이는 방향으로 진행되고 있다.