ADAM

ADAM의 핵심 메커니즘은 모멘텀과 적응적 학습률이라는 두 가지 기법을 통합한 것이다. 이는 경사 하강법의 단점을 보완하고 학습 과정을 안정화하며 효율성을 높이기 위한 설계이다.

모멘텀은 과거 기울기의 이동 평균을 계산하여 최적화 방향을 결정하는 방식이다. 이는 공이 언덕을 굴러내려올 때 관성을 얻는 것과 유사하게, 매개변수 업데이트에 일종의 '관성'을 부여한다. 이를 통해 손실 함수의 곡면에서 발생할 수 있는 지그재그 형태의 비효율적인 이동을 완화하고, 평평한 지역에서도 학습이 계속 진행되도록 돕는다.

적응적 학습률은 각 매개변수마다 개별적으로 학습률을 조정하는 개념이다. 전통적인 확률적 경사 하강법은 모든 매개변수에 동일한 학습률을 적용하는데, 이는 희소 데이터가 많은 문제에서 비효율을 초래할 수 있다. ADAM은 각 매개변수의 기울기 제곱값의 지수 이동 평균을 활용하여, 역사적으로 크게 변동했던 매개변수는 작은 학습률을, 변동이 적었던 매개변수는 큰 학습률을 할당한다. 이는 AdaGrad와 RMSProp 알고리즘의 아이디어를 계승한 것이다.

이 두 기법의 통합으로 ADAM은 신경망 학습에서 널리 채택되었다. 모멘텀이 제공하는 안정적인 진행 방향과 적응적 학습률이 제공하는 매개변수별 세밀한 조정이 결합되어, 다양한 딥러닝 과제에서 비교적 빠르고 강건한 수렴 성능을 보여준다.

ADAM 알고리즘의 절차는 크게 초기화, 반복 업데이트, 편향 보정의 세 단계로 구성된다. 먼저, 모델의 모든 가중치에 대한 1차 모멘텀 추정치와 2차 모멘텀 추정치를 0으로 초기화한다. 이 추정치는 각각 기울기의 평균과 분산을 적응적으로 추적하는 역할을 한다.

알고리즘의 핵심은 각 반복 단계에서 이루어진다. 현재 미니배치에 대한 손실 함수의 기울기를 계산한 후, 이 기울기를 사용해 1차 모멘텀 추정치와 2차 모멘텀 추정치를 각각의 감쇠 계수를 적용하여 업데이트한다. 이때, 2차 모멘텀 추정치는 기울기의 제곱을 요소별로 계산하여 누적한다. 이 과정은 경사 하강법의 기본 업데이트 방식을 적응적으로 개선한다.

업데이트된 모멘텀 추정치는 초기값이 0이기 때문에 발생하는 편향을 보정하기 위한 단계를 거친다. 시간 단계가 증가함에 따라 이 편향은 점점 작아지게 되며, 보정된 추정치를 사용하여 최종적인 매개변수 업데이트를 수행한다. 업데이트는 보정된 1차 모멘텀을 보정된 2차 모멘텀의 제곱근에 안정성을 위해 추가된 작은 상수로 나눈 값을 학습률과 곱하여 적용한다.

이러한 절차는 신경망 훈련에서 흔히 마주치는 기울기의 크기와 분산이 변하는 문제를 효과적으로 해결한다. 결과적으로, 스파이크가 있는 시끄러운 기울기나 희소한 기울기가 존재하는 상황에서도 안정적이고 효율적인 최적화를 가능하게 한다.

ADAM의 주요 장점은 여러 도메인에서 발생하는 다양한 작업을 단일 모델로 효율적으로 학습할 수 있다는 점이다. 기존의 단일 작업 학습 모델은 각 도메인과 작업마다 별도의 모델을 구축해야 하는 비효율성이 있었으나, ADAM은 하나의 공유 네트워크를 통해 여러 작업에 걸쳐 지식을 공유하고 전이한다. 이를 통해 데이터와 컴퓨팅 자원을 절약하면서도, 관련된 작업들 간의 상호 보완적 학습을 촉진하여 전반적인 모델 성능을 향상시킬 수 있다.

또 다른 장점은 도메인 적응 능력이 뛰어나다는 것이다. ADAM은 서로 다른 데이터 분포를 가진 도메인들, 예를 들어 다른 조명 조건의 이미지나 다른 방언의 음성 데이터를 효과적으로 처리할 수 있다. 모델 내에 도메인별 특성을 파악하고 적응하는 메커니즘이 포함되어 있어, 특정 도메인에 과도하게 적합되는 과적합 문제를 완화하고 새로운 도메인에 대한 일반화 성능을 높이는 데 기여한다.

마지막으로, ADAM은 다중 작업 학습의 이점을 극대화한다. 여러 작업을 동시에 학습함으로써, 하나의 작업을 학습할 때 얻은 지식이 다른 관련 작업의 학습에 긍정적인 영향을 미치는 현상, 즉 전이 학습 효과를 기대할 수 있다. 이는 특히 레이블이 부족한 작업의 성능을 개선하는 데 유용하며, 복잡한 실세계 문제를 해결하는 인공지능 시스템을 구축할 때 강력한 패러다임으로 작용한다.

ADAM의 주요 단점은 계산 복잡도와 과적합 위험에 있다. 기존의 단일 작업 학습이나 단일 도메인 학습에 비해, 여러 도메인과 여러 작업을 동시에 고려해야 하므로 모델의 구조가 복잡해지고 학습에 필요한 계산 자원이 크게 증가한다. 특히 각 도메인의 특성을 적응적으로 반영하기 위한 메커니즘은 추가적인 매개변수와 메모리를 요구한다.

또 다른 단점은 과적합 가능성이다. 제한된 데이터로 너무 많은 작업을 학습하려 하거나, 서로 다른 도메인 간의 차이가 극심할 경우, 모델이 특정 도메인이나 작업에 지나치게 맞춰져 일반화 성능이 떨어질 수 있다. 이는 다중 작업 학습에서 공통적으로 나타나는 문제인 '작업 간 간섭' 현상과 연관되어 있다.

마지막으로, ADAM 접근법의 성능은 도메인 간의 관련성과 작업 간의 시너지 효과에 크게 의존한다. 사전 지식 없이 임의로 결합된 도메인과 작업에 대해 이 방법을 적용하면, 오히려 개별 모델을 독립적으로 학습시키는 것보다 나쁜 결과를 초래할 수 있다. 따라서 효과적인 적용을 위해서는 도메인 분석과 작업 선정에 대한 신중한 고려가 선행되어야 한다.

AdamW는 ADAM 최적화 알고리즘의 변형 중 하나로, 가중치 감쇠를 통한 정규화 방식을 개선한 알고리즘이다. 기존 ADAM은 가중치 감쇠를 경사 하강법 업데이트 과정에 포함시켜, 이로 인해 모멘텀과 적응적 학습률 계산에 편향이 발생할 수 있었다. AdamW는 이 문제를 해결하기 위해 가중치 감쇠 항을 손실 함수의 정규화 항으로 명시적으로 분리하여, 경사 하강법 업데이트에는 순수한 손실 함수의 기울기만을 사용하도록 설계되었다.

이 방식의 핵심은 L2 정규화의 효과를 유지하면서도 ADAM의 적응적 업데이트 메커니즘을 방해하지 않도록 하는 데 있다. 구체적으로, 가중치 업데이트 공식에서 가중치 감쇠 항을 별도로 빼서 처리함으로써, 학습률과 가중치 감쇠의 효과가 서로 얽히지 않고 독립적으로 작용하도록 한다. 이는 특히 심층 신경망과 같은 복잡한 모델을 훈련할 때 과적합을 방지하고 일반화 성능을 향상시키는 데 도움이 된다.

AdamW는 컴퓨터 비전과 자연어 처리를 포함한 다양한 딥러닝 분야에서 표준 ADAM보다 더 나은 성능과 안정성을 보여주며 널리 채택되고 있다. 특히 대규모 사전 학습 모델이나 정밀한 하이퍼파라미터 튜닝이 필요한 작업에서 그 효과가 두드러진다. 이 알고리즘은 ADAM의 핵심 장점인 효율성과 적응성을 유지하면서 정규화 측면에서의 한계를 보완한 중요한 발전으로 평가받는다.

Nadam은 ADAM 최적화 알고리즘과 NAG 알고리즘의 아이디어를 결합한 변형 알고리즘이다. NAG는 모멘텀을 계산할 때 현재 기울기가 아닌 '미래의 예상 위치'에서의 기울기를 사용하여 진동을 줄이는 특징이 있다. Nadam은 ADAM의 적응적 학습률 장점을 유지하면서, 모멘텀 항을 계산할 때 이 NAG 방식을 도입하여 수렴 속도와 안정성을 더욱 개선하려고 설계되었다.

구체적으로, 표준 ADAM은 과거 기울기의 지수 가중 평균인 모멘텀과 제곱 기울기의 지수 가중 평균을 사용한다. 반면 Nadam은 모멘텀 업데이트 단계에서 현재 시점의 기울기 대신, 현재 모멘텀 방향으로 한 단계 나아간 '예상' 지점의 기울기를 반영하는 NAG의 방식을 적용한다. 이로 인해 알고리즘이 목적 함수의 곡면을 더 잘 예측하고, 방향을 조정할 수 있어 특히 초기 학습 단계나 곡률이 급격히 변하는 지점에서 더 나은 성능을 보일 수 있다.

Nadam은 심층 신경망과 같은 복잡한 모델의 학습에서 종종 기본 ADAM보다 빠른 수렴 속도를 보이며, 하이퍼파라미터 튜닝에 대한 민감도가 상대적으로 낮은 편이다. 이는 컴퓨터 비전, 자연어 처리 등 다양한 딥러닝 과제에서 유용하게 활용된다. 그러나 모든 문제에서 Nadam이 항상 더 우수한 것은 아니며, 데이터셋과 모델 구조에 따라 기본 ADAM이나 다른 변형 알고리즘(AdamW 등)이 더 적합할 수 있다.