층 정규화

층 정규화의 기본 원리는 신경망의 각 층에서 활성화 함수에 들어가는 입력 데이터의 분포를 표준화하는 것이다. 구체적으로, 각 데이터 샘플에 대해 해당 층의 모든 뉴런 또는 특성 차원에 걸쳐 평균과 표준 편차를 계산한다. 그런 다음, 이 통계값을 사용하여 각 특성 값을 평균을 빼고 표준 편차로 나누는 표준화 과정을 수행한다. 이는 데이터의 평균을 0으로, 표준 편차를 1로 만드는 작업에 해당한다.

이러한 표준화 과정은 내부 공변량 변화 문제를 완화하는 데 핵심적인 역할을 한다. 내부 공변량 변화란 신경망 학습 중에 각 층의 입력 분포가 계속 변화하는 현상을 말한다. 층 정규화는 각 층의 출력을 안정적인 분포로 유지시켜, 이러한 변화를 줄여준다. 결과적으로, 신경망의 학습 과정이 더 안정적이고 빠르게 수렴하도록 돕는다. 또한, 학습 가능한 스케일과 시프트 파라미터를 도입하여, 모델이 필요에 따라 정규화된 분포를 조정할 수 있게 하여 표현력을 유지한다.

층 정규화의 접근 방식은 배치 정규화와 대비된다. 배치 정규화는 미니배치 내의 모든 샘플에 걸쳐 동일한 특성 차원을 정규화하는 반면, 층 정규화는 각 샘플별로, 즉 배치 차원과 무관하게 각 층 내부의 모든 특성 차원을 정규화한다. 이로 인해 층 정규화는 배치 크기에 의존하지 않으며, 가변 길이의 시퀀스 데이터를 처리하는 순환 신경망이나 Transformer 모델에 특히 적합하다.

내부 공변량 변화 문제는 심층 신경망 학습 과정에서 발생하는 핵심적인 어려움 중 하나이다. 이 문제는 신경망의 각 층을 통과할 때마다 입력 데이터의 분포가 계속해서 변화하는 현상을 가리킨다. 신경망의 가중치는 학습 단계마다 업데이트되기 때문에, 특정 층의 파라미터가 조금만 변해도 그 변화는 이후의 모든 층에 누적되어 전달된다. 결과적으로 각 층은 매번 새로운 분포의 입력을 처리해야 하며, 이는 학습을 불안정하게 만들고 수렴 속도를 현저히 저하시킨다. 또한 이러한 불안정성은 기울기 소실 또는 폭발 문제를 악화시키는 원인이 되기도 한다.

층 정규화는 바로 이 내부 공변량 변화 문제를 해결하기 위해 설계된 기법이다. 층 정규화는 배치 정규화와 달리 미니배치 내의 다른 샘플들에 의존하지 않고, 각 데이터 샘플 내의 모든 특징 차원에 대해 독립적으로 평균과 분산을 계산하여 정규화를 수행한다. 이 방식을 통해 각 층의 출력 분포를 안정화시키고, 신경망이 더 빠르고 안정적으로 학습할 수 있는 환경을 조성한다. 특히 시퀀스 길이가 가변적인 순환 신경망이나 트랜스포머 모델에서 배치 정규화의 대안으로 효과적으로 적용된다.

내부 공변량 변화를 완화함으로써 층 정규화는 학습률을 높일 수 있게 하고, 가중치 초기화에 대한 민감도를 줄이며, 과적합을 방지하는 데도 기여한다. 이는 인공지능 모델, 특히 자연어 처리와 같은 분야에서 딥러닝 모델의 성능과 학습 효율성을 크게 향상시키는 중요한 요소가 된다.

층 정규화의 수학적 표현은 각 층의 입력 데이터를 표준화하는 과정을 공식으로 나타낸다. 이 과정은 주어진 층의 모든 뉴런 또는 특징 차원에 걸쳐 데이터의 평균을 0으로, 분산을 1로 조정하는 것을 핵심으로 한다. 구체적으로, 층의 입력 벡터 h에 대해, 먼저 해당 층 내 모든 차원 d에 걸친 평균 μ와 표준편차 σ를 계산한다. 이는 배치 내 다른 샘플과 무관하게, 단일 데이터 샘플의 층 내부 특징들만을 대상으로 한다는 점이 배치 정규화와의 주요 차이점이다.

계산된 통계량을 사용한 표준화는 h' = (h - μ) / (σ + ε) 와 같은 수식으로 수행된다. 여기서 ε은 분모가 0이 되는 것을 방지하기 위한 작은 상수이다. 이 표준화된 값 h'은 평균 0, 분산 1의 분포를 갖게 된다. 그러나 이렇게 강제로 분포를 변경하면 신경망의 표현력이 제한될 수 있다. 따라서 층 정규화는 학습 가능한 두 개의 파라미터인 스케일(γ)과 시프트(β)를 도입하여, 최종 출력을 y = γ * h' + β 로 변환한다. 이 파라미터들은 경사 하강법을 통해 학습되며, 모델이 필요한 경우 원래의 분포를 복원하거나 더 유용한 분포로 조정할 수 있는 유연성을 제공한다.

이러한 수학적 과정은 순환 신경망이나 Transformer와 같은 모델에서 특히 효과적이다. 각 시퀀스의 타임스텝이나 토큰 표현이 독립적으로 정규화되기 때문에, 가변 길이의 입력이나 작은 배치 크기에서도 안정적인 학습을 가능하게 한다. 결과적으로 층 정규화는 내부 공변량 변화 문제를 완화하고 그래디언트의 흐름을 개선하여, 전체적인 학습 속도와 모델 성능을 향상시키는 데 기여한다.

학습 과정에서 층 정규화는 각 미니배치의 데이터에 대해 독립적으로 적용된다. 각 데이터 샘플에 대해, 해당 층의 모든 뉴런 또는 특징 차원에 걸쳐 평균과 분산을 계산한다. 이 계산은 배치 내 다른 샘플의 데이터와는 무관하게, 오직 해당 샘플 내부에서만 이루어진다. 계산된 평균과 분산을 사용하여 데이터를 정규화한 후, 학습 가능한 매개변수인 스케일(γ)과 시프트(β)를 적용하여 최종 출력을 생성한다. 이 과정은 모델이 학습 데이터의 분포를 안정화시키고, 기울기 소실 또는 기울기 폭발 문제를 완화하며, 학습 속도를 가속화하는 데 기여한다.

추론 과정에서는 학습 과정과 동일한 연산이 수행되지만, 한 가지 중요한 차이가 있다. 배치 정규화와 달리 층 정규화는 학습 중에 이동 평균이나 이동 분산을 저장할 필요가 없다. 각 데이터 샘플이 입력될 때마다, 해당 샘플의 특징 차원에 대해 실시간으로 평균과 분산을 계산하여 즉시 정규화를 수행한다. 이는 배치 크기나 시퀀스 길이에 독립적으로 동작하게 만들어, 순환 신경망이나 트랜스포머와 같은 모델에서 변동성이 큰 입력에 대해 강건한 성능을 보장한다.

따라서 층 정규화는 학습과 추론 모두에서 일관된 동작 방식을 가지며, 특히 온라인 학습이나 배치 크기가 1인 상황에서도 안정적으로 적용될 수 있다. 이는 내부 공변량 변화 문제를 완화하고 모델의 일반화 성능을 높이는 핵심 메커니즘으로 작용한다.

층 정규화와 배치 정규화의 주요 차이점은 정규화를 수행하는 축과 그에 따른 적용 가능한 모델 및 시나리오에 있다. 배치 정규화는 미니배치 차원을 따라 평균과 표준편차를 계산하여 정규화를 수행한다. 이 방식은 컨볼루션 신경망과 같은 피드포워드 신경망에서 효과적이지만, 미니배치 크기에 의존적이라는 단점이 있다. 배치 크기가 작으면 통계값이 불안정해져 학습에 방해가 될 수 있으며, 시퀀스 길이가 가변적인 순환 신경망이나 트랜스포머 모델에는 적용하기 어렵다.

반면, 층 정규화는 배치 차원이 아닌, 각 개별 데이터 샘플의 특징 차원을 따라 평균과 표준편차를 계산한다. 이는 배치 크기와 무관하게 동작하며, 각 샘플을 독립적으로 정규화한다. 이러한 특성 때문에 층 정규화는 배치 크기가 작거나 1인 경우에도 안정적으로 작동하며, 시퀀스 데이터를 처리하는 순환 신경망과 어텐션 메커니즘을 기반으로 한 트랜스포머 모델에 매우 적합하다. 또한, 학습과 추론 시 동일한 방식으로 동작하기 때문에 배치 정규화처럼 이동평균을 저장할 필요가 없다는 장점도 있다.

결론적으로, 두 기법 모두 내부 공변량 변화 문제를 완화하고 학습 안정성을 높이는 공통 목적을 가지지만, 데이터의 특성과 모델 구조에 따라 선택이 달라진다. 이미지와 같은 정형화된 데이터를 다루는 컨볼루션 신경망에는 배치 정규화가, 자연어와 같은 시퀀스 데이터를 다루는 순환 신경망이나 트랜스포머에는 층 정규화가 일반적으로 선호된다.

층 정규화는 다양한 신경망 아키텍처에서 널리 적용된다. 특히 배치 크기에 의존적이지 않고 시퀀스 길이가 가변적인 데이터를 처리하는 모델에서 그 효과가 두드러진다.

순환 신경망(RNN)과 LSTM과 같은 모델에서는 시간 스텝마다 은닉 상태의 분포가 변화하는 내부 공변량 변화 문제가 발생한다. 층 정규화는 각 시간 스텝에서 은닉 상태 벡터 자체를 독립적으로 정규화하여 이 문제를 완화하고, 기울기 소실 또는 폭발 문제를 줄여 학습 안정성을 크게 향상시킨다. 이는 배치 정규화가 미니배치 내의 다른 샘플들에 의존하기 때문에 RNN에 적용하기 어려운 점을 극복한 것이다.

Transformer 아키텍처에서는 층 정규화가 핵심 구성 요소로 자리 잡았다. 인코더와 디코더의 각 서브층(셀프 어텐션, 피드포워드 네트워크) 이후에 적용되어, 심층 신경망의 학습 과정을 안정화한다. 특히 어텐션 메커니즘을 사용하는 모델에서 입력 시퀀스의 길이나 배치 구성에 무관하게 동작하는 층 정규화의 특성은 매우 유용하다. BERT나 GPT와 같은 현대적 언어 모델의 성공 배경에는 층 정규화의 역할이 크다.

컨볼루션 신경망(CNN)에서는 주로 배치 정규화가 사용되지만, 배치 크기가 작거나 메모리 제약이 있는 경우 층 정규화가 대안으로 고려될 수 있다. 또한 스타일 변환과 같은 특정 컴퓨터 비전 태스크에서는 각 샘플의 스타일 정보를 보존하는 데 층 정규화가 유리할 수 있다. 요약하면, 층 정규화는 배치 정규화의 단점을 보완하며, 시퀀스 데이터 처리와 심층 인공지능 모델의 학습 안정화에 필수적인 기법으로 자리매김했다.

Transformer 아키텍처는 어텐션 메커니즘을 핵심으로 하는 모델로, 자연어 처리 분야에서 혁신적인 성능을 보여주었다. 이 모델의 학습 안정성과 성능 향상에 층 정규화가 결정적인 역할을 한다. 특히 Transformer의 각 인코더와 디코더 블록 내부에는 멀티 헤드 어텐션과 피드포워드 신경망 서브층 뒤에 층 정규화가 적용되는 것이 일반적이다.

Transformer에서 층 정규화가 중요한 이유는 모델이 처리하는 데이터의 특성에 있다. Transformer는 가변 길이의 시퀀스 데이터를 입력으로 받는다. 배치 정규화는 미니배치 내의 모든 샘플에 걸쳐 통계를 계산하는데, 시퀀스 길이가 다르고 패딩이 존재하는 경우 이 통계가 왜곡될 수 있다. 반면 층 정규화는 각 샘플(즉, 각 시퀀스) 내의 모든 특징 차원에 대해 독립적으로 평균과 분산을 계산하여 정규화를 수행한다. 이 방식은 배치 크기나 시퀀스 길이에 영향을 받지 않아, Transformer와 같은 모델에 매우 적합하다.

층 정규화는 Transformer 블록 내에서 스킵 연결과 결합되어 적용된다. 일반적으로 '사전 층 정규화' 방식을 채택하여, 멀티 헤드 어텐션이나 피드포워드 신경망의 입력을 먼저 정규화한 후 서브층을 통과시키고, 그 출력을 원래 입력에 더하는 방식을 사용한다. 이는 기울기 소실 문제를 완화하고, 더 깊은 모델의 안정적인 학습을 가능하게 하며, 학습률을 높이는 등 최적화 과정을 용이하게 만든다. 결과적으로 층 정규화는 BERT나 GPT와 같은 대규모 언어 모델이 효과적으로 학습될 수 있는 기반을 제공한다.

층 정규화는 순환 신경망(RNN)의 학습 안정성과 성능을 개선하는 데 효과적으로 적용된다. RNN은 시퀀스 데이터를 처리할 때 시간 단계별로 은닉 상태를 순차적으로 업데이트하는데, 이 과정에서 기울기 소실이나 기울기 폭발 문제가 발생하기 쉽다. 층 정규화는 각 시간 단계에서의 은닉 상태 벡터를 독립적으로 정규화함으로써 이러한 문제를 완화하고, 학습 과정을 안정화시킨다.

구체적으로, RNN의 한 층에 층 정규화를 적용할 때는 각 시간 단계의 은닉 상태에 대해, 그 벡터의 차원을 따라 평균과 표준 편차를 계산한다. 이 계산은 미니배치 내 다른 샘플이나 다른 시간 단계의 데이터에 의존하지 않는다. 따라서 가변 길이의 시퀀스를 처리해야 하는 RNN의 특성에 잘 부합하며, 배치 정규화가 작은 배치 크기나 시퀀스 데이터에서 겪는 어려움을 피할 수 있다. 이는 장단기 메모리(LSTM)나 게이트 순환 유닛(GRU)과 같은 RNN 변형 모델에서도 마찬가지로 유효하다.

컨볼루션 신경망(CNN)에서 층 정규화는 배치 정규화의 대안으로 활용된다. 배치 정규화는 미니배치 내의 모든 샘플에 대해 동일한 특징 맵 채널별로 평균과 분산을 계산하여 정규화한다. 이 방식은 이미지 분류와 같은 컴퓨터 비전 작업에서 효과적이지만, 작은 배치 크기에서 통계값이 불안정해지거나, 배치 크기에 의존적이라는 단점이 있다. 반면, 층 정규화는 배치 차원이 아닌, 각 개별 샘플 내의 모든 활성화 값에 걸쳐 평균과 분산을 계산한다. 이는 배치 크기와 무관하게 동작하며, 작은 배치 크기에서도 안정적인 학습을 가능하게 한다.

CNN에 층 정규화를 적용할 때의 주요 고려사항은 다음과 같다. 배치 정규화는 주로 합성곱 층과 활성화 함수 사이에 배치되어, 내부 공변량 변화를 줄이는 데 탁월한 성과를 보였다. 그러나 층 정규화는 순환 신경망(RNN)이나 트랜스포머 모델에서 더 널리 채택되는 경향이 있다. 그럼에도 불구하고, 배치 크기가 제한되거나 가변적인 시나리오, 예를 들어 메모리 제약이 심한 대규모 이미지 인식 모델이나 비디오 처리 작업에서는 CNN에서도 층 정규화가 유용한 선택지가 될 수 있다. 이는 그룹 정규화와 같은 다른 배치-독립적 정규화 기법과 함께 고려될 수 있다.

요약하면, CNN에서 층 정규화는 배치 정규화가 가진 배치 크기 의존성 문제를 피하고자 할 때, 또는 순차 데이터와 이미지 데이터를 함께 처리하는 하이브리드 모델 아키텍처 내에서 일관된 정규화 방식을 적용할 때 유용한 옵션이다.