배치 정규화 과정

심층 신경망의 학습 과정에서 각 층의 입력 분포는 이전 층의 매개변수 갱신에 따라 지속적으로 변화한다. 이 현상을 내부 공변량 변화라고 부르며, 이는 학습을 불안정하게 만들고 학습 속도를 저하시키는 주요 원인 중 하나이다. 입력 분포의 변화는 각 층이 새로운 분포에 계속 적응해야 하도록 만들어, 학습률을 낮게 설정해야 하는 결과를 초래한다.

정규화는 이러한 문제를 완화하기 위해, 각 층의 입력을 평균 0, 분산 1의 분포로 변환하는 과정이다. 이는 데이터의 스케일을 일정하게 유지하여, 활성화 함수가 포화되는 영역에 빠지는 것을 방지한다. 예를 들어, 시그모이드 함수나 하이퍼볼릭 탄젠트 함수는 입력값이 크거나 작을 때 그래디언트가 0에 가까워지는 그래디언트 소실 문제가 발생한다. 정규화는 입력을 적절한 범위로 조정함으로써 이러한 문제를 줄여준다.

따라서, 정규화의 핵심 필요성은 학습 과정의 안정성을 높이고 수렴 속도를 가속화하는 데 있다. 네트워크의 깊이가 깊어질수록 내부 공변량 변화의 영향은 누적되며, 이를 제어하지 않으면 심층 신경망의 효과적인 학습이 매우 어려워진다. 배치 정규화는 이러한 정규화를 미니배치 단위로 수행하는 구체적인 기법으로 발전하게 되었다.

내부 공변량 변화는 심층 신경망 학습 과정에서 발생하는 현상으로, 네트워크의 한 층의 입력 분포가 이전 층의 매개변수 갱신으로 인해 학습 중에 변화하는 것을 의미한다. 이 개념은 배치 정규화를 제안한 2015년 논문[2]에서 핵심 문제로 지적되었다.

이 변화는 학습을 불안정하게 만들고 느리게 하는 주요 원인으로 작용한다. 각 층은 지속적으로 변화하는 입력 분포에 적응해야 하므로, 학습률을 낮게 설정해야 하며 신중한 가중치 초기화가 필요해진다. 이는 전체 학습 과정을 매우 느리게 만든다. 내부 공변량 변화는 특히 활성화 함수의 입력 값이 특정 범위를 벗어날 때 그래디언트 소실이나 그래디언트 폭발 문제를 악화시킨다.

배치 정규화는 이 문제를 해결하기 위해 설계되었다. 각 층의 입력을 정규화함으로써, 층의 출력 분포를 안정화하고 내부 공변량 변화를 크게 줄인다. 결과적으로 네트워크는 더 높은 학습률을 사용할 수 있게 되고, 가중치 초기화에 대한 의존도가 낮아지며, 학습 속도가 가속화된다.

배치 정규화 과정에서 평균과 분산 계산은 미니배치 단위로 수행되는 핵심 연산이다. 이 계산은 각 은닉층의 활성화 값 분포를 안정화시키는 목적을 가진다. 주어진 미니배치 데이터 $B = \{x_1, ..., x_m\}$에 대해, 해당 층의 출력값에 대한 평균 $\mu_B$와 분산 $\sigma_B^2$을 다음과 같이 계산한다.

$$

\mu_B = \frac{1}{m} \sum_{i=1}^{m} x_i

$$

$$

\sigma_B^2 = \frac{1}{m} \sum_{i=1}^{m} (x_i - \mu_B)^2

$$

여기서 $m$은 미니배치의 크기를 나타낸다. 계산된 평균과 분산은 이후 정규화 단계에서 직접 사용된다. 이 통계량들은 배치 내 샘플들에 대한 분포의 중심과 퍼짐 정도를 요약하여, 각 샘플을 이 분포에 맞춰 정규화하는 기준을 제공한다.

이 계산의 중요한 특징은 통계량이 전체 데이터셋이 아닌 현재 미니배치에 국한된다는 점이다. 이로 인해 배치 크기가 작을 경우 추정치의 불안정성이 발생할 수 있다[3]. 또한, 이 단계는 순전파 과정 중에 실행되며, 계산된 평균과 분산은 역전파 시 그래디언트 흐름에 영향을 미친다.

이 단계에서는 정규화된 데이터에 스케일링과 시프팅을 적용하여 네트워크의 표현력을 복원한다. 단순히 평균 0, 분산 1로 정규화하는 것은 해당 계층이 학습한 특징 표현을 제한할 수 있다. 예를 들어, 시그모이드 함수의 선형 구간만을 사용하게 되어 비선형성을 잃을 수 있다[4].

따라서 학습 가능한 매개변수인 감마와 베타를 도입하여 변환을 수행한다. 수식은 다음과 같다.

y_i = γ * x̂_i + β

여기서 x̂_i는 정규화된 입력, y_i는 최종 출력이다. γ는 스케일 파라미터, β는 시프트 파라미터이다.

이 과정의 효과는 다음과 같이 요약할 수 있다.

네트워크는 경사 하강법을 통해 최적의 γ와 β 값을 학습한다. 이를 통해 각 계층은 정규화의 안정화 효과를 유지하면서도, 필요한 경우 원래의 분포를 복원하거나 더 유용한 분포로 변환할 수 있는 유연성을 얻는다. 결과적으로, 모델은 데이터의 표현력을 잃지 않으면서도 내부 공변량 변화를 줄이는 이점을 동시에 누릴 수 있다.

배치 정규화는 경사 하강법 기반 최적화 과정에서 학습 속도를 현저히 높이는 효과를 가져온다. 이는 주로 학습률을 크게 설정할 수 있게 해주기 때문이다. 배치 정규화가 적용되지 않은 심층 신경망에서는 입력 데이터의 분포가 각 층을 통과하며 변화하는 내부 공변량 변화 현상이 발생한다. 이로 인해 가중치의 초기값에 매우 민감해지고, 안정적인 학습을 위해 매우 작은 학습률을 사용해야만 했다. 배치 정규화는 각 층의 활성화 값을 평균 0, 분산 1로 정규화하여 이러한 분포의 변화를 억제한다. 결과적으로, 그래디언트의 흐름이 보다 안정화되어 일반적으로 사용할 수 있는 학습률보다 훨씬 큰 값을 설정해도 학습이 발산하지 않고 빠르게 수렴할 수 있게 된다.

더 빠른 수렴은 곧 동일한 에폭(epoch) 내에서 더 많은 학습 진행을 의미하며, 이는 실험 시간을 단축시키는 직접적인 이점으로 이어진다. 또한, 높은 학습률은 포화 구간에 빠진 활성화 함수(예: 시그모이드 함수나 하이퍼볼릭 탄젠트 함수)의 문제를 완화하는 데도 기여한다. 정규화된 데이터는 주로 활성화 함수의 선형적인 영역에 분포하게 되어, 그래디언트가 더 크게 유지되고 가중치 업데이트가 더 효율적으로 이루어지게 한다.

다음 표는 배치 정규화 적용 전후의 학습률과 수렴 속도에 대한 일반적인 비교를 보여준다.

요약하면, 배치 정규화는 네트워크의 각 층이 보다 독립적이고 안정적인 학습 환경을 제공함으로써, 높은 학습률을 통한 빠른 최적화를 가능하게 한다. 이는 심층 신경망의 훈련 시간을 크게 단축시키는 핵심 메커니즘 중 하나이다.

배치 정규화는 심층 신경망의 학습 과정에서 발생하는 그래디언트 소실 및 그래디언트 폭발 문제를 완화하는 데 효과적이다. 이 문제들은 주로 활성화 함수를 통과한 값의 분포가 깊은 층으로 갈수록 극단적으로 치우치면서 발생한다. 예를 들어, 시그모이드 함수나 하이퍼볼릭 탄젠트 함수는 입력값이 너무 크거나 작으면 그래디언트가 0에 가까워져서 소실되기 쉽다. 배치 정규화는 각 층의 입력을 평균 0, 분산 1로 강제로 조정하여 활성화 값이 비선형 함수의 민감한 영역(예: 시그모이드 함수의 기울기가 큰 영역)에 안정적으로 분포하도록 돕는다.

이를 통해 역전파 과정에서 전달되는 그래디언트의 크기가 안정화된다. 배치 정규화 계층 자체도 그래디언트 흐름에 기여하는데, 정규화된 값에 적용되는 감마와 베타 파라미터에 대한 그래디언트는 직접적으로 흐르며, 입력에 대한 그래디언트는 정규화 변환을 거쳐 흐른다. 이 변환은 그래디언트의 크기를 조절하는 효과가 있어, 그래디언트가 지나치게 커지거나 작아지는 현상을 방지한다[5].

결과적으로 네트워크는 더 깊게 쌓을 수 있게 되고, 학습률과 같은 하이퍼파라미터를 더 크게 설정할 수 있어 학습 속도가 빨라진다. 또한 그래디언트의 안정화는 가중치 초기화 방법에 대한 의존성을 줄여주는 부수적 이점을 제공한다.

배치 정규화는 모델의 과적합을 줄이고 일반화 성능을 개선하는 데 기여한다. 이는 각 계층의 입력 분포를 안정화시켜 모델이 학습 데이터에 지나치게 특화되는 것을 방지하기 때문이다. 안정적인 분포는 모델이 학습 데이터의 세부적인 노이즈나 특이점에 덜 민감하게 반응하도록 만들어, 보지 못한 새로운 데이터에 대한 예측 성능을 높인다.

배치 정규화는 드롭아웃과 같은 다른 정규화 기법과 유사한 효과를 가지며, 때로는 이를 대체할 수도 있다. 배치 정규화 계층은 학습 중에 각 미니배치의 통계량(평균, 분산)을 사용하여 정규화를 수행하는데, 이 과정 자체가 약간의 확률적 노이즈를 주입하는 역할을 한다. 이 노이즈는 모델이 단순히 학습 데이터를 외우는 것을 방해하고, 더 강건한 특징 표현을 학습하도록 유도한다.

일반화 성능 향상의 또 다른 메커니즘은 가중치 감쇠와의 상호작용에 있다. 배치 정규화를 적용하면, 높은 학습률을 사용하면서도 학습이 불안정해지지 않는다. 높은 학습률은 손실 함수의 공간에서 더 넓은 영역을 탐색하게 하여, 더 평탄하고 일반화하기 좋은 최적점을 찾을 가능성을 높인다. 결과적으로, 배치 정규화를 적용한 모델은 검증 데이터셋이나 테스트 데이터셋에서 종종 더 나은 성능을 보인다.

하지만, 배치 정규화의 일반화 효과는 배치 크기에 민감할 수 있다. 매우 작은 미니배치에서는 통계량 추정이 불안정해져, 오히려 성능 저하를 초래할 수도 있다[6].

배치 크기는 배치 정규화의 성능에 직접적인 영향을 미치는 핵심 요소이다. 배치 정규화는 이름 그대로 하나의 배치 내 샘플들의 통계(평균과 분산)를 사용하여 정규화를 수행하기 때문에, 배치 크기가 작을수록 추정된 통계값의 신뢰도가 떨어진다. 이는 특히 미니배치 크기가 매우 작은 경우(예: 1 또는 2)에 두드러지며, 배치 평균과 분산이 전체 데이터 분포를 대표하지 못해 정규화 효과가 불안정해진다. 결과적으로 학습 과정에서 노이즈가 증가하고 일반화 성능이 저하될 수 있다.

반대로, 배치 크기가 매우 크면 통계 추정의 정확도는 높아지지만 다른 문제가 발생할 수 있다. 큰 배치는 메모리 사용량을 급격히 증가시키고, 하드웨어 제약을 받을 수 있다. 또한, 일부 연구에 따르면 큰 배치 크기는 모델의 일반화 능력을 약화시키는 경향이 있다는 주장도 있다[7]. 배치 정규화는 이러한 큰 배치 크기의 일반화 성능 저하를 부분적으로 완화하는 데 도움을 주지만, 근본적인 한계를 완전히 해결하지는 못한다.

배치 크기가 1인 극단적인 경우, 즉 확률적 경사 하강법(SGD)을 사용할 때는 분산을 0으로 나누는 문제가 발생하여 배치 정규화를 적용할 수 없다. 이를 해결하기 위해 배치 정규화의 변형인 인스턴스 정규화나 계층 정규화가 제안되었다. 이러한 방법들은 배치 차원이 아닌 다른 차원(채널 또는 특징 차원)을 따라 정규화를 수행하여 작은 배치 크기에도 안정적으로 적용될 수 있다.

다음 표는 배치 크기에 따른 배치 정규화의 특성을 요약한 것이다.

따라서 실무에서는 하드웨어 제약과 모델 성능을 고려하여 배치 크기를 조정하며, 배치 크기가 불가피하게 작아야 하는 경우에는 배치 정규화 대신 다른 정규화 기법을 고려하는 것이 일반적이다.

계층 정규화는 배치 정규화가 작은 배치 크기에서 성능이 저하되는 문제를 해결하기 위해 제안된 변형 기법이다. 배치 정규화가 배치 차원을 따라 평균과 분산을 계산하는 반면, 계층 정규화는 각 샘플별로, 은닉층의 모든 유닛(뉴런)에 걸쳐 평균과 분산을 계산하여 정규화를 수행한다. 이 방식은 배치 크기에 의존하지 않으므로 배치 크기가 1인 온라인 학습이나 순환 신경망에서도 안정적으로 적용될 수 있다.

계층 정규화의 계산 과정은 다음과 같다. 입력값이 $h$개의 유닛을 가진 하나의 샘플 벡터 $\mathbf{x} = (x_1, x_2, ..., x_h)$로 주어졌을 때, 이 샘플에 대한 평균 $\mu^L$과 분산 $\sigma^{L^2}$을 계산한다. 이후 배치 정규화와 유사하게 스케일 $\gamma$와 시프트 $\beta$ 파라미터를 사용하여 정규화된 값을 출력한다.

계층 정규화는 특히 자연어 처리 분야에서 널리 채택되었다. 시퀀스 길이가 가변적이고 배치 내 샘플 정렬이 어려운 순환 신경망의 학습에 효과적이다. 또한 어텐션 메커니즘과 변환기 모델 구조의 핵심 구성 요소로 사용되며, 각 시간步 또는 각 토큰 표현을 독립적으로 정규화함으로써 학습 안정성을 높인다. 컴퓨터 비전 분야에서는 배치 정규화가 여전히 우세하지만, 생성적 적대 신경망이나 비디오 처리와 같은 특정 태스크에서는 계층 정규화가 활용되기도 한다.

인스턴스 정규화는 주로 생성적 적대 신경망이나 스타일 변환 작업에서 효과적으로 사용되는 정규화 기법이다. 이 방법은 배치 정규화나 계층 정규화와 달리, 단일 샘플 내에서 채널별로 독립적으로 통계를 계산하여 적용한다. 즉, 각 샘플의 각 채널에 대해 평균과 분산을 구하여 정규화를 수행한다.

인스턴스 정규화의 핵심은 공간 차원(높이와 너비)에 걸쳐 통계를 계산하는 것이다. 구체적으로, 입력 텐서가 (N, C, H, W)의 형태를 가질 때, N은 배치 크기, C는 채널 수, H와 W는 공간 크기를 나타낸다. 인스턴스 정규화는 각 배치 샘플(N)과 각 채널(C)에 대해 해당하는 (H, W) 공간 영역의 모든 픽셀 값들로부터 평균과 분산을 독립적으로 계산한다. 이는 각 이미지 인스턴스의 스타일 정보를 보존하면서 콘텐츠를 정규화하는 데 유리하다.

이러한 특성 덕분에 인스턴스 정규화는 이미지의 전체적인 톤이나 조명 조건과 같은 인스턴스별 스타일 특성을 제거하는 데 탁월하다. 예를 들어, 사진을 특정 화가의 스타일로 변환하는 작업에서, 원본 이미지의 콘텐츠(구도)는 유지하되 색상 분포나 질감 같은 스타일은 목표 스타일로 바꾸어야 한다. 인스턴스 정규화는 각 개별 이미지의 평균과 분산을 정규화함으로써 이러한 스타일 정보를 효과적으로 제거하거나 표준화하는 역할을 한다. 결과적으로 네트워크가 이미지의 콘텐츠에 더 집중하도록 돕고, 생성된 이미지의 품질을 높인다.

배치 정규화는 컴퓨터 비전 분야, 특히 합성곱 신경망 기반 모델의 학습 안정성과 성능 향상에 핵심적인 역할을 한다. 이미지 분류, 객체 탐지, 시맨틱 세그멘테이션 등 다양한 비전 작업에서 표준 구성 요소로 널리 채택되었다. 초기 VGGNet이나 ResNet과 같은 깊은 네트워크는 배치 정규화 계층을 포함함으로써 그래디언트 흐름을 원활하게 하고 학습 수렴 속도를 크게 높일 수 있었다.

주요 적용 모델과 효과는 다음과 같다.

컨볼루션 계층 뒤에 배치 정규화를 적용하면, 각 필터가 생성하는 특징 맵의 활성화 값 분포를 정규화한다. 이는 공간 차원(높이와 너비)과 배치 차원에 걸쳐 평균과 분산을 계산하여 이루어진다[8]. 결과적으로 활성화 함수에 입력되기 전의 값의 스케일을 조정하여, ReLU와 같은 비선형 함수가 보다 효과적으로 작동하도록 돕는다. 이는 깊은 네트워크에서 흔히 발생하는 기울기 소실 문제를 완화하고, 더 높은 학습률을 사용할 수 있게 만든다.

배치 정규화는 주로 컨퓨터 비전 분야에서 개발되었으나, 순환 신경망과 트랜스포머 기반 모델을 포함한 자연어 처리 모델에서도 중요한 기법으로 적용되었다. 초기에는 시퀀스 데이터의 특성상 배치 내 샘플 길이가 가변적이고, RNN의 순환 구조에 배치 정규화를 직접 적용하기 어려워 활용이 제한적이었다. 그러나 이후 연구를 통해 효과적인 적용 방법이 제시되면서 널리 사용되게 되었다.

트랜스포머 아키텍처의 등장은 배치 정규화의 적용을 촉진했다. 트랜스포머의 인코더와 디코더 블록 내 피드포워드 신경망 층에 배치 정규화를 적용하면, 잔차 연결과 함께 그래디언트 흐름을 안정화하고 학습 속도를 높이는 데 도움이 된다. 또한, 어텐션 메커니즘의 출력이나 임베딩 층 이후에 정규화를 적용하는 변형 기법들도 연구되었다.

그러나 자연어 처리에서의 배치 정규화 적용은 몇 가지 주의점을 동반한다. 배치 내 문장들의 길이가 다를 경우 패딩 토큰이 포함되어, 이로 인해 계산된 평균과 분산이 왜곡될 수 있다. 이를 해결하기 위해 패딩 위치를 마스킹하여 정규화 계산에서 제외하는 기법이 사용된다. 또한, 작은 배치 크기에서 성능이 저하되는 문제로 인해, 계층 정규화나 인스턴스 정규화 같은 대안 기법들이 배치 정규화보다 더 선호되는 경우도 많다.

배치 정규화는 신경망의 학습 단계와 추론 단계에서 서로 다른 방식으로 동작한다. 이 차이는 알고리즘의 핵심 동작 원리에서 비롯된다.

학습 단계에서는 현재 미니배치에 포함된 데이터의 평균과 분산을 실시간으로 계산하여 정규화를 수행한다. 이때, 계산된 이동 평균과 이동 분산은 별도로 누적하여 저장한다. 이 과정은 각 배치 정규화 계층마다 독립적으로 이루어진다. 반면, 추론 단계에서는 학습 중에 누적된 이동 평균과 이동 분산을 고정된 상수로 사용한다. 학습 데이터 전체를 대표하는 통계량을 사용함으로써, 단일 샘플에 대한 예측 시에도 일관된 변환을 적용할 수 있고, 계산 효율성을 높일 수 있다.

아래 표는 두 단계의 주요 차이점을 요약한 것이다.

이러한 차이로 인해 구현 시 주의가 필요하다. 대부분의 딥러닝 프레임워크는 모델을 .train() 모드와 .eval() 모드로 전환하는 기능을 제공한다. 학습 모드에서는 배치 정규화 계층이 미니배치 통계를 사용하고 이동 통계를 업데이트하지만, 평가 모드에서는 고정된 이동 통계를 사용하고 드롭아웃 같은 다른 확률적 연산도 비활성화한다. 따라서 모델 평가나 실제 서비스 배포 전에는 반드시 평가 모드로 전환해야 올바른 결과를 얻을 수 있다.

배치 정규화를 적용할 때 주요하게 설정해야 하는 하이퍼파라미터는 모멘텀과 입실론이다. 이들은 각각 이동 평균 계산의 안정성과 수치적 안정성을 담당한다.

모멘텀(보통 기호 μ 또는 α로 표기)은 학습 중에 계산되는 미니배치 통계(평균, 분산)로부터 이동 평균을 업데이트할 때 사용되는 가중치이다. 일반적으로 0.9, 0.99, 0.999와 같은 1에 가까운 값으로 설정된다. 높은 모멘텀 값은 이동 평균이 과거 통계를 더 오래 기억하게 하여 업데이트를 안정시키지만, 현재 배치의 정보에 대한 반응 속도는 느려진다. 반대로 낮은 값은 이동 평균이 최근 배치의 변화에 더 민감하게 반응한다. 대부분의 딥러닝 프레임워크에서는 기본값으로 0.9를 사용한다.

입실론(ε)은 분산에 더해지는 작은 상수로, 분모가 0이 되는 것을 방지하고 수치적 안정성을 보장한다. 일반적으로 1e-5 또는 1e-3과 같은 매우 작은 값으로 설정된다. 너무 작은 값은 반올림 오류를 유발할 수 있고, 너무 큰 값은 정규화의 효과를 약화시킬 수 있다. 표준적인 값은 1e-5이다. 이 외에도, 배치 정규화 층은 학습 가능한 파라미터인 감마와 베타를 가지지만, 이들은 모델의 다른 가중치와 함께 경사 하강법에 의해 학습되므로 별도로 초기화할 필요는 없다. 감마는 일반적으로 1로, 베타는 0으로 초기화된다.