배치 정규화

내부 공변량 변화는 심층 신경망의 학습 과정에서 발생하는 핵심적인 문제 중 하나이다. 이는 신경망의 각 층의 입력 분포가 학습이 진행됨에 따라 계속해서 변화하는 현상을 가리킨다. 네트워크의 매개변수가 갱신되면, 이전 층의 출력이 변하고, 이는 다음 층의 입력으로 전달되어 그 입력 분포를 바꾸게 된다. 결과적으로, 깊은 네트워크의 뒷부분 층들은 지속적으로 변화하는 입력 분포에 적응해야 하는 부담을 지게 된다.

이 문제는 학습을 불안정하게 만들고 학습 속도를 현저히 떨어뜨린다. 각 층은 자신에게 들어오는 입력의 분포가 고정되어 있다는 가정 하에 최적의 매개변수를 학습하려고 시도하지만, 실제로는 그 분포가 계속 변하기 때문에 층마다 최적화 목표가 흔들리게 된다. 이로 인해 학습률을 낮게 설정해야만 안정적인 학습이 가능해지며, 이는 결국 수렴에 필요한 시간을 크게 증가시킨다.

내부 공변량 변화는 특히 시그모이드 함수나 하이퍼볼릭 탄젠트와 같은 포화 비선형 활성화 함수를 사용할 때 더욱 두드러진 문제를 일으킨다. 입력 분포의 변화가 활성화 함수의 포화 영역으로 값을 밀어넣으면, 기울기 소실 문제가 발생하여 가중치 갱신이 거의 이루어지지 않게 된다. 배치 정규화는 각 층의 입력을 평균 0, 분산 1로 정규화함으로써 이 내부 공변량 변화를 억제하고, 활성화 값이 포화 영역에 머무르는 것을 방지하는 메커니즘을 제공한다.

그래디언트 소실 문제는 심층 신경망에서 활성화 함수를 통과할 때마다 그래디언트의 크기가 지속적으로 감소하여, 네트워크의 하위 층으로 갈수록 가중치 업데이트가 거의 이루어지지 않는 현상을 말한다. 반대로 그래디언트 폭발 문제는 그래디언트가 지나치게 커져서 학습이 불안정해지는 현상을 의미한다. 이 두 문제는 특히 시그모이드 함수나 하이퍼볼릭 탄젠트 함수와 같은 포화 비선형 활성화 함수를 사용할 때 심각해진다.

배치 정규화는 이러한 문제를 완화하는 데 기여한다. 각 층의 입력 분포를 평균 0, 분산 1로 정규화함으로써, 활성화 함수의 입력값이 포화 영역에 치우치는 것을 방지한다. 예를 들어, 시그모이드 함수의 입력이 너무 크거나 작으면 그래디언트가 0에 가까워지지만, 배치 정규화는 입력을 대부분 선형 영역에 위치하도록 유도한다. 이는 역전파 과정에서 그래디언트가 더 크고 안정적으로 흐를 수 있도록 만들어, 네트워크의 깊은 층까지 효과적인 학습 신호가 전달되게 한다.

결과적으로, 배치 정규화를 적용한 네트워크는 그래디언트의 흐름이 원활해지고, 학습률을 더 크게 설정할 수 있으며, 학습 과정의 안정성이 크게 향상된다. 이는 깊은 네트워크를 훨씬 빠르고 안정적으로 학습시키는 데 핵심적인 역할을 한다.

배치 정규화에서 정규화 통계량 계산은 각 은닉층의 입력 데이터 분포를 변환하기 위한 첫 번째 단계이다. 이 과정은 현재 학습 중인 미니배치 데이터를 기반으로 각 특성 차원별로 평균과 분산을 추정하는 것을 핵심으로 한다.

구체적으로, 주어진 미니배치 $B = \{x_1, ..., x_m\}$에 대해, 각 특성 $k$에 대한 통계량은 다음과 같이 계산된다. 먼저, 배치 평균 $\mu_B$는 배치 내 모든 데이터 포인트의 해당 특성값의 산술 평균으로 구해진다. 다음으로, 배치 분산 $\sigma^2_B$는 동일한 특성에 대한 값들의 분산으로 계산된다. 이때, 수치적 안정성을 위해 분산 계산식에 작은 상수 $\epsilon$이 더해지며, 이는 분모가 0이 되는 것을 방지한다[3]. 이 계산은 완전 연결층에서는 뉴런 단위로, 합성곱 신경망에서는 각 특성 맵 채널 단위로 독립적으로 수행된다.

이렇게 계산된 평균과 분산은 즉시 사용되어 배치 내 각 데이터 포인트를 정규화하는 데 활용된다. 각 데이터 $x_i$는 $ \hat{x}_i = \frac{x_i - \mu_B}{\sqrt{\sigma^2_B + \epsilon}} $ 공식에 따라 평균이 0이고 분산이 1인 분포로 변환된다. 이 계산은 순전파 과정 중에 이루어지며, 역전파를 통해 그래디언트가 흐를 수 있도록 한다.

정규화된 데이터에 스케일과 시프트 변환을 적용하는 단계는 배치 정규화의 핵심적인 설계 요소이다. 단순히 평균을 0, 분산을 1로 맞추는 것만으로는 활성화 함수의 표현력이 제한될 수 있다. 예를 들어, 시그모이드 함수의 선형 구간만을 사용하게 되어 네트워크의 복잡한 패턴 학습 능력이 떨어질 수 있다. 따라서 이 변환은 네트워크가 필요에 따라 정규화된 분포를 원래 분포로 되돌리거나, 더 유용한 새로운 분포로 변형할 수 있는 유연성을 부여한다.

이 변환은 학습 가능한 매개변수인 감마와 베타에 의해 수행된다. 수식으로 표현하면, 정규화된 값 $\hat{x}$에 대해 출력 $y$는 $y = \gamma \hat{x} + \beta$가 된다. 여기서 $\gamma$는 스케일 파라미터, $\beta$는 시프트 파라미터이다. 이 두 파라미터는 경사 하강법을 통해 다른 가중치들과 함께 학습된다. 만약 최적의 분포가 정규화된 분포 자체라면, 네트워크는 $\gamma$를 분산 $\sigma$ 값에, $\beta$를 평균 $\mu$ 값에 가깝게 학습하여 원래의 분포를 사실상 복원할 수 있다.

이 과정의 효과는 다음과 같이 요약할 수 있다.

결과적으로, 스케일과 시프트 변환은 배치 정규화가 단순한 정규화 도구를 넘어 네트워크 구조에 통합된 하나의 학습 가능한 층으로 기능하게 만든다. 이는 표현력을 유지하면서도 내부 공변량 변화를 안정화시키는 데 기여한다.

학습 단계에서 배치 정규화는 각 미니배치 단위로 통계량을 계산하여 변환을 적용합니다. 구체적으로, 현재 미니배치에 속한 샘플들로부터 평균과 분산을 실시간으로 추정합니다. 이 과정은 네트워크의 순전파 과정 중에 해당 배치 정규화 계층에서 수행됩니다.

계산된 미니배치 평균과 분산을 사용하여 각 활성화 값을 정규화한 후, 학습 가능한 매개변수인 스케일 파라미터(γ)와 시프트 파라미터(β)를 통해 변환합니다. 이 변환은 네트워크가 항등 함수를 학습할 수 있도록 하여, 정규화로 인한 표현력 손실을 방지합니다.

동시에, 학습 단계에서는 지수 이동 평균을 사용하여 평균과 분산의 이동 평균을 누적합니다. 이 누적 통계량은 미니배치 통계량의 노이즈를 제거한 추정치로, 이후 추론 단계에서 사용하기 위해 별도로 저장됩니다. 이는 학습이 진행됨에 따라 네트워크의 전체 데이터 분포에 대한 추정치를 점진적으로 업데이트하는 역할을 합니다.

이 과정에서 매개변수 γ와 β는 다른 네트워크 가중치와 함께 확률적 경사 하강법 등의 옵티마이저를 통해 학습됩니다.

학습 단계와 달리, 추론 단계에서는 미니배치의 통계량을 사용할 수 없습니다. 추론은 보통 한 번에 하나의 샘플(또는 고정된 소수의 샘플)에 대해 이루어지기 때문입니다. 따라서 네트워크는 결정론적이고 안정적인 출력을 생성해야 합니다.

이를 위해 학습 과정에서 계산된 이동 평균과 이동 분산을 사용합니다. 학습 중 각 배치 정규화 레이어는 해당 층의 입력에 대한 평균과 분산의 이동 평균을 지수적으로 감소하는 평균을 통해 누적하여 추적합니다. 추론 시에는 이렇게 저장된 고정된 평균과 분산, 그리고 학습된 감마와 베타 파라미터를 사용하여 정규화 변환을 수행합니다. 수식은 다음과 같습니다.

출력 = γ * (입력 - 이동 평균) / √(이동 분산 + ε) + β

이 접근 방식은 배치 의존성을 제거하고, 네트워크가 학습 데이터 분포를 요약한 통계량을 바탕으로 일관된 예측을 하도록 보장합니다. 구현 시, 학습 모드와 평가(추론) 모드를 명확히 구분하는 것이 중요합니다. 대부분의 딥러닝 프레임워크는 training=True/False 플래그를 통해 이 모드를 제어합니다.

배치 정규화는 그래디언트의 흐름을 안정화시켜 학습 과정에서 더 높은 학습률을 사용할 수 있게 한다. 일반적으로 높은 학습률은 손실 함수의 표면에서 큰 폭으로 이동하게 만들어 학습을 빠르게 진행할 수 있지만, 동시에 그래디언트 폭발이나 불안정한 학습으로 이어질 위험이 있다. 배치 정규화는 각 은닉층의 활성화 값을 평균 0, 분산 1 근처로 재조정함으로써, 이러한 위험 없이 높은 학습률을 안정적으로 적용할 수 있는 환경을 제공한다.

이는 옵티마이저가 손실 공간의 곡률에 덜 민감해지도록 돕는다. 배치 정규화가 적용되지 않은 네트워크에서는 입력 분포의 변화(내부 공변량 변화)로 인해 손실 공간의 경사가 가파르거나 얕은 영역이 생겨 학습률을 조정하기 어렵다. 배치 정규화는 이러한 입력 분포의 변화를 상쇄시켜, 손실 공간을 더 평탄하고 예측 가능하게 만든다. 결과적으로 옵티마이저는 더 공격적인 단계 크기로 최적점을 향해 빠르게 이동할 수 있다.

또한, 배치 정규화는 시그모이드 함수나 하이퍼볼릭 탄젠트와 같은 포화 비선형 활성화 함수를 사용할 때 발생하는 문제를 완화하여 학습 속도를 높인다. 이러한 함수는 입력값이 크거나 작을 때 그래디언트가 0에 가까워지는 포화 영역이 존재한다. 배치 정규화는 활성화 함수로 들어오는 입력을 대부분의 경우 포화 영역이 아닌 선형 영역에 위치하도록 강제한다. 이로 인해 그래디언트가 사라지는 현상이 줄어들고, 각 가중치 업데이트가 더 효과적으로 이루어져 전체 학습 수렴 속도가 빨라진다.

실험적으로, 배치 정규화를 적용한 네트워크는 동일한 학습률에서 더 빠르게 손실이 감소하며, 종종 최종 정확도에 도달하는 데 필요한 에포크 수를 크게 줄일 수 있다.

심층 신경망의 학습을 시작하기 전에는 네트워크의 가중치와 편향을 특정 값으로 설정하는 가중치 초기화 과정이 필요하다. 초기화 방법의 선택은 학습의 수렴 속도와 최종 성능에 큰 영향을 미친다. 부적절한 초기화는 그래디언트 소실이나 그래디언트 폭발 문제를 야기하거나, 학습이 매우 느려지는 원인이 될 수 있다.

배치 정규화는 각 층의 입력 분포를 안정화시킴으로써, 네트워크가 초기 가중치 값에 덜 민감하도록 만든다. 배치 정규화 층이 삽입되면, 해당 층의 출력은 평균 0, 분산 1 근처로 강제로 조정된다. 이는 네트워크의 깊은 부분으로 전달되는 신호의 스케일이 초기 가중치에 크게 좌우되지 않음을 의미한다. 결과적으로, 학습 초기 단계에서 활성화 함수가 포화 상태에 빠지는 것을 방지하고, 그래디언트의 흐름을 원활하게 한다.

이로 인해, Xavier 초기화나 He 초기화와 같은 정교한 초기화 기법에 대한 의존도가 낮아진다. 배치 정규화를 사용하면 상대적으로 단순한 초기화(예: 작은 범위의 무작위 초기화)로도 효과적인 학습이 가능해진다. 이는 하이퍼파라미터 튜닝의 부담을 줄이고, 모델 구현 및 실험의 복잡성을 낮추는 실용적인 장점으로 이어진다.

따라서 배치 정규화는 네트워크가 초기 조건으로부터 더욱 견고하게 학습을 시작할 수 있도록 하는 안정장치 역할을 한다.

배치 정규화는 과적합을 방지하는 규제 효과를 제공하여 모델의 일반화 성능을 향상시킨다. 이 효과는 명시적인 드롭아웃이나 L2 정규화와 같은 기법을 추가하지 않고도 발생하는 부수적인 이점이다.

주요 규제 메커니즘은 각 층의 활성화 값을 정규화하는 과정에서 발생하는 작은 양의 확률적 노이즈에 기인한다. 학습 시, 배치 정규화는 현재 미니배치의 통계량(평균과 분산)을 사용하여 정규화를 수행한다. 미니배치의 표본 통계량은 전체 훈련 데이터의 통계량에 대한 추정치이므로, 각 학습 단계마다 약간의 변동성을 가진다. 이 변동성은 활성화 값에 노이즈를 주입하는 효과를 만들어내며, 이는 모델이 특정 뉴런의 정확한 활성화 값에 지나치게 의존하는 것을 방해한다. 결과적으로 모델은 더 강건한 표현을 학습하게 되어 과적합 위험을 줄인다.

또한, 배치 정규화는 그래디언트의 흐름을 안정화시킴으로써 간접적인 규제 효과를 낸다. 그래디언트 소실이나 폭발이 억제되면, 학습이 더 깊고 복잡한 네트워크에서도 원활하게 진행될 수 있다. 이는 모델이 필요 이상으로 크고 복잡해지는 것을 방지하는 조기 멈춤과 유사한 역할을 할 수 있다. 일부 연구에서는 배치 정규화가 적용된 네트워크가 학습률을 높게 설정할 수 있어 최적화 과정이 더 빠르게 수렴하고, 이 빠른 수렴이 특정 최적점에 과도하게 피팅되는 것을 완화한다고 설명한다[4].

배치 정규화는 각 은닉층의 활성화 값을 정규화하기 위해 현재 미니배치의 평균과 분산을 사용한다. 이 방식은 배치 크기가 충분히 클 때(예: 32, 64) 통계량이 안정적이어서 효과적이다. 그러나 배치 크기가 매우 작을 경우(예: 1, 2, 4), 계산된 배치 평균과 분산이 전체 데이터 분포를 대표하지 못하고 노이즈가 매우 커진다. 이는 정규화 과정 자체가 불안정해져 학습을 방해할 수 있다.

작은 배치 크기에서 발생하는 구체적인 문제는 다음과 같다. 첫째, 추정된 통계량의 신뢰도가 낮아져, 각 학습 단계마다 정규화에 사용되는 평균과 분산이 급격하게 변동한다. 이는 모델이 최적화해야 할 목표 함수를 불안정하게 만들고, 효과적인 그래디언트 흐름을 방해한다. 둘째, 배치 정규화가 갖는 미묘한 규제 효과가 과도해질 수 있다. 각 배치의 통계량에 대한 의존성은 훈련 데이터에 대한 노이즈를 추가하는 역할을 하는데, 배치 크기가 너무 작으면 이 노이즈가 지나치게 커져 유용한 학습 신호를 압도할 수 있다.

이 문제를 해결하기 위해 여러 변형 기법이 제안되었다. 대표적으로 레이어 정규화는 배치 차원이 아닌, 각 샘플의 특징 차원에 대해 평균과 분산을 계산하여 배치 크기와 무관하게 동작한다. 인스턴스 정규화는 이미지 생성 작업에서 주로 사용되며, 각 샘플의 각 채널별로 정규화를 수행한다. 또한, 그룹 정규화는 채널을 여러 그룹으로 나누어 그룹 내에서 정규화를 수행하는 방식으로, 작은 배치 크기에서도 안정적인 성능을 보인다.

따라서, 배치 크기를 크게 설정할 수 없는 메모리 제약이 심한 환경이나, 순환 신경망과 같이 시퀀스 단위로 배치를 구성해야 하는 경우에는 배치 정규화의 표준 형태 대신 이러한 대안 기법을 고려하는 것이 일반적이다.

배치 정규화가 작은 배치 크기에서 성능이 저하되는 문제를 해결하기 위해, 또는 다른 네트워크 구조에 더 적합하도록 다양한 변형 기법이 제안되었다. 이 중 대표적인 방법으로 레이어 정규화와 인스턴스 정규화가 있다.

레이어 정규화는 배치 차원이 아닌, 각 개별 샘플의 채널 차원에 대해 정규화를 수행한다. 즉, 하나의 샘플 내의 모든 뉴런 출력에 대해 평균과 분산을 계산하여 정규화한다. 이 방식은 배치 크기에 의존하지 않으며, 순차 데이터를 처리하는 순환 신경망이나 배치 크기가 1인 온라인 학습 상황에서 효과적으로 적용될 수 있다. 레이어 정규화는 주로 Transformer 아키텍처의 핵심 구성 요소로 널리 사용된다.

반면, 인스턴스 정규화는 컨볼루션 신경망에서 주로 사용되며, 각 샘플의 각 채널을 독립적으로 정규화한다. 구체적으로, 한 샘플의 특정 채널에 해당하는 공간 차원(가로, 세로)에 대한 평균과 분산을 계산한다. 이 기법은 스타일 변환 작업에서 처음 제안되었으며, 이미지 생성 및 시각적 스타일의 정규화에 특히 효과적인 것으로 알려져 있다. 인스턴스 정규화는 배치 정규화와 달리 미니배치 내 다른 샘플들의 정보를 전혀 사용하지 않는다는 특징을 가진다.

이러한 변형 기법들의 핵심 차이는 정규화 통계량을 계산하는 축(axis)에 있다. 아래 표는 주요 정규화 기법들의 통계량 계산 방식을 비교하여 보여준다.

이외에도 그룹 정규화와 같은 하이브리드 방식이 제안되어, 배치 크기의 제약을 받지 않으면서도 배치 정규화의 장점을 일부 유지하고자 시도되었다.

배치 정규화는 컨볼루션 신경망의 학습 안정성과 성능을 획기적으로 향상시킨 핵심 기법 중 하나이다. 컨볼루션 신경망은 깊은 네트워크 구조와 컨볼루션 연산의 특성상, 학습 과정에서 활성화 값의 분포가 급격하게 변화하는 내부 공변량 변화 문제에 취약하다. 배치 정규화는 각 컨볼루션 레이어의 출력 또는 활성화 함수 적용 전의 값에 대해 미니배치 단위로 정규화를 수행하여 이 문제를 완화한다.

컨볼루션 신경망에서 배치 정규화는 일반적으로 컨볼루션 연산 이후, 비선형 활성화 함수(예: ReLU) 적용 이전에 삽입된다. 이때, 특징 맵의 각 채널별로 독립적으로 정규화 통계량(평균과 분산)을 계산한다는 점이 중요하다. 이는 공간 차원(가로, 세로)에 걸쳐 모든 위치의 값을 하나의 채널에 대해 평균화하여 계산함을 의미한다. 이 방식은 컨볼루션 연산의 특성인 평행 이동 불변성을 보존하는 데 기여한다.

배치 정규화의 적용은 컨볼루션 신경망에 몇 가지 결정적인 이점을 제공한다. 첫째, 학습률을 크게 높여도 학습이 안정적으로 진행되도록 하여 수렴 속도를 가속화한다. 둘째, 드롭아웃과 같은 다른 규제 기법에 대한 의존도를 낮추는 경우가 많다. 셋째, 네트워크가 더 깊고 복잡한 구조를 안정적으로 학습할 수 있는 기반을 마련하여, 잔차 신경망과 같은 초심층 네트워크의 발전을 가능하게 하는 데 기여했다.

이러한 효과로 인해 배치 정규화는 현대의 대부분의 컨볼루션 신경망 아키텍처 설계에서 사실상 표준 구성 요소로 자리 잡았다.

배치 정규화는 주로 컨볼루션 신경망에서 개발되고 널리 적용되었으나, 순환 신경망 구조에도 적용을 시도하여 다양한 연구가 이루어졌다. 그러나 RNN에 배치 정규화를 직접 적용하는 것은 구조적 특성으로 인해 CNN보다 복잡한 문제를 야기한다.

RNN의 핵심 구성 요소인 순환 연결은 시간 단계를 거치며 동일한 가중치를 재사용한다. 이로 인해 각 시간 단계의 은닉 상태는 동일한 분포를 유지해야 할 필요가 있으며, 시간 축을 따라 정규화를 적용할 경우 이 순환적 동역학을 교란시킬 수 있다. 초기 연구에서는 RNN의 각 시간 단계의 은닉 상태에 직접 배치 정규화를 적용하면 성능 향상이 미미하거나 오히려 학습이 불안정해지는 경우가 보고되었다[7].

이러한 문제를 해결하기 위해 제안된 주요 방법은 순환 가중치로의 입력과 은닉 상태 간의 선형 변환(affine transformation) 직전에만 배치 정규화를 적용하는 것이다. 구체적으로, 매 시간 단계 t에서 이전 은닉 상태 h_{t-1}과 현재 입력 x_t를 결합하여 계산되는 선형 프로젝션(Wh*h_{t-1} + Wx*x_t + b)의 결과를 정규화한 후, 활성화 함수를 적용하여 h_t를 얻는다. 이 방식은 순환 구조 내부의 변화를 안정화시키면서도 시간 축을 가로지르는 정규화의 어려움을 피할 수 있다. LSTM이나 GRU와 같은 게이트 메커니즘을 가진 RNN 셀에서는 게이트의 선형 합산 부분에 배치 정규화를 적용하는 변형 기법들이 연구되었다.

RNN에 대한 배치 정규화의 효과는 작업에 따라 다르지만, 적절히 적용될 경우 기울기 소실 문제를 완화하고 장기 의존성 학습을 개선하며 학습 속도를 높이는 데 기여할 수 있다. 특히 음성 인식, 언어 모델링, 비디오 처리 등 긴 시퀀스를 다루는 작업에서 유용한 도구로 평가받는다.