순환 신경망 (RNN)

순환 신경망의 핵심은 순환 구조와 은닉 상태에 있다. 기존 피드포워드 신경망이 입력층, 은닉층, 출력층이 단방향으로만 연결된 반면, RNN의 은닉층은 자신에게 다시 연결되는 순환 연결을 가진다. 이 연결은 네트워크가 현재 입력뿐만 아니라 이전 단계의 정보를 기억할 수 있게 해준다. 이 '기억' 역할을 하는 것이 은닉 상태이다.

은닉 상태는 네트워크의 내부 메모리로 작동한다. 각 시간 단계 t에서, 네트워크는 현재의 입력 x_t와 이전 시간 단계의 은닉 상태 h_{t-1}을 함께 받아 새로운 은닉 상태 h_t를 계산한다. 이 계산은 일반적으로 활성화 함수를 적용한 선형 변환의 형태를 띤다. 생성된 h_t는 현재 시점의 출력 y_t를 계산하는 데 사용되며, 동시에 다음 시간 단계 t+1로 전달된다. 이 과정은 시퀀스가 끝날 때까지 반복된다.

이 구조는 시퀀스 데이터의 맥락을 포착하는 데 필수적이다. 예를 들어, 문장에서 한 단어의 의미는 앞선 단어들에 의존한다. RNN은 은닉 상태를 통해 이전 단어들의 정보를 축적하고 현재 단어를 처리할 때 그 맥락을 활용할 수 있다. 따라서 RNN은 입력의 순서와 시간적 의존성을 모델링하는 데 적합한 아키텍처이다.

순환 신경망의 핵심은 시간에 따라 정보를 처리하는 방식에 있다. 네트워크는 이산적인 시간 단계를 거쳐 입력 시퀀스를 순차적으로 처리하며, 각 시간 단계 t에서의 계산은 이전 단계 t-1의 은닉 상태에 의존한다.

시간에 따른 전개 과정은 다음과 같다. 각 시간 단계 t에서, 네트워크는 현재 시간의 입력 벡터 x_t와 이전 시간의 은닉 상태 벡터 h_{t-1}을 받아들인다. 이 두 입력은 가중치 행렬과 결합되어 새로운 은닉 상태 h_t를 계산한다. 이 계산은 일반적으로 활성화 함수(예: tanh)를 적용한 선형 변환으로 이루어진다. 그런 다음, 이 새로운 은닉 상태 h_t는 출력층으로 전달되어 해당 시간의 출력 y_t를 생성하는 동시에, 다음 시간 단계 t+1로 전달될 상태로도 사용된다. 이 과정을 시퀀스의 시작부터 끝까지 반복한다.

이러한 전개 방식은 네트워크가 시퀀스의 순서와 시간적 맥락을 내부적으로 인코딩할 수 있게 한다. 초기 은닉 상태 h_0는 일반적으로 0 벡터나 작은 난수로 초기화된다. 시간에 따른 전개를 통해 RNN은 이론적으로 매우 먼 과거의 정보를 현재의 결정에 활용할 수 있지만, 실제 학습에서는 기울기 소실 문제로 인해 장기 의존성을 효과적으로 학습하기 어려운 경우가 많다.

표에서 f와 g는 활성화 함수를, W와 b, c는 학습 가능한 가중치와 편향을 나타낸다. 이 표는 매 시간 단계마다 동일한 매개변수 집합(W_h, W_x, W_y, b, c)이 재사용된다는 매개변수 공유의 개념을 명확히 보여준다.

순환 신경망의 핵심 특징 중 하나는 시간 단계에 걸쳐 매개변수를 공유한다는 점이다. 이는 전통적인 신경망이나 합성곱 신경망과 구별되는 중요한 성질이다. 순환 신경망에서는 모든 시간 단계에서 동일한 가중치 행렬(예: 입력을 은닉 상태로 변환하는 $W_{xh}$, 이전 은닉 상태를 현재 은닉 상태로 변환하는 $W_{hh}$, 은닉 상태를 출력으로 변환하는 $W_{yh}$)이 재사용된다.

이러한 매개변수 공유는 몇 가지 중요한 이점을 제공한다. 첫째, 모델이 서로 다른 길이의 입력 시퀀스를 처리할 수 있게 한다. 훈련 중에 본 적 없는 길이의 시퀀스가 입력되어도, 동일한 매개변수를 순차적으로 적용하여 처리할 수 있다. 둘째, 모델의 파라미터 효율성을 크게 향상시킨다. 각 시간 단계마다 별도의 매개변수를 학습해야 한다면, 시퀀스 길이가 길어질수록 학습해야 할 매개변수의 수가 폭발적으로 증가할 것이다. 매개변수 공유는 이러한 문제를 방지하고, 모델이 시퀀스의 여러 위치에서 학습한 지식을 일반화하도록 강제한다.

그러나 매개변수 공유는 동시에 기울기 소실 문제와 같은 학습의 어려움을 초래하는 원인이 되기도 한다. 매우 긴 시퀀스에 걸쳐 동일한 가중치 행렬이 반복적으로 곱해지면서, 역전파되는 기울기의 크기가 기하급수적으로 감소하거나 증가할 수 있기 때문이다. 이 문제를 완화하기 위해 LSTM이나 GRU와 같은 게이트 메커니즘이 도입된 변형 아키텍처가 개발되었다.

LSTM은 순환 신경망의 한계인 기울기 소실 문제를 해결하기 위해 1997년 제프리 힌튼과 위르겐 슈미트후버가 제안한 특별한 RNN 아키텍처이다. 기존 RNN의 단순한 은닉 상태를 보완하기 위해, LSTM은 정보를 장기간 기억하고 선택적으로 잊거나 전달할 수 있는 '셀 상태'라는 내부 메커니즘을 도입했다. 이 구조는 네트워크가 시간적 거리가 먼 의존성을 효과적으로 학습할 수 있게 한다.

LSTM의 핵심은 세 개의 게이트와 하나의 셀 상태로 구성된다. 각 게이트는 시그모이드 함수와 점별 곱셈 연산을 사용하여 정보의 흐름을 조절한다. 망각 게이트는 셀 상태에서 어떤 정보를 버릴지 결정하고, 입력 게이트는 새로운 정보 중 어떤 것을 셀 상태에 저장할지 결정한다. 마지막으로, 출력 게이트는 업데이트된 셀 상태를 기반으로 다음 은닉 상태를 계산한다. 이 게이트들은 모두 현재 입력과 이전 은닉 상태를 받아 작동한다.

LSTM의 작동은 일반적으로 다음 단계를 따른다.

1. 망각 게이트: 이전 은닉 상태와 현재 입력을 보고, 셀 상태의 각 값(0에서 1 사이)을 얼마나 유지할지 결정한다.

2. 입력 게이트: 새로운 후보 값들을 생성하고, 이들 중 얼마나 셀 상태에 추가할지 결정한다.

3. 셀 상태 업데이트: 망각 게이트의 출력으로 이전 셀 상태를 조정한 후, 입력 게이트의 출력으로 생성된 후보 값을 더해 새로운 셀 상태를 만든다.

4. 출력 게이트: 새로운 셀 상태를 기반으로, 최종적으로 다음 타임스텝으로 전달할 은닉 상태를 계산한다.

이러한 게이트 메커니즘 덕분에 LSTM은 관련 정보를 장기간 보존하고 불필요한 정보는 걸러낼 수 있다. 이는 문장 완성, 기계 번역, 음성 인식 등 순차 데이터의 장기 의존성이 중요한 다양한 자연어 처리 및 시계열 분석 작업에서 표준 모듈로 널리 사용되게 했다. LSTM의 성공은 이후 GRU와 같은 간소화된 게이트 구조를 가진 변형 모델들의 개발로 이어졌다.

GRU는 LSTM의 복잡성을 줄이면서 유사한 성능을 제공하기 위해 제안된 순환 신경망 변형이다. LSTM의 셀 상태와 은닉 상태를 하나의 상태로 통합하고, 게이트의 수를 두 개로 줄여 계산 효율성을 높였다.

GRU의 핵심은 리셋 게이트와 업데이트 게이트라는 두 개의 게이트 메커니즘이다. 리셋 게이트는 새로운 입력과 이전 은닉 상태의 정보를 얼마나 조합할지 결정한다. 업데이트 게이트는 이전 은닉 상태의 정보를 얼마나 유지할지와 새로운 후보 은닉 상태의 정보를 얼마나 반영할지를 동시에 제어한다. 이 과정은 다음 수식으로 요약된다.

이 구조 덕분에 GRU는 LSTM보다 학습해야 할 매개변수가 적고, 계산 속도가 일반적으로 더 빠르다. 여러 벤치마크에서 LSTM과 유사하거나 때로는 더 나은 성능을 보이며, 특히 데이터셋의 크기가 상대적으로 작을 때 유리한 경우가 많다. 따라서 자연어 처리와 시계열 예측을 비롯한 다양한 순차 데이터 처리 작업에서 LSTM의 대안으로 널리 사용된다.

양방향 순환 신경망은 시퀀스 데이터의 과거 정보뿐만 아니라 미래 정보도 활용하여 현재 시점의 출력을 더 정확하게 예측하기 위해 설계된 순환 신경망의 변형이다. 표준 RNN이 입력 시퀀스를 정방향으로만 처리하는 반면, 양방향 RNN은 정방향과 역방향, 두 개의 독립적인 RNN 계층을 사용한다. 정방향 RNN은 시점 1부터 t까지, 역방향 RNN은 시점 t부터 1까지 입력을 처리하며, 각 시점 t에서 두 RNN의 은닉 상태를 결합하여 최종 출력을 생성한다.

이 구조는 특정 시점의 정보를 이해하는 데 그 시점 이전과 이후의 문맥이 모두 중요한 작업에 특히 유용하다. 예를 들어, 자연어 처리에서 한 단어의 품사나 의미를 태깅할 때 앞뒤 단어들을 모두 고려하는 것이 정확도를 높인다. 마찬가지로 생물정보학의 DNA 서열 분석이나 음성 인식에서도 앞뒤 음성 프레임의 정보를 종합하는 것이 성능 향상에 기여한다.

양방향 RNN의 구현은 일반적으로 두 RNN의 출력을 연결(concatenate)하는 방식으로 이루어진다. 각 시간 단계 t에서의 최종 은닉 상태 h_t는 정방향 은닉 상태 h_t_fw와 역방향 은닉 상태 h_t_bw를 결합하여 생성된다. 이 결합된 표현은 이후 완전 연결 계층이나 다른 신경망 계층의 입력으로 사용될 수 있다.

그러나 양방향 RNN은 전체 입력 시퀀스가 미리 주어져야 한다는 제약이 있다. 이는 실시간으로 스트리밍되는 데이터를 순차적으로 처리해야 하는 응용 분야에는 적합하지 않을 수 있다. 또한, 두 개의 RNN을 운영해야 하므로 계산 비용과 메모리 사용량이 단방향 RNN에 비해 약 두 배 가량 증가한다는 단점도 존재한다.

순환 신경망의 학습은 시간에 따른 역전파 알고리즘을 통해 이루어진다. 이 방법은 기존 역전파 알고리즘을 시퀀스 데이터의 시간적 차원으로 확장한 것이다. BPTT의 핵심은 네트워크의 전체 손실을 각 시간 단계의 출력과의 오차로 정의하고, 이 손실을 시간 축을 따라 역방향으로 전파하여 모든 시간 단계의 매개변수에 대한 기울기를 계산하는 데 있다.

알고리즘은 크게 세 단계로 진행된다. 첫째, 입력 시퀀스를 순방향으로 전파하여 각 시간 단계의 은닉 상태와 출력을 계산하고 손실을 기록한다. 둘째, 최종 시간 단계에서 시작하여 손실의 기울기를 시간을 거슬러 역방향으로 전파한다. 이 과정에서 체인 룰이 적용되며, 현재 시간 단계의 기울기는 다음 시간 단계에서 역전파된 기울기에 영향을 받는다. 셋째, 모든 시간 단계에 걸쳐 누적된 기울기를 사용하여 네트워크의 가중치 매개변수들을 업데이트한다.

BPTT는 이론적으로 완전한 시간적 의존성을 고려할 수 있지만, 실제로는 매우 긴 시퀀스를 처리할 때 계산 및 메모리 부담이 커진다. 이를 해결하기 위해 일반적으로 Truncated BPTT라는 방법이 사용된다. 이 방법은 시퀀스를 고정된 길이의 작은 블록으로 나누고, 각 블록 내에서만 완전한 BPTT를 수행한다. 블록 사이의 은닉 상태는 다음 블록의 초기 상태로 전달되지만, 기울기 흐름은 블록 경계에서 차단된다[1]. 이는 근사치이지만 계산 효율성을 크게 높인다.

BPTT는 RNN 학습의 표준 방법이지만, 장기 의존성을 학습해야 할 때 기울기 소실 문제에 직면하게 된다. 시간을 거슬러 역전파되는 기울기는 반복적으로 같은 가중치 행렬을 곱하게 되는데, 이 행렬의 고유값이 1보다 작으면 기울기가 기하급수적으로 줄어들어 초기 시간 단계의 매개변수가 효과적으로 업데이트되지 않는다. 이 문제를 해결하기 위해 LSTM과 GRU와 같은 게이트 메커니즘이 도입되었다.

순환 신경망의 학습 과정에서 사용되는 시간에 따른 역전파 알고리즘은 장기적인 의존 관계를 학습해야 할 때 심각한 문제에 직면한다. 이 문제는 주로 기울기가 시간을 거슬러 역전파되면서 지수적으로 감소하거나 증가하는 현상으로, 이를 각각 기울기 소실 문제와 기울기 폭발 문제라고 부른다.

기울기 소실 문제는 역전파 과정에서 기울기 값이 1보다 작은 값이 반복적으로 곱해지면서 0에 가까운 값으로 급격히 줄어드는 현상이다. 이는 네트워크가 먼 과거의 입력과 현재 출력 사이의 관계를 학습하는 것을 거의 불가능하게 만든다. 가중치 업데이트가 제대로 이루어지지 않아, 모델은 주로 최근의 입력에만 의존하게 된다. 반대로 기울기 폭발 문제는 기울기 값이 1보다 큰 값이 반복적으로 곱해지면서 매우 커지는 현상이다. 이는 가중치 업데이트 시 기울기 값이 불안정해지고 발산하게 만들어 학습을 방해한다.

이러한 문제를 완화하기 위한 여러 방법이 개발되었다. 가장 대표적인 것은 LSTM과 GRU와 같은 게이트 메커니즘을 도입한 순환 신경망 변형 구조이다. 이들은 망각 게이트와 입력 게이트 등을 통해 정보의 흐름을 제어함으로써 장기 기억을 보존하고 기울기 소실 문제를 크게 개선한다. 기울기 폭발 문제에는 주로 기울기 클리핑 기법이 사용된다. 이는 기울기의 노름(norm)이 특정 임계값을 넘지 않도록 잘라내는 방법이다. 또한, 가중치 초기화 전략(예: Xavier 초기화, He 초기화)을 조정하거나, 활성화 함수로 ReLU 계열의 함수를 사용하는 것도 도움이 된다.

순환 신경망은 자연어 처리 분야에서 핵심적인 역할을 수행해왔다. 이는 언어 데이터가 본질적으로 순차적이며, 단어나 문자의 순서에 의미가 의존하기 때문이다. RNN의 은닉 상태는 이전에 처리된 모든 단어의 정보를 요약하여 담을 수 있어, 문장의 맥락을 이해하는 데 적합한 구조를 제공한다.

주요 응용으로는 언어 모델링이 있다. RNN은 주어진 단어 시퀀스의 다음 단어를 예측하거나, 문장의 확률을 계산하는 언어 모델을 구축하는 데 사용된다. 이는 기계 번역, 음성 인식, 문장 생성 시스템의 기초가 된다. 또한, RNN은 입력 시퀀스(원문)를 출력 시퀀스(번역문)로 변환하는 시퀀스 투 시퀀스 모델의 인코더와 디코더로 광범위하게 활용되었다.

다른 중요한 응용 분야는 텍스트 분류와 감성 분석이다. RNN은 전체 문장이나 문서를 읽은 후, 이를 특정 범주(예: 스팸 메일 여부)나 감정(예: 긍정/부정)으로 분류할 수 있다. 또한, 개체명 인식과 같은 작업에서 문장의 각 단어에 태그(예: 사람, 장소, 조직)를 부여하는 데에도 효과적이다.

그러나 기본 RNN 구조는 장기 의존성 문제로 인해 매우 긴 문장이나 문서를 처리하는 데 한계가 있었다. 이 문제를 해결하기 위해 LSTM과 GRU 같은 게이트 메커니즘을 도입한 변형 아키텍처가 자연어 처리에서 사실상의 표준이 되었다. 이후 어텐션 메커니즘과 트랜스포머 아키텍처의 등장으로 RNN의 역할은 상대적으로 축소되었지만, 여전히 특정 태스크와 제한된 자원 환경에서 유용하게 사용된다.

순환 신경망은 시계열 데이터의 본질적인 특성인 시간적 의존성을 모델링하는 데 적합한 구조를 가진다. 이는 이전 시간 단계의 정보가 은닉 상태를 통해 이후 단계로 전달되기 때문이다. 따라서 주가, 기상 관측값, 센서 데이터, 판매량 등 순차적으로 관측된 데이터의 패턴을 학습하고 미래 값을 예측하는 데 널리 활용된다.

시계열 예측을 위한 RNN의 일반적인 접근법은 과거의 일정 구간(윈도우)의 데이터를 입력으로 받아 다음 시점 또는 여러 미래 시점의 값을 출력하는 것이다. 예를 들어, 과거 30일간의 주가 데이터를 입력하여 다음 날의 주가를 예측하거나, 과거 1시간 동안의 전력 소비량을 입력하여 다음 24시간의 소비량을 예측하는 방식이다. 이러한 모델은 단일 값 예측뿐만 아니라 다변량 시계열 예측에도 적용될 수 있다.

RNN 기반 시계열 예측 모델의 성능은 데이터의 특성과 선택된 아키텍처에 크게 의존한다. 기본 RNN은 장기 의존성을 학습하기 어려울 수 있어, LSTM이나 GRU와 같은 게이트 메커니즘을 가진 변형이 더 일반적으로 사용된다. 또한, 양방향 RNN은 과거 정보뿐만 아니라 특정 컨텍스트에서 미래 정보까지 활용할 수 있어 더 정확한 예측을 가능하게 한다[2].

이러한 모델은 시간에 따른 역전파 알고리즘으로 학습되며, 평균 제곱 오차나 평균 절대 오차와 같은 손실 함수를 최소화하는 방향으로 매개변수가 조정된다. 시계열 예측은 RNN의 가장 전통적이고 실용적인 응용 분야 중 하나로, 다양한 산업에서 의사 결정을 지원하는 핵심 기술로 자리 잡았다.

음성 인식은 순환 신경망의 주요 응용 분야 중 하나이다. 음성 신호는 본질적으로 시간에 따라 연속적으로 변화하는 시계열 데이터이며, 이전에 발화된 소리(음소)가 이후의 소리를 이해하는 데 중요한 맥락을 제공한다. RNN은 이러한 시간적 의존성을 모델링하는 데 적합한 구조를 가지고 있어, 음성 신호를 텍스트로 변환하는 작업에 널리 사용되었다.

초기 음성 인식 시스템은 은닉 마르코프 모델과 가우시안 혼합 모델 같은 전통적인 통계 모델에 크게 의존했다. 그러나 딥러닝과 RNN의 등장은 인식 정확도를 획기적으로 향상시켰다. RNN 기반 모델은 원시 오디오 신호의 스펙트로그램이나 MFCC 같은 음향 특징을 입력으로 받아, 각 시간 단계마다 해당하는 문자나 단어를 예측하는 방식으로 작동한다. 특히 LSTM과 GRU는 장기적인 의존성을 효과적으로 학습하여 긴 문장의 음성 인식 성능을 크게 개선했다.

RNN 기반 음성 인식 시스템의 일반적인 처리 파이프라인은 다음과 같은 단계를 포함할 수 있다.

이러한 RNN 기반 접근법은 엔드투엔드 음성 인식 시스템의 발전에 기여했으며, 이후 어텐션 메커니즘과 결합되거나 트랜스포머 기반 모델로 진화하게 된다. 그러나 RNN은 여전히 실시간 처리가 필요한 음성 인식 애플리케이션에서 효율적인 선택지로 고려된다.