RNN

RNN의 핵심은 순환 구조에 있다. 기존의 피드포워드 신경망이 정보가 입력층에서 출력층으로 한 방향으로만 흐르는 것과 달리, RNN은 네트워크의 출력이 다시 입력으로 피드백되는 순환 연결을 가진다. 이 구조는 네트워크가 '과거의 정보'를 일종의 내부 메모리 형태로 유지하고, 새로운 입력을 처리할 때 이 정보를 함께 활용할 수 있게 해준다.

이러한 순환 구조는 시퀀스나 시간 흐름이 있는 데이터를 모델링하는 데 이상적이다. 예를 들어, 문장에서 각 단어를 순차적으로 처리할 때, 현재 단어의 의미를 해석하기 위해서는 앞서 나온 단어들의 맥락이 필요하다. RNN은 이전 단계의 계산 결과(은닉 상태)를 현재 단계의 입력과 결합하여 처리함으로써, 바로 이전 정보뿐만 아니라 이론적으로는 시퀀스 시작부터의 모든 정보를 반영할 수 있는 능력을 갖춘다.

순환 연결은 네트워크의 매 시간 단계에서 동일한 변환 규칙과 동일한 가중치 집합이 반복적으로 적용된다는 점에서 매개변수 공유의 특성을 보인다. 이는 모델이 다양한 길이의 시퀀스 데이터를 처리할 수 있도록 하며, 훈련해야 할 매개변수의 수를 크게 줄여 효율성을 높인다.

따라서 RNN의 순환 구조는 네트워크에 일시적인 상태를 부여하여, 시간 또는 순서에 따라 변화하는 동적 패턴을 학습하는 기본 토대를 제공한다. 이는 시계열 분석, 연속된 텍스트 처리 등 순차 데이터를 다루는 광범위한 인공지능 과제의 근간이 된다.

은닉 상태는 RNN의 핵심 메커니즘으로, 네트워크의 '내부 메모리' 역할을 한다. 각 시점에서 RNN은 현재의 입력 데이터와 함께 이전 시점의 은닉 상태를 받아들여 새로운 은닉 상태를 계산한다. 이 과정을 통해 네트워크는 지금까지 처리한 시퀀스 정보를 요약하여 담아둘 수 있다.

은닉 상태는 일반적으로 벡터 형태로 표현되며, 그 크기는 사용자가 정의하는 하이퍼파라미터인 은닉층의 뉴런 수에 의해 결정된다. 이 벡터는 매 시간 단계마다 갱신되며, 현재 입력의 의미와 과거 문맥 정보가 혼합된 표현을 생성한다. 따라서 최종 시점의 은닉 상태는 전체 입력 시퀀스에 대한 하나의 '요약' 또는 '문맥 벡터'로 간주될 수 있다.

이렇게 유지되는 은닉 상태 덕분에 RNN은 시퀀스의 순서와 이전 요소들 사이의 관계를 학습할 수 있다. 예를 들어 문장 처리에서 '은닉 상태'는 특정 단어까지 읽으면서 이해한 문맥, 즉 주어나 동사 같은 문법적 정보나 의미를 인코딩하게 된다. 이 정보는 다음 단어가 무엇일지 예측하거나 문장의 감정을 분류하는 데 활용된다.

은닉 상태의 갱신은 순환 구조 내에서 이루어지며, 이 과정에는 학습 가능한 가중치 매개변수들이 관여한다. 네트워크는 훈련 데이터를 통해 이 가중치들을 조정해 가며, 어떤 정보를 은닉 상태에 보존하고 어떤 정보를 잊어버릴지, 즉 시퀀스의 중요한 패턴을 인코딩하는 방법을 스스로 학습하게 된다.

RNN의 입력, 출력, 가중치는 시퀀스의 각 시간 단계마다 공유된다는 점이 전통적인 피드포워드 신경망과 구별되는 핵심 특징이다.

입력은 시간에 따라 순차적으로 네트워크에 공급되는 데이터 벡터이다. 예를 들어, 문장 처리에서는 각 단어가 하나의 시간 단계에 해당하는 입력이 된다. 출력은 각 시간 단계에서 생성되는 결과로, 현재 시간의 은닉 상태를 변환하여 얻는다. 이 출력은 다음 단어 예측이나 현재 시점의 클래스 분류 등 특정 작업을 수행하기 위해 사용된다.

모든 시간 단계에서 동일한 세트의 가중치 매개변수가 재사용된다. 즉, 입력을 은닉 상태로 변환하는 가중치, 이전 은닉 상태를 현재 은닉 상태로 변환하는 가중치, 은닉 상태를 출력으로 변환하는 가중치는 시간이 흘러도 변하지 않는다. 이러한 가중치 공유는 모델이 학습해야 할 매개변수의 수를 크게 줄여주며, 네트워크가 시퀀스의 어느 위치에서나 동일한 패턴을 인식할 수 있게 하는 일반화 능력을 부여한다.

단방향 RNN은 가장 기본적인 RNN 구조로, 입력 시퀀스가 시간의 흐름에 따라 단일 방향으로만 처리된다. 즉, 특정 시점 t의 출력을 계산할 때는 현재 시점의 입력과 바로 이전 시점 t-1의 은닉 상태만을 사용한다. 이는 인간이 문장을 앞에서 뒤로 읽어나가며 이해하는 방식과 유사하다고 볼 수 있다.

이 구조에서 정보의 흐름은 한 방향으로만 진행되기 때문에, 시퀀스의 미래 정보는 현재 시점의 예측에 활용될 수 없다. 예를 들어, 문장의 특정 단어를 해석할 때 그 단어 이후에 나오는 문맥은 고려 대상이 아니다. 이러한 특성은 실시간으로 데이터가 순차적으로 입력되는 음성 인식이나 주식 가격의 다음 단계 예측과 같은 작업에는 적합할 수 있다.

단방향 RNN의 구조는 비교적 단순하여 구현과 이해가 쉽다는 장점이 있다. 그러나 시퀀스의 전체 문맥, 특히 후반부에 있는 중요한 정보를 앞부분의 예측에 반영할 수 없다는 근본적인 한계를 지닌다. 이 한계를 해결하기 위해 이후 양방향 RNN이 개발되었다.

양방향 RNN은 시퀀스 데이터의 과거 정보뿐만 아니라 미래 정보까지 동시에 활용하기 위해 설계된 RNN의 한 유형이다. 기본적인 단방향 RNN이 입력 시퀀스를 처음부터 끝까지 한 방향으로만 처리하는 반면, 양방향 RNN은 두 개의 독립적인 RNN 계층을 사용한다. 하나는 시퀀스를 정방향으로, 다른 하나는 시퀀스를 역방향으로 처리한다.

각 시간 단계에서 정방향 RNN은 현재 입력과 이전 정방향 은닉 상태를 바탕으로 정방향 은닉 상태를 계산한다. 동시에 역방향 RNN은 현재 입력과 "다음" 역방향 은닉 상태를 바탕으로 역방향 은닉 상태를 계산한다. 최종적으로 각 시간 단계의 출력은 해당 시점의 정방향 은닉 상태와 역방향 은닉 상태를 연결하거나 합치는 방식으로 생성된다.

이 구조 덕분에 모델은 특정 단어나 데이터 포인트를 이해할 때 그 앞뒤의 전체 문맥을 고려할 수 있다. 예를 들어, 자연어 처리에서 한 단어의 의미는 앞뒤에 오는 단어들에 의해 결정될 수 있는데, 양방향 RNN은 이러한 의존성을 효과적으로 포착한다.

양방향 RNN은 주로 전체 입력 시퀀스를 미리 알고 있는 작업, 즉 문장 분류, 개체명 인식, 음성 인식과 같은 작업에 널리 적용된다. 하지만 실시간으로 순차적으로 입력이 들어와야 하는 온라인 예측이나 스트리밍 작업에는 적합하지 않다.

심층 RNN은 여러 개의 순환층을 쌓아 만든 구조이다. 기본적인 단일층 RNN은 입력과 이전 은닉 상태를 받아 하나의 은닉 상태를 출력한다. 반면, 심층 RNN에서는 첫 번째 순환층의 출력(은닉 상태)이 두 번째 순환층의 입력으로 사용되며, 이 과정을 여러 층에 걸쳐 반복한다. 이렇게 층을 깊게 쌓음으로써 모델이 입력 시퀀스의 더 복잡하고 추상적인 표현을 학습할 수 있게 된다.

심층 RNN의 각 층은 서로 다른 시간 스케일이나 특징 수준의 정보를 처리할 수 있다. 예를 들어, 자연어 처리에서 하위 층은 단어나 형태소 수준의 문법적 패턴을 학습하고, 상위 층은 문장 전체의 의미나 문맥과 같은 고수준 정보를 포착할 수 있다. 이는 이미지 인식에서 합성곱 신경망이 저수준에서 고수준 특징을 점진적으로 추출하는 방식과 유사한 개념이다.

그러나 심층 RNN은 기본 RNN의 문제점을 그대로 물려받으며, 층이 깊어질수록 그 문제가 더욱 심화될 수 있다. 특히, 시간에 따른 오차 역전파 과정에서 발생하는 기울기 소실 문제는 여러 순환층을 통과하며 누적되어 학습을 매우 어렵게 만든다. 이 문제를 완화하기 위해 LSTM이나 GRU와 같은 게이트 메커니즘을 가진 순환 유닛을 심층 구조에 적용하는 것이 일반적이다.

심층 RNN은 복잡한 시퀀스 데이터를 처리하는 성능을 높이기 위한 필수적인 진화였다. 하지만 매우 깊은 신경망을 훈련시키는 데 따르는 난이도 때문에, 실제 응용에서는 2층에서 4층 정도의 깊이를 가진 구조가 널리 사용된다.

RNN의 학습은 시간에 따른 오차 역전파(BPTT, Backpropagation Through Time) 알고리즘을 통해 이루어진다. 이 방법은 기본적인 역전파 알고리즘을 시퀀스 데이터의 시간적 구조에 맞게 확장한 것이다. 순차적인 각 시간 단계에서 발생하는 오차를 계산하고, 이를 시간 축을 따라 거슬러 올라가며 네트워크의 모든 가중치를 업데이트한다.

구체적으로, 특정 시간 단계에서의 출력 오차는 현재 단계뿐만 아니라 이전 시간 단계들의 은닉 상태를 거쳐 전파된 오차의 영향을 모두 받는다. 따라서 BPTT 알고리즘은 전체 시퀀스를 하나의 매우 깊은 피드포워드 네트워크로 펼쳐 놓은 것으로 간주하고, 그 깊이를 따라 역전파를 수행한다고 볼 수 있다. 이 과정에서 각 가중치에 대한 손실 함수의 기울기를 계산하게 된다.

이 학습 방식은 RNN이 시퀀스의 앞부분과 뒷부분 사이의 장기적인 의존 관계를 학습할 수 있도록 설계되었다. 그러나 시퀀스가 길어질수록, 즉 시간 단계가 많아질수록 기울기가 여러 번 곱해지며 전파되기 때문에 문제가 발생할 수 있다. 기울기 값이 지나치게 작아져 소실되거나, 반대로 지나치게 커져 폭발하는 현상이 나타난다.

이러한 BPTT의 특성은 RNN이 긴 시퀀스를 효과적으로 학습하는 데 근본적인 장애물이 되었으며, 이를 해결하기 위해 LSTM이나 GRU와 같은 개선된 구조가 제안되는 중요한 계기가 되었다.

RNN을 시간에 따라 펼쳐서 학습하는 시간에 따른 오차 역전파 과정에서, 특히 긴 시퀀스를 다룰 때 기울기 소실 또는 기울기 폭발 문제가 자주 발생한다. 이는 RNN의 주요 학습 난제 중 하나이다.

기울기 소실 문제는 역전파 과정에서 기울기가 여러 시간 단계를 거쳐 곱해지면서 점점 작아져 0에 가까워지는 현상이다. 이는 가중치 업데이트가 거의 일어나지 않아 네트워크가 초기 상태에 머무르거나, 먼 과거의 정보가 현재 학습에 거의 영향을 미치지 못하게 만든다. 반대로 기울기 폭발 문제는 기울기가 지수적으로 급격히 커지는 현상으로, 가중치 값이 불안정하게 발산하여 학습이 수렴하지 못하게 한다.

이러한 문제는 활성화 함수의 선택과 가중치 초기화 값에 크게 영향을 받는다. 예를 들어, 시그모이드나 하이퍼볼릭 탄젠트 함수는 입력값이 크거나 작을 때 기울기가 매우 작아지는 포화 영역이 있어 기울기 소실을 악화시킬 수 있다. 기울기 폭발 문제는 주로 기울기 클리핑이라는 기법으로 해결하는데, 기울기의 크기가 임계값을 넘지 않도록 잘라내는 방식이다.

기울기 소실 문제는 RNN이 장기 의존성을 효과적으로 학습하지 못하는 근본적인 원인이 되었으며, 이는 후속 연구를 통해 LSTM과 GRU 같은 개선된 순환 구조가 개발되는 중요한 동기가 되었다.

RNN의 핵심 설계 목적은 이전 정보를 현재 처리에 활용하는 것이다. 하지만 기본적인 RNN 구조는 시퀀스가 길어질수록, 즉 시간 간격이 멀어질수록 초기 정보를 현재 단계까지 효과적으로 전달하고 유지하는 데 심각한 어려움을 겪는다. 이를 장기 의존성 문제라고 한다.

이 문제의 근본 원인은 RNN을 학습시키는 시간에 따른 오차 역전파 과정에서 발생하는 기울기 소실 현상이다. 오차를 역시간 방향으로 전파하며 가중치를 조정할 때, 기울기 값이 반복적으로 곱해지면서 시간이 지날수록 기하급수적으로 작아져 0에 가까워질 수 있다. 이는 네트워크가 먼 과거의 입력이 현재 출력에 미친 영향을 학습하지 못하게 만든다. 반대로 기울기 값이 폭발적으로 커지는 기울기 폭발 문제도 발생할 수 있지만, 이는 기울기 클리핑 등의 기법으로 비교적 쉽게 제어 가능하다.

결과적으로, 기본 RNN은 짧은 문장이나 즉각적인 패턴 인식에는 효과적일 수 있지만, 문장의 맥락을 길게 이해해야 하는 기계 번역이나 장기적인 추세를 포착해야 하는 복잡한 시계열 예측 같은 작업에서는 한계를 보인다. 네트워크가 최근 몇 단계의 정보에만 주로 의존하게 되는 것이다.

이러한 장기 의존성 문제를 해결하기 위해 고안된 대표적인 개선 모델이 LSTM과 GRU이다. 이들은 게이트 메커니즘을 도입하여 정보를 선택적으로 흘리거나 막는 방식을 통해, 필요한 정보를 장기간에 걸쳐 흐르게 할 수 있는 보다 정교한 메모리 구조를 제공한다.

LSTM(Long Short-Term Memory)은 RNN의 주요 한계인 장기 의존성 문제를 해결하기 위해 제안된 특별한 유형의 순환 신경망이다. 기존 RNN의 간단한 순환 구조를 개선하여, 네트워크가 장기간에 걸쳐 정보를 선택적으로 기억하거나 잊을 수 있는 메커니즘을 도입했다.

LSTM의 핵심은 '셀 상태'라는 장기 기억 통로와 이를 조절하는 세 개의 게이트 구조이다. 망각 게이트는 셀 상태에서 불필요한 정보를 제거하고, 입력 게이트는 새로운 정보 중 중요한 것을 셀 상태에 추가한다. 마지막으로 출력 게이트는 현재의 은닉 상태를 계산하기 위해 셀 상태의 어떤 부분을 사용할지 결정한다. 이러한 게이트들은 시그모이드 함수와 같은 활성화 함수를 통해 0과 1 사이의 값을 출력하며, 정보의 흐름을 조절한다.

이 구조 덕분에 LSTM은 관련 정보가 현재 시점과 아주 멀리 떨어져 있어도 그 정보를 효과적으로 활용할 수 있다. 예를 들어, 문장에서 매우 앞부분에 나온 주어의 정보를 문장 끝까지 유지하며 동사를 일치시키는 작업에 유용하다. 결과적으로 LSTM은 긴 시퀀스 데이터를 처리하는 다양한 과제에서 표준적인 RNN 아키텍처보다 훨씬 뛰어난 성능을 보여주었다.

LSTM의 성공 이후, 계산 비용을 줄이면서 유사한 성능을 내는 GRU(Gated Recurrent Unit)와 같은 변형 모델도 등장했다. LSTM과 그 변형들은 자연어 처리, 음성 인식, 시계열 분석 분야의 발전에 지대한 기여를 했다.

GRU는 LSTM의 복잡한 구조를 단순화하면서도 장기 의존성 문제를 효과적으로 해결하기 위해 제안된 RNN의 변형이다. LSTM이 입력 게이트, 망각 게이트, 출력 게이트라는 세 개의 게이트를 사용하는 반면, GRU는 업데이트 게이트와 리셋 게이트라는 두 개의 게이트만을 사용한다. 이로 인해 모델의 매개변수 수가 줄어들어 계산 효율성이 향상되며, 많은 경우 LSTM과 유사하거나 더 나은 성능을 보인다.

GRU의 핵심은 업데이트 게이트와 리셋 게이트의 작동에 있다. 업데이트 게이트는 이전 은닉 상태의 정보를 얼마나 유지할지 결정하고, 리셋 게이트는 이전 은닉 상태의 정보를 얼마나 무시하고 새로운 정보와 결합할지 결정한다. 이 두 게이트의 조합을 통해 GRU는 네트워크가 시퀀스 내의 중요한 정보를 장기간 보존하거나 필요에 따라 잊어버리는 유연한 제어가 가능하다.

GRU는 LSTM에 비해 구조가 간단하여 구현과 이해가 상대적으로 쉽다는 장점이 있다. 이로 인해 계산 자원이 제한된 환경이나 빠른 실험이 필요한 경우, 또는 데이터셋의 크기가 크지 않을 때 선호되는 경우가 많다. 자연어 처리의 기계 번역, 텍스트 요약, 음성 인식, 시계열 예측 등 LSTM이 적용되던 다양한 분야에서 GRU도 널리 사용되고 있다.

RNN은 자연어 처리 분야에서 핵심적인 역할을 해왔다. 자연어는 단어나 문장이 순서대로 이어지는 시퀀스 데이터이기 때문에, 이전 단어의 정보를 기억하며 다음 단어를 처리할 수 있는 RNN의 구조가 매우 적합하다. 이를 통해 문장의 맥락을 이해하고, 단어 간의 관계를 파악하는 모델을 구축할 수 있다.

주요 응용으로는 텍스트 생성, 기계 번역, 감성 분석 등이 있다. 예를 들어, RNN은 주어진 단어 시퀀스를 바탕으로 다음에 올 단어를 예측하는 언어 모델을 만드는 데 사용된다. 또한, 인코더-디코더 구조를 통해 입력 문장(소스 언어)을 인코딩하고, 이를 디코딩하여 다른 언어의 문장(타겟 언어)을 출력하는 기계 번역 시스템의 기초를 제공했다.

하지만 기본 RNN은 장기 의존성 문제로 인해 긴 문장의 맥락을 효과적으로 기억하지 못하는 한계가 있었다. 이 문제를 해결하기 위해 등장한 LSTM과 GRU 같은 개선된 순환 신경망 구조가 자연어 처리 성능을 크게 향상시켰으며, 이후 트랜스포머 아키텍처의 등장에 이르기까지 중요한 토대를 마련했다.

RNN은 시간의 흐름에 따라 변화하는 데이터, 즉 시계열 데이터를 예측하는 데 매우 효과적으로 활용된다. 주식 가격, 기상 관측치, 센서 데이터, 에너지 소비량 등 연속적인 관측값으로 이루어진 데이터가 이에 해당한다. RNN의 핵심인 순환 구조와 은닉 상태는 과거 시간 단계의 정보를 현재의 예측에 반영할 수 있게 해주며, 이는 미래 값을 추정하는 데 필수적이다.

시계열 예측을 위한 RNN 모델은 일반적으로 일정 길이의 과거 시퀀스를 입력받아 다음 단계의 값을 출력하거나, 여러 미래 시점에 대한 값을 한 번에 예측하도록 구성된다. 예를 들어, 과거 7일간의 일일 평균 온도 데이터를 입력받아 다음 날의 온도를 예측하는 것이 전자의 예이며, 과거 주가 데이터를 바탕으로 향후 5일간의 주가 추세를 예측하는 것이 후자의 예이다.

RNN 기반 시계열 예측 모델의 성능은 데이터의 특성과 모델 구조에 크게 의존한다. 단순한 단방향 RNN보다는 장기 의존성을 더 잘 포착할 수 있는 LSTM이나 GRU 셀을 사용하는 것이 일반적이다. 또한, 여러 개의 RNN 층을 쌓아 심층 신경망을 구성하거나, 양방향 RNN을 활용해 과거 정보뿐만 아니라 미래 문맥(예: 실시간이 아닌 완성된 시계열을 분석할 때)까지 고려할 수도 있다.

이러한 모델들은 금융, 제조, 에너지 관리, 의료 등 다양한 분야에서 수요 예측, 이상 감지, 유지보수 예측 등에 실제로 적용되고 있다. 다만, 매우 불규칙하거나 노이즈가 많은 데이터, 또는 매우 긴 기간의 패턴을 학습해야 하는 경우에는 RNN의 고질적인 기울기 소실 문제로 인해 한계를 보일 수 있으며, 이 경우 어텐션 메커니즘이나 트랜스포머 기반 모델 등 다른 접근법이 고려되기도 한다.

음성 인식은 RNN의 대표적인 응용 분야 중 하나이다. 음성 신호는 시간에 따라 연속적으로 변화하는 시계열 데이터이기 때문에, 이전 시점의 정보를 기억하며 현재 시점을 처리하는 RNN의 구조가 매우 적합하다. 음성 인식 시스템은 일반적으로 음성 신호를 짧은 시간 구간으로 나누고, 각 구간에서 특징을 추출한 후, RNN을 통해 이를 문자나 단어 시퀀스로 변환하는 과정을 거친다.

초기 음성 인식에는 주로 은닉 마르코프 모델이 사용되었지만, RNN과 그 변형 모델들은 더 긴 맥락 의존성을 포착할 수 있어 인식 성능을 크게 향상시켰다. 특히 음성의 시간적 패턴을 효과적으로 모델링할 수 있어, 연속 음성 인식이나 대화형 시스템에서 핵심 기술로 자리 잡았다.

RNN 기반 음성 인식은 종종 연결주의 시간 분류와 같은 특수한 출력 레이어와 결합되어 사용된다. 이는 음성 프레임과 텍스트 레이블 사이의 정확한 정렬 없이도 훈련을 가능하게 하여 시스템 구축을 단순화한다. 또한, 음성 인식을 위한 심층 신경망 아키텍처에서는 다층 RNN이나 양방향 RNN이 널리 활용되어 정확도를 높인다.

현대의 고성능 음성 인식 시스템은 RNN의 개선 모델인 LSTM이나 GRU를 주로 채택한다. 이러한 모델들은 장기적인 의존성을 학습하는 데 뛰어나, 발화 내의 긴 휴지나 억양 변화와 같은 복잡한 음성 특성을 더 잘 처리할 수 있다. 결과적으로 RNN과 그 파생 모델들은 스마트폰 비서, 자동 자막 생성, 음성 기반 인터페이스 등 다양한 실용적인 음성 기술의 기반을 제공하고 있다.