순환 신경망 구조

순환 신경망의 핵심은 이전 시점의 계산 결과가 현재 시점의 입력에 영향을 미치는 순환 연결 구조에 있다. 이 연결은 네트워크가 시간에 따른 정보를 내부적으로 유지하고 전달할 수 있게 하며, 이를 통해 시퀀스의 패턴을 학습한다. 이러한 내부 메모리 역할을 하는 것이 은닉 상태이다.

은닉 상태는 각 시간 단계마다 갱신되는 벡터로, 네트워크가 지금까지 처리한 입력 시퀀스의 요약 정보를 담고 있다. 수학적으로, 시간 t에서의 은닉 상태 h_t는 현재 입력 x_t와 이전 은닉 상태 h_{t-1}의 함수로 계산된다. 일반적인 공식은 h_t = 활성화함수(W_{xh} * x_t + W_{hh} * h_{t-1} + b)와 같다. 여기서 W_{xh}와 W_{hh}는 학습 가능한 가중치 행렬이며, b는 편향값이다.

이 구조는 네트워크가 고정된 크기의 파라미터를 사용하면서도 가변 길이의 시퀀스를 처리할 수 있게 한다. 각 시간 단계에서 동일한 가중치 집합(W_{xh}, W_{hh})이 재사용되며, 이는 파라미터 공유의 한 형태로, 모델의 효율성과 일반화 능력을 높인다. 은닉 상태는 네트워크의 "기억"으로 작동하여, 이전 맥락이 후속 예측에 영향을 미치게 한다.

이 기본 구조는 단순하지만, 장기 의존성을 학습하는 데는 한계가 있어 LSTM과 GRU 같은 게이트 메커니즘을 도입한 변형 구조가 발전하게 되었다.

시계열 데이터 처리 과정에서 순환 신경망은 각 시간 단계마다 순차적으로 입력을 받아 처리한다. 입력 시퀀스는 $x^{(1)}, x^{(2)}, ..., x^{(T)}$와 같이 표현되며, 여기서 $T$는 시퀀스의 총 길이이다.

각 시간 단계 $t$에서의 처리 과정은 다음과 같다.

1. 현재 시간의 입력 $x^{(t)}$와 이전 시간의 은닉 상태 $h^{(t-1)}$을 받는다.

2. 이 두 값을 결합하여 현재의 새로운 은닉 상태 $h^{(t)}$를 계산한다. 이 계산에는 가중치 행렬과 활성화 함수(주로 하이퍼볼릭 탄젠트나 ReLU)가 사용된다.

3. 필요에 따라 현재 은닉 상태 $h^{(t)}$를 출력 계층으로 전달하여 해당 시간의 출력 $y^{(t)}$를 생성한다.

이 과정은 첫 번째 시간 단계부터 마지막 시간 단계까지 순차적으로 반복된다. 초기 은닉 상태 $h^{(0)}$는 일반적으로 0 벡터나 작은 난수 값으로 초기화된다. 이 구조 덕분에 RNN은 이전에 처리한 정보를 현재 계산에 반영할 수 있어, 음성 신호나 문장과 같은 순차 데이터의 패턴을 학습하는 데 적합하다.

표에서 $W_{xh}$와 $W_{hh}$는 학습 가능한 가중치 행렬이며, $b$는 편향, $f$는 활성화 함수이다. 이 표는 정보가 시간을 따라 어떻게 흐르고 변형되는지를 보여준다. 모든 시간 단계가 처리된 후, 최종 은닉 상태 $h^{(T)}$는 전체 입력 시퀀스의 정보를 요약하여 담고 있게 된다. 이 요약 정보는 시퀀스 분류나 다음 값 예측과 같은 다운스트림 작업에 활용된다.

LSTM은 순환 신경망의 한계인 장기 의존성 문제를 해결하기 위해 1997년 제안된 특수한 RNN 구조이다. 기존 RNN이 은닉 상태 하나만을 통해 정보를 전달하며 발생하는 기울기 소실 문제를, 게이트(gate)라는 제어 메커니즘을 도입하여 극복한다.

LSTM의 핵심은 셀 상태와 세 가지 게이트로 구성된다. 셀 상태는 네트워크를 수평으로 관통하는 정보의 고속도로 역할을 하며, 비교적 변형 없이 장기적인 정보를 전달한다. 세 가지 게이트는 망각 게이트, 입력 게이트, 출력 게이트로, 모두 시그모이드 함수와 점곱 연산을 사용하여 0과 1 사이의 값을 출력하여 정보의 흐름을 조절한다. 망각 게이트는 셀 상태에서 어떤 정보를 버릴지 결정하고, 입력 게이트는 새로운 정보 중 어떤 것을 셀 상태에 추가할지 결정한다. 마지막으로 출력 게이트는 갱신된 셀 상태를 바탕으로 다음 은닉 상태를 출력한다.

이러한 게이트 구조는 네트워크가 필요에 따라 정보를 선택적으로 기억하거나 잊게 만든다. 예를 들어, 문장 처리에서 주어와 동사의 일치와 같은 중요한 문법 정보는 셀 상태를 통해 장기간 보존하고, 불필요한 세부 정보는 망각 게이트를 통해 삭제한다. 이는 LSTM이 긴 시퀀스에서도 관련 정보 간의 장기적인 의존 관계를 효과적으로 학습할 수 있게 하는 원동력이다.

LSTM의 효과성은 다양한 벤치마크에서 입증되었으며, GRU와 같은 간소화된 변형 구조를 낳았다. 두 구조의 주요 차이점은 다음과 같다.

결과적으로, LSTM은 음성 인식, 기계 번역, 텍스트 생성 등 시계열 데이터 처리의 핵심 구조로 자리 잡았다.

GRU는 LSTM의 복잡성을 줄이면서 유사한 성능을 제공하기 위해 제안된 순환 신경망 변형 구조이다. LSTM의 셀 상태와 은닉 상태를 통합하고, 게이트의 수를 두 개로 줄여 매개변수 수를 감소시켰다. 이는 계산 효율성을 높이고, 과적합 위험을 낮추는 효과를 가져왔다.

GRU의 핵심은 리셋 게이트와 업데이트 게이트라는 두 개의 게이트 메커니즘이다. 리셋 게이트는 새로운 입력과 이전 은닉 상태를 결합할 때, 이전 상태의 정보를 얼마나 '잊을지' 결정한다. 업데이트 게이트는 이전 은닉 상태의 정보를 새로운 은닉 상태에 얼마나 유지할지, 그리고 새로운 후보 은닉 상태의 정보를 얼마나 반영할지를 조절한다. 이 과정은 다음 수식으로 요약된다.

여기서 σ는 시그모이드 함수, tanh는 하이퍼볼릭 탄젠트 함수를 나타내며, *는 요소별 곱셈을 의미한다. 업데이트 게이트는 LSTM의 입력 게이트와 망각 게이트의 역할을 결합한 것으로 볼 수 있다.

GRU는 LSTM보다 간결한 구조 덕분에 학습 속도가 더 빠른 경우가 많으며, 특히 데이터셋의 크기가 상대적으로 작거나 시퀀스 길이가 매우 길지 않은 작업에서 효율적이다. 자연어 처리의 기계 번역, 텍스트 생성, 감정 분석 및 시계열 예측 등 다양한 분야에서 널리 활용된다. 그러나 매우 복잡한 장기 의존성을 학습해야 하는 과제에서는 LSTM이 여전히 우수한 성능을 보일 수 있다.

양방향 순환 신경망은 순환 신경망의 한 변형으로, 시퀀스 데이터의 각 시점에서 과거 정보뿐만 아니라 미래 정보도 함께 활용하여 더 풍부한 문맥을 포착하도록 설계되었다. 기존 RNN이 입력 시퀀스를 정방향으로만 처리하는 데 비해, 이 구조는 정방향과 역방향 두 개의 독립적인 은닉층을 동시에 사용한다.

구조적으로, 하나의 RNN 계층은 시퀀스의 시작부터 끝까지(정방향) 처리하고, 다른 하나의 RNN 계층은 시퀀스의 끝부터 시작까지(역방향) 처리한다. 특정 시점 t에서의 최종 출력은 정방향 은닉 상태와 역방향 은닉 상태를 연결하거나 합산하는 방식으로 생성된다. 이는 각 단어나 데이터 포인트를 이해할 때 앞뒤 문맥을 모두 고려할 수 있게 해준다.

이 구조는 특히 전체 입력 시퀀스를 사전에 모두 사용할 수 있는 작업에서 강점을 보인다. 대표적인 예로 자연어 처리의 개체명 인식, 품사 태깅, 감성 분석 등이 있으며, 음성 인식에서도 문맥을 더 정확히 이해하는 데 활용된다. 그러나 실시간으로 스트리밍되는 데이터처럼 미래 정보를 즉시 사용할 수 없는 상황에는 적용이 제한된다.

순환 신경망의 학습은 시간 역전파 알고리즘을 통해 이루어진다. 이 알고리즘은 기본적인 오차 역전파 알고리즘을 시계열 데이터에 맞게 확장한 것이다. BPTT는 네트워크의 출력에서 계산된 오차를 시간 축을 따라 역방향으로 전파하여 각 시간 단계의 매개변수에 대한 기울기를 계산한다.

BPTT의 핵심은 시간에 걸쳐 펼쳐진 순환 신경망 구조를 하나의 깊은 순방향 신경망으로 간주하는 것이다. 각 시간 단계는 이 펼쳐진 네트워크의 한 층으로 볼 수 있다. 학습 과정은 다음과 같은 단계로 진행된다.

1. 입력 시퀀스를 네트워크에 순방향으로 전파하여 각 시간 단계의 출력과 은닉 상태를 계산한다.

2. 각 시간 단계의 출력과 목표값을 비교하여 오차를 계산한다.

3. 이 오차를 시간 축을 따라 역방향으로 전파하며, 각 시간 단계에서 가중치에 대한 오차의 기울기를 누적하여 계산한다.

4. 누적된 기울기를 사용하여 가중치를 업데이트한다.

그러나 BPTT는 긴 시퀀스를 처리할 때 실질적인 문제에 직면한다. 시간 단계가 길어질수록 기울기를 계산하는 경로가 길어지며, 이로 인해 기울기 소실 또는 기울기 폭발 문제가 발생한다. 이 문제를 완화하기 위해 실제 구현에서는 시퀀스를 일정 길이의 청크로 나누어 제한된 시간 단계만큼만 역전파를 수행하는 Truncated BPTT 기법이 널리 사용된다. 이는 장기적인 의존성 학습에는 제한이 있을 수 있지만, 계산 효율성과 안정성을 크게 높인다.

순환 신경망을 시간 역전파 알고리즘으로 학습할 때 발생하는 대표적인 문제는 기울기 소실과 기울기 폭발이다. 이 문제는 네트워크가 긴 시퀀스 데이터의 장기 의존성을 효과적으로 학습하는 것을 방해하는 주요 원인이다.

기울기 소실 문제는 역전파 과정에서 기울기 값이 시간을 거슬러 올라가며 계속해서 작은 값(보통 1보다 작은 값)이 곱해지면서 0에 가까워지는 현상이다. 이는 시그모이드 함수나 하이퍼볼릭 탄젠트 함수 같은 활성화 함수의 도함수 값이 특정 구간에서 매우 작기 때문에 발생한다. 기울기가 소실되면 네트워크의 초기 시간 스텝에 대한 가중치가 거의 업데이트되지 않아, 먼 과거의 정보가 현재 예측에 영향을 미치지 못하게 된다. 반대로 기울기 폭발 문제는 기울기 값이 지수적으로 빠르게 증가하여 발산하는 현상이다. 이는 가중치 행렬의 고유값이 1보다 클 때 발생하며, 기울기 값이 NaN이 되거나 학습이 불안정해지는 결과를 초래한다.

이 문제를 완화하기 위한 여러 방법이 제안되었다. 가장 기본적인 방법은 기울기 클리핑으로, 기울기의 노름이 특정 임계값을 넘지 않도록 잘라내는 기법이다. 이는 주로 기울기 폭발을 제어하는 데 효과적이다. 근본적인 해결책은 LSTM과 GRU와 같은 게이트 메커니즘을 도입한 구조를 사용하는 것이다. 이 구조들은 망각 게이트와 입력 게이트 등을 통해 정보 흐름을 제어하는 경로를 만들어, 기울기가 장기간에 걸쳐 비교적 안정적으로 전파될 수 있도록 설계되었다. 또한, ReLU 계열의 활성화 함수를 사용하거나, 가중치 초기화 기법(예: Xavier 초기화, He 초기화)을 신중하게 적용하는 것도 도움이 된다.

일대다 구조는 하나의 입력 벡터를 받아 일련의 출력 시퀀스를 생성하는 순환 신경망의 데이터 처리 유형이다. 이 구조는 입력이 단일 시점의 데이터로 고정되어 있지만, 출력은 여러 시점에 걸쳐 순차적으로 발생한다는 특징을 가진다. 입력과 출력의 길이가 명확하게 다르며, 은닉 상태의 순환 연결을 통해 출력 시퀀스가 만들어지는 과정이 핵심이다.

주요 응용 분야는 다음과 같다.

작동 과정은 일반적으로 첫 번째 시간 단계에서만 실제 외부 입력을 받는다. 이후 시간 단계에서는 이전 단계에서 RNN이 생성한 출력이 다음 단계의 입력으로 재사용되거나, 특정 조건에 따라 조정된 값이 입력된다. 이렇게 함으로써 모델은 자체적으로 출력 시퀀스를 이어나가는 자기 회귀적인 생성을 수행한다. 이러한 구조는 창의적인 콘텐츠 생성 작업에 적합하지만, 생성 과정에서 오류가 누적될 수 있는 단점도 존재한다.

다대일 구조는 여러 개의 입력 시퀀스를 받아 하나의 출력을 생성하는 순환 신경망 처리 유형이다. 입력은 일련의 시계열 데이터로 구성되며, 각 시간 단계마다 순차적으로 네트워크에 입력된다. 최종 출력은 일반적으로 마지막 시간 단계에서의 은닉 상태를 완전 연결 계층과 같은 추가 층에 통과시켜 생성된다. 이 구조는 입력 전체의 정보를 요약하거나 집계하여 하나의 결정이나 값을 도출하는 데 적합하다.

주요 응용 분야는 다음과 같다.

이 구조의 학습은 시간 역전파 알고리즘을 통해 이루어진다. 손실은 최종 단일 출력값과 정답 레이블을 비교하여 계산되며, 이 오차가 시간 축을 따라 역방향으로 전파되어 네트워크의 가중치를 업데이트한다. 다대일 구조는 입력의 길이가 가변적일 수 있다는 점이 특징이며, 패딩과 같은 기법을 통해 서로 다른 길이의 입력을 효율적으로 처리한다.

다대다 구조는 입력 시퀀스와 출력 시퀀스가 모두 여러 개의 타임스텝을 가지는 처리 유형이다. 이 구조는 입력의 각 요소가 출력의 특정 요소에 대응되는 경우가 많다. 대표적인 예로는 기계 번역과 음성 인식이 있다. 예를 들어, 영어 문장(입력 시퀀스)을 한국어 문장(출력 시퀀스)으로 번역하는 작업이 여기에 해당한다.

구현 방식에 따라 두 가지 주요 하위 유형으로 나눌 수 있다. 첫 번째는 입력과 출력의 타임스텝이 완전히 동기화되는 경우이다. 시퀀스 레이블링이나 품사 태깅과 같은 작업이 이에 속한다. 문장의 각 단어를 입력으로 받아 동시에 해당 단어의 품사를 출력하는 구조이다. 두 번째는 입력 시퀀스를 모두 읽은 후에 출력 시퀀스를 생성하는 비동기적 방식이다. 인코더-디코더 구조가 이 방식을 사용하며, 번역 작업에서 입력 문장 전체를 인코딩한 후에 디코딩 과정을 통해 번역문을 순차적으로 생성한다.

다대다 구조의 RNN은 일반적으로 다음과 같은 구성 요소를 가진다.

이 구조는 시퀀스 간의 복잡한 매핑을 학습해야 하므로, 기본 RNN보다는 LSTM이나 GRU와 같은 게이트 메커니즘을 갖춘 변형 구조, 또는 어텐션 메커니즘이 결합된 모델이 더 효과적으로 사용된다.

순환 신경망은 자연어 처리 분야에서 핵심적인 역할을 수행하는 모델이다. 이는 언어 데이터가 본질적으로 순차적이고, 이전 단어의 맥락이 다음 단어의 의미를 결정하는 데 중요하기 때문이다. RNN의 은닉 상태는 문장을 구성하는 단어를 순차적으로 읽으면서, 지금까지 읽은 모든 단어의 정보를 요약하여 저장하는 역할을 한다. 이러한 특성 덕분에 RNN은 단어의 시퀀스를 입력받아 하나의 의미 벡터로 압축하거나, 반대로 하나의 벡터에서 단어 시퀀스를 생성하는 작업에 적합하다.

RNN은 자연어 처리의 여러 하위 과제에 광범위하게 적용되었다. 대표적인 응용 분야는 다음과 같다.

초기 RNN은 장기 의존성 문제로 인해 긴 문장의 맥락을 효과적으로 포착하는 데 한계가 있었다. 이를 해결하기 위해 LSTM과 GRU 같은 게이트 메커니즘을 도입한 변형 구조가 자연어 처리에서 표준적으로 사용되었다. 특히 양방향 RNN은 문장의 각 단어를 처리할 때 앞뒤 방향의 맥락을 모두 고려할 수 있어, 개체명 인식이나 품사 태깅과 같은 정밀한 분석 작업에서 성능을 크게 향상시켰다.

그러나 RNN 기반 모델은 본질적인 순차 처리 방식 때문에 병렬 계산이 어려워 학습 속도가 느리다는 단점이 있었다. 이 한계를 극복하고 장기 의존성 문제를 더 효과적으로 해결하기 위해 어텐션 메커니즘과 Transformer 구조가 등장하며, 자연어 처리의 주류 패러다임이 전환되게 된다.

시계열 예측은 순환 신경망의 핵심 응용 분야 중 하나이다. 시계열 데이터는 시간의 흐름에 따라 순차적으로 관측된 값들의 집합으로, 주식 가격, 기상 관측치, 에너지 소비량, 산업 장비의 센서 신호 등이 대표적인 예이다. RNN은 이전 시간 단계의 정보를 은닉 상태를 통해 유지하며 다음 값을 예측하는 모델링에 적합한 구조를 가진다.

기본적인 RNN 기반 시계열 예측 모델은 과거 t개의 시퀀스 데이터(예: 지난 30일간의 주가)를 입력받아 미래의 하나 또는 여러 개의 값을 출력한다. 이는 목차의 다대일 또는 다대다 데이터 처리 유형에 해당한다. 모델은 훈련 과정에서 실제 관측값과 예측값 사이의 오차(예: 평균 제곱 오차)를 최소화하도록 학습하여, 데이터에 내재된 추세, 계절성, 주기성 등의 패턴을 포착한다.

보다 복잡한 장기 의존성을 가진 시계열을 다루기 위해 LSTM이나 GRU 셀이 널리 사용된다. 이러한 게이트 메커니즘은 중요한 과거 정보를 선택적으로 장기간 보존하고, 불필요한 정보는 잊도록 함으로써 기본 RNN의 장기 의존성 문제를 완화한다. 예를 들어, 수요 예측에서는 공휴일, 이벤트, 장기적인 추세 등 다양한 시간 규모의 요인이 복합적으로 작용하는데, LSTM은 이러한 복잡한 의존 관계를 학습하는 데 효과적이다.

시계열 예측을 위한 RNN 모델의 성능은 데이터 전처리(정규화, 결측치 처리), 입력 시퀀스 길이 설정, 모델 구조의 깊이, 그리고 BPTT를 통한 학습 과정 등 여러 요소에 의해 크게 영향을 받는다. 또한, 양방향 RNN은 과거 정보뿐만 아니라 미래의 일부 문맥(예: 실시간이 아닌 완성된 시계열 분석)을 활용하여 예측 정확도를 높일 수 있는 경우도 있다.

음성 인식은 순환 신경망의 주요 응용 분야 중 하나이다. 음성 신호는 시간에 따라 변하는 연속적인 시계열 데이터로, RNN의 순환 구조는 이러한 시간적 의존성을 효과적으로 모델링할 수 있다. 음성 인식 시스템은 일반적으로 음성 신호를 일련의 음소 또는 단어 시퀀스로 변환하는 작업을 수행한다.

초기 음성 인식 시스템은 은닉 마르코프 모델(HMM)과 가우시안 혼합 모델(GMM)을 주로 사용했으나, 심층 학습의 발전과 함께 RNN 기반 접근법이 성능을 크게 향상시켰다. 특히 LSTM과 GRU 같은 게이트 메커니즘을 가진 RNN 변형은 장기간의 음성 신호에서 중요한 맥락 정보를 유지하는 데 유리하다. 이들은 음성의 지속 시간, 억양, 주변 음소의 영향 등을 학습하는 데 효과적이다.

현대의 고성능 음성 인식 시스템은 종종 양방향 RNN(Bi-RNN)이나 심층 양방향 LSTM을 사용하여 과거와 미래의 문맥을 모두 고려한다. 또한, 인코더-디코더 구조와 어텐션 메커니즘을 결합한 RNN 모델은 긴 음성 발화를 정확하게 텍스트로 변환하는 데 널리 사용된다. 이러한 시스템은 연속 음성 인식 및 대화형 음성 비서의 핵심 기술로 자리 잡았다.

RNN 기반 음성 인식의 성공은 음성 합성, 화자 인식, 감정 인식 등 관련 분야에도 영향을 미쳤다. 그러나 매우 긴 시퀀스 처리와 계산 효율성 측면에서 한계가 지적되며, 최근에는 Transformer 기반 모델이 음성 인식 분야에서도 주목받고 있다[11].

순환 신경망은 이전 단계의 정보를 활용하여 현재 출력을 계산하는 구조를 가졌다. 그러나 이러한 구조는 긴 시퀀스 데이터를 처리할 때, 초기 입력 정보가 시간이 지남에 따라 점차 희미해지거나 변형되는 장기 의존성 문제를 겪는다. 이는 네트워크가 먼 과거의 중요한 맥락 정보를 현재 결정에 효과적으로 반영하지 못하게 만드는 근본적인 한계이다.

문제의 핵심 원인은 시간 역전파 학습 과정에서 발생하는 기울기 소실 현상이다. 오차 신호가 여러 시간 단계를 거쳐 역전파되면서, 기울기가 반복적으로 곱해지며 지수적으로 작아져 0에 가까워진다. 결과적으로 네트워크의 초기 층 가중치는 거의 업데이트되지 않고, 먼 과거의 입력과 현재 출력 사이의 연결 관계를 학습하는 것이 매우 어려워진다. 반대로 기울기가 지수적으로 커지는 기울기 폭발 문제도 발생할 수 있으나, 이는 기울기 클리핑 등의 기법으로 비교적 제어가 가능하다.

이 문제를 해결하기 위해 고안된 주요 구조가 LSTM과 GRU이다. 이들은 게이트 메커니즘을 도입하여 정보의 흐름을 제어한다. 망각 게이트, 입력 게이트, 출력 게이트(LSTM) 또는 리셋 게이트, 업데이트 게이트(GRU)를 통해 셀 상태에 중요한 정보는 장기간 보존하고, 불필요한 정보는 삭제하는 방식을 학습한다. 이를 통해 기존 RNN보다 훨씬 긴 의존 관계를 효과적으로 포착할 수 있게 되었다.

그러나 LSTM과 GRU도 완전히 문제를 해결한 것은 아니며, 여전히 매우 긴 시퀀스(예: 수백 단계 이상)에서는 한계를 보인다. 이러한 한계는 주의 메커니즘을 기반으로 한 Transformer 구조의 등장을 촉진하는 요인이 되었다. Transformer는 순환 연결을 완전히 제거하고 자기 주의 메커니즘을 통해 입력 시퀀스의 모든 위치 정보를 병렬적으로 처리함으로써 장기 의존성 문제에서 자유로워졌다. 이로 인해 자연어 처리 등 많은 분야에서 RNN 기반 모델을 대체하는 주류 구조가 되었다.

순환 신경망은 시퀀스 데이터 처리의 기본 구조로 자리 잡았으나, 장기 의존성 문제를 근본적으로 해결하지 못했다는 한계를 지녔다. 이에 대한 대안으로 등장한 트랜스포머 구조는 어텐션 메커니즘에 전적으로 의존하여 순환 연결을 제거함으로써, 병렬 처리와 장기 의존성 포착 측면에서 RNN을 크게 능가하는 성능을 보여주었다.

두 구조의 핵심 차이는 정보 흐름과 처리 방식에 있다. RNN은 입력 시퀀스를 시간 순서대로 단계적으로 처리하며, 이전 단계의 은닉 상태를 다음 단계로 전달하는 순환 구조를 가진다. 이는 본질적으로 순차적 처리(Sequential Processing)를 요구하므로, 긴 시퀀스의 병렬 계산이 어렵고 계산 속도가 느려진다. 반면, 트랜스포머는 셀프 어텐션을 통해 입력 시퀀스의 모든 요소(토큰) 간의 관계를 한 번에 계산한다. 이는 시퀀스 내 모든 위치에 대한 정보에 동시에 접근할 수 있게 하여, 장거리 의존 관계를 직접적으로 모델링하고, 전체 시퀀스에 대한 병렬 처리를 가능하게 한다.

아래 표는 두 구조의 주요 특성을 비교한 것이다.

이러한 비교에도 불구하고, RNN은 여전히 특정 영역에서 유용성을 지닌다. 트랜스포머의 자기 어텐션은 시퀀스 길이의 제곱에 비례하는 계산 복잡도를 가지므로, 매우 긴 시퀀스(예: 긴 문서, 고해상도 비디오)를 실시간으로 처리해야 하는 경우에는 부담이 될 수 있다. 또한, RNN의 순차적 본성은 스트리밍 데이터나 온라인 학습이 필요한 응용 분야에 더 자연스럽게 적합할 수 있다. 결과적으로, 트랜스포머는 대규모 언어 모델과 같은 분야에서 사실상의 표준 구조가 되었지만, RNN은 계산 자원이 제한적이거나 엄격한 순차성이 요구되는 맥락에서 여전히 연구 및 적용되고 있다.