트랜스포머 (Transformer)

셀프 어텐션 메커니즘은 트랜스포머 (Transformer) 아키텍처의 가장 핵심적인 구성 요소이다. 이 메커니즘은 입력 시퀀스(예: 문장) 내의 모든 단어(토큰)가 서로 간의 관계를 직접 계산하여, 각 단어의 표현을 업데이트하는 방식을 제공한다. 기존의 순환 신경망이나 합성곱 신경망이 순차적 처리나 지역적 패턴에 의존했다면, 셀프 어텐션은 시퀀스 전체에 대한 전역적 의존성을 한 번의 연산으로 포착할 수 있다.

셀프 어텐션의 동작은 쿼리, 키, 밸류라는 세 가지 벡터 개념을 기반으로 한다. 입력 시퀀스의 각 단어는 세 가지 서로 다른 선형 변환을 통해 쿼리, 키, 밸류 벡터로 매핑된다. 그 후, 특정 단어의 쿼리 벡터는 시퀀스 내 모든 단어의 키 벡터와 내적 연산을 수행하여 어텐션 스코어를 계산한다. 이 스코어는 소프트맥스 함수를 통해 정규화되어 어텐션 가중치가 되며, 이 가중치를 모든 단어의 밸류 벡터에 곱하여 합산한다. 결과적으로 각 단어는 다른 모든 단어의 정보를 가중 평균한 새로운 표현을 얻게 된다.

이 과정은 수학적으로 행렬 연산으로 효율적으로 구현되며, 시퀀스 길이에 대해 이차 시간 복잡도를 가진다. 셀프 어텐션의 핵심 장점은 단어 간의 관계를 순서에 구애받지 않고 직접 모델링함으로써 장기 의존성 문제를 효과적으로 해결한다는 점이다. 예를 들어, "그 동물은 길을 건너지 않았다. 왜냐하면 너무 피곤했기 때문이다"라는 문장에서 "피곤했기"라는 단어와 "동물" 간의 관계를 멀리 떨어진 위치에도 불구하고 직접 연결 지을 수 있다. 이러한 능력은 트랜스포머 (Transformer)가 자연어 처리 및 다양한 생성 작업에서 뛰어난 성능을 보이는 기반이 된다.

트랜스포머 (Transformer) 아키텍처의 핵심은 인코더와 디코더라는 두 개의 주요 스택으로 구성된 비순차적 구조이다. 이 구조는 기존의 순환 신경망이나 합성곱 신경망을 대체하며, 특히 시퀀스-투-시퀀스 작업에 적합하게 설계되었다. 인코더는 입력 시퀀스(예: 원본 문장)의 표현을 생성하고, 디코더는 그 표현을 바탕으로 출력 시퀀스(예: 번역된 문장)를 생성한다.

인코더 스택은 동일한 구조의 레이어를 여러 층 쌓아 구성된다. 각 인코더 레이어는 멀티-헤드 어텐션 메커니즘과 피드포워드 신경망이라는 두 개의 하위 레이어를 포함하며, 각 하위 레이어 주위에는 레이어 정규화와 잔차 연결이 적용된다. 인코더의 주요 역할은 입력 시퀀스의 모든 단어(토큰) 간의 관계를 셀프 어텐션을 통해 포착하고, 이를 하나의 풍부한 문맥적 표현으로 변환하는 것이다. 최상위 인코더의 출력은 디코더에 전달되는 "문맥" 정보가 된다.

디코더 스택 또한 여러 개의 동일한 레이어로 구성되지만, 인코더보다 더 복잡한 구조를 가진다. 각 디코더 레이어는 세 개의 하위 레이어를 포함한다. 첫 번째는 마스크된 멀티-헤드 어텐션으로, 디코더가 출력을 생성할 때 미래의 단어를 보지 못하도록(즉, 왼쪽에서 오른쪽으로 순차적으로 생성하도록) 마스킹을 적용한다. 두 번째 하위 레이어는 인코더-디코더 어텐션으로, 디코더가 자신의 현재 상태와 인코더에서 온 전체 입력 문맥을 연결한다. 마지막으로 피드포워드 신경망이 위치한다. 디코더는 이전에 생성된 출력을 입력으로 받아, 인코더가 제공한 문맥을 참조하면서 다음 토큰을 예측하는 작업을 반복한다.

이 인코더-디코더 구조의 동작은 다음 표로 요약할 수 있다.

이 구조는 기계 번역, 텍스트 요약, 질문 답변과 같은 작업에서 뛰어난 성능을 보였으며, 이후 등장하는 BERT(인코더 전용)나 GPT(디코더 전용) 같은 변형 모델들의 기초를 제공했다.

트랜스포머 (Transformer)는 순환 신경망이나 합성곱 신경망과 달리 입력 데이터를 순차적으로 처리하지 않는다. 대신, 모든 입력 토큰을 한 번에 병렬 처리한다. 이는 계산 효율성을 크게 높이지만, 모델이 토큰의 순서 정보를 인식할 수 없다는 문제를 야기한다. 자연어에서 단어의 순서는 의미를 결정하는 핵심 요소이므로, 이 정보를 모델에 주입하기 위한 방법이 필요하다. 이를 해결하기 위해 도입된 기법이 포지셔널 인코딩이다.

포지셔널 인코딩은 각 입력 토큰의 위치(인덱스)에 대한 정보를 담은 고정된 또는 학습 가능한 벡터를 해당 토큰의 임베딩 벡터에 더해주는 방식으로 작동한다. 원래 Attention Is All You Need 논문에서는 사인(sin)과 코사인(cos) 함수를 사용한 고정된 인코딩 방식을 제안했다. 이 방식은 특정 주기를 가진 삼각함수를 사용하여 각 위치마다 고유한 패턴의 벡터를 생성한다. 이는 모델이 훈련 중에 본 적 없는 더 긴 시퀀스 길이에 대해서도 위치 정보를 일반화하여 추론할 수 있도록 돕는 장점이 있다.

다른 접근법으로는 학습 가능한 포지셔널 임베딩을 사용하는 방법도 있다. 이 경우, 모델은 각 위치마다 고유한 벡터를 임베딩 층에서 학습한다. 이 방식은 고정된 함수보다 유연할 수 있지만, 훈련 시 사용한 최대 시퀀스 길이를 넘어서는 위치를 처리하는 데 어려움이 있을 수 있다. 이후 등장한 BERT나 GPT와 같은 모델들은 주로 이 학습 가능한 방식을 채택했다.

결과적으로, 포지셔널 인코딩이 더해진 입력 벡터는 토큰의 의미 정보와 위치 정보를 모두 포함하게 된다. 이를 통해 트랜스포머의 셀프 어텐션 메커니즘은 토큰 간의 관계를 계산할 때, 단순히 내용의 유사성뿐만 아니라 상대적 또는 절대적 위치에 기반한 관계도 고려할 수 있게 된다. 이는 "나는 고양이를 좋아한다"와 "고양이는 나를 좋아한다"와 같이 단어는 같지만 순서에 따라 의미가 달라지는 문장을 정확히 이해하는 데 필수적이다.

멀티-헤드 어텐션은 트랜스포머 (Transformer) 아키텍처의 핵심 구성 요소로, 단일 셀프 어텐션 메커니즘을 병렬로 여러 개 적용하여 모델이 입력 시퀀스의 서로 다른 측면과 관계를 동시에 집중해 학습할 수 있게 합니다. 하나의 어텐션 헤드는 특정 종류의 정보(예: 문법적 관계, 의미적 관계)에 주목하는 경향이 있을 수 있지만, 여러 헤드를 사용하면 다양한 표현 공간에서 정보를 병렬로 수집할 수 있습니다. 이는 모델의 표현력을 크게 향상시키고, 단일 헤드 어텐션보다 더 풍부하고 정교한 문맥 표현을 가능하게 합니다.

멀티-헤드 어텐션의 작동 과정은 다음과 같습니다. 먼저, 입력 임베딩 벡터는 각 어텐션 헤드마다 독립적으로 학습된 선형 투영 계층을 통해 쿼리(Query), 키(Key), 값(Value) 행렬로 변환됩니다. 그 후, 각 헤드는 변환된 행렬을 사용하여 독립적인 스케일드 닷-프로덕트 어텐션을 계산합니다. 모든 헤드의 출력은 연결(Concatenate)된 후, 최종 선형 투영 계층을 통과하여 원하는 차원의 출력을 생성합니다. 이 과정은 모델이 서로 다른 위치의 정보를 다양한 관점에서 동시에 통합하도록 합니다.

멀티-헤드 어텐션의 주요 장점은 병렬 처리 능력과 표현의 다양성입니다. 각 헤드의 계산은 서로 독립적이므로 병렬 처리가 용이하여 학습 및 추론 속도를 높입니다. 또한, 여러 헤드가 협력함으로써 모델은 장거리 의존성을 포착하거나, 문장 내에서 대명사와 선행사의 관계를 해결하는 등 복잡한 패턴을 더 효과적으로 학습할 수 있습니다. 예를 들어, "그는 은행에 돈을 저축했지만, 강가의 은행에는 가지 않았다"라는 문장에서, 서로 다른 헤드는 '은행'이라는 단어의 다른 의미(금융 기관 vs. 강둑)에 주목하는 데 기여할 수 있습니다.

이 구조는 트랜스포머 (Transformer)가 순환 신경망이나 합성곱 신경망에 비해 문맥 정보를 효과적으로 모델링할 수 있는 기반을 제공합니다. 멀티-헤드 어텐션은 이후 등장한 GPT나 BERT와 같은 대규모 사전 학습 모델의 성공에 결정적인 역할을 했습니다.

트랜스포머 (Transformer) 아키텍처에서 피드포워드 신경망은 멀티-헤드 어텐션 레이어 다음에 위치하는 필수 구성 요소이다. 각 인코더와 디코더 블록 내에 독립적으로 존재하며, 어텐션 메커니즘으로 얻은 문맥 정보를 비선형적으로 변환하고 복잡한 패턴을 학습하는 역할을 담당한다. 이는 단순한 퍼셉트론의 확장 형태로, 한 레이어의 모든 뉴런이 다음 레이어의 모든 뉴런과 연결된 완전 연결 계층 구조를 가진다.

구체적으로, 트랜스포머의 피드포워드 신경망은 일반적으로 두 개의 선형 변환 계층과 그 사이에 활성화 함수로 ReLU를 사용한다. 첫 번째 선형 계층은 입력 차원을 더 높은 차원(예: 512차원을 2048차원으로)으로 확장하고, ReLU 함수를 적용한 후, 두 번째 선형 계층이 이를 다시 원래의 입력 차원으로 축소한다. 이 확장과 축소 과정은 모델이 더 풍부한 표현을 학습하도록 돕는다. 각 위치(토큰)에 대한 처리는 독립적이며 병렬로 수행될 수 있다.

이 구성은 어텐션 메커니즘과 상호 보완적인 기능을 한다. 어텐션은 시퀀스 내 토큰들 간의 관계와 의존성을 포착하는 반면, 피드포워드 네트워크는 각 개별 위치의 표현을 심화하고 변환한다. 즉, 어텐션이 '정보를 모으는' 작업이라면, 피드포워드 네트워크는 '정보를 처리하고 가공하는' 작업을 수행한다. 두 레이어가 번갈아가며 쌓임으로써 모델은 복잡한 언어적 또는 시각적 특징을 계층적으로 추출할 수 있다.

피드포워드 신경망의 매개변수는 모델 전체 파라미터의 상당 부분을 차지한다[1]. 이는 모델의 표현 능력과 용량에 직접적인 영향을 미치며, 다양한 생성형 AI 모델의 변형에서 이 부분의 크기나 구조를 조정하여 성능과 효율성을 균형시키는 경우가 많다.

레이어 정규화는 신경망의 각 은닉층의 입력 또는 출력 분포를 안정화하는 기술이다. 구체적으로, 각 샘플의 특성 벡터에 대해 평균을 빼고 표준편차로 나누어 평균 0, 분산 1로 정규화한다. 이 과정은 학습 중에 발생할 수 있는 기울기 소실 또는 기울기 폭발 문제를 완화하고, 학습 속도를 가속화하며 모델의 일반화 성능을 향상시킨다. 트랜스포머에서는 일반적으로 멀티-헤드 어텐션 및 피드포워드 신경망 서브레이어의 *출력*에 적용되기 전에 수행된다.

잔차 연결은 입력을 특정 변환(예: 어텐션 또는 피드포워드 연산)의 출력에 직접 더하는 스킵 연결이다. 이는 심층 네트워크에서 정보의 직접적인 흐름 경로를 보존하여, 역전파 시 기울기가 더 쉽게 전파되도록 돕는다. 트랜스포머 아키텍처에서 각 주요 서브레이어(어텐션, 피드포워드)는 잔차 연결로 감싸져 있으며, 이는 LayerNorm(x + Sublayer(x))와 같은 형태로 구현된다. 여기서 Sublayer(x)는 해당 서브레이어의 변환을 나타낸다.

이 두 기술은 함께 작동하여 매우 깊은 트랜스포머 모델의 안정적인 학습을 가능하게 한다. 레이어 정규화가 활성화의 스케일을 조정하면, 잔차 연결은 원본 입력 정보를 보존하여 변환 과정에서 중요한 신호가 손실되는 것을 방지한다. 이 조합은 모델이 수십, 수백 개의 층으로 확장될 수 있는 기반을 제공한다.

다음은 트랜스포머 블록 내에서 레이어 정규화와 잔차 연결이 적용되는 일반적인 순서를 보여준다.

트랜스포머 (Transformer) 아키텍처의 디코더 스택만을 활용한 모델 구조를 디코더 전용 아키텍처 또는 자회귀 모델이라고 부른다. 이 접근법은 OpenAI의 GPT (Generative Pre-trained Transformer) 시리즈에서 처음 대중화되었으며, 주로 텍스트 생성과 같은 순차적 생성 작업에 특화되어 있다.

기본적인 트랜스포머의 인코더-디코더 구조와 달리, 디코더 전용 모델은 인코더 블록을 완전히 제거한다. 남은 디코더 블록들도 수정되는데, 각 블록 내의 셀프 어텐션 메커니즘이 마스크드 셀프 어텐션으로 대체된다. 이 마스킹은 현재 생성 중인 토큰이 미래의 토큰 정보를 참조하는 것을 방지하여, 왼쪽에서 오른쪽으로 한 방향으로만 문맥을 참조하는 언어 모델링을 가능하게 한다[2]. 모델의 작동 방식은 간단하다. 주어진 시퀀스의 토큰들을 입력받아, 다음에 올 가장 가능성 높은 토큰을 예측하고, 이 예측된 토큰을 다시 입력 시퀀스에 추가하여 다음 토큰을 예측하는 과정을 반복한다.

이 아키텍처의 주요 장점은 구조의 단순성과 강력한 생성 능력이다. 방대한 양의 텍스트 데이터에 대한 대규모 사전 학습을 통해 세계 지식과 언어 패턴을 습득한 후, 프롬프트를 시작점으로 다양한 텍스트를 생성할 수 있다. GPT 시리즈의 성공 이후, 이 패러다임은 코드 생성, 대화 에이전트, 텍스트 요약 등 광범위한 생성 작업의 표준이 되었다. 그러나 단방향 문맥 이해라는 근본적 특성 때문에, 입력 문장 전체의 양방향 관계를 동시에 분석하는 데는 인코더-디코더 모델이나 인코더 전용 모델에 비해 제한이 있을 수 있다.

인코더-디코더 모델은 트랜스포머 (Transformer)의 원래 논문에서 제안된 완전한 구조를 유지하며, 입력 시퀀스를 처리하는 인코더와 출력 시퀀스를 생성하는 디코더로 구성된다. 이 구조는 입력과 출력이 다른 길이를 가질 수 있는 시퀀스 투 시퀀스 작업에 특히 적합하다. 텍스트 요약, 기계 번역, 질문 답변과 같은 작업에서 널리 사용되며, T5와 BART가 대표적인 예시이다.

T5는 "Text-To-Text Transfer Transformer"의 약자로, 모든 NLP 작업을 텍스트를 입력받아 텍스트를 출력하는 통일된 텍스트-투-텍스트 프레임워크로 재구성했다[3]. 예를 들어, 분류 작업은 클래스 레이블을 텍스트로, 번역 작업은 타겟 언어 문장을 출력하도록 구성된다. 이 모델은 대규모 C4 데이터셋으로 사전 학습되었으며, 다양한 다운스트림 작업에서 강력한 성능을 보인다.

BART는 BERT의 양방향 인코더와 GPT의 자기회귀적 디코더를 결합한 인코더-디코더 모델이다. 사전 학습 시 텍스트에 다양한 노이즈(예: 토큰 마스킹, 문장 순서 섞기, 문서 회전)를 추가한 후, 원본 텍스트를 재구성하도록 학습한다[4]. 이로 인해 텍스트 생성과 이해 작업 모두에 뛰어난 능력을 갖추게 되었으며, 요약과 같은 생성 작업에서 특히 두각을 나타낸다.

두 모델의 주요 차이점은 다음과 같다.

이러한 인코더-디코더 모델들은 생성과 이해를 동시에 요구하는 복잡한 NLP 과제를 해결하는 데 기여하며, 트랜스포머 (Transformer) 아키텍처의 다양성을 보여준다.

멀티모달 트랜스포머는 텍스트, 이미지, 음성 등 서로 다른 형태(모달리티)의 데이터를 통합적으로 처리하고 이해하도록 설계된 트랜스포머 아키텍처의 변형이다. 기존의 단일 모달리티 모델이 텍스트만 또는 이미지만 처리하는 데 집중했다면, 멀티모달 모델은 이러한 다양한 입력을 하나의 공통된 표현 공간으로 매핑하여 상호 간의 의미적 관계를 학습한다. 이는 인공지능이 인간처럼 여러 감각 정보를 종합하여 세계를 이해하는 방식에 한 걸음 더 가까워지는 것을 의미한다.

주요 접근 방식은 서로 다른 모달리티의 데이터를 트랜스포머가 처리할 수 있는 일련의 토큰 시퀀스로 변환하는 것이다. 예를 들어, OpenAI의 DALL-E는 텍스트 프롬프트를 입력받아 해당하는 이미지를 생성하는 모델이다. 이 모델은 텍스트와 이미지를 모두 바이트 페어 인코딩을 통해 토큰화하여 하나의 통합된 데이터 스트림으로 처리한다. 반면, CLIP은 대조 학습 방식을 사용하여 수억 개의 (이미지, 텍스트 설명) 쌍으로 학습한다. CLIP의 인코더는 이미지와 해당 텍스트 설명이 임베딩 공간에서 서로 가깝게, 무관한 쌍은 멀리 위치하도록 학습하여, 이미지 분류나 검색 시 텍스트 질의에 대한 시각적 이해가 가능해지게 한다[5].

이러한 모델들의 등장과 발전은 생성형 인공지능의 범위를 크게 확장시켰다. 아래 표는 대표적인 멀티모달 트랜스포머 모델과 그 특징을 보여준다.

멀티모달 트랜스포머의 발전은 이미지 생성, 제로샷 학습, 시각적 질의응답 등 다양한 분야에 혁신을 가져왔다. 그러나 여전히 다른 모달리티 간의 깊은 의미 정합성을 유지하는 것, 편향된 데이터로 인한 문제, 그리고 막대한 계산 자원 요구사항은 해결해야 할 중요한 과제로 남아 있다.

대규모 사전 학습은 트랜스포머 (Transformer) 기반 생성형 AI 모델의 핵심 학습 패러다임이다. 이는 방대한 양의 일반적인 데이터(주로 인터넷 텍스트)를 사용해 모델을 초기 학습시키는 과정을 의미한다. 사전 학습의 목표는 언어의 통계적 패턴, 문법, 사실 지식, 추론 능력 등을 포괄적으로 습득하는 일반적인 언어 모델을 구축하는 것이다. 이 단계에서는 특정 작업에 대한 명시적인 레이블이 필요 없는 자기 지도 학습 방식, 예를 들어 다음 단어 예측이나 마스킹된 단어 복원 등의 목표 함수가 주로 사용된다.

사전 학습의 규모는 모델의 성능에 결정적인 영향을 미친다. 더 많은 매개변수(규모)와 더 많은 토큰(데이터)으로 학습할수록 모델의 능력이 비선형적으로 향상되는 현상인 스케일링 법칙이 관찰된다[6]. 이에 따라 GPT-3나 PaLM과 같은 최신 모델들은 수천억 개의 매개변수와 수조 개의 토큰으로 구성된 데이터셋을 사용해 학습된다. 이러한 대규모 학습은 막대한 계산 자원을 필요로 하며, 전문적인 AI 가속기 클러스터를 통해 수주에서 수개월에 걸쳐 진행된다.

대규모 사전 학습을 마친 모델은 다양한 하위 작업에 적용 가능한 풍부한 지식 기반을 갖추게 된다. 이후 특정 작업(예: 감정 분석, 질문 답변)이나 인간의 지시를 따르는 행위에 맞추어 미세 조정이나 지시 튜닝을 통해 비교적 적은 데이터와 계산으로 추가 학습된다. 이 2단계 접근법(사전 학습 후 미세 조정)은 각 작업을 처음부터 학습하는 것보다 훨씬 효율적이며, 강력한 일반화 능력을 제공하는 현재 생성형 AI의 표준 방법론이 되었다.

트랜스포머 (Transformer) 모델의 학습은 주로 대규모 사전 학습을 통해 이루어지며, 이 과정에서 지도 학습과 자기 지도 학습이라는 두 가지 주요 패러다임이 활용된다. 전통적인 지도 학습은 입력 데이터와 그에 대응하는 정답 레이블(라벨)이 쌍을 이루는 데이터셋이 필요하다. 예를 들어, 감정 분석 작업에서는 "이 영화는 최고다"라는 문장과 "긍정"이라는 라벨이 한 쌍을 이룬다. 모델은 이러한 수많은 예시 쌍을 학습하여 입력과 출력 사이의 매핑 관계를 배운다. 그러나 대규모 언어 모델을 위해 모든 가능한 언어 작업에 대해 이러한 정교한 라벨이 붙은 데이터를 수집하고 정제하는 것은 실질적으로 불가능에 가깝다.

이러한 한계를 극복하기 위해 트랜스포머 기반 생성형 AI의 핵심 학습 방법으로 자기 지도 학습이 등장했다. 자기 지도 학습은 사전에 준비된 라벨이 없는 방대한 원시 텍스트 데이터(예: 웹페이지, 책, 기사)로부터 모델 스스로 학습 과제를 생성하는 방식이다. 가장 대표적인 방법은 언어 모델링이다. 모델은 문장의 일부 단어를 가린 뒤(마스킹), 주변 문맥을 바탕으로 가려진 단어를 예측하도록 학습한다[7]. 또는 다음 단어 예측 작업을 통해, 주어진 단어 시퀀스 이후에 올 가장 그럴듯한 단어를 예측하도록 학습한다[8]. 이렇게 생성된 과제는 데이터 자체에서 유래하므로, 별도의 인력에 의한 라벨링 없이도 무한히 많은 학습 샘플을 만들어낼 수 있다.

다음 표는 두 학습 방식의 주요 특징을 비교한다.

실제 트랜스포머 모델 개발 파이프라인에서는 두 방식이 결합되어 사용된다. 첫 번째 단계에서는 위키피디아, 도서 코퍼스, 웹 크롤링 데이터와 같은 테라바이트 규모의 원시 텍스트를 이용해 자기 지도 학습 방식으로 모델에 언어에 대한 일반적인 지식과 문맥 이해력을 주입한다. 이후 두 번째 단계에서 특정 작업(예: 친절한 챗봇 응답 생성, 법률 문서 분석)에 맞춰 상대적으로 소량의 지도 학습 데이터로 모델을 미세 조정한다. 이 접근법은 라벨 데이터 구축 비용을 획기적으로 줄이면서도 강력한 모델 성능을 가능하게 하는 핵심 동력이다.

프롬프트 엔지니어링은 사전 학습된 대규모 언어 모델(LLM)이 특정 작업을 수행하도록 유도하기 위해 사용자의 입력(프롬프트)을 설계하는 기술이다. 이는 모델의 내부 가중치를 변경하지 않고, 모델의 출력을 제어하는 방법으로, 제로샷 학습이나 퓨샷 학습을 가능하게 한다. 효과적인 프롬프트는 작업 설명, 예시, 출력 형식 지시 등을 포함하여 모델이 맥락을 정확히 이해하도록 돕는다. 예를 들어, 번역 작업에서는 "다음 영어 문장을 한국어로 번역해라:"와 같은 명시적 지시를 추가한다.

미세 조정은 사전 학습된 모델을 특정 작업이나 도메인에 맞추어 추가로 학습시키는 과정이다. 이는 비교적 소량의 레이블이 지정된 데이터셋을 사용하여 모델의 파라미터를 업데이트한다. 미세 조정은 모델이 특정 스타일(예: 법률 문서), 특정 작업(예: 감정 분석), 또는 특정 데이터 분포에 더욱 특화된 성능을 발휘하도록 만든다. 이는 일반적인 지식을 가진 범용 모델을 특정 목적에 맞는 전문가 모델로 변환하는 핵심 단계이다.

두 방법은 상호 보완적이며, 다음과 같은 차이점이 있다.

실제 응용에서는 먼저 프롬프트 엔지니어링으로 모델의 성능을 시험해보고, 더 높은 정확도나 특화가 필요할 경우 미세 조정을 적용하는 접근법이 일반적이다. 특히 파라미터 효율적 미세 조정 기법들의 발전으로, 전체 모델을 재학습하는 대신 소수의 파라미터만 조정하는 효율적인 미세 조정이 가능해졌다[9].

트랜스포머 (Transformer) 아키텍처는 생성형 AI의 핵심으로, 텍스트 생성과 요약 분야에서 혁신적인 성능을 보여준다. 이 모델들은 방대한 텍스트 데이터를 사전 학습하여 인간과 유사한 수준의 글쓰기, 대화, 정보 압축 능력을 획득한다. GPT 시리즈와 같은 디코더 전용 모델은 주로 텍스트 생성에 특화되어 있으며, T5나 BART와 같은 인코더-디코더 모델은 텍스트 요약과 같은 변환 작업에 강점을 가진다.

텍스트 생성 작업에서는 모델이 주어진 프롬프트나 맥락을 바탕으로 다음 단어를 순차적으로 예측하여 문장, 이야기, 시, 코드, 보고서 등을 완성한다. 이 과정은 자기 회귀적 방식으로 이루어지며, 모델의 창의성과 일관성을 제어하기 위해 탐색 샘플링이나 빔 서치와 같은 다양한 디코딩 전략이 사용된다. 요약 작업에서는 긴 문서를 입력받아 핵심 정보를 보존한 짧은 텍스트로 압축한다. 추출적 요약은 원문에서 중요한 문장을 직접 발췌하는 반면, 생성적 요약은 원문의 의미를 이해하고 새로운 문장으로 재구성한다. 트랜스포머 기반 모델은 주로 생성적 요약에 뛰어난 성능을 보인다.

이러한 응용은 대규모 언어 모델의 등장으로 실용화 수준에 도달했다. 모델은 특정 도메인의 데이터로 미세 조정되거나, 프롬프트 엔지니어링을 통해 별도의 재학습 없이도 다양한 생성 및 요약 과제를 수행할 수 있다. 그러나 생성된 텍스트의 사실성 검증, 원본 정보의 왜곡 가능성, 그리고 사회적 편향의 재생산과 같은 한계는 여전히 중요한 연구 과제로 남아 있다.

트랜스포머 (Transformer) 아키텍처는 자연어 처리를 넘어 프로그래밍 언어의 이해와 생성에도 혁신을 가져왔다. 이 모델들은 방대한 양의 공개 소스 코드 데이터를 학습하여 코드의 문법과 의미를 파악하고, 자연어 설명으로부터 코드를 생성하거나 한 프로그래밍 언어를 다른 언어로 변환하는 작업을 수행한다. 이러한 능력은 소프트웨어 개발의 보조 도구로서 개발자의 생산성을 높이는 데 기여한다.

코드 생성의 대표적인 예는 GitHub Copilot과 같은 도구이다. 이는 GPT (Generative Pre-trained Transformer) 모델을 기반으로 하여, 개발자가 작성 중인 코드의 컨텍스트나 주석으로 된 자연어 설명을 입력받아 적절한 함수나 코드 블록을 제안한다. 예를 들어, "리스트를 정렬하는 함수"라는 설명을 통해 해당 언어에 맞는 정렬 알고리즘 코드를 생성할 수 있다. 코드 번역 작업에서는 C++, Python, Java 등 다양한 언어 간의 변환을 수행한다. 이는 레거시 코드의 현대화나 플랫폼 간 이식성을 높이는 데 활용된다.

이러한 모델들은 여전히 한계를 지닌다. 생성된 코드가 문법적으로는 정확할지라도 논리적 오류가 있을 수 있으며, 보안 취약점을 포함할 가능성도 있다. 또한, 매우 복잡하거나 특정 도메인에 국한된 문제를 해결하는 데는 한계를 보인다. 따라서 생성된 코드는 개발자의 검토와 테스트를 거쳐야 한다.

트랜스포머 (Transformer) 아키텍처는 본래 자연어 처리를 위해 설계되었으나, 그 유연한 구조 덕분에 이미지 생성 및 음성 생성 분야로도 성공적으로 확장되었다. 이러한 확장은 멀티모달 트랜스포머의 발전과 함께, 텍스트, 이미지, 음성을 통합적으로 이해하고 생성하는 새로운 가능성을 열었다.

이미지 생성 분야에서는 디퓨전 모델과 트랜스포머가 결합된 DALL-E와 Stable Diffusion 같은 모델이 대표적이다. 이 모델들은 텍스트 프롬프트를 입력받아 고품질의 이미지를 생성한다. 핵심 원리는 텍스트 임베딩을 생성하고, 이를 노이즈 제거 과정을 통해 점진적으로 이미지로 변환하는 것이다. 이 과정에서 트랜스포머는 텍스트 설명과 이미지 패치(또는 잠재 표현) 간의 복잡한 관계를 셀프 어텐션 메커니즘으로 모델링하여 일관성 있는 시각적 콘텐츠를 만들어낸다[10].

음성 생성 분야에서는 오디오 LM과 음성 합성 모델이 트랜스포머를 활용한다. 자연어 텍스트를 입력받아 인간의 목소리와 유사한 음성 신호를 생성하는 TTS 시스템이 대표적이다. 최신 모델들은 원시 오디오 파형을 디스크리트 토큰의 시퀀스로 변환한 후, 트랜스포머를 사용해 이 시퀀스를 예측하는 방식으로 작동한다. 이는 음성의 억양, 감정, 발화 스타일까지 세밀하게 제어할 수 있게 한다. 또한, 뮤직 생성이나 효과음 생성과 같은 창의적인 오디오 생성 작업에도 적용된다.

이러한 발전은 생성형 AI의 범위를 텍스트를 넘어 시각 및 청각 영역으로 넓혔으며, 콘텐츠 제작, 예술, 엔터테인먼트, 접근성 기술 등 다양한 분야에 혁신적인 영향을 미치고 있다.

트랜스포머 (Transformer) 아키텍처의 가장 큰 강점은 순환 신경망이나 합성곱 신경망에 비해 뛰어난 병렬 처리 능력에 있다. RNN은 입력 시퀀스를 순차적으로 처리해야 하므로 긴 시퀀스에서 학습과 추론 속도가 느려지는 근본적인 한계가 있었다. 반면, 트랜스포머의 셀프 어텐션 메커니즘은 입력 시퀀스의 모든 토큰 쌍 간의 관계를 한 번에 계산할 수 있어, 현대의 GPU나 TPU와 같은 병렬 가속 하드웨어에서 매우 효율적으로 실행된다. 이는 특히 대규모 데이터셋으로 모델을 학습시킬 때 학습 시간을 획기적으로 단축시키는 요인으로 작용한다.

이러한 병렬 처리 효율성은 모델의 확장성을 크게 향상시켰다. 연구자들은 더 많은 매개변수와 더 큰 데이터로 모델을 키울수록 성능이 예측 가능하게 향상되는 확장 법칙을 발견했다. 결과적으로 모델 크기와 데이터 규모를 극단적으로 늘리는 방향으로 발전이 이루어졌으며, 이는 수백억乃至수조 개의 매개변수를 가진 초대규모 언어 모델의 등장을 가능하게 했다. 아래 표는 트랜스포머 기반 모델의 확장 추이를 보여준다.

그러나 이러한 확장에는 도전 과제도 따른다. 모델 규모가 커질수록 필요한 계산 자원과 에너지 소비는 기하급수적으로 증가한다. 대규모 모델의 학습은 수천 개의 고성능 가속기를 수주일 동안 가동시켜야 하며, 이는 상당한 경제적 비용과 환경적 영향을 초래한다[11]. 따라서 최근 연구는 동일한 성능을 유지하면서 모델 크기나 계산량을 줄이는 모델 압축, 효율적인 어텐션 메커니즘 개발, 또는 혼합 전문가 모델과 같은 효율적인 아키텍처 탐구에 집중하고 있다.

순환 신경망과 장단기 메모리 같은 이전 시퀀스 모델은 순차적으로 정보를 처리해야 했기 때문에, 입력 시퀀스가 길어질수록 먼 위치에 있는 정보 간의 관계를 학습하는 데 어려움을 겪었다. 이를 장기 의존성 문제라고 한다. 트랜스포머는 셀프 어텐션 메커니즘을 도입하여 이 문제를 근본적으로 해결했다.

셀프 어텐션은 시퀀스 내 모든 단어 쌍 간의 관계를 직접 계산한다. 예를 들어, "그 동물은 길을 건너지 않았다. 왜냐하면 너무 피곤했기 때문이다."라는 문장에서 "피곤했기"라는 단어와 "동물"이라는 단어 사이의 연결을 이해하려면 장기 의존성을 포착해야 한다. 트랜스포머는 한 번의 어텐션 계산으로 시퀀스의 모든 위치에 대한 정보에 동시에 접근할 수 있으므로, 문장의 처음과 끝에 있는 단어 간의 관계도 직접적으로 모델링할 수 있다[12].

이 접근법의 효과는 다음과 같은 표로 요약할 수 있다.

결과적으로, 트랜스포머 아키텍처는 매우 긴 텍스트, 문서, 또는 코드 시퀀스에서도 먼 거리에 있는 요소 간의 의미적 연결을 효과적으로 포착할 수 있다. 이 능력은 텍스트 생성, 기계 번역, 문서 요약과 같은 생성형 AI 작업의 성능을 크게 향상시키는 기반이 되었다.

트랜스포머 모델, 특히 대규모 언어 모델의 학습과 추론은 막대한 계산 자원을 소모하며, 이는 상당한 환경적 영향을 동반합니다. 학습에는 수천 개의 고성능 GPU나 TPU가 수주에서 수개월 동안 동원되며, 이 과정에서 발생하는 전력 소비는 거대합니다. 예를 들어, GPT-3와 같은 모델의 단일 학습 과정은 수백 메가와트시(MWh) 규모의 전력을 소비하는 것으로 추정되며[13], 이는 수십 가구가 1년간 사용하는 에너지에 해당합니다.

이러한 계산 비용은 모델의 규모가 커짐에 따라 기하급수적으로 증가합니다. 모델 파라미터 수, 학습 데이터 크기, 학습 반복 횟수는 모두 비용에 직접적인 영향을 미치는 주요 요소입니다. 이는 연구와 개발을 대규모 자본을 보유한 기관에 집중시키는 결과를 낳으며, 개방적이고 민주적인 AI 연구에 장벽이 될 수 있습니다.

환경적 영향은 주로 전력 소비에서 비롯된 탄소 배출량으로 측정됩니다. 데이터센터의 위치와 사용된 전력의 원천(재생 에너지 vs. 화석 연료)에 따라 탄소 발자국은 크게 달라집니다. 이에 대한 대응으로, 일부 연구 기관과 기업은 에너지 효율이 높은 하드웨어를 사용하거나, 재생 에너지로 운영되는 데이터센터를 활용하며, 불필요한 계산을 줄이는 알고리즘 효율화 연구에 투자하고 있습니다.

계산 비용 문제를 완화하기 위한 기술적 접근법도 활발히 연구되고 있습니다. 모델 압축, 양자화, 전이 학습, 효율적 어텐션 메커니즘 등은 더 작은 모델이나 더 적은 계산으로 유사한 성능을 달성하려는 시도입니다. 그러나 근본적으로 모델 성능과 계산 효율성 사이의 트레이드오프 관계는 지속적인 도전 과제로 남아 있습니다.