BERT (r1)

BERT의 가장 혁신적인 특징은 트랜스포머 아키텍처를 활용한 양방향 문맥 이해 능력이다. 기존의 언어 모델들은 주로 한 방향(좌에서 우 또는 우에서 좌)으로 문맥을 읽어 단어의 표현을 학습했다. 이는 문장 내 특정 단어를 이해할 때 그 뒤에 오는 모든 단어(또는 앞에 오는 모든 단어)의 정보를 활용하지 못하는 제한이 있었다.

BERT는 트랜스포머의 셀프 어텐션 메커니즘을 통해 이러한 한계를 극복한다. 트랜스포머 인코더 레이어는 입력 문장의 모든 단어를 동시에 처리하며, 각 단어가 문장 내 다른 모든 단어와의 관계를 직접적으로 고려할 수 있게 한다. 이 메커니즘 덕분에 BERT는 특정 단어의 의미를 결정할 때 문장의 앞뒤 전체 문맥을 동등하게 참조할 수 있다. 예를 들어, "은행"이라는 단어의 의미는 "돈을 맡기다"라는 문맥과 "강가에 앉다"라는 문맥에서 다르게 해석될 수 있으며, BERT는 양방향 정보를 종합하여 이를 정확히 구분한다.

이러한 양방향성은 마스크 언어 모델링이라는 사전 학습 과제와 결합되어 구현된다. 학습 과정에서 입력 문장의 일부 단어가 무작위로 가려지면([MASK] 토큰으로 대체), 모델은 가려지지 않은 주변의 모든 단어(좌측과 우측 모두)를 활용하여 가려진 단어를 예측해야 한다. 이 과정을 통해 모델은 단어 간의 깊은 문맥적 관계를 양방향으로 학습하게 된다. 결과적으로 BERT는 단순한 단어 조합 이상의, 문장 수준의 통합된 표현을 생성하는 능력을 갖추게 되었다.

마스크 언어 모델링(Masked Language Modeling, MLM)은 BERT의 핵심 사전 학습 목표 중 하나이다. 이 방법은 입력 문장의 일부 토큰(단어 또는 서브워드)을 무작위로 마스킹(가림) 처리한 후, 모델이 그 가려진 토큰의 원래 단어를 문맥을 통해 예측하도록 학습시킨다. 이는 기존의 단방향 언어 모델링(왼쪽에서 오른쪽 또는 오른쪽에서 왼쪽으로만 예측)과 달리, 양쪽 문맥을 모두 활용하여 단어를 예측할 수 있게 한다.

구체적인 절차는 다음과 같다. 먼저, 입력 시퀀스의 모든 토큰 중 약 15%를 무작위로 선택한다. 선택된 토큰들은 다음 세 가지 방식 중 하나로 대체된다.

이렇게 변형된 문장을 모델에 입력하면, 출력층에서는 마스킹된 각 위치에 대해 전체 어휘집에 걸쳐 확률 분포를 계산하여 원래 단어를 예측한다. 학습 목표는 이 예측의 교차 엔트로피 손실(Cross-Entropy Loss)을 최소화하는 것이다.

마스크 언어 모델링의 주요 장점은 모델이 각 단어를 이해할 때 앞뒤의 모든 문맥을 고려하도록 강제한다는 점이다. 예를 들어, "그는 [MASK]에 책을 읽는다"라는 문장에서, 모델은 "그는", "에", "책을", "읽는다"라는 양방향 정보를 종합하여 "[MASK]" 자리에 "도서관"이나 "공원" 같은 적절한 단어를 예측해야 한다. 이 과정을 통해 BERT는 단어의 의미와 문법적 관계에 대한 깊은 표현을 학습하게 된다. 그러나 이 방식은 사전 학습과 실제 파인튜닝 단계 사이에 불일치가 발생할 수 있다는 한계도 지니는데, 왜냐하면 파인튜닝 시에는 [MASK] 토큰이 일반적으로 존재하지 않기 때문이다. BERT는 이 불일치를 완화하기 위해 무작위 토큰 대체와 원래 토큰 유지 전략을 일부 포함시킨다[2].

다음 문장 예측(Next Sentence Prediction, NSP)은 BERT의 사전 학습 과정에서 사용된 두 번째 핵심 학습 목표이다. 이 과제는 주어진 두 문장이 원본 문서에서 실제로 이어지는 관계인지, 아니면 무작위로 조합된 관계인지를 모델이 판별하도록 설계되었다. 이를 통해 모델이 문장 간의 관계와 논리적 흐름을 이해하는 능력을 학습하게 된다.

학습 데이터는 위키백과나 북코퍼스와 같은 대규모 텍스트 말뭉치에서 생성된다. 구체적으로, 전체 문서에서 인접한 두 문장을 선택하여 긍정 예시(IsNext)로 사용하고, 첫 번째 문장과 무작위로 선택된 다른 문장을 조합하여 부정 예시(NotNext)로 사용한다. 모델은 CLS 토큰에 해당하는 최종 은닉 상태 벡터를 통해 이진 분류를 수행한다.

이 학습 과제는 질의응답(QA)이나 자연어 추론(NLI)과 같이 두 문장 간의 관계 이해가 중요한 다운스트림 작업의 성능을 크게 향상시키는 데 기여했다. 예를 들어, "그는 지갑을 잃어버렸다"와 "그는 새 지갑을 샀다"라는 문장이 주어졌을 때, 모델은 두 문장 사이에 인과 관계가 있을 가능성을 평가할 수 있게 된다.

그러나 후속 연구에서는 NSP 과제의 효과성에 대한 재평가가 이루어지기도 했다. RoBERTa와 같은 모델은 NSP 작업을 제거하고 더 많은 데이터와 더 긴 학습으로 동등하거나 더 나은 성능을 달성함으로써, NSP가 반드시 필수적인 요소는 아니라는 점을 보여주었다. 이는 모델 학습 전략의 발전을 보여주는 사례이다.

BERT는 모델 크기와 성능에 따라 BERT-Base와 BERT-Large라는 두 가지 주요 구성으로 출시되었다. 이 두 모델은 동일한 기본 트랜스포머 인코더 아키텍처를 공유하지만, 층 수, 어텐션 헤드 수, 은닉층 차원 등에서 차이를 보인다.

구체적인 매개변수는 다음과 같다.

BERT-Base는 상대적으로 적은 계산 자원으로도 효과적인 성능을 보여주며, 연구와 실험의 기준점으로 널리 사용되었다. 반면, BERT-Large는 더 깊고 넓은 구조를 통해 언어 이해 능력을 극대화했고, GLUE 벤치마크 및 SQuAD와 같은 다양한 자연어 이해 태스크에서 당시 최고 수준의 성능을 기록하며 BERT의 잠재력을 입증했다. 모델 크기의 증가는 일반적으로 더 풍부한 표현 학습과 더 복잡한 언어 패턴 포착을 가능하게 하지만, 그에 상응하는 더 많은 학습 데이터와 더 큰 계산 비용을 요구한다[3].

BERT의 핵심 구성 요소는 트랜스포머의 인코더 스택이다. 트랜스포머는 어텐션 메커니즘, 특히 셀프 어텐션에 전적으로 의존하여 입력 시퀀스 내 모든 단어 간의 관계를 병렬로 계산하는 신경망 아키텍처이다. BERT는 이 트랜스포머의 인코더 부분만을 여러 층으로 쌓아 사용한다. 각 인코더 층은 멀티 헤드 어텐션과 피드포워드 신경망이라는 두 개의 주요 서브층으로 구성된다.

인코더의 동작 과정은 다음과 같다. 먼저, 입력 임베딩에 포지셔널 인코딩을 더해 단어의 순서 정보를 부여한다. 이 정보는 각 인코더 층의 멀티 헤드 어텐션 서브층으로 입력된다. 멀티 헤드 어텐션은 입력 시퀀스의 각 위치(단어)가 다른 모든 위치의 정보를 동시에 참조할 수 있게 하여 문맥을 이해한다. 이 과정은 양방향으로 이루어지며, 이 점이 BERT가 기존의 단방향 언어 모델과 구별되는 핵심 특징이다. 어텐션을 거친 출력은 정규화와 잔차 연결을 거친 후 피드포워드 신경망 서브층을 통과하여 비선형 변환을 수행한다.

BERT-Base와 BERT-Large 모델은 이러한 인코더 층의 수와 내부 차원에 따라 구분된다. 주요 구성은 다음과 같다.

각 인코더 층은 동일한 구조를 가지지만, 층이 깊어질수록 점점 더 추상적이고 복잡한 언어적 특징을 학습한다. 낮은 층에서는 문법이나 구문 구조를, 높은 층에서는 의미나 논리 관계와 같은 정보를 포착하는 경향이 있다. 이렇게 쌓인 인코더 스택의 최종 출력은 입력 문장의 모든 단어에 대한 풍부한 양방향 문맥 표현이 된다.

BERT의 입력 표현은 세 가지 임베딩의 합으로 구성된다. 이는 단일 토큰 시퀀스가 다양한 정보를 동시에 담을 수 있도록 설계되었다.

첫 번째는 워드피스 방식을 사용한 토큰 임베딩이다. 입력 텍스트는 먼저 워드피스 토크나이저에 의해 서브워드 단위로 분리된다. 이 방식은 희귀 단어나 OOV 문제를 효과적으로 처리한다. 각 토큰은 고정된 차원의 벡터로 변환된다.

두 번째는 세그먼트 임베딩이다. BERT의 주요 학습 과제 중 하나인 다음 문장 예측을 위해, 모델은 두 개의 문장을 구분할 수 있어야 한다. 따라서 입력의 각 토큰에는 그것이 속한 문장을 표시하는 세그먼트 정보가 더해진다. 일반적으로 첫 번째 문장의 토큰은 세그먼트 A(0), 두 번째 문장의 토큰은 세그먼트 B(1)로 태그된다.

세 번째는 포지셔널 임베딩이다. 트랜스포머 구조는 순차적 처리를 하지 않기 때문에, 토큰의 상대적 또는 절대적 위치 정보를 명시적으로 제공해야 한다. 학습 가능한 파라미터로 구성된 이 임베딩은 토큰이 시퀀스 내에서 몇 번째 위치에 있는지를 인코딩한다.

이 세 임베딩의 합산 결과가 트랜스포머 인코더의 최종 입력이 된다. 또한 모든 입력 시퀀스의 시작에는 특수 토큰인 [CLS]가, 문장 구분에는 [SEP] 토큰이 삽입된다. [CLS] 토큰의 최종 출력은 분류 과제에 주로 사용된다.

BERT의 사전 학습에는 대규모의 비정제 텍스트 말뭉치가 사용된다. 구글은 주로 위키백과와 북코퍼스를 포함한 영어 서적 말뭉치를 사용했으며, 총 33억 개의 단어로 구성되었다[4]. 이 데이터는 레이블이 필요 없는 비지도 학습 방식으로 활용되며, 모델이 방대한 양의 자연어 패턴과 지식을 흡수할 수 있는 기반을 제공한다.

학습 데이터의 구성은 모델의 성능에 직접적인 영향을 미친다. 텍스트의 도메인, 언어, 품질이 다양할수록 모델의 일반화 능력이 향상된다. BERT의 원 논문에서는 영어 데이터에 집중했으나, 이후 다국어 버전인 mBERT나 특정 언어용 BERT는 해당 언어의 대규모 코퍼스를 사용하여 학습되었다. 예를 들어, 한국어 BERT 모델들은 나무위키, 위키백과 한국어판, 뉴스 기사, 웹 크롤링 데이터 등을 조합하여 구축된 한국어 코퍼스를 사용한다.

이러한 데이터는 마스크 언어 모델링과 다음 문장 예측 작업을 통해 모델에 제시된다. 즉, 원본 문장에서 일부 단어를 가린 뒤 모델이 이를 예측하도록 하거나, 두 문장이 실제로 이어지는지 여부를 판단하도록 학습시킨다. 이 과정을 통해 BERT는 단어의 의미, 문법, 그리고 문장 간의 논리적 관계에 대한 깊은 이해를 획득하게 된다.

BERT의 사전 학습은 두 가지 주요 목표, 즉 마스크 언어 모델링과 다음 문장 예측을 통해 이루어진다. 이 두 가지 작업은 모델이 단어 수준과 문장 수준의 언어 표현을 동시에 학습하도록 설계되었다.

첫 번째 목표인 마스크 언어 모델링은 입력 문장의 토큰 중 약 15%를 무작위로 마스크 토큰으로 가린 후, 해당 토큰의 원래 단어를 예측하도록 하는 작업이다. 이때 마스킹된 토큰은 항상 [MASK]로만 대체되지 않으며, 80%는 [MASK], 10%는 무작위 토큰, 나머지 10%는 원래 토큰 그대로 두는 방식을 사용하여 모델이 특정 토큰에 과도하게 의존하는 것을 방지한다[5]. 이 과정을 통해 BERT는 각 단어의 의미와 주변 문맥 간의 깊은 관계를 양방향으로 이해할 수 있게 된다.

두 번째 목표인 다음 문장 예측은 두 개의 문장이 주어졌을 때, 두 번째 문장이 첫 번째 문장의 실제 다음 문장인지 여부를 이진 분류하도록 하는 작업이다. 학습 데이터를 구성할 때는 실제 문서에서 연속된 문장 쌍(긍정 예시)과 서로 무관한 문장 쌍(부정 예시)을 1:1 비율로 샘플링한다. 이 작업은 질의응답이나 자연어 추론과 같은 다운스트림 과제에서 두 문장 간의 관계를 이해하는 데 필수적인 능력을 모델에 부여한다.

이 두 가지 학습 목표는 단일 손실 함수로 결합되어 동시에 최적화된다. 이는 모델이 단일한 사전 학습 과정에서 단어의 미세한 의미와 문장 간의 논리적 흐름을 포괄적으로 습득하게 만든다. 결과적으로 생성된 사전 학습 모델은 다양한 자연어 처리 작업에 대한 파인튜닝을 통해 높은 성능을 발휘할 수 있는 강력한 기반을 제공한다.

파인튜닝은 사전 학습된 BERT 모델을 특정 다운스트림 태스크에 맞게 추가로 조정하는 과정이다. 사전 학습 단계에서 모델은 일반적인 언어 표현을 습득하지만, 특정 작업(예: 감정 분석, 질의응답)에 최적화되지는 않았다. 파인튜닝은 이 일반적인 지식을 바탕으로, 비교적 적은 양의 작업별 레이블 데이터를 사용하여 모델을 특화시킨다.

파인튜닝 과정은 작업에 맞는 새로운 출력층을 모델 위에 추가하고, 전체 모델의 가중치를 해당 작업의 데이터로 함께 업데이트한다. 이는 전이 학습의 전형적인 접근법이다. 예를 들어, 텍스트 분류 작업을 위해선 CLS 토큰에 해당하는 최종 은닉 상태 위에 간단한 소프트맥스 분류기를 추가한다. 질의응답 작업을 위해서는 시작과 끝 위치를 예측하는 두 개의 출력 벡터를 문장의 각 토큰에 적용한다.

파인튜닝은 다음과 같은 특징을 가진다.

* 효율성: 방대한 양의 데이터로 사전 학습하는 데 비해, 파인튜닝에는 상대적으로 적은 데이터와 계산 자원이 소요된다.

* 적응성: 하나의 사전 학습된 BERT 모델을 다양한 작업에 맞게 파인튜닝할 수 있다.

* 성능: 사전 학습된 풍부한 언어 지식을 활용하므로, 작은 데이터셋에서도 뛰어난 성능을 발휘한다.

일반적인 파인튜닝 절차는 다음과 같다.

1. 작업에 맞는 데이터셋을 준비한다.

2. 작업 유형(분류, 토큰 분류, 문장 쌍 회귀 등)에 맞는 출력층을 설계한다.

3. 사전 학습된 BERT 모델의 가중치를 초기값으로 사용한다.

4. 작업별 데이터로 전체 모델(출력층 포함)을 함께 학습시킨다.

파인튜닝의 성공은 BERT가 획득한 깊은 문맥적 표현이 다양한 언어 이해 작업에 효과적으로 전이될 수 있음을 입증했다. 이 접근법은 이후 대부분의 사전 학습 언어 모델의 표준 실용 방법론이 되었다.

BERT는 텍스트 분류 작업에서 뛰어난 성능을 보이며, 이전의 순환 신경망이나 컨볼루션 신경망 기반 모델들을 크게 능가하는 결과를 보여주었다. 텍스트 분류는 주어진 텍스트를 미리 정의된 범주 중 하나로 할당하는 작업으로, 감성 분석, 스팸 메일 탐지, 주제 분류 등 다양한 응용 분야를 가진다. BERT는 문장 전체의 맥락을 양방향으로 이해하여 분류에 필요한 풍부한 의미 정보를 추출할 수 있다.

BERT를 텍스트 분류에 적용하는 일반적인 방법은 파인튜닝이다. 분류하고자 하는 텍스트(예: 한 문장 또는 문장 쌍)는 BERT의 표준 입력 형식([CLS] 토큰, 텍스트 시퀀스, [SEP] 토큰)으로 변환된다. 모델의 최종 은닉층에서 [CLS] 토큰에 해당하는 출력 벡터는 전체 입력 시퀀스의 요약된 표현으로 간주된다. 이 벡터 위에 간단한 소프트맥스 분류기를 추가하여 학습함으로써 특정 분류 작업에 맞게 모델을 조정한다.

이 접근 방식의 주요 장점은 작업별로 복잡한 특징 공학이 필요하지 않다는 점이다. BERT는 사전 학습 과정에서 습득한 언어 지식을 바탕으로, 주어진 분류 작업에 최적화된 표현을 직접 학습한다. 이를 통해 IMDb 리뷰 데이터셋과 같은 대규모 감성 분석 벤치마크에서 당시 최고 수준의 정확도를 달성했으며, GLUE 벤치마크와 같은 다양한 자연어 이해 태스크 집합에서도 종합적인 성능 향상을 이끌어냈다.

BERT는 질의응답 시스템의 성능을 크게 향상시킨 주요 모델이다. 특히 스탠포드 대학교의 SQuAD 벤치마크에서 인간 수준의 성능을 처음으로 달성하며 주목받았다[6]. BERT 기반 질의응답 시스템은 주어진 질문과 관련된 답변의 시작과 끝 위치를 문맥 내에서 예측하는 방식으로 작동한다.

파인튜닝 단계에서는 질문과 참고 문단을 하나의 입력 시퀀스로 결합한다. 모델은 두 개의 출력 레이어를 추가로 학습하여, 참고 문단 내에서 답변에 해당하는 텍스트 조각의 시작 토큰과 끝 토큰의 위치를 각각 예측한다. 이 접근법은 이전의 순환 신경망 기반 방식보다 훨씬 정확하게 장거리 문맥 의존성을 포착할 수 있다.

이러한 성능 향상은 마스크 언어 모델링을 통한 사전 학습이 모델로 하여금 단어 간의 깊은 관계와 논리를 이해하도록 했기 때문이다. 결과적으로 BERT는 질문의 의도를 정확히 해석하고, 문서 전체에서 증거를 찾아내며, 정확한 답변 범위를 추출하는 능력을 갖추게 되었다. 이 기술은 검색 엔진, 고객 서비스 챗봇, 지식 베이스 시스템 등에 폭넓게 응용되었다.

개체명 인식은 텍스트에서 사람, 조직, 장소, 날짜, 금액 등과 같은 고유한 실체를 식별하고 분류하는 자연어 처리 작업이다. BERT는 이 작업에서 기존 방법들을 크게 능가하는 성능을 보여주며, 특히 양방향 문맥 이해 능력 덕분에 모호한 개체명의 경계와 유형을 정확하게 판별하는 데 강점을 보인다.

BERT를 개체명 인식에 적용할 때는 일반적으로 파인튜닝 방식을 사용한다. 입력 문장의 각 토큰에 대해 BERT 모델은 해당 토큰의 표현을 출력한다. 이 표현 위에 추가적인 분류 층을 쌓아 각 토큰이 개체의 시작(B-), 내부(I-), 또는 외부(O)에 해당하는지, 그리고 어떤 유형(예: PER, ORG, LOC)인지를 예측한다. BERT의 트랜스포머 인코더는 문장 내 모든 단어의 의미를 양방향으로 고려하여, 예를 들어 "애플"이라는 단어가 과일인지 회사명인지를 주변 문맥을 통해 정확히 판단할 수 있게 해준다.

이러한 접근법은 CoNLL-2003과 같은 표준 개체명 인식 벤치마크에서 당시 최고 성능을 달성했다. BERT의 등장 이후, RoBERTa나 ALBERT 같은 변형 모델들이 더욱 정확한 개체명 인식 성능을 보여주었다. 개체명 인식은 정보 추출, 질의응답 시스템, 지식 그래프 구축 등 다양한 응용 분야의 핵심 구성 요소로, BERT는 이 분야의 발전에 중요한 기여를 했다.

BERT는 두 문장 간의 의미적 유사도를 계산하는 데 효과적으로 활용된다. 이 작업은 문장 임베딩을 생성하고, 이를 비교하여 수행된다. BERT는 문장의 시작 부분에 특수 토큰인 [CLS]를 추가하고, 이 토큰의 최종 출력 벡터를 종종 전체 문장의 표현으로 사용한다. 또는 모든 토큰 출력의 평균을 문장 임베딩으로 활용하기도 한다. 생성된 두 문장의 임베딩 벡터 간의 코사인 유사도를 계산하면, 두 문장이 의미상 얼마나 유사한지를 수치화할 수 있다.

파인튜닝 단계에서는 자연어 추론 데이터셋이나 문장 쌍 분류 데이터셋을 사용하여 성능을 더욱 향상시킬 수 있다. 예를 들어, 두 문장을 [SEP] 토큰으로 구분하여 하나의 입력 시퀀스로 BERT에 주입한 후, [CLS] 토큰의 표현을 통해 두 문장이 의미적으로 동등한지, 모순되는지, 혹은 중립적인 관계인지를 분류하도록 모델을 학습시킨다. 이렇게 학습된 모델은 문장 쌍의 관계를 더 정교하게 이해하게 된다.

문장 유사도 측정은 다음과 같은 실용적인 응용 분야를 가진다.

* 의미 검색 및 질의 응답: 사용자 질의와 문서 내 문장의 유사도를 계산하여 가장 관련성 높은 답변을 찾는다.

* 중복 질문 탐지: 온라인 포럼이나 고객 지원 시스템에서 의미적으로 동일한 질문을 식별한다.

* 플래그리즘 검출: 원본 텍스트와 의심되는 텍스트 간의 유사도를 분석한다.

BERT 이전의 Word2Vec이나 GloVe와 같은 정적 임베딩 기반 유사도 계산 방법은 단어의 다의성 문제를 해결하지 못했다. 반면, BERT의 양방향 문맥 이해 능력은 "은행"이라는 단어가 "금융 기관"을 뜻하는지 "강가"를 뜻하는지 문맥에 따라 다르게 임베딩하므로, 보다 정확한 문장 수준의 의미 비교가 가능하게 했다.

RoBERTa는 2019년 페이스북 AI 연구팀이 BERT를 개선하여 발표한 언어 모델이다. "Robustly Optimized BERT Pretraining Approach"의 약자로, BERT의 사전 학습 방식을 최적화하여 더 강력한 성능을 달성하는 데 초점을 맞췄다.

RoBERTa는 BERT의 핵심 아키텍처를 유지하지만, 사전 학습 과정에서 몇 가지 중요한 변경을 도입했다. 가장 큰 차이점은 다음 문장 예측 목표를 제거하고, 더 많은 데이터와 더 긴 배치 크기, 더 오래 학습시키는 것이다. 또한, 마스크 언어 모델링을 수행할 때 정적 마스킹(데이터 전처리 시 한 번만 마스킹) 대신 동적 마스킹(학습 중 각 에포크마다 새로운 패턴으로 마스킹) 방식을 채택하여 모델이 더 다양한 패턴을 학습하도록 했다. 이러한 최적화를 통해 동일한 크기의 모델에서도 GLUE 벤치마크와 같은 다양한 자연어 이해 과제에서 BERT를 능가하는 성능을 보여주었다.

RoBERTa의 성능 향상은 주로 방대한 데이터와 계산 자원에 기반한다. 학습 데이터로는 BERT가 사용한 위키피디아와 북코퍼스 외에도 CommonCrawl 뉴스 데이터, 웹 스토리 데이터 등 총 160GB에 달하는 텍스트를 사용했다. 학습에는 더 큰 배치 크기(최대 8,000개의 시퀀스)와 더 많은 학습 스텝(최대 500,000 스텝)이 소요되었다. 아래 표는 BERT와 RoBERTa의 주요 학습 설정 차이를 보여준다.

결과적으로, RoBERTa는 BERT의 성공을 확인하고 그 한계를 보여주는 동시에, 사전 학습의 중요성과 데이터/계산 규모의 확대가 모델 성능에 미치는 결정적 영향을 입증했다. 이는 이후 더 큰 규모의 언어 모델 개발에 대한 길을 열었다.

ALBERT(A Lite BERT)는 BERT의 계산 효율성과 메모리 사용량을 개선하기 위해 2019년 구글 연구팀과 토요타 기술 연구소가 공동으로 제안한 경량화 모델이다. 핵심 목표는 모델의 매개변수 수를 획기적으로 줄이면서도 BERT와 유사하거나 더 나은 성능을 유지하는 것이다. 이를 위해 두 가지 주요 기술인 교차 층 파라미터 공유(cross-layer parameter sharing)와 임베딩 행렬 분해(factorized embedding parameterization)를 도입했다.

교차 층 파라미터 공유는 트랜스포머 인코더의 모든 층이 동일한 매개변수 집합을 공유하도록 하는 기법이다. 기존 BERT는 각 층이 독립적인 매개변수를 가지고 있었으나, ALBERT는 어텐션 메커니즘과 피드포워드 네트워크의 가중치를 모든 층에서 공유한다. 이로 인해 전체 매개변수 수가 급격히 감소하며, 특히 층 수를 늘려도(예: ALBERT-xxlarge는 12층이 아닌 24층) 매개변수 증가가 미미해진다. 임베딩 행렬 분해는 단어 임베딩 차원을 은닉층 차원과 분리하여 저차원의 임베딩 공간을 사용한 후 선형 변환을 통해 은닉층 크기로 투영하는 방식이다. 이는 임베딩 테이블이 차지하는 거대한 메모리(어휘 수 × 은닉층 크기)를 효과적으로 줄인다.

ALBERT는 또한 다음 문장 예측(NSP) 사전 학습 목표를 문장 간 일관성 예측(sentence-order prediction, SOP)으로 대체했다. NSP는 주제 예측과 일관성 예측이 혼재되어 비효율적이라는 비판을 받았는데, SOP는 두 개의 연속된 문장이 원래 순서대로인지 뒤바뀐지를 판별하도록 하여 순수한 문장 간 논리적 일관성 이해 능력을 향상시켰다. 이러한 설계 변경으로 ALBERT는 동일한 규모의 BERT 대비 약 90% 적은 매개변수로도 GLUE, SQuAD, RACE 등의 벤치마크에서 최고 수준의 성능을 달성했다. 특히 ALBERT-xxlarge 모델은 당시 여러 자연어 이해 태스크에서 BERT를 능가하는 성과를 보였다.

DistilBERT는 BERT 모델의 경량화된 변형으로, 구글의 BERT와 허깅페이스 연구팀이 공동 개발했다. 이 모델의 핵심 목표는 BERT의 성능을 최대한 유지하면서 모델 크기와 추론 속도를 크게 개선하는 것이다. 지식 증류라는 기술을 사용해, 대규모의 '교사 모델'(BERT)로부터 소규모의 '학생 모델'(DistilBERT)이 지식을 전수받는 방식으로 학습한다.

DistilBERT는 BERT-Base 모델에 비해 약 40% 더 작고, 추론 속도는 60% 더 빠르며, 성능은 GLUE 벤치마크에서 원본 BERT의 97% 수준을 유지한다[7]. 이러한 효율성 향상은 주로 다음과 같은 설계 선택에서 비롯된다.

모델은 마스크 언어 모델링 사전 학습 목표와 함께, 교사 모델(BERT)의 출력 분포와 학생 모델(DistilBERT)의 출력 분포를 일치시키는 코스닝 손실을 결합하여 학습한다. 또한, 다음 문장 예측 작업은 제거되어 학습 과정이 단순화되었다. 이로 인해 DistilBERT는 리소스가 제한된 환경(모바일, 엣지 디바이스)이나 대규모 배포 시나리오에서 BERT의 실용적인 대안으로 널리 채택되었다.

BERT의 계산 비용은 모델의 규모와 복잡성에서 기인하는 주요 한계 중 하나이다. 특히 BERT-Large 모델은 약 3억 4천만 개의 매개변수를 가지며, 이를 사전 학습하는 데는 고성능 TPU 또는 GPU 클러스터를 사용하더라도 수일에서 수주가 소요된다[8]. 이는 상당한 전력 소비와 경제적 비용을 동반한다.

파인튜닝 단계에서도 비용 문제는 지속된다. 특정 작업에 맞춰 모델을 조정하는 과정은 사전 학습보다는 적은 자원이 필요하지만, 여전히 대규모 모델을 로드하고 실행하기 위해서는 상당한 메모리와 계산 능력이 요구된다. 이는 연구 기관이나 중소 규모의 조직이 BERT를 실험하거나 배포하는 데 진입 장벽이 될 수 있다.

계산 비용 문제를 완화하기 위해 여러 경량화 기법이 개발되었다. 지식 증류 기술을 적용한 DistilBERT나 매개변수를 효율적으로 공유하는 ALBERT와 같은 변형 모델들은 원본 BERT 대비 성능 저하를 최소화하면서 모델 크기와 추론 속도를 개선했다. 또한, 양자화나 가지치기와 같은 모델 최적화 기술도 추론 시의 계산 부담을 줄이는 데 활용된다.

BERT는 주로 512개의 토큰으로 제한된 고정 길이 시퀀스를 처리하도록 설계되었다. 이 제한은 모델의 핵심 구성 요소인 트랜스포머 인코더의 계산 복잡성에서 비롯된다. 트랜스포머의 셀프 어텐션 메커니즘은 시퀀스 길이의 제곱에 비례하는 계산 및 메모리 비용을 요구하기 때문에, 긴 문서를 처리하려면 막대한 자원이 필요하다. 따라서 대부분의 BERT 구현체는 이 길이를 초과하는 입력을 자르거나 분할하여 처리한다.

이 제한은 장문 문서 처리, 대화 기록 분석, 긴 논문 요약 등과 같은 작업에서 실질적인 걸림돌이 된다. 예를 들어, 전체 법률 문서나 긴 소설의 장을 하나의 맥락으로 이해해야 하는 경우, 모델이 전체 정보를 동시에 고려하지 못하게 된다. 긴 텍스트를 여러 세그먼트로 나누어 처리할 경우, 세그먼트 간의 문맥 연결이 끊어져 성능이 저하될 수 있다.

이 문제를 완화하기 위해 여러 후속 연구와 변형 모델이 제안되었다. 롱포머나 빅 버드와 같은 모델들은 효율적인 어텐션 메커니즘을 도입하여 수천 개 이상의 토큰을 처리할 수 있도록 확장했다. 또한, 계층적 접근법이나 슬라이딩 윈도우 방식을 사용하는 방법도 탐구되었다. 그러나 이러한 방법들도 여전히 계산 비용 증가나 모델 구조의 복잡성이라는 트레이드오프를 안고 있다.

BERT와 같은 대규모 언어 모델은 방대한 양의 웹 텍스트 데이터를 기반으로 사전 학습되기 때문에, 학습 데이터에 내재된 사회적, 문화적, 인종적, 성별 편향이 모델에 그대로 학습될 수 있다. 이는 모델이 특정 집단에 대해 부정적이거나 고정관념적인 표현을 생성하거나, 특정 직업이나 역할을 성별이나 인종에 따라 편향되게 연관 짓는 등의 문제로 나타난다. 예를 들어, "간호사"와 관련된 문맥에서 모델이 주로 여성 대명사를, "의사"와 관련된 문맥에서는 남성 대명사를 더 자주 예측할 수 있다[9].

이러한 편향 문제는 모델이 실제 응용 분야에 배포될 때 심각한 윤리적 문제와 실용적 문제를 야기한다. 질의응답 시스템이나 텍스트 생성 애플리케이션에서 편향된 출력은 특정 사용자 집단을 배제하거나 모욕할 수 있으며, 개체명 인식이나 감정 분석과 같은 작업에서도 편향된 판단을 내릴 위험이 있다. 연구자들은 편향을 측정하고 완화하기 위한 다양한 방법을 모색해왔는데, 이는 크게 사전 학습 단계에서 편향을 줄이는 방법, 파인튜닝 단계에서 편향되지 않은 데이터로 조정하는 방법, 그리고 추론 단계에서 출력을 사후 처리하는 방법으로 나눌 수 있다.

편향 문제는 기술적 한계를 넘어 사회적 책임과 관련된 복잡한 도전 과제이다. 학습 데이터를 정제하거나 균형 있게 구성하는 것부터, 모델 아키텍처 자체에 공정성 제약 조건을 도입하는 연구까지 다양한 접근이 시도되고 있다. 그러나 웹 데이터의 거대한 규모와 편향의 다면적 특성 때문에 완전한 해결은 어려우며, 지속적인 모니터링과 개선이 필요하다. 이는 BERT 이후에 등장한 RoBERTa, ALBERT 등 후속 모델들도 공통적으로 직면하고 있는 근본적인 문제이다.