거대언어모델 (LLM)

트랜스포머 아키텍처는 2017년 구글 연구팀이 발표한 논문 "Attention Is All You Need"에서 제안된 신경망 구조이다. 이 아키텍처는 순환 신경망이나 합성곱 신경망에 의존하지 않고, 오직 어텐션 메커니즘만을 핵심 구성 요소로 사용한다. 이로 인해 장기 의존성 문제를 효과적으로 해결하며, 특히 시퀀스 데이터 처리에 혁신을 가져왔다.

트랜스포머의 핵심은 셀프 어텐션 메커니즘이다. 셀프 어텐션은 입력 시퀀스의 각 단어가 동일한 시퀀스 내의 다른 모든 단어와의 관계성을 동시에 계산하는 방식을 말한다. 이를 통해 문장에서 "그"라는 단어가 어떤 선행사를 가리키는지와 같은 문맥적 관계를 모델이 직접 학습할 수 있다. 이 과정은 병렬 처리가 가능하여 학습 속도를 크게 향상시킨다.

표준 트랜스포머는 인코더와 디코더 스택으로 구성된다. 인코더는 입력 텍스트의 의미를 이해하고 문맥화된 표현을 생성하는 역할을 한다. 디코더는 인코더의 출력과 이전에 생성된 단어들을 바탕으로 다음 단어를 순차적으로 생성한다. 각 인코더와 디코더 레이어는 셀프 어텐션 층과 피드포워드 신경망 층으로 이루어져 있으며, 레이어 정규화와 잔차 연결이 적용되어 학습 안정성을 높인다.

트랜스포머 아키텍처의 등장은 자연어 처리 분야의 패러다임을 근본적으로 바꾸었다. 이전의 RNN 기반 모델들은 순차적 처리로 인한 병목 현상과 장기 의존성 소실 문제가 있었지만, 트랜스포머는 병렬 처리와 전역적 문맥 이해를 가능하게 하여 대규모 언어 모델 학습의 토대를 마련했다. 이후 등장한 GPT, BERT를 비롯한 대부분의 현대 거대언어모델은 이 트랜스포머 구조를 기반으로 발전하였다.

거대언어모델의 학습은 일반적으로 사전학습과 파인튜닝이라는 두 단계로 구성된다. 이는 방대한 양의 일반 텍스트 데이터로부터 언어의 일반적인 패턴과 지식을 습득한 후, 특정 작업에 맞게 모델을 세밀하게 조정하는 효율적인 방법론이다.

사전학습 단계에서는 트랜스포머 아키텍처를 기반으로 한 모델이 위키백과, 도서, 웹페이지 등 수십억에서 수조 개에 달하는 토큰으로 구성된 대규모 텍스트 코퍼스에 노출된다. 모델은 주로 자기지도 학습 방식으로, 문장 내 일부 단어를 가린 후 예측하거나(마스크드 언어 모델링), 다음 단어를 예측하는(언어 모델링) 방식으로 학습하여 단어 간 통계적 관계, 문법, 사실적 지식, 추론 능력 등을 내재화한다. 이 단계를 통해 모델은 언어표상과 세계지식을 획득한다.

파인튜닝 단계는 사전학습된 범용 모델을 특정 작업이나 도메인에 맞게 조정하는 과정이다. 예를 들어, 법률 문서 분석, 의료 리포트 작성, 고객 서비스 챗봇 등 특정 목적에 맞는 소규모의 레이블이 지정된 데이터셋을 사용하여 추가 학습을 진행한다. 파인튜닝의 주요 접근법은 다음과 같다.

이러한 이단계 학습 패러다임은 계산 자원을 효율적으로 사용하면서도 모델의 강력한 일반화 능력과 특정 작업에 대한 높은 적응력을 동시에 확보하는 데 기여한다.

거대언어모델의 성능은 일반적으로 모델의 매개변수 수, 학습 데이터의 규모, 그리고 컴퓨팅 자원의 양과 밀접한 연관성을 보인다. 이 관계는 스케일링 법칙으로 설명되며, 모델 크기와 데이터 양을 동시에 확장할 때 예측 가능한 성능 향상을 보인다. 초기 연구에서는 매개변수 수만을 늘리는 것이 성능 향상에 가장 효과적이었으나, 최근에는 데이터의 양과 품질, 그리고 학습에 투입되는 플롭스(FLOPS)의 총량이 더 중요한 요소로 부각되고 있다.

모델 규모의 증가는 다양한 언어 이해 및 생성 과제에서 성능을 지속적으로 향상시켰다. 예를 들어, 언어 모델 평가 벤치마크인 MMLU(Massive Multitask Language Understanding)나 BIG-bench와 같은 과제에서, 수백억에서 수천억 개의 매개변수를 가진 모델들은 더 작은 모델들을 압도하는 성능을 보여주었다. 특히 제로샷이나 퓨샷 학습 능력은 모델 규모가 커질수록 현저히 개선되는 경향이 있다.

그러나 모델 규모의 확장은 단순한 성능 향상 이상의 변화, 즉 저능을 유발하기도 한다. 이는 모델이 특정 규모에 도달했을 때 갑자기 나타나는 새로운 능력으로, 작은 모델에서는 관찰되지 않던 복잡한 추론이나 작업 수행 능력이 큰 모델에서 발현되는 현상이다. 예를 들어, 다단계 산술 연산이나 특정 유형의 코드 생성 능력은 모델이 일정 크기 이상이 되어야 비로소 나타날 수 있다.

모델 규모의 확장에는 명확한 한계와 비용이 따른다. 성능 향상은 로그 스케일로 감소하며, 모델을 두 배로 키울 때마다 필요한 계산 자원과 비용은 훨씬 더 크게 증가한다. 이로 인해 최근 연구는 주어진 컴퓨팅 예산 내에서 최고의 성능을 내는 최적의 모델 크기, 데이터 크기, 학습 시간의 조합을 찾는 효율적인 스케일링에 집중하고 있다. 또한, 매우 큰 모델의 경우 성능 평가, 배포, 유지 관리에 따르는 실용적 어려움도 중요한 고려 사항이 되고 있다.

GPT 시리즈는 OpenAI가 개발한 일련의 거대언어모델이다. 이 시리즈는 GPT-1부터 시작하여 GPT-3, GPT-4에 이르기까지 모델 규모와 성능을 지속적으로 확장해왔다. 모든 모델의 핵심은 트랜스포머 아키텍처의 디코더 구조를 기반으로 한다. 이 시리즈는 방대한 텍스트 데이터를 사용한 자기지도 학습 방식의 사전학습을 통해 언어의 일반적인 패턴을 습득한다.

초기 모델인 GPT-1은 1.17억 개의 매개변수를 가졌으며, 언어 모델링 작업을 통해 다음 단어를 예측하는 능력을 학습했다. 이후 GPT-2는 15억 개의 매개변수로 크기가 비약적으로 증가했고, 제로샷(zero-shot) 학습 능력을 보여주었다. GPT-3는 1750억 개의 매개변수를 가진 초대형 모델로 등장하여, 적은 예시나 지시만으로도 다양한 작업을 수행하는 퓨샷 러닝 능력으로 주목을 받았다.

GPT-3의 성공 이후, OpenAI는 인간 피드백 강화학습 기법을 적용하여 모델의 출력을 인간의 선호에 맞추는 작업을 진행했다. 이를 통해 개발된 InstructGPT와 ChatGPT는 사용자 지시를 더 잘 이해하고 안전하며 유용한 응답을 생성하는 능력을 갖추게 되었다. 최신 모델인 GPT-4는 텍스트 입력뿐만 아니라 이미지 입력도 처리할 수 있는 멀티모달 능력을 갖추고 있으며, 복잡한 추론 작업에서 이전 모델들을 크게 능가하는 성능을 보인다. GPT 시리즈의 발전은 생성형 AI의 대중화와 상업적 응용에 결정적인 역할을 했다.

BERT는 2018년 구글 연구진이 발표한 양방향 언어 모델이다. 기존의 언어 모델이 문장을 한 방향(좌에서 우 또는 우에서 좌)으로만 처리하는 데 비해, BERT는 문장의 모든 단어를 동시에 참조하는 트랜스포머의 인코더 구조를 활용해 문맥을 양방향으로 이해한다. 이는 마스킹 언어 모델이라는 사전학습 방식을 통해 구현되었는데, 입력 문장에서 무작위로 일부 단어를 가린 후, 그 가려진 단어를 주변 문맥을 바탕으로 예측하는 방식으로 학습한다. 이러한 접근법은 단어 임베딩 수준에서 문맥적 의미 표현을 가능하게 하여, 자연어 이해 태스크에서 획기적인 성능 향상을 가져왔다.

BERT의 등장 이후, 이를 기반으로 한 다양한 변형 모델들이 개발되었다. 주요 변형 모델의 특징은 다음과 같다.

이러한 변형 모델들은 BERT의 핵심 구조를 유지하면서 특정 측면을 개선하는 데 초점을 맞췄다. 예를 들어, RoBERTa는 더 많은 데이터와 더 긴 학습으로 성능을 끌어올렸고, ALBERT와 DistilBERT는 모델의 효율성과 배포 용이성을 높였다. ELECTRA는 사전학습 태스크 자체를 혁신하여 동일한 계산 비용으로 더 높은 성능을 달성했다.

BERT와 그 변형 모델들은 질의응답, 텍스트 분류, 개체명 인식, 문장 유사도 계산 등 다양한 NLU 작업의 기반 모델로 널리 사용된다. 특히, 비교적 적은 양의 태깅 데이터로도 우수한 성능을 내는 전이 학습 능력 덕분에, 산업계와 학계에서 빠르게 표준 기술로 자리 잡았다. 이들의 발전은 사전학습 언어 모델의 중요성을 부각시키고, 이후 대규모 생성형 언어 모델 연구의 토대를 마련하는 계기가 되었다.

오픈소스 LLM은 모델의 가중치와 아키텍처를 공개하여 연구자와 개발자가 자유롭게 사용, 수정, 배포할 수 있도록 한 거대언어모델을 가리킨다. 이는 초기 대규모 언어 모델이 소수의 대기업에 의해 폐쇄적으로 개발되던 흐름에 대한 대안으로 등장했다. 오픈소스 모델의 공개는 학계와 산업계의 협력을 촉진하고, 투명성과 재현성을 높이며, 혁신의 속도를 가속화하는 데 기여한다.

주요 오픈소스 LLM 계열로는 메타의 LLaMA 시리즈, 미스트랄 AI의 Mistral 및 Mixtral 모델, 그리고 구글의 Gemma 모델 등이 있다. 이들 모델은 상용 모델과 견줄 만한 성능을 보이면서도, 상대적으로 적은 매개변수로 효율성을 추구하는 특징을 보인다. 예를 들어, Mixtral 모델은 희소 혼합 전문가(MoE) 아키텍처를 채택하여 효율성을 극대화했다. 아래 표는 몇 가지 대표적인 오픈소스 LLM을 정리한 것이다.

이러한 모델들은 허깅 페이스(Hugging Face)와 같은 플랫폼을 통해 쉽게 접근하고 파인튜닝할 수 있다. 오픈소스 생태계는 또한 QLoRA 같은 효율적인 파인튜닝 기법과 llama.cpp 같은 경량화 추론 프레임워크의 발전을 이끌었다. 이는 개인 연구자나 중소기업도 고성능 언어 모델을 활용할 수 있는 기반을 마련했다.

그러나 오픈소스 LLM도 완전한 개방성과 관련된 논란, 악의적 사용 가능성, 그리고 여전히 큰 계산 자원 요구사항 등의 도전 과제를 안고 있다. 또한, 공개된 모델의 학습 데이터 구성이 명확하지 않은 경우가 많아 편향 문제의 추적과 해결이 어려울 수 있다는 점도 지적된다.

지도 학습은 레이블이 지정된 데이터를 사용하여 모델을 훈련하는 전통적인 머신러닝 접근법이다. 예를 들어, 감정 분석 작업에서는 "이 영화는 최고다"라는 문장에 "긍정"이라는 레이블이 붙어 있다. 모델은 이러한 입력-출력 쌍을 학습하여 새로운 문장의 감정을 예측하는 방법을 배운다. 그러나 대규모 언어 모델을 훈련시키기 위해 모든 가능한 텍스트에 대해 정확한 레이블(예: 다음 단어, 요약, 감정)을 수동으로 생성하는 것은 실질적으로 불가능하다. 이는 데이터 양이 방대하고 레이블링 비용이 매우 높기 때문이다.

반면, 자기지도 학습은 레이블이 없는 원시 텍스트 데이터로부터 스스로 학습 과제를 생성하는 방식이다. 가장 일반적인 방법은 언어 모델링이다. 모델은 문장의 일부 단어를 가린 후(예: "고양이가 [MASK] 위에서 잔다"), 누락된 부분을 예측하도록 훈련된다. 또는 주어진 단어 시퀀스("고양이가 소파")에서 다음에 올 가능성이 높은 단어("위에서")를 예측하는 다음 단어 예측 작업도 사용된다. 이 방식은 인터넷, 도서, 기사 등과 같은 방대한 디지털 텍스트 코퍼스를 레이블 없이 활용할 수 있어 거대언어모델의 핵심 사전훈련 방법이 되었다.

다음 표는 두 학습 방식의 주요 차이점을 보여준다.

거대언어모델은 먼저 자기지도 학습을 통해 수백억에서 수조 개의 토큰으로 구성된 데이터에서 언어의 통계적 패턴, 문법, 사실 관계, 추론 능력의 기초를 광범위하게 학습한다. 이후 특정 작업(예: 질문 답변, 텍스트 분류)에 적응시키기 위해 비교적 소량의 레이블 데이터를 사용한 지도적 파인튜닝 단계를 거치는 경우가 많다. 이 두 가지 패러다임의 결합이 현대 거대언어모델 개발의 표준 절차를 이룬다.

인간 피드백 강화학습(RLHF)은 거대언어모델의 출력을 인간의 선호도에 맞추어 조정하는 고급 파인튜닝 기법이다. 이 방법은 모델이 단순히 문법적으로 정확한 텍스트를 생성하는 것을 넘어, 유용하고, 해롭지 않으며, 인간의 의도에 부합하는 응답을 생성하도록 지도하는 데 목적이 있다. RLHF의 과정은 일반적으로 세 단계로 구성된다.

첫 번째 단계는 지도 미세조정(SFT)이다. 사전학습된 기본 모델을 인간 어시스턴트가 작성한 고품질의 질문-응답 쌍 데이터셋으로 추가 학습한다. 이 단계는 모델에게 원하는 응답 스타일과 형식을 보여주는 데 중점을 둔다. 두 번째 단계는 보상 모델 훈련이다. 동일한 프롬프트에 대한 여러 모델 출력을 수집하고, 인간 평가자가 각 출력의 품질을 순위로 매기거나 점수를 부여한다. 이 인간 선호도 데이터를 사용하여 별도의 보상 모델을 훈련시킨다. 이 보상 모델은 주어진 텍스트가 인간에게 얼마나 선호될지를 예측하는 점수를 출력한다.

마지막 세 번째 단계는 강화학습(RL)을 통한 최적화이다. 첫 단계에서 조정된 모델(에이전트)이 환경(텍스트 생성)에서 동작하며, 두 번째 단계에서 훈련된 보상 모델이 그 출력에 대한 보상 점수를 제공한다. PPO(근사 정책 최적화)와 같은 강화학습 알고리즘을 사용하여 이 보상 점수를 최대화하는 방향으로 모델의 매개변수를 미세 조정한다. 이 과정을 통해 모델은 보상 모델이 예측한 인간의 선호도에 부합하도록 생성 정책을 점진적으로 개선한다.

RLHF는 모델의 안전성과 유용성을 크게 향상시키는 핵심 기술로 평가받지만, 몇 가지 도전 과제도 존재한다. 보상 모델의 정확도가 인간 선호도를 완벽하게 대표하지 못할 수 있으며, 지나치게 보상 점수를 최적화하려는 과정에서 모델의 출력 다양성이 감소하거나 역설적으로 비자연스러운 표현이 생성될 수 있다[3]. 또한, 인간 평가자 집단의 편향이 보상 모델을 통해 학습되어 모델에 그대로 전달될 위험도 있다.

프롬프트 엔지니어링은 사용자가 거대언어모델에 입력하는 지시문이나 질문, 즉 프롬프트를 설계하고 최적화하는 기술 및 실천법이다. 모델의 출력 품질을 극대화하기 위해 특정 작업에 맞춰 프롬프트의 구성, 문맥, 형식, 예시 등을 체계적으로 조정하는 과정을 포함한다. 이는 모델의 가중치를 직접 수정하지 않고도 모델의 행동을 효과적으로 안내하는 '프로그래밍' 방식으로 간주된다.

기본적인 기법으로는 지시를 명확하게 작성하는 것, 필요한 맥락이나 제약 조건을 제공하는 것, 그리고 원하는 출력 형식을 예시로 보여주는 퓨샷 러닝이 있다. 퓨샷 러닝은 다시 제로샷, 원샷, 퓨샷으로 구분된다. 제로샷은 예시 없이 지시만으로 작업을 수행하게 하며, 원샷과 퓨샷은 각각 하나 또는 여러 개의 입력-출력 예시 쌍을 프롬프트에 포함시켜 모델이 패턴을 학습하도록 유도한다.

보다 고급 기법에는 체인 오브 사고가 있다. 이는 복잡한 문제를 단계별로 추론하도록 프롬프트를 구성하여, 모델이 최종 답변에 도달하기까지의 중간 사고 과정을 출력하게 만든다. 이는 산술, 논리, 상식 추론 문제의 정확도를 크게 향상시킨다. 또한, 특정 역할이나 전문성을 부여하는 역할 부여 프롬프팅, 작업을 여러 하위 단계로 분해하는 것도 효과적인 전략이다.

프롬프트 엔지니어링의 효율성은 모델의 규모와 능력에 크게 의존한다. 대규모 모델일수록 복잡하고 미묘한 지시를 잘 이해하고 따른다. 이 분야는 빠르게 발전하며, 체계적인 프롬프트 패턴을 연구하거나 프롬프트를 자동으로 생성 및 최적화하는 도구와 프레임워크가 등장하고 있다.

거대언어모델의 가장 대표적인 응용 분야는 대화형 인공지능과 챗봇이다. 이는 모델이 방대한 텍스트 데이터를 학습하여 인간과 유사한 자연스러운 대화를 생성할 수 있는 능력을 바탕으로 한다. 초기 규칙 기반 챗봇과 달리, GPT 시리즈와 같은 LLM 기반 시스템은 맥락을 이해하고 이전 대화 흐름을 고려하여 응답을 생성한다. 이로 인해 고객 서비스, 개인 비서, 교육, 엔터테인먼트 등 다양한 분야에서 활용된다.

LLM 기반 챗봇의 핵심 작동 원리는 프롬프트 엔지니어링과 맥락 관리에 있다. 시스템은 사용자의 질문이나 발화를 프롬프트로 받아, 사전 학습된 지식과 대화 기록을 결합해 다음에 올 적절한 단어 시퀀스를 예측한다. 특히 트랜스포머 아키텍처의 셀프 어텐션 메커니즘은 긴 대화 문맥 내에서 중요한 정보에 집중할 수 있게 한다. 많은 서비스는 인간 피드백 강화학습을 적용하여 모델의 응답이 보다 유용하고, 무해하며, 정직한 방향으로 조정된다.

주요 응용 사례는 다음과 같다.

그러나 이러한 시스템은 환각 현상으로 인해 사실이 아닌 정보를 자신 있게 생성하거나, 훈련 데이터에 내재된 사회적 편향을 반복할 수 있다는 한계를 지닌다. 또한, 대화의 깊이와 일관성을 장기적으로 유지하는 것은 여전히 기술적 도전 과제로 남아 있다. 미래에는 감정을 이해하고 멀티모달 입력(음성, 영상)을 처리하는 보다 정교한 대화형 에이전트로의 발전이 예상된다.

거대언어모델은 다양한 형식의 텍스트 콘텐츠를 생성하는 데 널리 활용된다. 이는 마케팅 문구, 블로그 글, 시나리오, 시와 소설 같은 창작물, 이메일 초안 작성 등 광범위한 분야에 적용된다. 모델은 주어진 프롬프트나 몇 가지 키워드, 특정 스타일 지시를 바탕으로 일관성 있고 문맥에 맞는 새로운 텍스트를 만들어낸다. 특히 GPT-3나 GPT-4와 같은 모델은 그 생성 품질이 매우 높아, 기존의 템플릿 기반 자동화 도구를 넘어서는 유연성과 창의성을 보여준다.

콘텐츠 요약 분야에서 거대언어모델은 긴 문서의 핵심 내용을 추출하여 간결한 요약본을 제공하는 데 탁월한 성능을 발휘한다. 요약은 추출적 요약과 생성적 요약으로 나눌 수 있다. 추출적 요약은 원문에서 중요한 문장을 그대로 발췌하는 방식인 반면, 생성적 요약은 원문의 의미를 이해하고 새로운 문장으로 재구성한다. 최신 LLM은 주로 생성적 요약에 능하며, 뉴스 기사, 학술 논문, 법률 문서, 회의록 등 복잡한 내용을 특정 길이와 형식에 맞춰 정확하게 요약할 수 있다.

이러한 생성 및 요약 능력은 콘텐츠 제작 효율을 혁신적으로 높이지만, 동시에 한계를 내포한다. 생성된 콘텐츠는 사실과 다른 정보를 포함할 수 있는 환각 현상을 보일 수 있으며, 요약 과정에서 중요한 세부 사항이 생략되거나 원문의 미묘한 뉘앙스가 손실될 위험이 있다. 따라서 현재는 완전 자동화된 솔루션보다는 인간의 감수와 편집이 수반되는 보조 도구로서의 역할이 강조된다.

거대언어모델은 자연어 처리뿐만 아니라 프로그래밍 언어를 이해하고 생성하는 능력도 보여준다. 이는 소프트웨어 개발의 다양한 단계에서 보조 도구로 활용된다. 모델은 방대한 양의 공개 소스 코드와 코드 관련 문서를 학습하여 함수 작성, 버그 수정, 코드 설명 생성, 다른 언어로의 변환 등의 작업을 수행할 수 있다.

코드 생성의 주요 응용은 개발자가 자연어로 기술한 기능 명세나 주석을 바탕으로 실제 코드를 작성하는 것이다. 예를 들어, "파이썬 함수를 만들어서 리스트의 평균을 계산해줘"라는 프롬프트에 대해 모델은 적절한 코드 블록을 생성한다. 또한, 기존 코드의 오류를 찾아내고 수정 제안을 하거나, 복잡한 코드를 간결하게 리팩토링하는 데 도움을 준다. 코드 생성 모델의 성능은 일반적으로 다음과 같은 작업에서 평가된다.

이러한 기술은 통합 개발 환경에 플러그인 형태로 통합되어 실시간 코드 완성, 자동 문서화, 디버깅 지원 등의 기능을 제공한다. GitHub Copilot이나 Amazon CodeWhisperer와 같은 상용 도구는 이러한 거대언어모델을 기반으로 한다. 그러나 생성된 코드는 정확성, 보안 취약점, 라이선스 문제가 있을 수 있으므로 개발자의 검토와 테스트는 필수적이다.

환각 현상은 거대언어모델이 사실적으로 보이지만 실제로는 틀리거나 존재하지 않는 정보를 자신 있게 생성하는 현상을 가리킨다. 이 용어는 의학적 맥락에서 차용되었으며, 모델이 훈련 데이터에 없거나 외부 지식과 모순되는 내용을 만들어내는 것을 의미한다. 환각은 모델이 통계적 패턴을 기반으로 텍스트를 생성하는 본질에서 비롯된다. 모델은 진실성을 검증하는 내부 메커니즘이 부족한 채, 단순히 가장 그럴듯해 보이는 다음 단어나 문장을 예측할 뿐이다.

환각은 다양한 형태로 나타난다. 사실적 오류(예: 역사적 날짜나 과학적 사실의 잘못된 기술), 출처 허구(존재하지 않는 논문이나 뉴스 기사 인용), 또는 논리적 불일치(자체 생성 내용 내의 모순)가 포함된다. 다음은 주요 환각 유형과 예시를 정리한 표다.

이 문제를 완화하기 위한 여러 접근법이 연구되고 있다. 검색 증강 생성은 모델의 응답을 외부 지식베이스나 검색 결과에 기반하도록 하여 정확성을 높인다. 프롬프트 엔지니어링을 통해 "확신하지 못하면 모른다고 말하라"는 지시를 명시적으로 추가하기도 한다. 또한, 모델의 생성 내용에 대한 신뢰도 점수를 출력하거나, 사실 검증을 위한 별도의 모듈을 도입하는 방법도 탐구된다. 그러나 근본적인 해결은 어려우며, 따라서 거대언어모델의 출력을 신중하게 검토하는 인간의 감독이 필수적이다.

거대언어모델은 방대한 양의 인터넷 텍스트 데이터를 학습하므로, 학습 데이터에 내재된 사회적, 문화적, 역사적 편향을 그대로 흡수하고 재생산할 위험이 있다. 이는 모델의 출력에서 성별, 인종, 종교, 국적 등에 대한 고정관념이나 차별적 표현으로 나타날 수 있다. 예를 들어, 특정 직업을 특정 성별과 연관 짓거나, 특정 지역에 대한 부정적인 일반화를 생성할 수 있다. 이러한 편향은 모델이 현실 세계의 불평등을 강화하거나 확대 재생산할 수 있다는 심각한 윤리적 문제를 제기한다.

편향 문제는 단순히 기술적 결함이 아니라, 모델의 설계, 학습 데이터의 선정 및 처리, 배포와 활용 전반에 걸친 체계적인 고려가 필요한 영역이다. 학습 데이터의 불균형(예: 특정 언어나 문화권의 데이터 과다 대표)을 해소하거나, 편향을 감지하고 완화하는 데커비어스(debiasing) 기술을 적용하는 연구가 진행 중이다. 또한, 모델의 의사결정 과정을 투명하게 설명할 수 있는 설명 가능한 AI (XAI) 기법의 중요성이 부각되고 있다.

윤리적 문제는 편향을 넘어 개인정보 보호, 저작권, 악용 가능성 등으로 확장된다. 모델이 학습 과정에서 무단으로 포함된 개인정보를 기억하거나 유출할 수 있으며, 창작물의 표절이나 저작권 침해 논란을 일으킬 수 있다. 또한, 허위 정보 생성, 사기성 콘텐츠 제작, 악성 코드 작성 등 유해한 목적으로 악용될 가능성은 지속적인 규제와 감독의 필요성을 시사한다. 이에 따라 AI 윤리 가이드라인과 법적 규제 프레임워크를 마련하려는 국제적 노력이 활발히 진행 중이다.

거대언어모델의 학습과 추론에는 막대한 계산 자원이 필요하며, 이는 상당한 경제적 비용과 환경적 영향을 동반한다. 모델 규모가 커질수록 필요한 GPU 또는 TPU와 같은 전용 하드웨어의 수와 학습 시간이 기하급수적으로 증가한다. 예를 들어, GPT-3와 같은 초대형 모델의 단일 학습 주기는 수백만 달러에 달하는 전기 비용과 수천 개의 고성능 프로세서를 수주일 동안 가동해야 한다[7]. 이는 모델 개발을 자본과 인프라가 풍부한 소수 대기업에 국한시키는 요인이 된다.

환경적 측면에서, 이러한 고강도 계산은 대량의 전력 소비를 의미하며, 이는 데이터센터의 탄소 배출량으로 이어진다. 학습에 사용되는 전력의 탄소 강도는 해당 지역의 전력 생산 방식(재생 에너지 대 화석 연료)에 크게 의존한다. 일부 연구는 대형 모델의 학습 과정이 수십만 킬로미터를 운전하는 자동차의 탄소 배출량에 필적할 수 있다고 추정한다[8]. 이에 따라, 탄소 발자국을 줄이기 위한 효율적인 알고리즘 개발, 재생 에너지로 운영되는 클라우드 리소스 활용, 그리고 불필요한 대규모 학습을 피하기 위한 모델 재활용이 중요한 과제로 대두되었다.

계산 효율성을 높이기 위한 다양한 연구가 진행되고 있다. 주요 접근법은 다음과 같다.

지속 가능한 인공지능 발전을 위해서는 모델 성능 향상과 더불어 계산 비용 및 환경 비용을 체계적으로 평가하고 보고하는 표준화된 프레임워크가 필요하다.

멀티모달 모델은 텍스트, 이미지, 오디오, 비디오 등 두 가지 이상의 서로 다른 형태(모달리티)의 데이터를 통합적으로 이해하고 생성할 수 있는 인공지능 모델을 가리킨다. 기존의 거대언어모델이 주로 텍스트 데이터에 특화되어 있었다면, 멀티모달 모델은 다양한 감각 채널의 정보를 연결하여 더 풍부하고 인간과 유사한 지능을 구현하는 것을 목표로 한다. 이는 인공지능이 단순히 언어를 처리하는 것을 넘어, 세상을 종합적으로 인지하고 상호작용하는 방향으로 진화하고 있음을 보여준다.

멀티모달 모델의 핵심 기술은 서로 다른 모달리티의 데이터를 공통된 표현 공간으로 정렬하는 것이다. 예를 들어, "사과"라는 텍스트와 사과 이미지, 사과를 베어 물는 소리를 하나의 개념으로 연결하는 방식이다. 이를 위해 트랜스포머 아키텍처를 확장하거나, 신경망의 특정 계층을 통해 각 모달리티의 특징을 추출하고 융합하는 방식을 사용한다. 대표적인 모델로는 텍스트와 이미지를 결합한 DALL-E와 Stable Diffusion, 텍스트·이미지·비디오를 처리하는 GPT-4V, 그리고 텍스트와 오디오를 모두 생성할 수 있는 모델들이 있다.

이러한 모델의 발전은 다음과 같은 응용 분야를 열어가고 있다.

멀티모달 인공지능의 미래 과제는 모달리티 간의 깊은 의미 이해를 강화하고, 학습에 필요한 방대한 양의 정렬된 멀티모달 데이터를 확보하며, 생성 결과의 정확성과 윤리적 문제(예: 딥페이크 생성 남용)를 관리하는 것이다. 궁극적으로는 다양한 감각 정보를 실시간으로 처리하여 현실 세계와 자연스럽게 상호작용하는 보다 일반적인 인공지능으로 발전할 가능성이 있다.

거대언어모델의 연산 및 메모리 요구사항은 배포와 실용화에 있어 주요 장벽으로 작용한다. 이에 따라 모델의 크기를 줄이거나 효율성을 높이는 다양한 모델 경량화 기법이 연구되고 적용된다. 주요 접근법으로는 모델 압축, 지식 증류, 양자화, 프루닝 등이 포함된다.

이러한 기법들은 단독 또는 결합되어 사용된다. 예를 들어, 모델을 먼저 프루닝하여 희소화한 후 양자화를 적용하는 방식이 일반적이다. 최근에는 학습 과정 자체를 효율화하는 방법[9]](MoE) 아키텍처]도 주목받고 있다. 경량화의 궁극적 목표는 성능 저하를 최소화하면서 모델의 배포 비용과 지연 시간을 크게 낮추는 것이다. 이를 통해 엣지 컴퓨팅 장치나 개인용 장비에서도 LLM을 실행하는 것이 점차 가능해지고 있다.

거대언어모델의 급속한 발전과 확산은 기술적 혁신을 넘어 사회적, 윤리적, 법적 규제의 필요성을 대두시켰다. 이에 따라 전 세계적으로 LLM의 개발과 배포에 관한 규제 체계와 표준화 노력이 본격화되고 있다. 주요 규제 논의는 인공지능의 안전성, 투명성, 책임성, 데이터 개인정보 보호, 그리고 사회적 편향과 오용 방지에 초점을 맞추고 있다.

유럽연합은 선제적인 입법으로 인공지능법(AI Act)을 추진하며, 위험 기반 접근법을 채택했다. 이 법안은 생성형 AI와 거대언어모델을 '고위험' 또는 '제한적 위험' 시스템으로 분류하고, 투명성 의무와 저작권 준수 요건을 부과한다[10]. 미국은 상대적으로 산업 주도적 접근을 취하며, 백악관의 AI 행정명령과 NIST의 AI 위험 관리 프레임워크를 통해 자발적 기준을 마련하고 있다. 중국은 《생성형 AI 관리暂行办法》을 시행하여 서비스 제공자에게 안전 평가와 콘텐츠 필터링 의무를 부과하는 등 엄격한 감독 체계를 구축했다.

표준화 측면에서는 기술적 상호운용성과 평가 기준 수립이 핵심 과제이다. 국제표준화기구(ISO)와 국제전기기술위원회(IEC)는 ISO/IEC JTC 1/SC 42 위원회를 통해 AI 시스템의 품질, 신뢰성, 공정성 평가를 위한 표준을 개발 중이다. 또한, 모델의 성능과 편향을 측정하기 위한 벤치마크(예: HELM, Big-Bench)와 프레임워크가 학계와 산업계에서 활발히 제안되고 있다. 이러한 표준과 벤치마크는 규제 준수를 검증하고, 다양한 모델을 객관적으로 비교하는 데 기여한다.

앞으로의 과제는 혁신 장려와 위험 관리 사이의 균형, 그리고 국제적 협력 체계 구축이다. 기술 발전 속도에 비해 법제도가 느리게 형성되는 '규제 격차'를 해소하고, 국가별 상이한 규제가 글로벌 기술 발전에 미치는 영향을 조정해야 한다. 효과적인 거버넌스를 위해서는 기술 개발자, 정책 입안자, 윤리학자, 시민 사회가 함께 참여하는 다각적 접근이 필수적이다.