생성적 적대 신경망

생성적 적대 신경망의 핵심 구조는 서로 대립하며 경쟁하는 두 개의 신경망, 즉 생성기와 판별기로 구성된다. 이 두 네트워크는 제로섬 게임의 관계에 있으며, 이 적대적 과정을 통해 생성기는 점차 실제 데이터와 유사한 가짜 데이터를 만들어내는 방법을 학습한다.

생성기는 일반적으로 잠재 공간에서 샘플링된 랜덤 벡터(노이즈)를 입력으로 받아 실제 데이터(예: 이미지)와 같은 형태의 출력을 생성한다. 초기에는 출력이 무작위에 가깝지만, 학습이 진행됨에 따라 판별기의 피드백을 통해 점차 정교해진다. 판별기는 진짜 데이터 샘플과 생성기가 만든 가짜 데이터 샘플을 입력으로 받아 각 샘플이 진짜일 확률을 출력하는 이진 분류기 역할을 한다. 판별기의 목표는 진짜와 가짜를 정확히 구별하는 것이며, 생성기의 목표는 판별기를 속일 수 있을 정도로 진짜 같은 데이터를 생성하는 것이다.

두 네트워크의 학습은 교대로 진행된다. 먼저 판별기를 고정하고 생성기의 파라미터만을 업데이트하여 판별기를 속일 확률을 높인다. 다음으로 생성기를 고정하고 판별기의 파라미터를 업데이트하여 진짜와 가짜를 더 잘 구분하도록 한다. 이 과정은 생성기가 만들어내는 데이터의 분포가 실제 데이터의 분포와 거의 구별할 수 없을 때까지 반복된다. 이론적으로 최종 균형점은 생성기가 완벽한 복제품을 만들어내고 판별기가 진짜와 가짜를 무작위로 추측(확률 0.5)하는 상태이다.

생성적 적대 신경망의 핵심 학습 과정은 생성기와 판별기라는 두 신경망이 서로를 속이고 구별하는 경쟁을 통해 이루어진다. 이 과정은 제로섬 게임 이론에 기반하며, 두 네트워크는 반복적인 적대 과정을 통해 함께 진화한다.

학습은 다음과 같은 단계를 반복한다. 먼저, 실제 데이터 세트에서 무작위 샘플을 추출한다. 동시에 생성기는 잠재 공간에서 추출한 무작위 노이즈 벡터를 입력받아 가짜 데이터 샘플을 생성한다. 판별기는 실제 데이터와 생성기가 만든 가짜 데이터를 모두 입력받아 각 샘플이 진짜일 확률을 출력한다. 판별기의 목표는 이 두 유형을 정확히 구분하는 것이고, 생성기의 목표는 판별기를 속일 수 있을 정도로 실제와 유사한 데이터를 만들어내는 것이다. 이 경쟁은 판별기가 더 이상 진짜와 가짜를 구분하지 못하는 내쉬 균형에 도달할 때까지 계속된다.

학습 과정은 일반적으로 다음과 같은 손실 함수를 최적화하는 방식으로 진행된다. 생성기는 판별기가 가짜 데이터를 진짜로 잘못 판별하도록 유도하는 방향으로, 판별기는 실제 데이터는 진짜로, 가짜 데이터는 가짜로 정확히 분류하는 방향으로 각자의 매개변수를 갱신한다. 이는 경사 하강법과 경사 상승법이 결합된 형태로, 한 네트워크의 손실은 다른 네트워크의 이득이 되는 적대적 관계를 형성한다[4]. 전체 시스템의 목적은 생성기가 실제 데이터의 분포를 정확히 모방하도록 만드는 것이다.

이 과정은 생성기의 출력이 점차 실제 데이터의 통계적 특성을 학습하도록 유도한다. 최종적으로는 생성기가 판별기뿐만 아니라 인간 관찰자도 속일 수 있는 고품질의 합성 데이터를 생성할 수 있게 된다.

생성적 적대 신경망의 학습은 생성기와 판별기가 서로 대립하는 과정을 통해 이루어진다. 이 과정을 수학적으로 정의하고 최적화 방향을 제시하는 핵심 요소가 손실 함수이다. 기본적인 GAN의 손실 함수는 이진 교차 엔트로피를 기반으로 하며, 이는 생성기가 만든 가짜 데이터와 실제 데이터를 판별기가 얼마나 잘 구분하는지에 대한 확률적 측정을 제공한다.

판별기(D)의 목표는 실제 데이터(x)에 대해서는 1에 가까운 값을, 생성기(G)가 만들어낸 가짜 데이터(G(z))에 대해서는 0에 가까운 값을 출력하도록 하는 것이다. 반대로, 생성기의 목표는 판별기를 속여 가짜 데이터에 대해 1에 가까운 값을 출력하도록 만드는 것이다. 이 대립 관계는 다음과 같은 미니맥스 게임 형태의 목적 함수 V(D, G)로 표현된다.

min_G max_D V(D, G) = E_(x~p_data(x))[log D(x)] + E_(z~p_z(z))[log(1 - D(G(z)))]

여기서 E는 기댓값, p_data는 실제 데이터 분포, p_z는 생성기의 입력 노이즈 분포(예: 정규 분포), z는 노이즈 벡터를 의미한다. 판별기는 V(D, G)를 최대화하려 하고, 생성기는 이를 최소화하려 한다.

이 기본 형태의 손실 함수는 학습 초기에 그래디언트가 사라지는 문제를 일으킬 수 있다. 생성기가 아직 성능이 낮을 때, 판별기가 가짜 샘플을 너무 쉽게 구별해내면 log(1 - D(G(z))) 항의 그래디언트가 매우 평평해져 생성기가 학습을 진행하기 어렵다. 이를 해결하기 위해 생성기의 손실 함수를 log(1 - D(G(z)))를 최소화하는 대신, log D(G(z))를 최대화하는 형태로 변경하는 트릭이 널리 사용된다. 이는 이론적으로 동일한 최적점을 가지지만, 학습 초기에 더 강력한 그래디언트를 제공한다.

기본 GAN 이후 제안된 다양한 손실 함수는 학습의 안정성과 생성 품질을 높이는 데 초점을 맞췄다. 대표적인 예로 Wasserstein GAN(WGAN)은 Earth-Mover 거리(또는 Wasserstein-1 거리)를 사용하여 판별기(비평가)의 출력을 확률값이 아닌 스칼라 점수로 바꾸고, 가중치 클리핑 등의 제약을 도입했다. 이는 학습이 더 안정적이며 모드 붕괴를 완화하는 데 도움이 된다. 또 다른 변형인 LSGAN(Least Squares GAN)은 교차 엔트로피 손실 대신 최소 제곱 손실을 사용하여 생성된 샘플의 품질을 개선하고자 했다.

DCGAN은 생성적 적대 신경망의 기본 구조에 합성곱 신경망(CNN)을 도입하여 이미지 생성 성능을 획기적으로 향상시킨 모델이다. 이전의 GAN이 완전 연결층을 주로 사용했던 것과 달리, 생성기와 판별기 모두에서 합성곱층과 전치 합성곱층을 활용한다. 이 접근법은 이미지의 공간적 계층 구조를 더 잘 학습할 수 있게 하여, 더 선명하고 현실적인 이미지를 생성하는 결과를 가져왔다.

DCGAN의 설계는 몇 가지 핵심적인 아키텍처 가이드라인을 따른다. 판별기에서는 풀링층(Pooling Layer)을 제거하고, 스트라이드 합성곱(Strided Convolution)을 통해 다운샘플링을 수행한다. 생성기에서는 무작위 노이즈 벡터를 입력받아, 전치 합성곱(Transposed Convolution)을 통해 점진적으로 고해상도 특징 맵을 생성해 나간다. 또한, 배치 정규화(Batch Normalization)를 생성기의 모든 층과 판별기의 대부분의 층에 적용하여 학습 안정성을 높였으며, ReLU와 Leaky ReLU 활성화 함수를 전략적으로 사용한다.

이러한 설계 선택은 학습 과정에서 내부 표현의 의미를 해석할 수 있는 가능성을 열었다. 예를 들어, 생성기의 잠재 공간 벡터를 조작함으로써 생성되는 이미지의 특정 속성(예: 얼굴의 방향, 표정, 머리카락 스타일 등)을 의미 있게 변화시킬 수 있음을 보여주었다. DCGAN은 단순한 기술적 개선을 넘어, GAN이 단순한 노이즈를 복잡한 이미지로 변환하는 '역합성곱' 과정을 통해 어떻게 시각적 개념을 학습하는지에 대한 이해의 토대를 마련했다.

DCGAN의 등장 이후, 대부분의 이미지 생성 GAN 연구는 합성곱 네트워크를 기본 골격으로 삼게 되었다. 이 모델은 이미지 합성, 특징 학습, 표현 학습 분야에서 이후 연구에 지속적인 영향을 미쳤다.

cGAN(조건부 생성적 적대 신경망)은 기본 GAN 구조에 조건 정보를 추가하여 생성 과정을 제어할 수 있도록 확장한 모델이다. 이안 굿펠로우가 제안한 원조 GAN은 잠재 공간에서 무작위 노이즈를 입력받아 데이터를 생성하기 때문에, 생성 결과의 구체적인 속성을 지정할 수 없다는 한계가 있었다. cGAN은 이 문제를 해결하기 위해 생성기와 판별기 모두에 추가적인 조건 레이블(예: 클래스 레이블, 텍스트 설명, 다른 이미지 등)을 입력으로 제공한다.

학습 과정에서 생성기(G)는 무작위 노이즈 벡터 z와 함께 목표 조건 y(예: '고양이'라는 클래스 레이블)를 받아 조건에 맞는 데이터를 생성한다. 판별기(D)는 실제 데이터 x와 조건 y의 쌍이 진짜인지, 혹은 생성기가 만든 가짜 데이터 G(z|y)와 조건 y의 쌍인지를 구별하도록 학습한다. 이로 인해 생성기는 주어진 조건 y에 최대한 부합하는 데이터를 생성하도록, 판별기는 조건과 데이터의 일관성을 더 정밀하게 평가하도록 유도된다. 손실 함수는 조건 정보를 포함하도록 수정된다.

cGAN의 주요 응용 분야는 다음과 같다.

이 구조 덕분에 cGAN은 이미지 합성, 이미지 편집, 데이터 증강 등 다양한 분야에서 정밀한 제어가 가능한 생성 모델로 널리 사용된다. 이후 등장한 pix2pix나 CycleGAN과 같은 많은 이미지 변환 모델들은 cGAN의 조건부 학습 프레임워크를 기반으로 한다.

CycleGAN은 이미지 대 이미지 변환 작업을 위해 제안된 생성적 적대 신경망 아키텍처이다. 기존의 paired 데이터셋(예: 낮과 밤의 같은 풍경 사진 쌍)이 필요했던 Pix2Pix와 달리, CycleGAN은 두 개의 다른 도메인(예: 말과 얼룩말, 여름 풍경과 겨울 풍경) 간의 변환을 짝지어진 학습 데이터 없이 가능하게 한다. 이는 각 도메인에서 수집된 두 개의 별도 이미지 집합만으로 학습이 이루어진다는 점에서 비지도 학습에 가깝다.

CycleGAN의 핵심 아이디어는 순환 일관성 손실이다. 이는 하나의 도메인 X에서 다른 도메인 Y로 변환한 이미지를 다시 원래 도메인 X로 되돌렸을 때, 원본 이미지와 유사해야 한다는 제약을 부여한다. 두 개의 생성기(G: X→Y, F: Y→X)와 두 개의 판별기(D_X, D_Y)가 사용되며, 판별기는 각각 자신의 도메인에 속한 진짜 이미지와 생성기가 만든 가짜 이미지를 구별하도록 학습한다. 순환 일관성 손실은 변환 과정이 의미를 보존하도록 강제하여, 사과를 오렌지로 바꾸는 동안 배경이나 형태는 그대로 유지하는 등의 결과를 만들어낸다.

CycleGAN은 다양한 창의적인 응용 분야에서 활용된다. 주요 예시는 다음과 같다.

이 모델의 한계는 복잡한 기하학적 변화가 필요한 변환(예: 고양이를 개로 변환)에는 효과적이지 않을 수 있으며, 학습 과정이 불안정할 수 있다는 점이다. 그러나 짝지어진 데이터의 부재라는 큰 장벽을 넘어, 도메인 간의 스타일과 텍스처 변환을 가능하게 한 획기적인 모델로 평가받는다.

StyleGAN은 NVIDIA 연구팀이 2018년에 제안한 생성적 적대 신경망 아키텍처로, 고해상도이고 매우 사실적인 얼굴 이미지 합성으로 유명해졌다. 기존 GAN과의 핵심 차별점은 생성기 네트워크에 도입된 스타일 기반의 구조에 있다. 이 아키텍처는 생성 과정을 '스타일'과 '노이즈'라는 두 가지 요소로 분리하여 제어한다.

주요 혁신은 어파인 변환을 통해 조절되는 '스타일 벡터'를 네트워크의 각 합성층에 주입하는 방식이다. 이는 AdaIN 레이어를 통해 구현되어, 이미지의 전역적 특성(머리 색, 포즈, 표정 등)과 지역적 특성(주근깨, 피부 질감 등)을 세밀하게 통제할 수 있게 한다. 또한, 각 픽셀에 독립적으로 추가되는 '노이즈'는 머리카락 위치, 모공과 같은 미세하고 무작위적인 변이를 생성하여 자연스러움을 더한다.

StyleGAN의 발전은 여러 버전을 거쳤다. 초기 StyleGAN은 고품질 이미지를 생성했으나, 때때로 '물방울' 아티팩트 같은 결함이 나타났다. 이를 해결한 StyleGAN2는 생성기 구조를 수정하고 경로 길이 정규화 같은 기법을 도입하여 이미지 품질과 학습 안정성을 크게 향상시켰다. 이후 StyleGAN3는 네트워크가 이미지의 절대 좌표에 과도하게 의존하는 '텍스처 스틱킹' 문제를 해결하여, 이미지의 회전 및 이동 변환에 대해 더 일관된 텍스처를 생성하도록 설계되었다.

이러한 설계는 단순히 얼굴 생성뿐만 아니라 다양한 도메인의 이미지(예: 자동차, 방, 예술 작품) 합성에도 적용되며, 이미지 편집과 스타일 변환 분야에서도 강력한 도구로 활용된다.

생성적 적대 신경망은 이미지 합성 분야에서 혁신적인 결과를 보여주며, 기존의 방법론을 크게 발전시켰다. 초기의 GAN은 저해상도이거나 비현실적인 이미지를 생성하는 데 그쳤지만, DCGAN과 같은 아키텍처의 등장으로 안정적인 고해상도 얼굴이나 실내 장면 이미지 생성이 가능해졌다. 이후 StyleGAN 시리즈는 생성 과정에 스타일을 주입하는 방식을 도입하여 포트레이트 사진과 같이 매우 사실적이고 세부 조절이 가능한 이미지를 만들어내는 수준에 이르렀다.

이미지 편집 응용에서는 cGAN이나 CycleGAN과 같은 조건부 또는 변환 모델이 핵심 역할을 한다. cGAN은 특정 레이블(예: '금발', '안경 쓴')을 조건으로 주어 원본 이미지의 속성을 변경하는 데 사용된다. 반면, CycleGAN은 쌍을 이루지 않은 데이터셋 간의 도메인 변환에 특화되어 있다. 예를 들어, 말 사진을 얼룩말 사진으로, 여름 풍경을 겨울 풍경으로, 스케치를 채색된 그림으로 변환하는 작업이 가능하다.

이러한 기술은 창의적인 콘텐츠 제작, 게임 그래픽 자산 생성, 가상 패션 모델링, 그리고 사진 보정 소프트웨어 등 다양한 상업적 및 예술적 분야에 적용되고 있다. 또한, 데이터가 부족한 의료 영상 분석 분야에서는 cGAN을 이용해 CT 스캔 이미지로부터 MRI 이미지를 합성하는 등 진단을 보조하는 연구도 활발히 진행되고 있다.

생성적 적대 신경망의 텍스트 생성 응용은 이미지 합성에 비해 상대적으로 늦게 발전했으며, 이산적인(discrete) 데이터인 텍스트를 생성기가 출력할 때 기울기 소실(vanishing gradient) 문제가 발생하기 때문이다. 생성기가 만들어낸 이산적인 단어 시퀀스에 대해 판별기가 내리는 평가 신호가 생성기로 매끄럽게(부드럽게) 전파되기 어렵다. 이를 해결하기 위해 시퀀스 투 시퀀스(Seq2Seq) 모델을 생성기로 사용하고, 강화 학습의 정책 경사(policy gradient) 방법을 도입한 SeqGAN이 초기 대표적인 모델로 제안되었다[6].

텍스트 생성 GAN의 주요 접근 방식은 생성기의 출력을 결정론적인 단어 선택이 아닌 확률 분포로 처리하는 것이다. 이를 통해 판별기의 피드백이 생성기의 매개변수 업데이트에 활용될 수 있다. 이후 연구에서는 어텐션 메커니즘을 결합하거나, 판별기를 합성곱 신경망(CNN)이나 순환 신경망(RNN)으로 구성하여 문장의 국소적/전역적 특징을 모두 판별하도록 진화했다. 조건부 생성적 적대 신경망(cGAN)을 적용하여 특정 주제나 감정을 가진 텍스트를 생성하는 연구도 활발하다.

텍스트 생성 GAN의 응용 분야는 다양하다. 창의적인 글쓰기 보조, 대화 에이전트의 응답 생성, 시나 소설의 초안 작성, 그리고 뉴스 기사나 제품 설명문 같은 구조화된 텍스트의 자동 생성을 포함한다. 또한, 기계 번역이나 문장 요약 작업에서 생성 품질을 향상시키는 보조 도구로 활용되는 연구도 진행되고 있다. 그러나 생성된 텍스트의 일관성, 장기 의존성(long-term dependency) 유지, 그리고 문법적 정확성 측면에서는 여전히 변환기(Transformer) 기반의 생성형 AI 모델에 비해 한계를 보인다.

생성적 적대 신경망은 음성 합성과 음악 생성 분야에서 혁신적인 결과를 보여주며, 기존의 규칙 기반 또는 통계적 방법을 넘어서는 자연스러운 오디오 콘텐츠를 만들어낸다. 음성 생성에서는 주로 Tacotron이나 WaveNet 같은 자기회귀 모델이 사용되었으나, GAN 기반 모델은 병렬 생성을 통해 더 빠른 합성 속도를 제공한다. 예를 들어, MelGAN이나 HiFi-GAN은 생성기가 멜-스펙트로그램 같은 중간 음성 표현을 실제 파형으로 변환하는 과정을 학습하여 고품질의 실시간 음성 합성을 가능하게 한다. 이러한 모델은 가상 비서나 텍스트 음성 변환 시스템의 핵심 기술로 활용된다.

음악 생성에 적용될 때는 단순한 멜로디 생성부터 완전한 다중 악기 편곡까지 그 범위가 넓다. MuseGAN은 피아노 롤 형식의 다성부 음악을 생성하는 대표적인 모델이다. 생성기는 다양한 악기 파트(예: 베이스, 드럼, 피아노, 기타)에 해당하는 이산 시계열 데이터를 동시에 만들어내고, 판별기는 생성된 음악 조각이 실제 음악 데이터베이스의 조각과 구별할 수 없는지 평가한다. 이는 화성과 리듬의 일관성을 유지하면서 새로운 음악을 창조하는 데 기여한다.

GAN을 이용한 음악 생성의 주요 접근법은 다음과 같이 정리할 수 있다.

이러한 기술은 창작 보조 도구, 게임 및 영화를 위한 맞춤형 배경 음악 생성, 개인화된 음악 추천 시스템 개발 등에 응용된다. 그러나 생성된 음악이 장기적인 구조와 논리적인 진행을 갖추도록 하는 것은 여전히 해결해야 할 과제로 남아있다.

불균형 데이터는 머신 러닝 분야에서 흔히 발생하는 문제로, 특정 클래스의 샘플 수가 다른 클래스에 비해 현저히 적은 데이터셋을 의미한다. 이러한 불균형은 모델이 다수 클래스에 과도하게 편향되어 학습되도록 만들어, 소수 클래스에 대한 예측 성능을 저하시킨다. 생성적 적대 신경망은 소수 클래스의 합성 데이터를 생성하여 데이터 분포를 균형 있게 조정하는 효과적인 데이터 증강 기법으로 활용된다.

GAN을 이용한 불균형 데이터 처리는 일반적으로 두 가지 방식으로 이루어진다. 첫째, 전체 데이터셋을 사용하여 하나의 GAN을 학습시킨 후, 생성기에 소수 클래스에 해당하는 조건을 주입하여 해당 클래스의 데이터를 집중적으로 생성하는 방법이다. 둘째, 소수 클래스 데이터만을 사용하여 별도의 GAN 모델을 학습시켜 새로운 샘플을 생성하는 방법이다. 후자의 경우, 데이터가 매우 부족할 때는 학습 자체가 어려울 수 있다는 한계가 존재한다.

이 접근법의 효과는 여러 분야에서 입증되었다. 예를 들어, 의료 영상 분석에서 희귀 질병의 이미지 데이터는 극히 적은 경우가 많다. GAN을 통해 정상 영상에서 병변 영상을 합성하거나, 소수의 병변 영상을 증강함으로써 분류기의 감지 성능을 크게 향상시킬 수 있다[7]. 금융 사기 탐지나 제조업의 불량품 검출과 같은 이상 탐지 분야에서도 정상 데이터에 비해 사기 또는 불량 샘플이 매우 적은 경우가 대부분이며, GAN은 이러한 소수 클래스(이상치)의 데이터를 생성하는 데 유용하게 적용된다.

이러한 방법은 기존의 오버샘플링 기법인 SMOTE (Synthetic Minority Over-sampling Technique)와 비교될 수 있다. SMOTE는 기존 소수 클래스 샘플들 간의 선형 보간을 통해 합성 데이터를 생성하는 반면, GAN은 데이터의 잠재 공간을 학습하여 보다 다양하고 현실적인 새로운 샘플을 생성할 수 있다는 장점을 가진다. 그러나 GAN의 학습 불안정성으로 인해 저품질의 샘플이 생성되거나, 오히려 편향을 증폭시킬 위험도 존재하므로 주의가 필요하다.

생성적 적대 신경망은 데이터의 분포를 학습하여 유사한 새로운 데이터를 생성하는 모델로, 희소 데이터가 존재하는 상황에서 이를 보완하는 데 효과적으로 활용된다. 희소 데이터는 특정 클래스나 영역의 샘플 수가 현저히 적어 모델의 학습을 방해하고 편향을 초래하는 경우가 많다. GAN은 기존의 희소한 데이터를 기반으로 해당 분포를 따르는 합성 데이터를 대량 생성함으로써 데이터셋의 균형을 맞추고 모델의 일반화 성능을 향상시킨다.

이 과정은 주로 데이터 증강 기법의 일환으로 수행된다. 기존의 단순 변환(회전, 크기 조정 등) 기법은 한정된 다양성만 제공하는 반면, GAN은 데이터의 본질적인 특징과 패턴을 포착하여 보다 현실적이고 다양한 새로운 샘플을 만들어낸다. 예를 들어, 의료 영상에서 희귀 질환의 영상이 매우 적은 경우, 해당 영상 데이터로 GAN을 학습시켜 합성 영상을 생성하면 진단 모델의 학습 데이터를 풍부하게 할 수 있다.

GAN을 이용한 희소 데이터 보완 시 고려해야 할 점은 생성된 데이터의 품질과 다양성이다. 모드 붕괴에 빠져 제한된 유형의 샘플만 반복 생성하거나, 원본 데이터의 중요한 특징을 왜곡할 위험이 있다. 따라서 생성된 합성 데이터의 품질을 평가하기 위해 FID나 IS와 같은 정량적 지표와 함께 도메인 전문가의 정성적 평가를 병행하는 것이 일반적이다. 이를 통해 희소한 실제 데이터의 분포를 정확하게 모방한 유용한 합성 데이터셋을 구축할 수 있다.

모드 붕괴(Mode Collapse)는 생성적 적대 신경망 학습 과정에서 발생하는 대표적인 문제점 중 하나이다. 이는 생성기가 다양한 종류의 실제 데이터를 생성하지 못하고, 판별기를 속이는 데 성공한 단 하나 또는 소수의 샘플만을 반복적으로 생성하는 현상을 의미한다. 결과적으로 생성기의 출력 다양성이 극단적으로 떨어지고, 학습 데이터의 전체 분포를 제대로 모방하지 못하게 된다.

모드 붕괴가 발생하는 주요 원인은 생성기와 판별기 사이의 불균형한 학습 경쟁에 있다. 생성기가 판별기를 성공적으로 속일 수 있는 특정 '모드'(패턴)를 발견하면, 그 모드에만 집중하여 샘플을 생성하는 것이 손실을 최소화하는 쉬운 길이 된다. 이는 생성기의 학습 목표가 판별기를 속이는 것에 초점이 맞춰져 있기 때문이다. 예를 들어, 숫자 0부터 9까지의 손글씨 데이터셋을 학습할 때 생성기가 숫자 '1'만을 반복해서 생성하면서도 판별기를 속일 수 있다면, 생성기는 다른 숫자를 생성하려는 동기를 잃게 된다.

이 문제를 완화하기 위한 여러 해결 방안이 연구되었다. 대표적인 방법으로는 미니맥스 게임의 손실 함수를 개선하는 것이 있다. 워서스테인 GAN(WGAN)은 Earth Mover's Distance를 사용하여 보다 안정적인 그래디언트를 제공하며, WGAN-GP는 그래디언트 패널티를 도입하여 모드 붕괴를 줄이는 데 기여했다. 또 다른 접근법으로는 미니배치 판별(Minibatch Discrimination)이 있다. 이 기법은 판별기가 한 번에 여러 샘플을 함께 고려하도록 하여, 생성기가 다양한 샘플을 만들어내도록 유도한다.

이러한 기술들은 생성기가 데이터 분포의 다양한 특성을 포착하도록 장려하지만, 모드 붕괴 문제를 근본적으로 완전히 해결했다고 보기는 어렵다. 따라서 이는 여전히 활발한 연구 주제로 남아 있으며, 새로운 아키텍처 설계와 학습 알고리즘 개선을 통해 해결 방안이 모색되고 있다.

생성적 적대 신경망의 학습 과정은 생성기와 판별기가 서로 경쟁하며 동시에 최적화되는 적대적 학습을 기반으로 합니다. 이 과정에서 두 네트워크의 균형이 깨지거나 학습 속도가 맞지 않으면, 전체 시스템이 안정적으로 수렴하지 않는 수렴 불안정성이 발생합니다. 이는 GAN 학습의 가장 큰 난제 중 하나로, 생성기의 출력이 진동하거나 품질이 개선되지 않는 현상을 초래합니다.

수렴 불안정성의 주요 원인은 내시 균형을 찾는 게임 이론적 특성에서 비롯됩니다. 생성기와 판별기의 목적 함수는 서로 상충되며, 한 네트워크가 너무 빠르게 학습하면 다른 네트워크의 학습 신호가 약화되거나 소실됩니다. 예를 들어, 판별기가 생성된 샘플과 실제 샘플을 너무 쉽게 구별해내면, 생성기로 전달되는 기울기가 사라지는 문제가 발생합니다. 반대로 생성기가 판별기를 속이는 단일 모드에만 특화되면 모드 붕괴로 이어집니다.

이 문제를 완화하기 위한 여러 해결 방안이 제안되었습니다. 대표적인 방법은 Wasserstein GAN(WGAN)입니다. WGAN은 기존의 Jensen-Shannon 발산 대신 워서스테인 거리를 사용하여 손실 함수를 재정의하고, 판별기 대신 비평가(Critic) 네트워크를 도입하며, 가중치 클리핑 등의 제약을 적용합니다. 이는 보다 연속적인 기울기를 제공하여 학습 안정성을 크게 향상시킵니다. 다른 접근법으로는 두 네트워크의 학습 속도를 조절하거나, 경사 페널티(Gradient Penalty)를 도입한 WGAN-GP, 역사적 평균을 사용하는 Unrolled GAN 등이 있습니다.

생성적 적대 신경망의 성능을 정량적으로 측정하고 비교하는 것은 어려운 과제이다. 전통적인 지도 학습 모델과 달리, 생성된 데이터에 대한 '정답'이 명확하지 않기 때문이다. 이에 따라 여러 평가 지표가 제안되어 연구 및 개발 현장에서 활용된다.

주요 평가 지표는 크게 정성적 평가와 정량적 평가로 나눌 수 있다. 정성적 평가는 인간 평가자에게 생성된 샘플(주로 이미지)을 보여주고 실제 데이터와 구분할 수 없는지, 또는 화질과 다양성이 우수한지를 주관적으로 판단하게 하는 방법이다. 정량적 평가는 수치 계산을 통해 객관성을 추구하며, 대표적으로 IS(Inception Score)와 FID(Fréchet Inception Distance)가 널리 사용된다. IS는 생성 이미지의 다양성과 선명도를 인셉션 네트워크의 출력 분포를 통해 측정하지만, 실제 데이터 분포와는 비교하지 않는 한계가 있다. 반면 FID는 실제 데이터 세트와 생성 데이터 세트의 특징 벡터 분포 사이의 거리를 계산하여 두 분포의 유사성을 직접 평가한다. 일반적으로 FID 점수가 낮을수록 생성 품질이 우수한 것으로 간주된다.

다음은 주요 정량적 평가 지표를 비교한 표이다.

이외에도 데이터 세트에 특화된 평가, 생성 샘플을 활용한 분류기 성능 측정, 또는 퍼플렉서티와 같은 지표가 텍스트 생성 모델 평가에 사용된다. 이상적인 평가는 단일 지표에 의존하기보다 여러 지표와 인간 평가를 종합하여 수행하는 것이 권장된다.

생성적 적대 신경망 기술의 발전은 매우 사실적인 가짜 영상, 즉 딥페이크를 생성하는 능력을 크게 향상시켰다. 이 기술은 원본 소스에 없는 인물의 얼굴을 대상 비디오에 자연스럽게 합성하거나, 특정 인물의 입모양과 표정을 조작하여 원하지 않는 발언을 하도록 만들 수 있다. 이러한 능력은 허위 정보의 유포, 명예 훼손, 사기, 정치적 선동 등 심각한 사회적 오용으로 이어질 가능성을 내포하고 있다.

딥페이크의 오용은 개인적 차원과 사회적 차원 모두에서 위험을 초래한다. 개인은 성적 콘텐츠 합성을 통한 디지털 성폭력이나 사칭을 통한 사기 범죄의 대상이 될 수 있다. 사회적으로는 선거 개입이나 사회적 분열 조장을 위한 가짜 뉴스 제작에 악용될 수 있으며, 이는 공공 담론의 신뢰를 근본적으로 훼손한다. 또한, 합법적인 영상 증거의 신뢰성 자체를 '합성 가능성'을 이유로 부정하는 '합성적 부인' 현상을 야기할 위험이 있다.

이러한 위험에 대응하기 위해 기술적, 법적, 교육적 접근이 병행되고 있다. 기술적으로는 딥페이크 탐지 알고리즘 개발과 생성 모델에 디지털 워터마크 삽입 등의 연구가 진행 중이다. 법제도적으로는 여러 국가에서 딥페이크 생성 및 유포를 규제하는 법안을 도입하거나 검토하고 있다. 동시에 미디어 리터러시 교육을 강화하여 대중이 생성된 콘텐츠를 비판적으로 평가할 수 있는 능력을 키우는 것도 중요한 해결 방안으로 꼽힌다.

생성적 적대 신경망은 학습 데이터에 내재된 패턴을 학습하여 새로운 데이터를 생성한다. 이 과정에서 학습 데이터셋 자체에 존재하는 사회적, 인구통계학적 편향이 모델에 의해 무비판적으로 학습되고, 생성 결과물을 통해 오히려 증폭될 수 있는 위험이 있다. 예를 들어, 특정 직업군 이미지를 생성할 때 학습 데이터가 역사적 불균형을 반영한다면, 모델은 해당 직업을 특정 성별이나 인종으로만 연관 지어 생성할 가능성이 높다[9].

이러한 편향 증폭 문제는 단순히 데이터의 통계적 불균형을 넘어, 모델의 내부 표현과 생성 메커니즘 전체에 편향이 스며들 수 있다는 점에서 복잡하다. 판별기가 편향된 기준으로 '진짜 같은' 데이터를 판별하고, 생성기는 그 기준에 맞추어 데이터를 생성하기 때문에 악순환이 고착화될 수 있다. 결과적으로 GAN은 기존의 사회적 고정관념을 재생산하거나 강화하는 도구가 될 수 있다.

편향을 완화하기 위한 접근법은 여러 단계에서 이루어진다. 가장 근본적인 방법은 학습 데이터셋의 구성과 데이터 전처리 단계에서 편향을 검토하고 교정하는 것이다. 또한, cGAN과 같이 조건부 레이블을 활용하거나, 판별기의 손실 함수에 공정성 제약 조건을 추가하는 등의 알고리즘적 개선 연구도 진행되고 있다. 생성 결과의 편향을 정량적으로 평가하기 위한 평가 지표 개발도 중요한 과제로 대두되고 있다.