변이형 오토인코더 (r1)

변이형 오토인코더는 확률론적 생성 모델의 한 종류이다. 생성 모델은 주어진 데이터의 분포를 학습하여, 학습된 분포로부터 새로운 데이터를 생성하는 것을 목표로 한다. 확률론적 접근은 데이터 생성 과정을 확률 분포로 모델링하며, 관찰된 데이터가 어떤 확률 과정을 통해 생성되었는지를 추정한다.

이러한 모델은 관찰 데이터 $x$와 그 데이터를 생성하는 데 관여하는 보이지 않는 잠재 변수 $z$를 가정한다. 생성 과정은 일반적으로 두 단계로 이루어진다. 먼저, 잠재 공간에서 잠재 변수 $z$가 사전 분포 $p(z)$로부터 샘플링된다. 그런 다음, 이 잠재 변수 $z$가 조건부 분포 $p(x|z)$를 통해 관찰 가능한 데이터 $x$를 생성한다. 따라서 데이터의 결합 확률 분포는 $p(x, z) = p(x|z)p(z)$로 표현된다.

확률론적 생성 모델의 핵심 목표는 관찰 데이터의 주변 우도 $p(x)$를 최대화하는 것이다. 주변 우도는 모든 가능한 잠재 변수에 대해 적분하여 얻어진다: $p(x) = \int p(x|z)p(z) dz$. 그러나 이 적분 계산은 일반적으로 다루기 힘들거나 불가능한 경우가 많다. 변이형 오토인코더는 이 계산 난제를 해결하기 위해 변분 추론이라는 근사적 방법을 도입한다.

변이형 오토인코더의 핵심은 잠재 변수 모델을 기반으로 한다. 이 모델은 관찰된 데이터 x(예: 이미지)가 눈에 보이지 않는 잠재 변수 z에 의해 생성된다고 가정한다. 데이터의 분포 p(x)는 잠재 변수 z의 분포 p(z)와 이로부터 데이터를 생성하는 조건부 분포 p(x|z)를 통해 모델링된다. 즉, p(x) = ∫ p(x|z) p(z) dz로 표현된다. 그러나 이 적분 계산은 일반적으로 다루기 어렵거나 불가능한 경우가 많다.

이 계산적 난제를 해결하기 위해 변이형 추론이 사용된다. 변분 추론은 참 분포 p(z|x)를 다루기 쉬운 분포 q(z|x)로 근사하는 방법이다. 이때 q(z|x)는 변분 분포라고 불리며, 보통 정규분포와 같은 간단한 분포족으로 제한된다. 목표는 q(z|x)와 참 사후 분포 p(z|x) 사이의 차이를 최소화하는 것이다. 이 차이는 쿨백-라이블러 발산으로 측정되며, 이를 최소화하는 것은 증거 하한을 최대화하는 것과 동일하다.

따라서 VAE의 학습 목표는 이 증거 하한을 최대화하는 신경망 매개변수를 찾는 것이다. 인코더 네트워크는 변분 분포 q(z|x)를, 디코더 네트워크는 우도 p(x|z)를 모델링한다. 이 프레임워크를 통해 모델은 데이터의 효율적인 잠재 표현을 학습하면서도 새로운 데이터를 생성할 수 있다.

인코더는 변분 오토인코더의 입력 단계를 담당하는 신경망으로, 관측 데이터를 잠재 공간의 확률 분포로 매핑한다. 이 네트워크는 '추론 네트워크'라고도 불리며, 주어진 데이터에 대해 잠재 변수의 사후 분포를 근사하는 역할을 한다. 일반적으로 입력 데이터는 이미지, 텍스트, 음성과 같은 고차원의 관측값이며, 인코더는 이를 저차원의 잠재 변수 분포로 압축한다.

인코더의 출력은 단일한 점이 아니라, 잠재 변수의 확률 분포를 정의하는 파라미터이다. 가장 일반적인 설정은 잠재 공간이 다변량 정규분포를 따른다고 가정하는 것이다. 이 경우 인코더 네트워크는 입력 데이터 x를 받아, 잠재 변수 z의 평균 벡터 μ와 분산 벡터 σ²(또는 로그 분산)를 출력한다. 즉, 근사 사후 분포 q_φ(z|x)를 N(z; μ, diag(σ²))로 정의한다.

인코더의 구조는 주로 합성곱 신경망(이미지 데이터의 경우)이나 순환 신경망(시퀀스 데이터의 경우)과 같은 심층 신경망으로 구성된다. 인코더를 통해 얻은 분포 파라미터(μ, σ²)는 이후 재매개변수화 트릭을 사용하여 잠재 변수 z의 실제 샘플을 생성하는 데 활용된다. 이 과정은 모델이 확률적이면서도 역전파를 통한 학습이 가능하도록 만든다. 인코더의 가중치 φ는 손실 함수를 최소화하는 방향으로 학습되며, 이는 디코더와의 협동 학습을 통해 이루어진다.

변분 오토인코더의 핵심 목표는 입력 데이터를 잘 설명하는 잠재 변수의 분포를 학습하는 것이다. 이때 인코더는 입력 데이터를 받아 잠재 변수의 분포 매개변수(예: 평균과 분산)를 출력한다. 그러나 이 분포에서 직접 샘플링을 수행하면 역전파가 불가능해 학습이 어려워진다. 재매개변수화 트릭은 이 문제를 해결하기 위한 핵심 기법이다.

재매개변수화 트릭은 샘플링 과정을 미분 가능한 형태로 재구성한다. 구체적으로, 인코더가 출력한 평균(μ)과 분산(σ²)으로부터 직접 샘플 z를 뽑는 대신, 표준 정규 분포에서 뽑은 노이즈 ε과 변환식을 사용해 z를 계산한다. 수식으로는 z = μ + σ ⊙ ε 로 표현되며, 여기서 ε ~ N(0, I)이고 ⊙는 요소별 곱셈을 의미한다[1]. 이 트릭 덕분에 확률적 경사 하강법을 통한 오차 역전파가 가능해진다.

잠재 공간은 일반적으로 저차원의 연속 공간으로 정의되며, 재매개변수화 트릭을 통해 생성된 샘플 z가 이 공간의 점에 해당한다. 이 공간은 의미 있는 구조를 가지도록 학습되는데, 예를 들어 얼굴 이미지 데이터를 학습한 VAE의 잠재 공간에서는 웃음, 나이, 머리 색깔과 같은 속성이 부드럽게 변화하는 방향을 찾을 수 있다. 재매개변수화 트릭은 이러한 구조화된 잠재 공간 학습을 가능하게 하는 미분 가능한 경로를 제공한다.

디코더는 잠재 공간의 점 z를 입력으로 받아 원본 데이터 공간의 샘플 x̂를 재구성하거나 생성하는 신경망이다. 디코더는 생성 모델 p_θ(x|z)로 모델링되며, 이는 주어진 잠재 변수 z에 대해 데이터 x가 생성될 조건부 확률 분포를 나타낸다. 디코더 네트워크의 매개변수 θ는 이 분포의 통계적 특성(예: 가우시안 분포의 평균)을 결정한다.

일반적으로 디코더의 구조는 인코더와 대칭적으로 설계된다. 예를 들어, 합성곱 신경망 기반의 인코더가 점차 공간 해상도를 줄여나간다면, 디코더는 전치 합성곱이나 업샘플링 레이어를 사용하여 점차 해상도를 높여 최종 출력을 만든다. 디코더의 최종 출력층은 데이터의 형태에 맞춰진다. 연속값인 이미지 데이터의 경우, 각 픽셀 값을 로지스틱 시그모이드 또는 쌍곡탄젠트 함수를 통해 0에서 1 사이 또는 -1에서 1 사이로 매핑한다. 이때 출력은 각 픽셀의 독립적인 베르누이 분포 또는 가우시안 분포의 평균으로 해석된다.

디코더의 핵심 역할은 잠재 공간의 저차원 표현을 원본 데이터의 고차원 표현으로 의미 있게 변환하는 것이다. 잘 훈련된 VAE의 디코더는 잠재 공간에서의 작은 변화가 출력 이미지에서도 부드러운 변화로 이어지도록 학습된다. 이는 잠재 공간이 의미론적으로 연속적인 구조를 가지게 함으로써, 잠재 공간 내 보간을 통한 새로운 데이터 생성이나 특성 조작이 가능하게 한다.

재구성 손실은 변이형 오토인코더의 손실 함수를 구성하는 두 요소 중 하나로, 입력 데이터를 모델이 얼마나 정확하게 재구성할 수 있는지를 측정합니다. 이는 디코더 네트워크의 출력과 원본 입력 데이터 간의 차이를 계산합니다.

주로 사용되는 재구성 손실 함수로는 평균 제곱 오차와 이진 교차 엔트로피가 있습니다. 연속적인 값(예: 픽셀 강도)을 가진 데이터에는 평균 제곱 오차가, 이진 값(0 또는 1)을 가진 데이터에는 이진 교차 엔트로피가 더 적합한 경우가 많습니다. 재구성 손실은 인코더와 디코더를 통한 전 과정을 거쳐 계산되므로, 이 손실을 최소화하는 방향으로 모델의 가중치가 학습됩니다.

재구성 손실만을 최소화하면, 오토인코더와 유사하게 입력을 단순히 복사하는 데 가까운 모델이 만들어질 수 있습니다. 이를 방지하고 의미 있는 잠재 공간을 학습하도록 유도하는 것이 다른 구성 요소인 쿨백-라이블러 발산 손실의 역할입니다. 두 손실의 결합된 최소화를 통해 VAE는 효율적인 잠재 표현을 학습하면서도 원본 데이터의 특징을 보존하는 재구성을 수행할 수 있습니다.

변이형 오토인코더의 손실 함수는 재구성 손실과 KL 발산 손실의 두 항으로 구성된다. KL 발산 손실은 쿨백-라이블러 발산을 사용하여, 인코더가 출력하는 잠재 변수의 사후 분포 q(z|x)를 사전에 가정한 잠재 변수의 사전 분포 p(z)에 가깝게 만드는 정규화 항 역할을 한다.

이 손실 항은 다음과 같이 계산된다.

일반적으로 사전 분포 p(z)는 표준 정규 분포 N(0, I)로 설정한다. 인코더는 입력 x에 대해 잠재 변수 z의 평균 μ와 분산 σ²(또는 로그 분산)를 출력하며, q(z|x)는 N(μ, σ²I)로 가정한다. 이 경우 KL 발산은 다음과 같은 해석적 형태를 가지며, 효율적으로 계산될 수 있다[2].

D_KL(N(μ, σ²) \|\| N(0, 1)) = 1/2 * Σ (1 + log(σ²) - μ² - σ²)

KL 발산 손실을 최소화함으로써 모델은 잠재 공간의 구조를 규제한다. 각 잠재 변수의 차원이 독립적이고 단위 분산을 가지도록 유도하여, 잠재 공간이 연속적이고 구조화되도록 만든다. 이는 디코더가 임의의 z를 입력으로 받아 의미 있는 샘플을 생성할 수 있도록 하는 데 필수적이다. 재구성 손실만 사용하면 오토인코더와 유사하게 과적합되기 쉬운 불규칙한 잠재 공간이 생성되지만, KL 발산 항은 이를 방지하고 생성 모델로서의 일반화 능력을 부여한다.

β-VAE는 변이형 오토인코더의 손실 함수에 가중치 β를 도입하여 잠재 공간의 표현 학습을 정규화하는 모델이다. 이는 2017년 히긴스(Irina Higgins) 등에 의해 제안되었으며, 잠재 변수의 표현을 더 해석 가능하고 분리되도록 만드는 것을 목표로 한다[3].

기존 VAE의 손실 함수는 재구성 손실과 쿨백-라이블러 발산 정규화 항의 합으로 이루어져 있다. β-VAE는 이 정규화 항에 β > 0인 계수를 곱하여 손실 함수를 수정한다. β 값은 재구성 정확도와 잠재 공간 정규화 간의 균형을 조절한다. β가 1이면 표준 VAE와 동일하며, β > 1일 경우 정규화 항의 영향력이 강해져 인코더가 잠재 변수의 사후 분포를 사전 분포(보통 표준 정규 분포)에 더 가깝게 만든다. 이는 잠재 표현의 통계적 독립성을 촉진하여, 학습된 각 잠재 차원이 데이터의 단일하고 해석 가능한 생성 요인(예: 물체의 크기, 회전 각도, 색상)에 대응되도록 유도한다.

β 값에 따른 모델의 특성은 다음과 같이 요약할 수 있다.

β-VAE는 특히 비지도 학습 환경에서 데이터의 기본적인 생성 요인을 발견하는 데 효과적이다. 예를 들어, 3D 렌더링된 얼굴 이미지 데이터셋에서 β-VAE를 학습시키면, 각 잠재 변수가 얼굴의 방위각, 고도각, 조명 조건 등과 같은 독립적인 물리적 속성에 대응되는 것을 확인할 수 있다. 그러나 β 값을 지나치게 크게 설정하면 재구성 정확도가 심각하게 저하되어 생성 품질이 나빠질 수 있다는 단점도 있다. 이 한계를 보완하기 위해 학습 중에 β 값을 점진적으로 증가시키는 등의 후속 연구가 이루어졌다.

Conditional VAE(CVAE)는 변이형 오토인코더의 조건부 생성 버전이다. 기본 VAE가 무작위 잠재 변수 z로부터 데이터를 생성하는 반면, CVAE는 특정 조건 정보 c가 주어졌을 때 해당 조건에 맞는 데이터를 생성하도록 확장되었다. 이는 레이블, 텍스트 설명, 다른 도메인의 이미지 등 다양한 형태의 조건을 입력으로 사용할 수 있다. 모델의 목표는 조건 c 하에서 데이터 x의 조건부 분포 c)를 근사하는 것이다.

CVAE의 구조는 기본 VAE와 유사하지만, 인코더와 디코더 모두에 조건 정보 c가 추가 입력으로 공급된다는 점이 핵심 차이이다. 인코더는 데이터 x와 조건 c를 함께 받아 조건부 잠재 변수의 사후 분포 x, c)를 추정한다. 디코더는 샘플링된 잠재 변수 z와 조건 c를 함께 받아 조건에 부합하는 데이터 x를 재구성하거나 생성한다. 이로 인해 손실 함수도 조건부 확률을 반영하도록 수정된다.

CVAE는 조건에 따라 다양한 데이터를 생성할 수 있어 여러 응용 분야에서 활용된다. 주요 예시는 다음과 같다.

이러한 구조 덕분에 CVAE는 생성 과정을 보다 세밀하게 제어할 수 있으며, 지도 학습 및 준지도 학습 설정에서 데이터의 조건부 분포를 효과적으로 모델링하는 도구로 사용된다.

VQ-VAE(Vector Quantized Variational AutoEncoder)는 변이형 오토인코더의 한 변형으로, 연속적인 잠재 공간 대신 이산적인(discrete) 잠재 표현을 학습하는 생성 모델이다. 이 접근법은 심층 학습 모델이 인간의 인지 체계와 유사하게 이산적인 기호나 개념을 처리할 수 있도록 하며, 특히 고품질의 이미지와 음성 생성 분야에서 강점을 보인다.

VQ-VAE의 핵심은 벡터 양자화 계층이다. 인코더는 입력 데이터를 연속적인 잠재 벡터로 변환한 후, 이 벡터를 미리 정의된 크기의 코드북에서 가장 가까운 임베딩 벡터로 대체한다. 이 과정을 통해 연속적인 잠재 변수는 그 값이 가장 유사한 코드북 항목의 인덱스로 변환된다. 디코더는 이 이산적인 인덱스(양자화된 코드)를 다시 받아 원본 데이터를 재구성한다. 학습은 재구성 손실과 코드북 벡터를 업데이트하기 위한 직교 손실을 통해 이루어진다.

VQ-VAE의 주요 장점은 높은 수준의 의미론적 정보를 담은 이산적 잠재 공간을 구축한다는 점이다. 이 공간은 자율 회귀 모델인 PixelCNN이나 트랜스포머와 같은 모델로 추가적으로 모델링되어 장기간의 일관된 시퀀스 생성을 가능하게 한다. 이 구조는 이미지 생성, 음성 합성, 비디오 예측 등에서 널리 사용된다. 또한, 코드북의 크기를 조절하여 표현력과 계산 효율성 사이의 균형을 맞출 수 있다.

변이형 오토인코더는 잠재 공간을 통해 이미지의 압축된 표현을 학습하고, 이를 바탕으로 새로운 이미지를 생성하는 데 효과적으로 활용된다. 인코더는 입력 이미지를 잠재 변수의 확률 분포(보통 정규 분포)로 변환하고, 디코더는 이 잠재 변수 샘플로부터 원본 이미지를 재구성하거나 변형된 새로운 이미지를 생성한다. 이 과정에서 모델은 데이터의 핵심적인 특징을 저차원의 연속적인 잠재 공간에 압축하여 표현하게 된다.

이미지 생성 측면에서 VAE는 잠재 공간 내에서 임의의 점을 샘플링하거나 점진적으로 보간하여 새로운 이미지를 합성할 수 있다. 예를 들어, 숫자 '1'과 '7'의 잠재 표현 사이를 선형적으로 보간하면 두 숫자 사이의 형태를 가진 자연스러운 이미지 시퀀스를 생성할 수 있다[5]. 이는 GAN과 같은 명시적인 판별자가 없는 생성 모델로서, 비교적 안정적인 학습이 가능하다는 장점이 있다.

이미지 압축 관점에서는 VAE가 손실 압축 방식으로 작동한다고 볼 수 있다. 인코더를 통해 이미지를 잠재 공간의 평균과 분산 파라미터로 압축하고, 디코더를 통해 복원한다. 압축률은 잠재 공간의 차원에 의해 결정되며, 재구성 손실과 KL 발산 손실 사이의 균형을 통해 복원 품질을 조절할 수 있다. 이는 단순한 픽셀 단위 복원이 아니라 데이터의 통계적 분포를 학습하여 압축하기 때문에, 전통적인 압축 알고리즘과는 다른 접근법을 제공한다.

그러나 VAE 기반 이미지 생성은 종종 GAN에 비해 생성된 이미지의 선명도와 디테일이 부족하다는 평가를 받는다. 이는 재구성 손실이 픽셀 단위 평균 제곱 오차를 사용할 때 발생할 수 있는 흐릿한 결과 때문이다. 이러한 한계를 극복하기 위해 VQ-VAE나 β-VAE 같은 변형 모델들이 제안되며, 이미지의 국소적 특징을 더 잘 포착하거나 잠재 공간의 해석 가능성을 높이는 방향으로 발전하고 있다.

이상 탐지는 정상 데이터의 패턴을 학습한 모델이 이 패턴에서 벗어나는 샘플을 식별하는 작업이다. 변이형 오토인코더는 정상 데이터로만 학습하여 정상 데이터의 확률 분포를 모델링하고, 재구성 오차나 잠재 공간의 편차를 기준으로 이상을 판단한다.

학습 단계에서는 정상 데이터만을 사용하여 VAE를 훈련시킨다. 모델은 정상 데이터의 특징을 효율적으로 압축하고 재구성하는 방법을 학습하게 된다. 추론 단계에서는 새로운 입력 데이터를 모델에 통과시켜 재구성 오차(예: 평균 제곱 오차)를 계산하거나, 인코더가 출력하는 잠재 변수의 분포가 사전 분포(보통 표준 정규 분포)와 얼마나 다른지를 측정한다[6]. 이 값이 사전에 정의한 임계값을 초과하면 해당 데이터를 이상으로 판단한다.

VAE 기반 이상 탐지의 주요 접근법은 다음과 같다.

이 방법은 제조업에서 결함 제품 검출, 사이버 보안에서 침입 탐지, 금융에서 사기 거래 식별 등 다양한 분야에 적용된다. VAE는 생성 모델로서 정상 데이터의 매니폴드를 학습하기 때문에, 그 매니폴드 상에 존재하지 않는 새로운 패턴을 효과적으로 찾아낼 수 있다는 장점을 가진다. 그러나 정상 데이터의 변이가 매우 클 경우 이를 정상으로 오인하거나, 학습 데이터에 미량의 이상치가 포함되면 탐지 성능이 저하될 수 있는 한계도 존재한다.

변이형 오토인코더는 제한된 양의 데이터로 모델 성능을 향상시키기 위한 데이터 증강의 효과적인 도구로 활용된다. 기존의 변환 기반 증강(회전, 자르기, 색상 조정 등)과 달리, VAE는 데이터의 잠재적 분포를 학습하여 의미론적으로 유효한 새로운 샘플을 생성한다. 이는 단순한 픽셀 변형이 아닌, 학습된 데이터의 본질적 특성을 바탕으로 한 변형을 가능하게 하여 모델의 일반화 능력을 높이는 데 기여한다.

데이터 증강을 위해 VAE를 사용하는 일반적인 절차는 다음과 같다. 먼저, 원본 데이터셋으로 VAE를 학습시켜 인코더와 디코더를 얻는다. 이후, 학습된 잠재 공간에서 무작위로 점을 샘플링하거나, 기존 데이터 포인트의 잠재 표현을 약간 변형시켜 새로운 잠재 벡터를 생성한다. 이렇게 생성된 잠재 벡터를 디코더에 통과시켜 원본 데이터와 유사하지만 새로운 특성을 가진 데이터를 생성한다. 예를 들어, 손글씨 숫자 데이터셋에서 특정 숫자의 스타일(기울기, 굵기)을 미세하게 변화시킨 새로운 이미지를 만들어낼 수 있다.

VAE 기반 데이터 증강의 주요 장점은 제어 가능한 다양성 생성에 있다. β-VAE와 같은 변형을 사용하면 잠재 공간의 해석 가능성을 높여, 생성되는 샘플의 특정 속성(예: 이미지의 밝기, 방향)을 더 세밀하게 조절할 수 있다. 또한, Conditional VAE는 특정 클래스 레이블이 주어진 상태에서 해당 클래스에 속하는 새로운 샘플을 생성하는 데 특화되어 있어, 클래스 불균형 문제를 해결하는 데 유용하게 적용된다. 그러나 생성된 샘플의 품질이 원본에 비해 흐리거나 디테일이 떨어질 수 있는 한계도 존재한다[7].

변분 오토인코더(VAE)와 생성적 적대 신경망(GAN)은 모두 잠재 공간에서 데이터를 생성하는 대표적인 생성 모델이지만, 그 접근 방식과 특징에는 뚜렷한 차이가 존재한다.

GAN은 생성기 네트워크가 판별기 네트워크를 속이려고 하는 경쟁 과정을 통해 학습한다. 이로 인해 생성된 샘플의 시각적 선명도가 매우 높은 경우가 많다. 반면, VAE는 데이터의 우도를 직접 최대화하려는 명시적인 목표를 가지며, 재구성 손실과 KL 발산의 균형을 통해 학습한다. 이는 VAE가 더 안정적으로 학습되게 하지만, 손실 함수에 포함된 평균 제곱 오차(MSE) 등의 항이 생성 이미지에 평균화 효과를 내어 흐릿함을 초래하는 원인이 되기도 한다[8].

응용 측면에서 VAE는 데이터의 압축, 이상 탐지, 의미적 보간과 같은 작업에 강점을 보인다. 이는 구조화된 잠재 공간 덕분에 잠재 변수를 조작하여 데이터를 연속적으로 변형시키기 쉽기 때문이다. GAN은 고해상도 및 고품질 이미지 생성, 이미지-이미지 변환, 스타일 변환 등 시각적 충실도가 중요한 생성 작업에서 두각을 나타낸다. 이후 연구에서는 두 모델의 장점을 결합한 VAE-GAN 하이브리드 모델이나, VAE의 안정적인 학습 프레임워크를 유지하면서 생성 품질을 높이려는 다양한 시도가 이루어졌다.

변이형 오토인코더(VAE)는 기본적인 오토인코더(AE)의 구조를 확률론적 생성 모델의 프레임워크로 재해석한 모델이다. 가장 근본적인 차이는 설계 목적에 있다. 전통적인 오토인코더는 주로 입력 데이터의 효율적인 압축 표현(인코딩)을 학습하여 노이즈 제거나 차원 축소 같은 임무에 중점을 둔다. 반면, VAE는 명시적인 확률 분포를 가정하고 데이터가 생성되는 과정을 모델링하여, 학습된 잠재 공간에서 새로운 데이터 샘플을 생성하는 것을 주요 목표로 한다.

이 목적의 차이는 구조와 학습 방식에 직접적으로 반영된다. 일반 오토인코더의 인코더는 입력을 결정론적인 하나의 잠재 벡터로 매핑한다. 그러나 VAE의 인코더는 입력을 하나의 점이 아닌, 잠재 변수의 확률 분포(보통 정규분포)의 매개변수(평균과 분산)로 매핑한다. 디코더는 이 분포에서 샘플링된 잠재 벡터를 입력으로 받아 원본 데이터를 재구성하거나 생성한다. 이 샘플링 과정을 신경망이 학습할 수 있도록 만드는 핵심 기법이 재매개변수화 트릭이다.

학습 시 사용하는 손실 함수도 다르다. 오토인코더의 손실은 주로 입력과 출력 사이의 재구성 오차(예: 평균 제곱 오차)만으로 구성된다. VAE의 손실 함수는 재구성 손실에 더해, 인코더가 추정한 잠재 변수의 분포와 사전에 가정한 분포(표준 정규분포) 사이의 차이를 측정하는 쿨백-라이블러 발산(KL 발산) 항을 포함한다. 이 KL 발산 항은 잠재 공간의 구조를 규제하여 연속적이고 의미 있는 공간을 형성하게 만드는 핵심 요소이다.

결과적으로, 두 모델이 학습하는 잠재 공간의 성질은 현저히 다르다. 기본 오토인코더의 잠재 공간은 결정론적이지만 규제가 없어서 공간 내 점들의 분포가 불규칙할 수 있다. VAE의 잠재 공간은 확률 분포에 의해 규제되므로 더 잘 조직화되고, 공간 내에서의 보간이 부드럽고 의미 있는 새로운 샘플 생성으로 이어질 가능성이 높다. 따라서 순수한 재구성 성능만 본다면 오토인코더가 더 나을 수 있으나, 데이터의 생성과 잠재 공간의 해석 가능성이 중요할 경우 VAE가 선호된다.