전이 학습 기법

전이 학습의 핵심 원리는 한 도메인에서 습득한 지식이 다른 관련 도메인에서의 학습을 촉진할 수 있다는 가정에 기반한다. 이는 인간이 새로운 기술을 배울 때 기존에 익힌 경험과 지식을 활용하는 방식과 유사하다. 예를 들어, 피아노를 배운 사람이 다른 건반 악기를 더 쉽게 배울 수 있는 것처럼, 인공신경망도 대규모 데이터셋(소스 도메인)으로 학습한 일반적인 패턴 인식 능력을 특정 데이터가 부족한 새로운 작업(타겟 도메인)에 적용한다.

이러한 접근법의 주요 동기는 표현 학습의 효율성과 데이터 부족 문제의 해결에 있다. 대규모 데이터셋(예: ImageNet)으로 사전 학습된 합성곱 신경망은 이미지의 계층적 특징(예: 모서리, 질감, 객체 부분)을 효과적으로 추출하는 방법을 학습한다. 따라서, 의료 영상이나 위성 사진과 같이 레이블이 달린 데이터가 적은 특정 분야에서도, 이 사전 학습된 모델의 하위 계층을 고정(freeze)하거나 미세 조정(fine-tuning)하여 높은 성능을 달성할 수 있다. 이는 제한된 계산 자원과 데이터로도 강력한 모델을 구축할 수 있게 한다.

결과적으로, 전이 학습은 머신 러닝과 딥러닝이 실용적인 문제에 적용되는 범위를 크게 확장시키는 핵심 기법으로 자리 잡았다.

전이 학습에서 소스 도메인은 사전 지식을 획득하는 데 사용되는 원본 데이터와 작업을 의미한다. 이 도메인은 일반적으로 대규모의 잘 정리된 데이터셋(예: ImageNet, Wikipedia 텍스트 말뭉치)과 이를 기반으로 훈련된 모델을 포함한다. 소스 도메인의 작업은 모델이 일반적인 특징 표현을 학습하도록 설계된다.

반면, 타겟 도메인은 실제로 해결하고자 하는 새로운 문제 영역이다. 타겟 도메인은 데이터가 부족하거나, 라벨이 없거나, 소스 도메인과 분포가 다를 수 있다. 예를 들어, 고양이와 개를 분류하는 모델(소스)을 의료 영상에서 종양을 탐지하는 작업(타겟)에 적용하는 경우가 이에 해당한다.

두 도메인 간의 관계는 전이 학습의 성패를 좌우하는 핵심 요소이다. 도메인 적응은 소스와 타겟 도메인의 데이터 분포 차이를 줄이는 기술로, 다음과 같은 유형의 차이를 해결한다.

성공적인 전이 학습은 소스 도메인에서 학습한 지식이 타겟 도메인에 유용할 것이라는 가정, 즉 도메인 유사성 가정에 기반한다. 두 도메인이 완전히 무관하다면, 오히려 성능을 저해하는 부정적 전이가 발생할 수 있다.

특징 기반 전이는 소스 도메인에서 학습한 특징 표현을 타겟 도메인에 적용하는 접근법이다. 이 방법의 핵심은 두 도메인의 데이터를 공통의 특징 공간으로 매핑하여, 도메인 간의 분포 차이를 최소화하는 것이다. 이를 통해 소스 도메인에서 추출한 유용한 특징이 타겟 작업에서도 효과적으로 활용될 수 있다. 대표적인 기법으로는 도메인 적응이 있으며, 특히 적대적 생성 신경망을 활용한 방법이 널리 연구되었다[1].

이 접근법은 주로 두 도메인의 데이터 분포 차이를 측정하고 줄이는 데 초점을 맞춘다. 일반적으로 사용되는 분포 차이 메트릭에는 최대 평균 차이와 코렐레이션 얼라인먼트 등이 있다. 이러한 차이를 최소화하는 손실 함수를 기존 작업 손실에 추가하여 네트워크를 함께 학습시키는 방식으로 구현된다. 결과적으로, 네트워크는 작업 수행에 유용하면서도 도메인에 불변적인 특징을 학습하게 된다.

특징 기반 전이는 시각적 도메인 적응 작업에서 두드러진 성과를 보인다. 예를 들어, 합성된 이미지(소스)에서 학습한 모델을 실제 이미지(타겟)에 적용하거나, 한 카메라로 촬영한 데이터를 다른 카메라 환경에 적용하는 경우에 효과적이다. 구현 방식에 따라 다음과 같이 구분될 수 있다.

이 방법의 성공은 적절한 특징 추출 수준(예: 하위 계층 vs 상위 계층)을 선택하고, 도메인 격차를 정확히 측정하는 데 크게 의존한다. 부적절한 정렬은 오히려 부정적 전이를 초래하여 타겟 작업의 성능을 저하시킬 수 있다.

모델 기반 전이는 사전 훈련된 모델의 구조나 파라미터 자체를 새로운 작업에 적용하거나 조정하는 접근법이다. 이 방법의 핵심은 대규모 데이터셋(예: ImageNet, 위키백과 텍스트 말뭉치)으로부터 학습한 모델의 지식을 보존하면서, 상대적으로 적은 데이터로 새로운 작업에 맞게 미세 조정하는 것이다. 일반적으로 심층 신경망의 하위 계층은 에지나 텍스처 같은 일반적인 저수준 특징을 학습하고, 상위 계층은 작업에 특화된 고수준 특징을 학습한다는 점에 착안한다. 따라서, 소스 도메인에서 훈련된 모델의 전체 또는 일부 계층을 고정하거나, 학습률을 낮추어 새로운 타겟 데이터로 추가 훈련하는 방식이 널리 사용된다.

가장 대표적인 예는 전이 학습에서의 미세 조정이다. 컨볼루션 신경망이나 트랜스포머 같은 아키텍처를, 타겟 도메인의 데이터로 전체 모델을 재훈련시키되 초기 가중치를 사전 훈련된 값으로 설정한다. 이때, 모델의 앞부분 계층은 비교적 낮은 학습률로 조정하거나 완전히 고정하여 일반적인 특징 추출기를 유지한 채, 뒷부분의 분류기 계층만 새롭게 학습시키는 전략이 효과적이다. 또 다른 방법으로는 사전 훈련된 모델을 고정된 특징 추출기로 사용하여, 그 출력 위에 얕은 새로운 분류기(예: 선형 분류기)를 훈련시키는 방식도 있다.

모델 기반 전이의 변형으로는 다중 작업 학습과 점진적 학습이 있다. 다중 작업 학습은 단일 모델이 여러 관련 작업을 동시에 학습하도록 설계되어, 작업 간 지식 공유를 촉진한다. 점진적 학습은 모델이 이전에 학습한 작업의 지식을 유지하면서 새로운 작업을 순차적으로 학습하는 패러다임이다. 이 외에도, 모델의 특정 모듈만을 새로운 작업에 맞게 교체하거나 확장하는 모듈식 접근법도 연구되고 있다.

이 접근법의 성공은 사전 훈련 모델의 품질과 소스-타겟 도메인 간의 관련성에 크게 의존한다. 두 도메인이 유사할수록 모델의 지식 전이가 효과적으로 이루어지지만, 차이가 클 경우 부정적 전이가 발생하여 오히려 성능이 저하될 수 있다. 따라서, 얼마나 많은 계층을 재훈련할지, 학습률을 어떻게 설정할지 등의 하이퍼파라미터 튜닝이 매우 중요하다.

관계 기반 전이는 소스 도메인과 타겟 도메인 사이의 데이터 포인트 간 관계나 구조적 유사성을 활용하는 접근법이다. 이 방법은 도메인 간의 특징 공간이나 데이터 분포가 크게 다를지라도, 데이터 내부의 관계 패턴(예: 유사성 그래프, 상관관계, 논리적 규칙)이 유사할 수 있다는 가정에 기반한다. 따라서 명시적인 특징 매핑이나 모델 가중치의 직접적인 이전보다는, 이러한 관계적 지식을 추출하여 새로운 도메인에 적용하는 데 중점을 둔다.

예를 들어, 소스 도메인에서 "A는 B와 유사하고, B는 C와 유사하다"는 관계 네트워크를 학습했다면, 타겟 도메인에서도 비슷한 관계 구조가 존재할 경우 이를 활용하여 새로운 데이터 포인트를 분류하거나 군집화할 수 있다. 이 접근법은 집단 이론이나 그래프 신경망과 같은 방법론을 활용하여 관계를 모델링한다.

이 방법은 특히 소셜 네트워크 분석, 추천 시스템, 생물정보학과 같이 데이터 자체보다 개체 간의 연결이나 상호작용이 중요한 분야에서 효과적이다. 그러나 관계 패턴이 도메인 간에 완전히 일치하지 않을 경우, 잘못된 관계가 전이되어 성능이 저하되는 부정적 전이의 위험이 존재한다.

컴퓨터 비전 분야는 전이 학습이 가장 활발하게 적용되고 성공적인 결과를 보여주는 분야 중 하나이다. 대규모 데이터셋인 ImageNet으로 사전 학습된 합성곱 신경망 모델은 다양한 시각 인식 작업의 강력한 기반 모델로 널리 사용된다. 이러한 모델은 일반적인 객체의 형태, 질감, 색상과 같은 저수준 및 고수준 시각 특징을 효과적으로 추출하는 능력을 학습하여, 제한된 데이터만으로도 새로운 작업에 빠르게 적응할 수 있게 한다.

주요 응용 사례로는 객체 탐지, 이미지 분류, 시맨틱 세그멘테이션 등이 있다. 예를 들어, ImageNet으로 사전 학습된 VGGNet이나 ResNet과 같은 모델의 가중치를 초기값으로 사용하여, 의료 영상 분석이나 위성 이미지 분석과 같은 특수 도메인의 데이터로 미세 조정을 수행한다. 이는 방대한 양의 주석이 달린 의료 데이터를 구축하기 어려운 상황에서도 높은 정확도를 달성하는 데 기여한다.

이러한 접근법은 데이터 부족 문제를 극복하고 모델 개발 시간을 단축시키는 동시에, 특히 도메인 적응 기법을 통해 소스 도메인(예: 일반 사진)과 타겟 도메인(예: 스케치, 만화) 간의 격차를 줄이는 연구로도 확장된다. 결과적으로 컴퓨터 비전에서의 전이 학습은 실용적인 시스템 구축의 핵심 요소로 자리 잡았다.

자연어 처리 분야에서 전이 학습은 사전 학습 언어 모델의 발전을 통해 혁신적인 성과를 거두었다. 대규모 텍스트 코퍼스로 사전 학습된 모델은 언어 표현과 문맥 정보를 포괄적으로 습득하며, 이후 다양한 하위 작업에 맞춰 미세 조정된다. 이 접근법은 텍스트 분류, 개체명 인식, 질의응답 시스템, 기계 번역 등 광범위한 과제에 적용된다. 특히 BERT, GPT, T5와 같은 트랜스포머 기반 모델이 대표적이다.

전이 학습은 자연어 처리의 데이터 부족 문제를 효과적으로 해결한다. 예를 들어, 특정 의료 분야의 감정 분석을 위해 라벨이 충분히 달린 데이터를 수집하기는 어렵다. 그러나 일반 도메인에서 사전 학습된 모델을 해당 의료 텍스트 데이터로 추가 학습시키면, 상대적으로 적은 데이터로도 높은 성능을 달성할 수 있다. 이는 모델이 이미 보유한 일반 언어 지식을 새로운 도메인에 전이하기 때문이다.

이러한 기법들은 다국어 모델 개발에도 기여하여, 고자원 언어에서 습득한 지식을 저자원 언어 처리 작업으로 전이하는 것을 가능하게 한다. 결과적으로, 자연어 처리에서 전이 학습은 모델 개발의 표준 패러다임으로 자리 잡았으며, 지속적으로 더 큰 규모와 다양한 방식의 사전 학습 및 전이 방법이 연구되고 있다.

음성 인식 분야에서 전이 학습은 제한된 데이터로도 강력한 성능을 달성하는 핵심 기술로 자리 잡았다. 기존의 은닉 마르코프 모델 기반 시스템과 달리, 딥러닝 기반 음성 인식은 대규모 데이터를 요구하지만, 많은 언어나 도메인은 충분한 레이블이 달린 음성 데이터를 확보하기 어렵다. 전이 학습은 영어나 중국어와 같은 자원이 풍부한 언어에서 학습된 모델의 지식을 활용하여, 저자원 언어나 특정 도메인(예: 의료, 법률)의 음성 인식 성능을 크게 향상시킨다.

주요 접근법으로는 사전 학습된 대규모 음성 인코더 모델을 미세 조정하는 방식이 널리 사용된다. 예를 들어, wav2vec 2.0이나 HuBERT와 같은 모델은 수천 시간의 레이블 없는 음성 데이터로 사전 학습되어 강력한 음성 표현을 학습한다. 이후 특정 언어나 도메인의 상대적으로 소량의 레이블 데이터로 미세 조정을 수행하면, 효율적으로 고품질의 음성 인식기를 구축할 수 있다. 이는 데이터 수집과 레이블링 비용을 획기적으로 절감한다.

전이 학습은 음성 인식의 여러 하위 과제에도 적용된다. 화자 인식, 감정 인식, 키워드 스팟팅 등의 작업은 공통의 음성 표현을 공유한다. 따라서 하나의 작업에서 학습된 모델의 하위 층(특징 추출기)을 다른 관련 작업에 전이하여, 처음부터 학습하는 것보다 빠르고 안정적인 수렴을 달성할 수 있다. 또한, 잡음이 많은 환경이나 특정 악센트에 대한 인식 성능을 개선하기 위해, 깨끗한 환경에서 학습된 모델을 대상 환경의 데이터로 추가 조정하는 도메인 적응 기법도 활발히 연구된다.

전이 학습의 가장 큰 장점은 적은 양의 타겟 도메인 데이터로도 높은 성능을 달성할 수 있는 데이터 효율성을 제공한다는 점이다. 대규모 데이터셋(예: ImageNet)으로 사전 학습된 모델은 일반적인 시각적 특징을 이미 습득하고 있기 때문에, 새로운 특정 작업(예: 의료 영상 분류)에 맞춰 미세 조정할 때 상대적으로 적은 수의 레이블된 데이터만으로도 빠르게 수렴하고 우수한 성능을 보인다. 이는 데이터 수집과 라벨링에 드는 시간과 비용을 크게 절감시킨다.

성능 측면에서도 전이 학습은 종종 처음부터 학습하는 것보다 더 높은 정확도를 달성한다. 사전 학습된 모델이 가진 지식은 특정 작업에 국한되지 않는 일반적인 표현을 포함하고 있어, 이는 새로운 작업에 대한 강력한 출발점이 된다. 특히 타겟 도메인의 데이터가 소스 도메인과 유사할수록, 또는 사전 학습된 모델이 충분히 일반화된 지식을 보유할수록 성능 향상 효과는 두드러진다.

다음 표는 전이 학습 적용 전후의 데이터 요구량과 성능을 간략히 비교한 것이다.

이러한 효율성과 성능 향상은 딥러닝 모델이 실용적인 문제, 특히 데이터 확보가 어려운 분야(의료, 제조, 농업 등)에 적용되는 데 핵심적인 역할을 한다.

부정적 전이는 소스 도메인에서 학습한 지식이 타겟 도메인에서의 성능을 오히려 저해하는 현상을 의미한다. 이는 두 도메인 간의 유사성이 낮거나, 소스 도메인의 과제가 타겟 도메인의 과제와 상충될 때 발생할 수 있다. 예를 들어, 고양이와 개를 구분하는 모델을 새와 물고기를 구분하는 데 적용하려 할 때, 학습된 특징이 오히려 방해 요인이 될 수 있다. 또한, 소스 모델이 너무 특정 도메인에 과적합되어 있거나, 전이 과정에서 잘못된 가중치가 강화되는 경우에도 부정적 전이가 일어난다.

도메인 격차는 소스 도메인과 타겟 도메인 사이에 존재하는 데이터 분포의 차이를 가리킨다. 이 격차는 다음과 같은 여러 형태로 나타난다.

도메인 격차가 클수록 부정적 전이의 위험은 증가하며, 전이 학습의 효과는 감소한다. 따라서 격차를 측정하고 줄이는 기법이 중요한 연구 주제로 부상했다. 도메인 적응은 이러한 도메인 격차를 명시적으로 줄이기 위한 방법론으로, 두 도메인의 특징 분포를 정렬하거나 도메인 불변 특징을 학습하는 방식을 취한다.