전이 학습

전이 학습의 기본 아이디어는 한 도메인이나 작업에서 획득한 지식이 다른 관련된 도메인이나 작업을 학습하는 데 도움이 될 수 있다는 관찰에서 출발한다. 이는 인간이 새로운 기술을 배울 때 기존에 습득한 경험과 지식을 활용하는 방식과 유사하다. 예를 들어, 피아노를 배운 사람이 건반 악기인 하프시코드를 배우는 것이 더 빠르거나, 영어를 아는 사람이 독일어를 배우는 데 유리한 것과 같은 원리이다.

머신 러닝과 딥러닝 맥락에서 이 아이디어는 구체적으로 구현된다. 대규모 데이터셋(예: ImageNet)으로 광범위하게 학습된 모델은 이미지의 일반적인 특징(예: 모서리, 질감, 형태)을 효과적으로 추출하는 능력을 갖춘다. 전이 학습은 이러한 사전 학습된 모델의 하위 계층(초기 레이어)이 학습한 일반적인 표현을 새로운 작업에 재사용하는 것을 핵심으로 한다. 이는 새로운 작업을 처음부터 학습하는 것보다 훨씬 효율적이다.

이 접근법은 특히 목표 작업의 데이터가 부족할 때 강력한 이점을 발휘한다. 제한된 데이터만으로도 모델의 상위 계층만을 새 작업에 맞춰 미세 조정하거나 재학습함으로써, 적은 계산 자원과 시간으로 높은 성능을 달성할 수 있다. 따라서 전이 학습의 기본 아이디어는 '재사용'과 '효율성'에 기반하여, 인공지능 모델의 학습 과정을 가속화하고 일반화 성능을 향상시키는 데 있다.

전이 학습에서 지식 전이는 원천 도메인에서 습득한 지식이 목표 도메인에 어떻게 적용되는지에 따라 여러 유형으로 분류된다. 일반적으로 전이의 방향성과 목표 도메인의 데이터 라벨 유무에 따라 구분된다.

주요 유형은 다음과 같다.

이 분류 외에도, 전이의 형태에 따라 한국발 전이 (원천 데이터의 지식이 직접적으로 적용됨), 다중 과업 학습 (여러 관련 과업을 동시에 학습하여 상호 보완), 그리고 부정적 전이 (원천 지식이 오히려 목표 과업 성능을 저해하는 현상) 등으로도 구분된다. 적절한 전이 유형을 선택하는 것은 문제의 특성과 가용 데이터에 크게 의존한다.

사전 학습 모델 활용, 즉 파인튜닝(Fine-tuning)은 전이 학습에서 가장 널리 사용되는 접근법 중 하나이다. 이 방법은 대규모 데이터셋(예: ImageNet)으로 미리 학습된 모델의 가중치를 초기값으로 사용하여, 새로운 대상 작업(타겟 태스크)의 상대적으로 작은 데이터셋으로 모델 전체 또는 일부를 추가로 학습시키는 과정이다.

파인튜닝의 핵심은 사전 학습된 모델이 이미 일반적인 특징(예: 이미지의 엣지, 질감, 사물의 기본 형태, 텍스트의 문법과 의미)을 효과적으로 추출할 수 있는 능력을 보유하고 있다는 점에 기반한다. 따라서 새로운 작업에 맞게 모델을 세밀하게 조정함으로써, 처음부터 학습을 시작하는 것보다 훨씬 빠르게 높은 성능에 도달할 수 있다. 일반적인 절차는 다음과 같다.

1. 사전 학습된 모델(예: VGG, ResNet, BERT)을 로드한다.

2. 새로운 작업의 출력 형태(예: 다른 클래스 수)에 맞게 최종 분류층(fully connected layer)을 교체한다.

3. 새로운 데이터셋으로 모델을 재학습시킨다. 이때 학습률(learning rate)은 일반적으로 처음부터 학습할 때보다 낮게 설정하여, 기존에 학습된 유용한 지식을 크게 훼손하지 않도록 한다.

파인튜닝을 수행할 때는 어떤 층(layer)까지 재학습시킬지 결정하는 것이 중요하다. 전략은 데이터의 양과 대상 작업과 원천 작업의 유사성에 따라 달라진다.

이러한 접근법은 컴퓨터 비전과 자연어 처리 분야에서 표준적인 방법론으로 자리 잡았으며, 제한된 데이터로도 강력한 모델을 구축할 수 있게 해준다.

사전 학습된 모델을 특징 추출기로 사용하는 접근법은 전이 학습의 가장 기본적이고 보수적인 방법 중 하나이다. 이 방법에서는 대상 데이터셋으로 사전 학습된 모델의 가중치를 업데이트하지 않고 고정시킨다. 모델의 최종 분류기 층(일반적으로 완전 연결층과 소프트맥스 층)을 제거한 후, 남은 네트워크 부분(주로 합성곱 신경망의 경우 합성곱 기반 부분)을 입력 데이터로부터 고수준 특징 벡터를 추출하는 고정된 함수로 활용한다. 추출된 특징 벡터는 새로운 머신 러닝 분류기(예: 서포트 벡터 머신이나 간단한 다층 퍼셉트론)의 입력으로 사용되어 새로운 작업을 학습한다.

이 방식의 핵심 장점은 계산 효율성과 과적합 방지에 있다. 사전 학습 모델의 방대한 파라미터를 고정하기 때문에 학습해야 할 파라미터 수가 크게 줄어들어, 비교적 작은 대상 데이터셋으로도 빠르게 학습할 수 있다. 또한, 원본 모델이 대규모 데이터(예: ImageNet)로 학습한 일반적인 시각적 특징(예: 모서리, 질감, 형태)을 그대로 보존하므로, 작은 데이터셋에서 네트워크 전체를 미세 조정할 때 발생할 수 있는 과적합 위험을 현저히 낮춘다.

이 방법은 대상 데이터의 양이 극히 적거나(예: 수백 개 미만의 샘플), 계산 자원이 제한되어 있을 때, 또는 사전 학습 모델의 하위 층에서 추출한 특징이 새로운 작업에도 매우 유용할 것으로 판단될 때 특히 효과적이다. 예를 들어, ImageNet으로 사전 학습된 합성곱 신경망은 다양한 자연 이미지 분류 작업에서 강력한 특징 추출기 역할을 한다. 그러나 원본 작업과 대상 작업의 도메인 차이가 매우 클 경우(예: 자연 이미지에서 의료 영상으로의 전이), 추출된 특징의 유용성이 떨어져 성능에 한계를 보일 수 있다.

도메인 적응은 전이 학습의 한 접근법으로, 소스 도메인과 타겟 도메인 간의 분포 차이를 모델 아키텍처 설계 단계에서 명시적으로 해결하는 것을 목표로 한다. 이 방법은 단순히 사전 학습된 모델을 미세 조정하는 것을 넘어, 두 도메인의 데이터 분포를 정렬하거나 도메인 불변 특징을 학습하는 특수한 네트워크 구성 요소를 도입한다.

주요 기법으로는 적대적 생성 네트워크의 원리를 활용한 적대적 도메인 적응이 있다. 이 방법에서는 특징 추출기, 레이블 분류기와 함께 도메인 판별기를 함께 학습시킨다. 특징 추출기는 도메인 판별기가 소스와 타겟 데이터를 구분하지 못하도록 하는 특징을 생성하도록 훈련되며, 이를 통해 도메인에 관계없이 유용한 특징을 학습하게 된다. 다른 접근법으로는 최대 평균 차이와 같은 통계적 거리를 최소화하여 특징 분포를 정렬하는 방법, 또는 도메인 특화 층과 도메인 공유 층을 분리하여 설계하는 다중 작업 학습 구조 등이 있다.

다양한 도메인 적응 시나리오에 따라 다음과 같이 세부 유형으로 구분된다.

이러한 모델 아키텍처 설계 기반의 도메인 적응은 시뮬레이션 데이터를 실제 환경에 적용하거나, 한 기관에서 수집한 의료 영상을 다른 기관의 장비로 촬영한 영상에 적용하는 등, 데이터 분포 차이가 현저한 실전 문제 해결에 효과적이다. 그러나 추가적인 네트워크 구성 요소로 인해 계산 복잡도가 증가하고, 적대적 학습의 불안정성 등 새로운 하이퍼파라미터 튜닝 과제를 야기할 수 있다는 한계도 존재한다.

전이 학습의 가장 큰 장점은 적은 양의 데이터로도 높은 성능을 달성할 수 있는 데이터 효율성을 제공한다는 점이다. 대규모 데이터셋(예: ImageNet)으로 사전 학습된 모델은 이미 일반적인 특징과 패턴을 학습한 상태이므로, 새로운 관련 작업에 적용할 때 소량의 타겟 데이터만으로도 빠르게 조정되고 우수한 성능을 발휘한다. 이는 데이터 수집과 라벨링에 드는 비용과 시간을 크게 절감시킨다.

성능 측면에서, 전이 학습은 종종 처음부터 학습(scratch learning)하는 것보다 더 높은 정확도와 더 빠른 수렴 속도를 보인다. 사전 학습된 모델이 가진 일반화된 지식은 특정 작업에 대한 강력한 출발점이 되어, 모델이 타겟 작업의 세부 사항에 더 빨리 집중할 수 있도록 돕는다. 특히 데이터가 부족한 도메인에서는 이러한 성능 향상 효과가 두드러지게 나타난다.

이러한 효율성과 성능 향상은 산업 현장에서 딥러닝 모델의 실용성을 높이는 핵심 요소이다. 제한된 리소스 환경에서도 고품질의 모델을 배포할 수 있게 하여, 컴퓨터 비전과 자연어 처리를 포함한 다양한 분야의 응용 가능성을 크게 확장시켰다.

과적합은 대상 도메인의 데이터가 충분하지 않을 때, 모델이 소량의 학습 데이터에 지나치게 맞춰져 새로운 데이터에 대한 일반화 성능이 떨어지는 현상이다. 전이 학습은 적은 데이터로 학습을 시작하기 때문에, 특히 미세 조정 과정에서 이 위험이 높아진다. 모델이 원본 도메인의 세부적인 패턴에 집착하여 새로운 작업의 중요한 특징을 학습하지 못할 수 있다.

부정적 전이는 원본 도메인과 대상 도메인 사이의 차이가 크거나 관련성이 낮을 때 발생한다. 원본 도메인에서 학습된 지식이 새로운 작업의 학습을 방해하거나 성능을 오히려 저하시키는 경우를 말한다[4]. 이는 두 도메인의 특징 공간 분포가 상이하거나, 모델이 원본 도메인에 특화된 편향된 특징을 학습했기 때문이다.

이러한 문제를 완화하기 위한 주요 전략은 다음과 같다.

적절한 전이 학습 전략을 선택하지 않으면, 계산 자원과 시간을 투자했음에도 기대한 성능 향상을 얻지 못하거나, 심지어 독립적으로 학습한 모델보다 나쁜 결과를 초래할 수 있다. 따라서 원본과 대상 작업 간의 유사성을 사전에 분석하고, 실험을 통해 최적의 전이 방식을 찾는 것이 중요하다.

컴퓨터 비전과 자연어 처리 분야에서 전이 학습의 핵심은 대규모 데이터셋으로 미리 학습된 모델, 즉 사전 학습 모델을 활용하는 것이다. 이러한 모델은 방대한 양의 일반적인 지식을 내재하고 있어, 제한된 데이터를 가진 새로운 작업에 적용될 때 뛰어난 효율성과 성능을 보인다.

컴퓨터 비전 분야에서는 합성곱 신경망 기반의 모델들이 널리 사용된다. VGGNet은 작은 크기의 합성곱 필터를 깊게 쌓은 간단한 구조로, 강력한 특징 추출 능력을 보여주었다. ResNet은 잔차 학습을 통해 수십, 수백 개의 계층을 가진 매우 깊은 네트워크의 학습을 가능하게 하여, 기울기 소실 문제를 극복한 혁신적인 모델이다. 이 외에도 EfficientNet, Vision Transformer 등 다양한 아키텍처가 공개되어 있다.

자연어 처리 분야에서는 Transformer 아키텍처 기반의 모델들이 지배적이다. BERT는 양방향 문맥을 이해할 수 있도록 설계되어, 질문 답변, 텍스트 분류 등 다양한 다운스트림 작업에서 성능을 크게 향상시켰다. GPT 계열 모델은 자기 회귀 모델로, 대규모 언어 생성 능력으로 유명하다. 이러한 모델들은 위키피디아, BookCorpus와 같은 방대한 텍스트 코퍼스로 사전 학습된다.

아래 표는 주요 사전 학습 모델들의 특징을 요약한 것이다.

이러한 모델들은 PyTorch, TensorFlow와 같은 딥러닝 프레임워크의 모델 허브를 통해 쉽게 접근하고 다운로드하여 전이 학습에 활용할 수 있다.

전이 학습의 성공은 대규모로 공개된 고품질 데이터셋에 크게 의존한다. 이러한 데이터셋으로 사전 학습된 모델은 일반적인 시각적 또는 언어적 개념을 포착하여, 제한된 데이터를 가진 특정 다운스트림 태스크에 효과적으로 지식을 전이할 수 있는 기반을 제공한다.

컴퓨터 비전 분야에서 가장 영향력 있는 데이터셋은 ImageNet이다. 약 1,400만 장의 이미지와 2만 개가 넘는 세밀한 범주(예: '노르위치 테리어', '스포츠카')로 구성된 이 데이터셋은 합성곱 신경망의 발전을 주도했다. ImageNet으로 사전 학습된 모델은 객체 인식, 분류, 검출 등 다양한 비전 작업의 기본 특징 추출기로 널리 사용된다. 또 다른 중요한 데이터셋은 COCO이다. 이 데이터셋은 일상적인 장면을 묘사한 이미지에 객체 인스턴스에 대한 정밀한 세그멘테이션 마스크, 바운딩 박스, 캡션을 제공하여 객체 검출 및 인스턴스 세그멘테이션 모델 학습에 필수적이다.

자연어 처리 분야에서는 대규모 텍스트 코퍼스가 사전 학습의 토대를 이룬다. 위키피디아와 북코퍼스 같은 방대한 텍스트 컬렉션은 BERT나 GPT와 같은 트랜스포머 기반 언어 모델을 사전 학습하는 데 사용된다. 이러한 모델은 문법, 사실적 지식, 맥락적 의미를 학습하여 질문 답변, 텍스트 요약, 감정 분석 등의 작업에 적용된다. 구체적인 벤치마크 데이터셋으로는 GLUE와 SQuAD가 있으며, 이들은 모델의 언어 이해 능력을 평가하는 표준 도구 역할을 한다.

공개 데이터셋의 가용성은 연구의 민주화와 재현성을 촉진했지만, 데이터의 품질, 라벨링 편향, 그리고 특정 도메인(예: 의료, 위성 이미지)에서의 데이터 부족 문제는 여전히 중요한 과제로 남아 있다. 이는 도메인 적응 기법의 필요성을 부각시킨다.

컴퓨터 비전 분야는 전이 학습이 가장 성공적으로 정착된 영역 중 하나이다. 대규모 데이터셋인 ImageNet으로 사전 학습된 합성곱 신경망 모델들은 다양한 시각 인식 작업을 위한 강력한 기반 모델로 널리 사용된다. 이러한 모델들은 이미지의 일반적인 특징, 예를 들어 모서리, 질감, 형태, 객체 부분 등을 효과적으로 추출하는 능력을 학습했기 때문에, 새로운 작업에 적용할 때 뛰어난 성능을 보인다.

주요 적용 사례로는 객체 탐지, 이미지 분할, 이미지 분류 등이 있다. 예를 들어, ImageNet에서 사전 학습된 VGG나 ResNet과 같은 모델의 가중치를 초기값으로 사용하여, 자동차 번호판 인식이나 의류 스타일 분류와 같은 특정 작업에 대한 모델을 빠르게 구축할 수 있다. 이는 제한된 데이터만으로도 높은 정확도를 달성하는 데 기여한다.

또한, 도메인 적응은 컴퓨터 비전에서 중요한 전이 학습 기법이다. 이는 한 도메인(예: 합성된 가상 이미지)에서 학습된 지식을 다른 도메인(예: 실제 카메라로 촬영한 이미지)에 적용하는 기술이다. 이를 통해 실제 데이터 수집과 라벨링에 드는 비용을 크게 절감할 수 있다. 자율 주행 자동차의 시각 시스템이나 공장의 품질 검사 시스템 등에서 유용하게 활용된다.

자연어 처리 분야에서 전이 학습은 대규모 텍스트 코퍼스로 사전 학습된 언어 모델을 다양한 하위 작업에 적용하는 핵심 기법이다. BERT, GPT, RoBERTa와 같은 트랜스포머 기반 모델의 등장 이후, 이 접근법은 사실상의 표준이 되었다. 이러한 모델은 마스킹 언어 모델링이나 다음 단어 예측과 같은 자기지도 학습 과제를 통해 언어의 일반적인 표현과 문맥적 의미를 포착한다. 이후 특정 작업을 위한 데이터셋으로 미세 조정되거나, 추출된 문맥 임베딩이 분류기의 입력으로 사용된다.

전이 학습은 자연어 처리의 여러 주요 작업에서 뛰어난 성능 향상을 가져왔다. 예를 들어, 감정 분석, 개체명 인식, 질의응답 시스템, 기계 번역, 텍스트 요약 등에 광범위하게 적용된다. 사전 학습된 모델은 방대한 양의 비정제 텍스트에서 습득한 언어 지식을 바탕으로, 상대적으로 적은 양의 작업별 레이블 데이터만으로도 높은 정확도를 달성할 수 있다. 이는 각 작업을 위해 처음부터 대규모 레이블 데이터를 구축해야 하는 부담을 크게 줄여준다.

적용 방식은 주로 두 가지로 나뉜다. 첫째는 미세 조정으로, 사전 학습된 모델의 모든 가중치를 대상 작업의 데이터로 추가 학습하는 방식이다. 둘째는 특징 추출 방식으로, 사전 학습된 모델을 고정된 특징 추출기로 사용하고 그 출력 위에 얕은 분류기를 훈련시키는 방법이다. 전자는 일반적으로 더 높은 성능을 보이지만, 후자는 계산 비용이 적게 든다. 또한, 다중 작업 학습을 통해 여러 관련 작업을 동시에 학습하여 지식을 공유하는 접근법도 활발히 연구된다.

이러한 발전에도 불구하고, 자연어 처리에서의 전이 학습은 여전히 도전 과제를 안고 있다. 모델의 거대화에 따른 계산 자원 요구량, 특정 도메인(예: 의료, 법률)에 대한 적응 부족, 사전 학습 데이터에 내재된 편향이 하위 작업으로 전이될 위험 등이 주요 문제로 지적된다. 또한, 영점샷 학습이나 퓨샷 학습과 같은 적은 데이터 설정에서의 효과적인 지식 전이 방법론에 대한 연구가 지속되고 있다.

의료 분야, 특히 의료 이미지 분석은 전이 학습이 매우 효과적으로 적용되는 대표적인 분야이다. 의료 이미지는 전문적인 지식이 필요하고, 데이터 수집과 어노테이션에 높은 비용과 시간이 소요되며, 개인정보 보호 문제로 인해 대규모 공개 데이터셋 구축이 어렵다는 고유의 한계를 지닌다. 이러한 데이터 부족 문제를 해결하기 위해 컴퓨터 비전 분야에서 대규모 자연 이미지 데이터셋(예: ImageNet)으로 사전 학습된 모델을 의료 이미지에 적용하는 방법이 널리 사용된다.

일반적인 접근법은 CNN 기반의 사전 학습 모델(예: VGG, ResNet)을 기반으로 한다. 초기 단계에서는 모델이 자연 이미지에서 학습한 일반적인 시각 특징(예: 모서리, 질감, 형태)을 효과적으로 추출할 수 있다는 점에 주목한다. 의료 이미지(예: X선, CT, MRI, 조직 병리 슬라이드) 분석을 위해, 이 사전 학습 모델의 최종 분류층을 제거하고, 대상 의료 작업(예: 폐렴 감지, 종양 분할, 안저 검사)에 맞는 새로운 층으로 대체한 후 미세 조정을 수행한다. 이는 처음부터 모델을 무작위 초기화하여 학습시키는 것보다 훨씬 빠른 수렴과 높은 성능을 달성하게 한다.

전이 학습은 다양한 의료 이미지 분석 작업에 적용된다. 주요 응용 분야는 다음과 같다.

그러나 의료 영상에 전이 학습을 적용할 때는 주의가 필요하다. 자연 이미지와 의료 이미지 간의 도메인 차이가 클 경우, 오히려 성능이 저하되는 부정적 전이가 발생할 수 있다. 이를 완화하기 위해 도메인 적응 기법이 활용되거나, 의료 이미지 자체를 소량이라도 포함한 데이터셋(예: CheXpert, MIMIC-CXR)으로 사전 학습하는 방법이 연구된다. 또한, 모델의 결정에 대한 설명 가능성을 제공하는 XAI 기술과 결합하여 임상 현장에서의 신뢰성을 높이는 노력도 지속되고 있다.

전이 학습에서 하이퍼파라미터 튜닝은 모델의 최종 성능을 결정하는 중요한 단계이다. 사전 학습된 모델을 새로운 작업에 맞게 조정할 때, 모든 계층을 동일한 학습률로 업데이트하는 것은 비효율적일 수 있다. 일반적으로, 모델의 하위 계층(초기 합성곱 신경망 층 등)은 일반적인 특징을 이미 학습했으므로, 상위 계층(완전 연결 층 등)보다 낮은 학습률을 적용하여 미세 조정한다. 이는 기존 지식을 보존하면서 새로운 작업에 특화된 지식을 학습하도록 돕는다. 학습률 스케줄링 기법(예: 코사인 학습률 스케줄링)을 적용하여 학습이 진행됨에 따라 학습률을 점진적으로 감소시키는 것도 일반적인 전략이다.

과적합을 방지하기 위한 정규화 기법의 선택과 강도 설정도 핵심이다. 드롭아웃 비율, 가중치 감쇠 계수, 배치 정규화의 사용 여부 등을 신중히 조정해야 한다. 특히 대상 데이터셋의 크기가 작을 경우, 정규화의 중요성이 더욱 커진다. 조기 종료는 검증 세트의 성능을 모니터링하여 과적합이 시작되는 시점에서 학습을 중단하는 효과적인 방법으로, 튜닝해야 할 하이퍼파라미터의 수를 줄여준다.

최적의 하이퍼파라미터 조합을 찾기 위해 체계적인 탐색 방법이 사용된다. 주요 방법은 다음과 같다.

튜닝 과정에서는 검증 세트를 활용하여 다양한 조합의 성능을 평가하며, 최종 선택은 테스트 세트에서 한 번만 평가하여 일반화 성능을 확인한다.

전이 학습 모델의 성능을 평가할 때는 일반적인 머신 러닝 평가 지표와 더불어 전이의 효과를 직접적으로 측정할 수 있는 지표를 함께 고려하는 것이 중요하다. 기본적으로 정확도, 정밀도, 재현율, F1 점수 등이 널리 사용되며, 특히 클래스 불균형이 있는 데이터셋에서는 ROC 곡선 아래 면적(AUC)이 유용한 지표가 된다.

전이 학습의 성공 여부를 판단하기 위해서는 단순히 최종 성능뿐만 아니라 기준 모델과의 비교가 필수적이다. 여기서 기준 모델이란, 목표 작업에 대해 전이 학습 없이 처음부터 훈련된 모델을 의미한다. 평가 시에는 목표 작업의 검증 세트나 테스트 세트에서 두 모델의 성능을 비교하여, 전이 학습을 통해 얻은 성능 향상(또는 저하)을 정량화한다. 또한, 소스 도메인의 지식을 활용함으로써 목표 작업에 필요한 훈련 데이터의 양이 얼마나 절감되었는지, 또는 동일한 데이터 양으로 얼마나 더 빠르게 수렴하는지도 중요한 평가 요소가 된다.

특히 도메인 적응과 같은 시나리오에서는 소스 도메인과 타깃 도메인 간의 분포 차이를 고려한 평가가 필요하다. 이 경우, 타깃 도메인의 레이블이 없는 데이터에 대한 모델의 확신도나 일관성을 측정하는 엔트로피 기반 지표[8]가 사용되기도 한다. 궁극적으로 전이 학습 평가의 목표는 모델이 새로운 환경에서도 견고하고 일반화된 성능을 발휘하는지를 확인하는 것이다.