준지도 학습 기법편집자 확인

준지도 학습은 지도 학습과 비지도 학습의 중간 형태로, 적은 양의 레이블 데이터와 많은 양의 비레이블 데이터를 함께 사용하여 모델을 학습시키는 머신 러닝 패러다임이다. 핵심 원리는 레이블이 지정된 소량의 데이터로 학습된 초기 모델이 레이블이 없는 대량의 데이터에 대해 예측을 수행하고, 이 중 신뢰도가 높은 예측 결과를 새로운 '가짜 레이블'로 삼아 학습 데이터에 추가하여 모델을 점진적으로 개선하는 것이다. 이 과정은 레이블이 없는 데이터의 내재된 구조나 분포 정보를 활용하여 일반화 성능을 높이는 것을 목표로 한다.

기본 원리는 크게 두 가지 가정에 기반한다. 첫째는 연속성 가정으로, 입력 공간에서 가까이 위치한 샘플들은 동일한 레이블을 가질 가능성이 높다는 것이다. 둘째는 집단성 가정으로, 데이터는 서로 다른 집단(클러스터)을 형성하며, 같은 집단 내의 샘플들은 동일한 레이블을 공유할 가능성이 높다는 것이다. 이러한 가정 하에, 모델은 레이블이 있는 데이터에서 얻은 결정 경계를, 레이블이 없는 데이터의 구조를 통해 매끄럽게 조정하거나 확장한다.

주요 접근 방식은 레이블 정보의 전파에 초점을 맞춘다. 예를 들어, 그래프 기반 방법은 데이터 샘플들을 노드로, 유사도를 간선 가중치로 하는 그래프를 구성한 후, 레이블이 있는 노드에서 출발한 정보가 그래프를 따라 전파되도록 하여 비레이블 노드에 레이블을 부여한다. 생성적 모델은 레이블이 있는 데이터와 없는 데이터가 동일한 혼합 모델에서 생성되었다고 가정하고, 모델 파라미터를 추정하여 비레이블 데이터의 클래스를 추론한다.

현실 세계의 많은 문제에서 레이블이 달린 데이터를 대량으로 수집하는 것은 시간, 비용, 전문성 측면에서 큰 부담이 된다. 예를 들어, 의료 영상 진단을 위한 데이터는 전문의의 정확한 판독이 필요하며, 스팸 메일 필터링을 위한 데이터는 수많은 메일을 사람이 직접 분류해야 한다. 이에 반해 레이블이 없는 데이터는 상대적으로 쉽게 구할 수 있다. 준지도 학습은 이처럼 제한된 레이블 데이터와 풍부한 무레이블 데이터를 함께 활용하여 모델의 성능을 향상시키려는 필요성에서 등장했다.

준지도 학습의 필요성은 데이터의 특성인 표현 가정과 클러스터 가정에 기반한다. 이 가정들은 레이블이 없는 데이터의 분포가 레이블이 있는 데이터의 분포와 유사하며, 서로 가까이 위치한 데이터 포인트들은 동일한 레이블을 공유할 가능성이 높다는 통찰을 제공한다[2]. 따라서 무레이블 데이터를 활용하면 결정 경계를 데이터가 밀집된 저밀도 영역이 아닌, 데이터가 희소한 고밀도 영역 사이로 보다 정확하게 설정할 수 있게 된다.

결론적으로, 준지도 학습은 레이블링 비용을 절감하면서도 과적합을 방지하고 일반화 성능을 높일 수 있는 실용적인 해결책을 제공한다. 이는 빅 데이터 시대에 데이터는 풍부하지만 그에 상응하는 정답(레이블)은 부족한 현실적인 딜레마를 해결하는 핵심 접근법 중 하나로 자리 잡았다.

완전 지도 학습은 레이블이 지정된 충분한 양의 훈련 데이터를 필요로 합니다. 이는 데이터 수집과 레이블링에 상당한 시간과 비용이 소요된다는 단점이 있습니다. 반면, 비지도 학습은 레이블이 없는 데이터만을 사용하여 데이터의 숨겨진 구조나 패턴을 발견하는 데 초점을 맞춥니다. 군집화나 차원 축소가 대표적인 예입니다.

준지도 학습은 이 두 가지 접근법의 중간에 위치합니다. 레이블이 있는 소량의 데이터와 레이블이 없는 대량의 데이터를 함께 활용하여 모델의 성능을 향상시킵니다. 이는 현실 세계에서 레이블이 없는 데이터는 풍부하게 존재하지만, 레이블이 있는 데이터는 제한적이라는 상황에 매우 적합한 패러다임입니다.

세 가지 학습 방식의 주요 차이점을 다음 표로 정리할 수 있습니다.

준지도 학습의 핵심 가정은 데이터의 구조가 레이블 정보와 일관성을 가진다는 것입니다. 즉, 서로 가까이 위치한 데이터 포인트들은 동일한 레이블을 가질 가능성이 높다는 매끄러움 가정이나, 데이터가 저차원의 매니폴드 위에 존재한다는 매니폴드 가정을 바탕으로 작동합니다. 이는 순수한 비지도 학습이 목표로 하는 '구발 발견'과는 구분되며, 지도 학습의 '정확한 예측' 목표를 보다 효율적으로 달성하기 위한 방법론입니다.

자기 학습은 레이블이 지정된 소량의 데이터와 레이블이 지정되지 않은 대량의 데이터를 활용하는 대표적인 준지도 학습 기법이다. 이 방법은 먼저 레이블이 있는 데이터로 초기 모델을 학습시킨 후, 이 모델로 레이블이 없는 데이터에 대해 예측을 수행한다. 예측 결과 중 신뢰도가 높은 샘플(예: 높은 예측 확률을 가진 샘플)을 선택하여 그 예측값을 '의사 레이블'로 간주하고, 이 새롭게 레이블이 부여된 데이터를 원래의 레이블 데이터셋에 추가하여 모델을 재학습시킨다. 이 과정을 여러 번 반복하며 모델의 성능을 점진적으로 향상시킨다.

자기 학습의 핵심은 모델이 스스로 생성한 의사 레이블을 학습 데이터로 재활용하는 순환 구조에 있다. 이 과정은 일반적으로 다음과 같은 단계로 진행된다.

1. 레이블 데이터로 초기 분류기 학습

2. 학습된 분류기로 비레이블 데이터에 대한 예측 수행

3. 예측 결과 중 신뢰도가 높은 샘플과 그 의사 레이블 선별

4. 선별된 샘플을 레이블 데이터셋에 추가

5. 확장된 데이터셋으로 분류기를 재학습

6. 수렴 조건에 도달할 때까지 2-5단계 반복

이 기법은 구현이 비교적 간단하고 특정 도메인 지식에 크게 의존하지 않아 널리 적용된다. 특히 자연어 처리 분야에서 품사 태깅이나 개체명 인식과 같은 작업에서 레이블이 부족한 상황에서 효과적으로 사용된다. 컴퓨터 비전 분야에서는 이미지 분류 모델의 성능을 보조 데이터로 향상시키는 데 활용되기도 한다.

그러나 자기 학습에는 주의해야 할 한계점이 존재한다. 가장 큰 문제는 오류 전파 위험이다. 초기 모델이 잘못 예측하여 생성한 의사 레이블이 학습 과정에 반복적으로 포함되면, 그 오류가 증폭되어 최종 모델의 성능을 심각하게 저하시킬 수 있다. 이를 완화하기 위해 의사 레이블을 선택할 때 임계값을 높게 설정하거나, 여러 모델의 예측을 조합하는 방법이 연구된다. 또한, 레이블 데이터의 분포와 비레이블 데이터의 분포가 크게 다를 경우 효과가 제한될 수 있다.

협동 학습은 1998년 블럼과 미첼이 제안한 대표적인 준지도 학습 기법이다. 이 방법은 하나의 데이터 인스턴스가 두 개의 독립적이고 충분한 뷰로 표현될 수 있다는 가정에 기반한다. 예를 들어, 웹페이지는 페이지의 텍스트 내용(뷰1)과 해당 페이지로 연결되는 링크의 텍스트(뷰2)라는 두 가지 뷰로 설명될 수 있다. 협동 학습은 각 뷰에 대해 별도의 분류기를 훈련시키고, 이 두 분류기가 서로 협력하여 레이블이 없는 데이터에 대한 레이블을 생성하며 학습을 진행한다.

기본적인 협동 학습 알고리즘은 다음과 같은 절차를 따른다. 먼저, 각 뷰에 대해 소량의 레이블된 데이터로 초기 분류기를 훈련시킨다. 그 후, 각 분류기는 레이블이 없는 데이터 풀에서 자신이 가장 확신하는 예측을 선택하여 레이블을 부착한다. 이렇게 한 분류기가 생성한 고신뢰도 레이블 데이터는 다른 뷰의 분류기를 재훈련시키기 위한 새로운 레이블 데이터로 추가된다. 이 과정을 반복하며 두 분류기는 서로의 지식을 공유하고 보완하며 성능을 향상시킨다.

협동 학습의 효과는 두 뷰가 조건부 독립이라는 가정에 달려있다[3]. 이 가정이 충족될 때, 한 분류기가 만든 오류는 다른 분류기가 수정할 가능성이 높아진다. 그러나 실제 문제에서 완벽한 조건부 독립을 만족하는 두 뷰를 찾기는 어려울 수 있다. 이를 완화하기 위해 단일 뷰의 데이터를 서로 다른 특성 집합으로 나누어 가상의 뷰를 생성하는 변형 알고리즘들도 연구되었다.

그래프 기반 방법은 데이터 포인트 간의 유사성 관계를 그래프 구조로 표현하여 레이블이 없는 데이터에 정보를 전파하는 준지도 학습 패러다임이다. 이 방법의 핵심은 "유사한 데이터 포인트는 동일한 레이블을 가질 가능성이 높다"는 일관성 가정에 기반한다. 먼저 모든 데이터(레이블 있음/없음)를 그래프의 정점으로 표현하고, 데이터 간 유사도(예: 유클리드 거리, 코사인 유사도)를 계산하여 간선의 가중치로 설정한다. 이후, 레이블이 있는 정점에서 시작하여 그래프 구조를 따라 레이블 정보를 주변의 레이블 없는 정점으로 반복적으로 전파하거나 확산시켜 최종 예측을 수행한다.

대표적인 알고리즘으로는 라플라스 정규화, 라벨 전파, 랜덤 워크 기반 방법 등이 있다. 예를 들어, 라벨 전파 알고리즘은 레이블이 있는 정점의 정보를 고정된 상태로 두고, 인접한 정점 간의 레이블 분포가 평활해지도록 반복적으로 업데이트한다. 이 과정은 그래프 전체에서 일종의 평활한 함수를 학습하는 것으로 해석될 수 있다. 이러한 방법들은 본질적으로 매니폴드 가정을 따르며, 고차원 공간에 존재하는 데이터가 실제로는 저차원의 매니폴드 상에 놓여 있다고 가정한다.

그래프 기반 방법의 성능은 구성된 그래프의 품질에 크게 의존한다. 다음은 그래프 구성 시 고려해야 할 주요 요소와 관련 기법을 정리한 표이다.

이 방법은 데이터의 국소적 구조를 잘 보존할 수 있어, 반감독 분류와 준지도 군집화 작업에 효과적이다. 특히 이미지 분할, 문서 분류, 단백질 기능 예측 등에서 널리 적용된다. 그러나 대규모 데이터셋에 적용할 경우 그래프 구성 및 행렬 연산에 따른 계산 비용이 높아질 수 있는 단점이 있다.

생성적 모델은 데이터의 확률 분포를 모델링하여 레이블이 없는 데이터를 생성하거나 활용하는 준지도 학습 기법이다. 이 접근법의 핵심은 데이터가 어떻게 생성되었는지에 대한 확률적 가정을 세우고, 이를 바탕으로 레이블이 지정된 데이터와 지정되지 않은 데이터의 결합 분포를 추정하는 데 있다. 대표적인 생성적 모델로는 가우시안 혼합 모델(GMM)과 생성적 적대 신경망(GAN), 변분 오토인코더(VAE) 등이 있으며, 이들은 레이블이 없는 샘플의 잠재 구조를 학습하여 분류 성능을 보완한다.

생성적 모델 기반 준지도 학습의 일반적인 절차는 먼저 레이블이 있는 데이터를 사용하여 각 클래스에 대한 조건부 분포를 학습하는 것이다. 이후, 레이블이 없는 데이터를 모델에 입력하여 해당 데이터가 각 클래스에서 생성될 확률(사후 확률)을 계산한다. 이 확률 정보는 최종 분류기의 학습에 추가적인 지도 신호로 활용되거나, 모델의 매개변수를 업데이트하는 데 사용된다. 예를 들어, 가우시안 혼합 모델을 사용할 경우, 각 클래스를 하나의 가우시안 분포로 가정하고 기대값 최대화(EM) 알고리즘을 통해 레이블 유무 데이터를 모두 고려하여 모델 파라미터를 추정한다.

이 방법의 주요 장점은 데이터 생성 과정에 대한 명시적인 확률 모델을 제공한다는 점이다. 이는 모델의 예측에 대한 불확실성을 정량화할 수 있게 하며, 생성된 가상 데이터를 통해 데이터 증강 효과를 기대할 수도 있다. 그러나 성능은 데이터가 모델의 가정(예: 정규분포)을 얼마나 잘 따르는지에 크게 의존한다는 한계가 있다. 복잡한 고차원 데이터(예: 이미지)에 대해 정확한 생성 모델을 구축하는 것은 여전히 어려운 과제로 남아있다.

자연어 처리 분야는 대규모 레이블 데이터를 구축하는 데 높은 비용과 전문 지식이 요구되는 대표적인 영역이다. 텍스트 분류, 개체명 인식, 감정 분석 등의 작업은 방대한 양의 주석이 달린 문장이나 문서가 필요하지만, 인터넷에는 레이블이 없는 텍스트 데이터가 풍부하게 존재한다. 따라서 준지도 학습은 소량의 레이블 데이터와 대량의 무레이블 데이터를 결합하여 모델 성능을 향상시키는 효과적인 접근법으로 널리 활용된다.

주요 적용 방식으로는 자기 학습이 가장 일반적이다. 예를 들어, 소량의 레이블 데이터로 훈련된 초기 텍스트 분류 모델이 무레이블 데이터에 대해 예측을 수행한 후, 높은 신뢰도를 가진 예측 결과를 훈련 데이터에 추가하여 모델을 반복적으로 재훈련시킨다. 단어 임베딩이나 문장 표현 학습에는 비지도 학습 방식으로 생성된 임베딩 벡터를 활용한 후, 소량의 레이블 데이터로 미세 조정하는 하이브리드 방식도 흔하다. 그래프 기반 방법은 단어나 문서 간의 유사성을 그래프로 표현하여, 레이블 정보가 그래프 구조를 따라 무레이블 노드로 전파되도록 한다.

이러한 기법들은 데이터 부족 문제를 완화하고, 특히 도메인 특화된 데이터(예: 의학, 법률 문서)에서 레이블 데이터 확보가 어려울 때 유용하다. 그러나 자연어의 복잡한 구조와 모호성으로 인해, 무레이블 데이터에서 학습된 부정확한 패턴이 모델에 흡수될 수 있는 오류 전파의 위험도 내포하고 있다.

컴퓨터 비전 분야는 대규모의 레이블이 지정된 데이터셋을 구축하는 데 상당한 비용과 시간이 소요되기 때문에 준지도 학습이 활발히 적용되는 영역이다. 주요 응용은 이미지 분류, 객체 탐지, 이미지 분할 등이 있으며, 소량의 레이블 데이터와 대량의 무레이블 이미지를 결합하여 모델 성능을 향상시키는 데 초점을 맞춘다. 합성곱 신경망 기반 모델은 레이블이 부족한 상황에서도 무레이블 데이터의 풍부한 시각적 패턴을 활용하여 일반화 능력을 높일 수 있다.

대표적인 접근법으로는 자기 학습을 활용한 방법이 있다. 레이블이 지정된 데이터로 초기 모델을 학습시킨 후, 이 모델로 무레이블 이미지에 대한 가상 레이블을 생성한다. 높은 신뢰도를 가진 예측 결과를 훈련 데이터에 추가하여 모델을 반복적으로 재학습시키는 방식이다. 또한, 일관성 정규화는 동일한 무레이블 이미지에 약한 데이터 증강과 강한 데이터 증강을 각각 적용했을 때 모델의 예측이 일관되도록 유도하는 손실 함수를 사용한다. 이는 모델이 이미지의 변형에 불변하는 의미 있는 표현을 학습하도록 돕는다.

최근에는 대조 학습과 준지도 학습을 결합하는 연구가 두드러진다. 대조 학습을 통해 무레이블 데이터만으로 강력한 사전 학습 모델을 구축한 후, 소량의 레이블 데이터로 미세 조정하는 하이브리드 방식이다. 이는 전이 학습의 효율성을 크게 높이며, 특히 자율 주행의 시각 인식이나 제조업의 결함 검출과 같이 레이블 데이터 수집이 어려운 실무 분야에서 유용하게 쓰인다.

생물정보학은 방대한 생물학적 데이터를 분석하고 해석하기 위해 컴퓨터 과학, 통계학, 수학을 적용하는 학제간 분야이다. 이 분야에서는 유전체 서열 분석, 단백질 구조 예측, 유전자 발현 분석과 같은 작업을 수행하며, 레이블이 지정된 데이터(예: 특정 기능을 가진 것으로 알려진 단백질 서열)를 얻는 데는 높은 비용과 전문 지식이 필요하다. 반면, 레이블이 없는 데이터(예: 기능이 알려지지 않은 서열)는 상대적으로 풍부하게 존재한다. 이러한 데이터 특성 때문에 준지도 학습은 생물정보학에서 매우 유용한 도구로 자리 잡았다.

주요 적용 사례로는 단백질 2차 구조 예측이 있다. 실험을 통해 2차 구조가 확인된 단백질 서열(레이블 있음)은 소수에 불과하지만, 레이블 없는 서열은 대량으로 존재한다. 그래프 기반 방법이나 생성적 모델과 같은 준지도 학습 기법은 이 두 종류의 데이터를 함께 사용하여 예측 모델의 정확도를 크게 향상시킨다. 유사하게, 유전자 기능 주석 작업에서도 기능이 알려진 유전자와 알려지지 않은 유전자의 서열 정보를 결합하여 새로운 유전자의 기능을 추론하는 데 활용된다.

또한, 의학 영상 분석 분야에서도 준지도 학습은 중요한 역할을 한다. 예를 들어, 병리학자가 진단을 내린 조직 이미지(레이블 있음)는 수가 제한적일 수 있지만, 미진단 이미지(레이블 없음)는 많이 축적될 수 있다. 준지도 학습 모델은 이 모든 데이터를 학습에 사용하여 종양 검출이나 질병 분류 모델의 성능을 강화할 수 있다. 이는 레이블 데이터만으로 학습하는 전통적 방법보다 더 나은 일반화 성능을 달성하는 데 기여한다.

이러한 적용을 통해 준지도 학습은 생물학 연구의 비용을 절감하고, 데이터 활용 효율을 극대화하며, 새로운 생물학적 통찰을 얻는 데 기여하고 있다.

준지도 학습의 가장 큰 장점은 레이블이 지정된 데이터를 적게 사용하면서도 높은 성능을 달성할 수 있는 비용 효율성에 있다. 대규모의 레이블 없는 데이터는 상대적으로 쉽게 수집할 수 있지만, 레이블을 부여하는 작업은 전문 지식과 많은 시간, 비용을 필요로 한다. 준지도 학습은 소량의 레이블 데이터로 초기 모델을 학습시킨 후, 방대한 무레이블 데이터를 활용하여 모델의 성능과 일반화 능력을 향상시킨다. 이는 특히 의료 영상 분석이나 자연어 처리와 같이 레이블링 비용이 매우 높은 분야에서 실용적인 해결책을 제공한다.

성능 측면에서, 준지도 학습은 무레이블 데이터가 제공하는 데이터 분포에 대한 추가 정보를 활용하여 과적합을 완화하고 일반화 성능을 개선할 수 있다. 모델은 레이블 데이터만으로는 파악하기 어려운 데이터의 전체적인 구조나 매니폴드를 무레이블 데이터를 통해 학습하게 된다. 예를 들어, 그래프 기반 방법은 데이터 점들 사이의 유사성을 그래프로 표현하여, 레이블 정보가 유사한 데이터 점을 통해 전파되도록 함으로써 분류 경계를 더 정확하게 설정하는 데 기여한다.

다음 표는 준지도 학습의 주요 장점을 요약하여 보여준다.

결과적으로, 제한된 예산과 레이블 리소스로도 완전 지도 학습에 근접하거나 경우에 따라 이를 뛰어넘는 성능을 얻을 수 있는 가능성을 열어준다. 이는 기계 학습 모델을 다양한 실제 응용 분야에 배포하는 데 있어 중요한 장벽을 낮추는 역할을 한다.

준지도 학습은 레이블이 없는 데이터를 활용한다는 장점에도 불구하고, 몇 가지 근본적인 가정에 의존하며 이로 인해 한계와 위험이 존재한다. 가장 핵심적인 가정은 클러스터 가정과 매니폴드 가정이다. 클러스터 가정은 동일한 클러스터에 속한 데이터 포인트들은 동일한 레이블을 가질 가능성이 높다는 것을 전제한다. 매니폴드 가정은 고차원 공간의 데이터가 실제로는 저차원의 매니폴드 구조 위에 존재한다는 것이다. 이러한 가정이 성립하지 않는 복잡한 데이터 분포에서는 준지도 학습의 효과가 크게 감소하거나 오히려 성능을 저해할 수 있다.

또 다른 주요 단점은 오류 전파의 위험이다. 특히 자기 학습과 같은 반복적 알고리즘에서 초기 모델이 레이블이 없는 데이터에 잘못된 의사 레이블을 부여하면, 이 오류가 재학습 과정을 통해 증폭되어 최종 모델의 성능을 심각하게 떨어뜨릴 수 있다. 이는 레이블이 없는 데이터의 품질과 양에 크게 의존하는 준지도 학습의 취약점을 보여준다. 모델이 초기부터 잘못된 방향으로 학습될 경우, 이를 수정하기가 매우 어려워진다.

준지도 학습의 성능은 레이블된 데이터의 양과 품질, 그리고 레이블이 없는 데이터의 분포가 레이블된 데이터의 분포와 얼마나 일치하는지에 크게 좌우된다. 만약 두 데이터 집합의 분포가 상이하다면, 즉 표본 선택 편향이 존재한다면, 레이블이 없는 데이터를 활용하는 것이 오히려 해가 될 수 있다. 또한, 대부분의 기법에는 정규화 매개변수나 그래프 구성과 관련된 하이퍼파라미터 등 조정이 필요한 요소들이 많아, 실제 적용 시 추가적인 실험과 검증 비용이 발생할 수 있다.