U-Net

인코더는 U-Net의 왼쪽 부분을 구성하는 수축 경로(contracting path)이다. 이 경로는 전통적인 합성곱 신경망 구조를 따르며, 입력 이미지로부터 점진적으로 특징을 추출하고 공간 차원을 축소하는 역할을 한다.

인코더는 일반적으로 여러 단계의 블록으로 이루어져 있다. 각 블록은 두 번의 합성곱 연산과 활성화 함수(보통 ReLU) 적용, 그리고 하나의 풀링 연산으로 구성된다. 풀링 연산(보통 최대 풀링)을 통해 특징 맵의 공간적 해상도(가로, 세로 크기)는 절반으로 줄어들지만, 합성곱 연산을 통해 추출되는 특징의 채널 수는 배가된다. 이 과정을 반복함으로써 인코더는 이미지의 지역적 문맥 정보를 포착하면서 점차 추상화된 고수준의 특징을 학습하게 된다.

수축 경로의 최종 단계에서는 매우 추상화된 특징 표현이 생성된다. 이는 입력 이미지의 전체적인 맥락을 담고 있지만, 공간적인 상세 정보는 많이 손실된 상태이다. 인코더를 통해 얻은 이 다운샘플링된 특징 맵은 네트워크의 병목 구간을 형성하며, 이후 디코더 경로로 전달되어 다시 상세한 공간 정보를 복원하는 데 사용된다.

디코더는 U-Net의 확장 경로를 구성한다. 인코더를 통해 압축된 고수준의 특징맵을 받아, 이를 다시 원본 이미지의 공간 해상도로 업샘플링하는 역할을 한다. 이 과정에서 디코더의 각 단계는 업샘플링(또는 전치 합성곱) 연산을 수행하여 특징맵의 크기를 키우고, 동일한 수준의 인코더 경로에서 전달받은 스킵 연결의 특징맵과 결합한다. 이후 두 번의 일반 합성곱 연산을 거쳐 특징을 통합 및 정제한다.

이러한 디코더의 구조는 네트워크가 국소적인 정보(스킵 연결을 통해)와 전역적인 문맥 정보(인코더를 통해 압축된 특징을 업샘플링하여)를 동시에 활용할 수 있게 한다. 결과적으로 각 픽셀의 클래스를 정확하게 예측하는 데 필요한 세부 공간 정보와 의미 정보가 복원된다. 최종 디코더 단계의 출력은 원본 입력 이미지와 동일한 공간 크기를 가지며, 각 픽셀 위치에 대해 분할하고자 하는 클래스 수만큼의 채널을 가진 특징맵이 생성된다.

디코더 경로의 끝에는 일반적으로 1x1 합성곱 층이 배치되어, 최종 특징맵의 채널 수를 분할 클래스의 개수로 매핑한다. 이를 통해 네트워크는 각 픽셀에 대한 클래스 확률 맵을 출력하며, 이는 최종 분할 마스크를 생성하는 데 사용된다.

스킵 연결은 U-Net 아키텍처의 핵심 구성 요소로, 인코더 경로의 특정 계층에서 디코더 경로의 대응 계층으로 특징 맵을 직접 연결하는 구조이다. 이 연결은 네트워크가 수축 과정에서 손실될 수 있는 공간적 정보와 세부적인 특징을 확장 경로로 전달하는 역할을 한다. 결과적으로 디코더는 업샘플링된 추상적인 정보뿐만 아니라, 인코더에서 보존된 국소적이고 정밀한 정보를 함께 활용하여 보다 정확한 픽셀 단위 예측을 수행할 수 있게 된다.

기술적으로 스킵 연결은 일반적으로 합성곱 연산을 거친 후의 특징 맵을 그대로 전달하며, 인코더와 디코더의 대응 단계에서 특징 맵의 채널 수가 일치하도록 조정한 뒤 연결 연산을 수행한다. 이 과정을 통해 디코더의 각 블록은 두 가지 출처의 정보를 받게 되는데, 하나는 이전 디코더 블록에서 업샘플링된 저해상도·고수준 의미 정보이고, 다른 하나는 인코더로부터 전달된 고해상도·저수준 공간 정보이다.

이러한 구조는 심층 네트워크에서 흔히 발생하는 기울기 소실 문제를 완화하는 데도 기여한다. 네트워크가 매우 깊어질수록 역전파되는 기울기가 약해질 수 있지만, 스킵 연결을 통해 짧은 경로가 생성되어 기울기가 보다 직접적으로 전파될 수 있기 때문이다. 이는 훈련 과정의 안정성과 수렴 속도를 개선하는 효과를 가져온다.

U-Net의 스킵 연결은 이후 등장한 많은 이미지 분할 네트워크 아키텍처에 핵심 아이디어로 채택되었다. 특히 의료 영상과 같이 객체의 경계가 미세하고 정확한 위치 정보가 중요한 분야에서, 이 메커니즘은 배경과 객체를 정밀하게 구분하는 성능을 크게 향상시키는 데 결정적인 역할을 했다.

U-Net은 의료 영상 분할 분야에서 가장 널리 사용되고 영향력 있는 아키텍처 중 하나이다. 이 모델은 2015년 의료 영상 분석을 위한 이미지 세그멘테이션 과제를 해결하기 위해 처음 제안되었다. 제안된 배경 자체가 세포 분할과 같은 생물 의학 이미지의 정밀한 분할에 있었기 때문에, 의료 영상은 U-Net의 가장 핵심적인 응용 분야가 되었다.

의료 영상 분할에서 U-Net의 강점은 제한된 데이터로도 높은 정확도를 달성할 수 있다는 점이다. 의료 데이터는 라벨링에 전문가의 지식이 필요하고 개인정보 문제로 인해 대량으로 구하기 어려운 경우가 많다. U-Net의 스킵 연결 구조는 인코더에서 추출한 저수준의 공간 정보(예: 경계선, 형태)를 디코더에 전달하여, 적은 수의 학습 데이터로도 객체의 정확한 경계를 복원하는 데 결정적인 역할을 한다. 이는 CT 스캔이나 MRI 영상에서 종양, 장기, 혈관 등의 영역을 픽셀 단위로 구분하는 작업에 매우 적합하다.

이러한 특성 덕분에 U-Net은 뇌 영상 분석, 폐 영상 분할, 심장 MRI 분석, 망막 혈관 분할, 병리 조직 분석 등 다양한 의료 영상 세부 분야에서 표준적인 방법론으로 자리 잡았다. 이후 등장한 3D U-Net은 3차원 의료 볼륨 데이터(예: 전체 장기의 MRI 스캔)를 직접 처리할 수 있도록 확장되어, 의료 현장의 실제 데이터 처리 요구에 더욱 부응하고 있다.

U-Net은 의료 영상 분야에서 탁월한 성능을 입증한 후, 위성 및 항공 이미지 분석 분야로 그 적용 범위를 확장하였다. 이 분야에서는 주로 토지 피복 분류, 도시 변화 탐지, 농작물 모니터링, 자연 재해 피해 평가 등에 활용된다. 고해상도의 위성이나 드론으로 촬영된 이미지는 넓은 지역을 커버하며 복잡한 패턴을 포함하는데, U-Net의 정밀한 픽셀 단위 분할 능력은 건물, 도로, 숲, 수역, 농경지 등 다양한 지표면 객체를 정확하게 식별하고 구분하는 데 적합하다.

U-Net의 핵심 구조인 인코더-디코더와 스킵 연결은 위성 이미지 분석에 특히 유용하다. 인코더 경로를 통해 이미지의 전역적인 문맥을 포착하는 동시에, 스킵 연결을 통해 디코더에서 고해상도의 공간적 세부 정보를 복원할 수 있다. 이는 위성 이미지에서 크기와 모양이 다양하며 경계가 복잡한 객체를 정확하게 분할하는 데 필수적이다. 예를 들어, 불규칙한 형태의 호수나 복잡한 도시 구조물의 윤곽을 선명하게 추출하는 데 기여한다.

응용 사례로는 토지 이용 및 토지 피복 지도 작성이 대표적이다. 기존 방법보다 더 정확하고 자동화된 방식으로 도시화 진행 상황을 추적하거나 산림 벌채 지역을 탐지할 수 있다. 또한, 농업 분야에서는 특정 작물의 재배 지역을 분할하여 건강 상태를 모니터링하거나 수확량을 예측하는 데 사용된다. 재난 관리 측면에서는 홍수나 산불 이후의 피해 영역을 신속하게 분할하고 평가하는 데도 U-Net 기반 모델이 적용된다.

이러한 분야에서 U-Net은 의료 영상 분할과 마찬가지로 상대적으로 적은 양의 학습 데이터로도 좋은 성능을 낼 수 있다는 장점을 보여준다. 위성 이미지는 라벨링 비용이 높고 시간이 많이 소요되는 경우가 많기 때문에, 데이터 효율성이 뛰어난 U-Net 아키텍처는 실용적인 해결책을 제시한다. 이후 U-Net++나 Attention U-Net과 같은 변형 모델들은 복잡한 위성 이미지의 세부 특징에 더 잘 집중하거나 다양한 스케일의 객체를 처리하는 성능을 개선하기 위해 도입되었다.

자율 주행 시스템에서 U-Net은 주변 환경을 정확하게 인식하고 이해하기 위한 핵심 기술인 시맨틱 세그멘테이션 작업에 널리 활용된다. 차량에 탑재된 카메라, 라이다, 레이더 등 다양한 센서로부터 입력받은 이미지나 점유 격자 맵에서 도로, 차선, 보행자, 차량, 신호등, 장애물 등 각 객체를 픽셀 단위로 분류하는 데 적합한 아키텍처이다.

U-Net의 인코더-디코더 구조와 스킵 연결은 입력 이미지의 다중 스케일 특징을 효과적으로 결합하여 객체의 정교한 경계와 형태를 보존하면서도 맥락적 정보를 활용할 수 있게 한다. 이는 고속 주행 중에도 정확한 도로 영역 추출, 장애물 감지, 주행 가능 공간 판단에 필수적이다. 특히 복잡한 도시 환경이나 기상 조건에 따른 노이즈가 있는 영상에서도 견고한 성능을 보인다.

실제 적용 사례로는 실시간 도로 및 차선 분할, 보행자 및 동적 장애물 검출, 주행 경로 계획을 위한 정밀 지도 생성 등이 있다. U-Net의 상대적으로 가벼운 구조와 효율성은 제한된 연산 자원을 가진 차량 내 임베디드 시스템에 배포하는 데도 장점으로 작용한다.

이러한 이유로 U-Net은 완전 합성곱 네트워크(FCN), DeepLab 시리즈 등과 함께 자율 주행의 시각적 인식 모듈을 구성하는 기본적인 신경망 아키텍처 중 하나로 자리 잡았다.

U-Net++는 2018년에 Zhou et al.이 제안한 U-Net의 주요 변형 아키텍처이다. 기존 U-Net의 성능을 개선하기 위해 설계되었으며, 특히 네트워크의 깊이를 효과적으로 활용하고 인코더와 디코더 사이의 의미적 간극을 줄이는 데 초점을 맞췄다. 이 구조는 중첩된 조밀한 스킵 연결을 도입하여 원본 U-Net보다 더 정교한 특징 추출과 재구성을 가능하게 한다.

핵심적인 구조적 차이는 인코더와 디코더 경로 사이에 존재하는 새로운 연결망이다. U-Net++는 단순한 수직 방향의 스킵 연결 대신, 다양한 수준의 인코더 블록과 디코더 블록을 조밀하게 연결하는 중첩된 구조를 형성한다. 이는 여러 단계의 컨볼루션 계층으로 구성된 하위 네트워크들로 이루어져 있으며, 이를 통해 저수준의 세부 정보와 고수준의 의미 정보가 더 풍부하게 융합된다.

이러한 설계는 두 가지 주요 이점을 제공한다. 첫째, 네트워크 내에서 다양한 수준의 특징 맵이 더 유기적으로 결합되어, 특히 객체 경계가 모호한 의료 영상 분할 작업에서 더 정확한 분할 결과를 도출할 수 있다. 둘째, 아키텍처 자체에 깊은 감독을 적용하기 용이해져, 훈련 과정이 더 안정화되고 수렴 속도가 개선될 수 있다.

U-Net++는 기반 모델인 U-Net의 직관적인 장점을 유지하면서도 성능을 한 단계 끌어올린 구조로 평가받으며, 의료 영상 분석을 비롯한 다양한 이미지 분할 과제에서 널리 활용되고 있다.

3D U-Net은 2015년에 제안된 원본 U-Net 아키텍처를 3차원 의료 영상 데이터에 맞게 확장한 변형 모델이다. 이 모델은 의료 영상 분할 작업, 특히 CT나 MRI와 같이 3차원 볼륨 데이터를 다루는 분야에서 효과적으로 활용된다. 2D U-Net이 단일 슬라이스 이미지를 처리하는 반면, 3D U-Net은 인접한 슬라이스 간의 공간적 문맥 정보를 함께 학습할 수 있어 보다 정확한 3차원 분할 결과를 제공한다.

아키텍처는 기본 U-Net의 핵심 구조인 인코더-디코더 구조, 스킵 연결을 유지하되, 모든 합성곱 연산과 풀링 연산을 3차원으로 전환한다. 즉, 2D 합성곱 필터 대신 3D 합성곱 필터를 사용하고, 2D 최대 풀링 대신 3D 최대 풀링을 적용하여 볼륨 데이터의 깊이 차원을 따라 특징을 추출 및 복원한다. 이를 통해 모델은 조직이나 장기의 전체적인 3차원 형태와 구조를 이해하게 된다.

이 모델은 뇌종양, 폐, 간, 전립선 등의 3차원 영상 분할 과제에서 널리 사용된다. 데이터의 연속적인 슬라이스 정보를 통합하여 분석함으로써, 의사가 수술 계획을 수립하거나 질병의 진행을 정량적으로 평가하는 데 도움을 준다. 3D U-Net의 성공은 이후 3D 데이터 처리를 위한 다양한 심층 학습 아키텍처 개발의 기반이 되었다.

Attention U-Net은 2018년에 제안된 U-Net의 변형 아키텍처로, 기존 U-Net의 스킵 연결 구조에 어텐션 메커니즘을 도입하여 성능을 향상시켰다. 이 모델은 주로 복잡한 배경을 가진 의료 영상에서 정확한 이미지 분할을 수행하는 것을 목표로 한다.

Attention U-Net의 핵심 아이디어는 인코더에서 디코더로 전달되는 스킵 연결 경로에 어텐션 게이트를 추가하는 것이다. 이 게이트는 디코더의 업샘플링된 특징 맵을 참조하여, 인코더의 해당 특징 맵 중에서 현재 분할 작업에 더 관련성이 높고 중요한 영역에 '주의'를 집중하도록 가중치를 부여한다. 이를 통해 배경과 같은 불필요한 정보는 억제하고, 목표로 하는 장기나 병변의 경계와 같은 관련성 높은 특징은 강조하여 전달한다.

이러한 어텐션 메커니즘의 도입은 여러 가지 이점을 가져온다. 첫째, 모델이 더 정확하게 관심 영역의 경계를 포착하도록 도와준다. 둘째, 불필요한 배경 정보의 전파를 줄여 최종 분할 결과의 노이즈를 감소시킨다. 셋째, 기존 U-Net이 모든 스킵 연결을 동등하게 취급하는 데 비해, 작업의 복잡도에 따라 특징의 중요도를 유동적으로 조절할 수 있는 능력을 부여한다.

Attention U-Net은 의료 영상 분할 분야, 특히 복부 장기나 종양 분할과 같이 주변 조직과의 대비가 낮고 형태가 불규칙한 대상에 대한 분할 성능을 크게 개선한 것으로 평가받는다. 이는 U-Net 기반 아키텍처의 발전 방향 중 하나로, 컴퓨터 비전과 딥러닝의 핵심 개념인 어텐션을 이미지 분할 작업에 성공적으로 적용한 사례이다.