의료 영상 분할 (r1)

전통적 영상 처리 기법은 딥러닝이 보편화되기 이전에 의료 영상 분할에 널리 사용된 방법이다. 이 기법들은 영상의 저수준 특징, 즉 픽셀의 밝기, 색상, 경계, 질감 등을 직접 분석하여 영역을 구분한다. 대표적인 방법으로는 임계값 분할, 영역 확장, 경계선 검출 기반 분할, 워터셰드 알고리즘 등이 있다. 이러한 방법들은 계산 복잡도가 상대적으로 낮고, 명확한 명암 대비를 보이는 구조물의 분할에 효과적이었다.

구체적인 알고리즘으로는, 특정 휘도 값을 기준으로 영상을 이진화하는 임계값 분할이 가장 기본적이다. 영역 확장은 씨앗 픽셀을 시작으로 인접한 유사한 픽셀을 점진적으로 병합하는 방식이다. 경계선 검출 기법은 소벨 필터나 캐니 에지 검출기와 같은 연산자를 사용해 영상 내의 급격한 밝기 변화 지점을 찾아 객체의 윤곽을 추정한다. 워터셰드 알고리즘은 영상을 지형도로 간주하고, 지역적 최솟값에서부터 물을 채워나가며 영역을 분할하는 방식으로 작동한다.

그러나 이러한 전통적 기법들은 몇 가지 근본적인 한계를 지닌다. 영상의 잡음, 부분 용적 효과[2], 낮은 대비, 개인 간 해부학적 변이 등에 매우 민감하다. 또한, 대부분의 알고리즘이 파라미터 설정에 크게 의존하여, 서로 다른 영상이나 조건에 대해 수동 튜닝이 필요했다. 복잡한 해부학적 구조물이나 병변의 불규칙한 형태를 정확하게 분할하는 데는 어려움이 따랐다.

딥러닝 기반 기법은 의료 영상 분할의 주요 패러다임으로 자리 잡았다. 특히 합성곱 신경망이 영상의 계층적 특징을 자동으로 학습하는 능력을 바탕으로, 기존 방법보다 훨씬 높은 정확도와 강건성을 보여준다. U-Net은 의료 영상 분할을 위해 제안된 대표적인 인코더-디코더 구조로, 적은 수의 학습 데이터로도 효과적인 성능을 내기 위해 건너뛰기 연결을 도입했다. 이후 U-Net을 기반으로 한 다양한 변형 구조들이 제안되었다.

분할 네트워크의 발전은 주로 네트워크 구조의 혁신과 학습 방식을 개선하는 방향으로 이루어진다. Attention U-Net은 네트워크가 병변 영역에 주의를 집중하도록 유도하는 어텐션 메커니즘을 도입했다. nnU-Net은 네트워크 구조를 자동으로 최적화하는 프레임워크로, 다양한 의료 영상 데이터셋에서 강력한 성능을 입증했다. Transformer 구조를 CNN과 결합한 Vision Transformer 기반 모델들도 영상의 장거리 의존성을 모델링하여 정확도를 높이는 데 기여하고 있다.

학습 방법론 측면에서는 준지도 학습과 약감독 학습이 주목받는다. 이들은 전문가가 정밀하게 표시한 데이터의 부족 문제를 해결하기 위해, 일부 레이블 데이터와 대량의 무레이블 데이터를 함께 활용하거나, 바운딩 박스나 점 주석 같은 약한 감독 신호만으로 모델을 학습시킨다. 또한, 도메인 적응 기술은 한 도메인(예: 특정 병원의 CT 장비)에서 학습된 모델을 다른 도메인에 적용할 때 성능 저하를 줄이는 데 초점을 맞춘다.

뇌 영상 분석은 의료 영상 분할 기술의 가장 활발히 연구되고 임상적으로 중요한 적용 분야 중 하나이다. 자기공명영상(MRI)과 컴퓨터단층촬영(CT)을 포함한 다양한 뇌 영상 모달리티에서 해부학적 구조물이나 병변을 정확히 구분하는 것을 목표로 한다. 이를 통해 뇌의 부피 측정, 구조적 이상 탐지, 수술 계획 수립 등에 결정적인 정보를 제공한다.

주요 분할 대상으로는 대뇌피질, 백질, 회백질과 같은 정상 조직과, 뇌종양, 뇌경색 영역, 다발성경화증 병변 등이 포함된다. 특히 뇌종양 분할은 수술 전 계획과 치료 반응 평가에 필수적이며, 자기공명영상(MRI)의 T1, T2, FLAIR, T1 조영 증강 등 다양한 시퀀스를 활용해 종양의 핵심부, 주변 부종 영역 등을 구분한다.

분할 기술의 발전은 뇌 질환 연구와 진단을 혁신했다. 예를 들어, 알츠하이머병 연구에서는 해마 부피의 정량적 측정이 중요한 생체표지자로 사용된다[3]. 또한, 뇌혈관 질환에서 뇌출혈이나 뇌경색 영역의 정확한 분할은 환자 예후 판단과 치료 전략 수립의 기초가 된다.

흉부 및 복부 영상 분석은 폐, 심장, 간, 신장, 췌장 등 주요 장기의 구조와 병변을 정량화하는 데 핵심적인 역할을 한다. 전산화단층촬영(CT)과 자기공명영상(MRI)이 가장 널리 사용되는 영상 방식이다. 이 영역의 분할은 종양의 부피 측정, 장기 기능 평가, 수술 계획 수립 등 다양한 임상적 의사 결정을 지원한다.

폐 영상 분석에서는 폐암 결절의 검출과 분할이 중요한 과제이다. 폐엽을 정확히 분할하는 것은 폐기능 평가와 수술 범위 결정에 필수적이다. 흉부 CT에서 대동맥이나 종격동 림프절과 같은 구조물의 분할은 심혈관 질환 진단과 암의 병기 결정에 활용된다. 복부 영상에서는 다중 장기가 서로 인접해 있고 모양과 강도가 유사해 분할이 특히 복잡하다.

주요 응용 분야는 다음과 같은 표로 정리할 수 있다.

이러한 분할 작업은 방사선종양학에서 정확한 방사선 치료 계획을 수립하거나, 간이식과 같은 수술 전 3D 모델링을 구축하는 데 직접적으로 기여한다. 최근 딥러닝 기반 방법론, 특히 U-Net과 그 변형 아키텍처가 복잡한 해부학적 구조를 자동으로 분할하는 데 표준으로 자리 잡았다.

병리 조직 영상 분석은 현미경으로 관찰한 조직 표본의 디지털 이미지인 디지털 병리 슬라이드를 대상으로 영상 분할을 수행하는 분야이다. 주로 암의 진단, 등급 분류, 예후 예측을 위해 종양 영역, 특정 세포 유형(예: 림프구, 암세포), 또는 세포 내 구조물(예: 세포핵)을 정확하게 분리하고 정량화하는 데 목적을 둔다. 전통적인 육안 판독은 주관적이고 시간이 많이 소요되며, 미세한 형태학적 패턴을 정량적으로 분석하기 어려운 한계가 있다. 자동화된 분할 알고리즘은 이러한 과정을 객관화하고 재현성을 높여, 병리 의사가 보다 정밀한 진단을 내리는 데 도움을 준다.

주요 적용 사례로는 유방암, 전립선암, 피부암 등의 조직 검사에서 암 영역을 정상 조직과 구분하거나, 세포핵 분할을 통해 핵의 형태, 크기, 밀도 등을 분석하여 종양의 악성도를 평가하는 것이 포함된다. 예를 들어, 유방암의 경우 Ki-67 지수 계산을 위해 증식하는 세포의 핵을 분할하거나, 전립선암에서는 글리슨 점수 부여를 지원하기 위해 선구조를 분할한다.

기술적 접근법은 다음과 같은 고유의 도전 과제를 해결해야 한다. 병리 영상은 해상도가 매우 높아(일반적으로 40배율 이상) 파일 크기가 방대하고, 염색 방법(H&E 염색, 면역조직화학염색)에 따른 색상 차이, 조직 접힘이나 틈 등의 인공물, 그리고 세포와 세포 간의 경계가 불분명한 경우가 많다. 따라서 최근의 연구는 합성곱 신경망(CNN) 기반 모델, 특히 U-Net 및 그 변형 아키텍처에 집중되어 있다. 이러한 모델은 방대한 이미지 내에서 다중 규모의 특징을 학습하여 정교한 분할을 가능하게 한다.

이 분야의 발전은 정밀의학 구현에 기여하며, 특히 디지털 병리 시스템과의 통합을 통해 원격 진단과 인공지능 보조 진단 솔루션의 핵심 구성 요소로 자리 잡고 있다.

의료 영상 분할 연구와 알고리즘 개발을 위해 여러 공개 데이터셋이 널리 사용된다. 이러한 데이터셋은 주로 CT 스캔, MRI, 초음파, 현미경 영상 등 다양한 양식으로 구성되며, 전문가에 의해 수동으로 주석이 달린 정답 레이블을 포함하는 것이 일반적이다. 주요 데이터셋은 특정 장기나 질병에 초점을 맞추며, 알고리즘의 성능을 공정하게 비교할 수 있는 벤치마크 역할을 한다.

뇌 영상 분석 분야에서는 브레인 Tumor Segmentation (BraTS) 챌린지 데이터셋[5]과 인간 연결체 프로젝트 (Human Connectome Project)의 MRI 데이터가 유명하다. 흉부 및 복부 영상에서는 LUNA16 (Lung Nodule Analysis) 데이터셋이 폐 결절 검출과 분할에, LiTS (Liver Tumor Segmentation) 데이터셋이 간 및 간종양 분할에 자주 활용된다. 또한, CHAOS (Combined Healthy Abdominal Organ Segmentation) 데이터셋은 복부 CT와 MRI에서 간, 신장, 비장 등의 다중 장기 분할을 위한 데이터를 제공한다.

병리 조직 영상 분석을 위한 데이터셋도 활발히 공개된다. GlaS (Gland Segmentation) 챌린지 데이터셋은 대장 조직의 선분할을, MoNuSeg 데이터셋은 여러 장기에서 추출한 핵 분할을 위한 데이터를 포함한다. 이러한 데이터셋은 대부분 국제적인 의료 영상 분석 학회(예: MICCAI, ISBI)와 연계된 챌린지를 통해 공개되고 표준 평가 방식을 제공한다.

공개 데이터셋의 존재는 연구의 재현성을 높이고, 데이터 수집과 주석 작업의 부담을 줄여 연구 진전을 가속화하는 데 기여한다. 그러나 데이터의 다양성 부족, 주석 간의 불일치, 개인정보 보호 문제 등은 여전히 해결해야 할 과제로 남아 있다.

정량적 평가 메트릭은 의료 영상 분할 모델의 성능을 객관적으로 측정하고 비교하는 데 사용되는 핵심 지표이다. 주로 모델이 예측한 분할 영역(세그멘테이션 마스크)과 전문가가 수작업으로 표시한 기준 영역(그라운드 트루스) 간의 일치도를 계산한다.

가장 널리 사용되는 메트릭은 다이스 계수와 Jaccard 지수(IoU)이다. 다이스 계수는 두 영역의 교집합 크기의 두 배를 두 영역 크기의 합으로 나눈 값이며, Jaccard 지수는 교집합 크기를 합집합 크기로 나눈 값이다. 두 지표 모두 0에서 1 사이의 값을 가지며, 1에 가까울수록 완벽한 일치를 의미한다. 이 외에도 정밀도와 재현율, 그리고 이를 종합한 F1 점수가 분할 정확도를 세분화하여 평가하는 데 활용된다. 특히 병변 분할과 같이 대상이 작은 경우, 민감도와 특이도도 중요한 보조 지표로 고려된다.

경계의 정확도를 평가하기 위해 하우스도르프 거리가 사용되기도 한다. 이는 두 경계 점들 사이의 최대 최소 거리를 계산하여 형태학적 차이를 평가한다. 또한, 체적 상대 오차는 예측된 부피와 실제 부피의 차이를 상대적으로 나타내는 간단한 지표이다. 특정 임상 과제에 따라, 예를 들어 뇌종양 분할에서는 종양 내부, 조직 증식 영역, 주변 부종 영역을 각각 평가하는 다중 클래스 평가가 필수적이다. 모든 메트릭은 동일한 데이터셋에 대해 계산되어야 하며, 공정한 비교를 위해 교차 검증 결과의 평균과 표준편차를 함께 보고하는 것이 일반적이다.

의료 영상 분할 모델을 학습시키기 위해서는 대량의 고품질 주석 데이터가 필요하다. 그러나 의료 영상 데이터는 환자의 개인정보보호와 의료윤리 문제로 인해 공개적으로 수집 및 공유하기 어렵다. 이로 인해 대부분의 연구는 제한된 규모의 데이터셋에 의존하게 되며, 특히 희귀 질환이나 특정 장기의 데이터는 더욱 부족한 상황이다. 이러한 데이터 부족 문제는 모델의 일반화 성능을 저해하고 과적합을 유발하는 주요 원인으로 작용한다.

데이터 불균형 문제도 심각한 도전 과제이다. 분할 대상이 되는 병변이나 특정 해부학적 구조는 전체 영상에서 매우 작은 비율을 차지하는 경우가 많다. 예를 들어, 뇌종양 분할에서 종양 영역은 정상 뇌 조직에 비해 극히 일부에 불과하다. 이러한 클래스 불균형은 모델이 다수 클래스(배경)에 편향되어 학습하게 만들어 소수 클래스(관심 영역)의 분할 정확도를 낮추는 결과를 초래한다[7].

데이터의 질적 불균형도 존재한다. 서로 다른 병원, 서로 다른 영상 장비(예: CT, MRI, 초음파), 그리고 서로 다른 촬영 프로토콜에서 생성된 영상은 큰 차이를 보인다. 이는 도메인 차이를 만들어내며, 한 도메인에서 훈련된 모델이 다른 도메인의 데이터에 대해 성능이 급격히 저하되는 원인이 된다. 또한, 주석 데이터의 일관성도 문제가 된다. 동일한 영상에 대해 다른 영상의학과 전문의가 내린 주석 사이에는 불가피한 변동성이 존재하며, 이는 모델 학습에 노이즈로 작용한다.

이러한 문제를 완화하기 위해 데이터 증강, 전이 학습, 합성 데이터 생성, 그리고 페더러티드 러닝과 같은 프라이버시 보존 기술을 활용한 협력 학습 방안 등이 활발히 연구되고 있다.

의료 영상 분할 모델, 특히 복잡한 딥러닝 인공 신경망의 블랙박스 특성은 임상 현장에서의 신뢰성과 채택에 주요 장애물로 작용한다. 의사는 진단과 치료 계획 수립을 위해 모델이 특정 영역을 분할한 결정 근거를 이해해야 하며, 이는 모델의 해석 가능성과 설명 가능성을 높여야 하는 이유이다.

해석 가능성을 높이기 위한 주요 기법으로는 그래디언트 기반 시각화, 관련성 맵, 어텐션 메커니즘 등이 활용된다. 예를 들어, Grad-CAM은 분할 결정에 가장 크게 기여한 입력 영상의 영역을 하이라이트하여 시각적 설명을 제공한다. 또한, 모델 구조 자체를 단순화하거나 의사 결정 트리와 같은 해석이 쉬운 모델과 결합하는 하이브리드 모델 접근법도 연구된다.

이러한 설명 가능한 인공지능 기술은 오류 탐지, 모델 신뢰도 향상, 의료진과의 협업 증진에 기여한다. 최종 목표는 모델의 예측이 단순히 정확할 뿐만 아니라, 인간 전문가가 이해하고 검증할 수 있는 논리적 근거를 제시하는 것이다. 이를 통해 인공지능 지원 의사 결정 시스템의 임상적 유용성과 안전성을 크게 높일 수 있다.

실시간 처리는 수술 중 내비게이션, 중재적 시술 또는 응급실에서의 즉각적인 진단과 같이 시간이 중요한 임상 시나리오에서 의료 영상 분할의 핵심 요구사항이다. 이러한 환경에서는 영상 획득 후 몇 초에서 수십 초 내에 정확한 분할 결과를 제공해야 하며, 지연은 진단이나 치료 결정에 직접적인 영향을 미칠 수 있다.

딥러닝 모델, 특히 U-Net이나 그 변형 구조는 높은 정확도를 제공하지만, 복잡한 구조와 많은 매개변수로 인해 추론 속도가 저하될 수 있다. 이를 해결하기 위해 모델 경량화 기술이 적용된다. 주요 방법으로는 신경망 가지치기, 양자화, 지식 증류 등이 있으며, 이를 통해 모델의 크기와 계산 복잡도를 줄이면서도 성능을 유지하거나 약간의 타협을 통해 실시간 성능을 달성한다.

아래 표는 실시간 처리를 위한 주요 최적화 기술과 그 특징을 정리한 것이다.

실시간 요구사항은 에지 컴퓨팅과의 결합을 촉진한다. 중앙 서버로 데이터를 전송하지 않고 현장의 의료 장비나 근처의 에지 서버에서 분할을 수행하면 네트워크 대기 시간을 제거할 수 있다. 이는 원격 의료나 수술실에서의 즉각적인 피드백에 매우 중요하다. 최종 목표는 진단적 정확성과 치료적 유용성을 해치지 않는 선에서, 임상적 필요에 부합하는 최적의 처리 속도를 제공하는 것이다.

자기 지도 학습은 레이블이 지정되지 않은 대량의 의료 영상 데이터를 활용하여 모델을 사전 학습하는 패러다임이다. 이는 의료 분야에서 고품질 주석 데이터를 확보하는 데 따르는 높은 비용과 시간을 극복하기 위한 핵심 전략으로 주목받고 있다. 기본 원리는 입력 데이터 자체에서 감독 신호를 생성하여 의미 있는 표현을 학습하는 것이다. 예를 들어, 영상의 일부를 가린 뒤 원본을 복원하도록 하거나, 여러 데이터 증강 기법을 적용한 동일 영상의 다른 버전들이 서로 유사하도록 임베딩을 학습하는 방식이 사용된다[8].

이러한 사전 학습된 모델은 이후 소량의 레이블 데이터만으로도 정밀한 의료 영상 분할 작업에 효과적으로 미세 조정될 수 있다. 이는 레이블 효율성을 크게 향상시킨다. 특히 컴퓨터 단층촬영이나 자기 공명 영상과 같은 다양한 모달리티에서, 사전 학습 단계에서 학습된 일반적인 해부학적 구조나 조직 질감에 대한 지식이 특정 분할 과제로 전이될 수 있다.

자기 지도 학습의 주요 이점은 데이터 활용도 향상과 과적합 위험 감소이다. 공개 데이터셋의 레이블 없는 영상을 대규모로 활용할 수 있어, 특정 기관에 국한된 데이터 편향을 완화하는 데도 기여할 수 있다. 그러나 의료 영상의 복잡성과 임상적 의미의 정교함을 고려할 때, 단순한 시각적 패턴 이상의 고수준 의미를 포착하는 표현을 학습하는 것이 여전히 과제로 남아 있다. 최근 연구는 대조 학습과 재구성 손실을 결합하거나, 도메인 지식을 사전 학습 목표에 통합하는 등 더욱 강건한 표현 학습을 위한 방법을 모색하고 있다.

멀티모달 융합은 의료 영상 분할 성능을 향상시키기 위해 서로 다른 종류의 영상 데이터나 비영상 데이터를 결합하는 접근법이다. 단일 모달리티(예: MRI만)로는 얻기 어려운 정보를 보완하여, 보다 정확하고 강건한 분할 결과를 도출하는 것을 목표로 한다. 예를 들어, CT 영상은 뼈 구조를 명확하게 보여주지만 연조직 대비는 낮은 반면, MRI는 연조직을 우수하게 구분하지만 해상도나 영상 특성이 다르다. 이 둘을 융합하면 각각의 장점을 결합한 더 풍부한 정보를 분할 모델에 제공할 수 있다.

융합은 데이터 수준, 특징 수준, 의사 결정 수준 등 다양한 단계에서 이루어진다. 데이터 수준 융합은 서로 다른 모달리티의 영상을 정합하여 하나의 다중채널 입력 데이터로 만드는 방식이다. 특징 수준 융합은 각 모달리티별로 추출된 특징 맵을 네트워크 내에서 결합하는 방식이며, 합성곱 신경망 기반 멀티스트림 아키텍처에서 흔히 사용된다. 의사 결정 수준 융합은 각 모달리티별로 독립적으로 분할을 수행한 후, 그 결과를 통합하여 최종 분할 마스크를 생성하는 방법이다.

융합의 대상은 반드시 다른 영상 기기에서 얻은 데이터에 국한되지 않는다. 최근 연구에서는 영상 데이터와 함께 전자의무기록의 텍스트 정보, 유전체 데이터, 또는 같은 부위의 다른 시점에서 촬영한 영상(예: 조영전/조영후 CT)을 결합하는 시도도 활발하다. 이러한 접근은 질병의 더 포괄적인 생물학적 특성을 반영하여, 단순한 해부학적 구조 분할을 넘어 병변의 악성도 구분이나 예후 예측과 같은 고급 임무에 기여할 수 있다.

멀티모달 융합의 주요 과제는 모달리티 간의 정합 오류, 데이터 결측 문제(예: 환자에게 모든 종류의 영상이 촬영되지 않은 경우), 그리고 계산 복잡성 증가이다. 이를 해결하기 위해 결측 모달리티를 생성하거나, 불완전한 데이터셋에서도 학습할 수 있는 로버스트 학습 방법, 그리고 효율적인 융합 네트워크 설계에 대한 연구가 진행 중이다.

의료 영상 분할에서 클라우드 컴퓨팅은 대규모 데이터 저장, 고성능 GPU를 활용한 모델 학습, 그리고 분할 서비스의 배포를 위한 중앙 집중식 플랫폼을 제공합니다. 이를 통해 의료 기관은 고가의 컴퓨팅 인프라를 직접 구축하지 않고도 확장 가능한 자원을 온디맨드로 이용할 수 있습니다. 특히, 딥러닝 모델의 학습에는 방대한 연산 자원이 필요하며, 클라우드 환경은 여러 인스턴스를 병렬로 운영하여 학습 시간을 단축하는 데 유리합니다. 또한, 표준화된 API를 통해 개발된 분할 모델을 다양한 병원 정보 시스템과 통합하여 서비스화할 수 있는 기반을 마련합니다.

반면, 에지 컴퓨팅은 데이터 생성 현장인 병원 내부 또는 의료 장비 근처에서 데이터를 처리하는 패러다임입니다. 이 접근법은 민감한 의료 영상 데이터가 외부 네트워크로 전송되지 않고 현장에서 즉시 처리되므로, 데이터 프라이버시와 보안 측면에서 강점을 가집니다. 또한, 네트워크 대역폭에 의존하지 않고 낮은 지연 시간으로 분석 결과를 제공할 수 있어, 수술 중 영상 유도나 응급 진단과 같이 실시간성이 중요한 임상 시나리오에 적합합니다.

두 패러다임의 융합 형태인 클라우드-에지 협업 아키텍처가 주목받고 있습니다. 이는 초기 모델 학습과 주기적인 업데이트는 클라우드에서 수행한 후, 경량화된 모델을 에지 디바이스에 배포하여 추론을 실행하는 방식입니다. 아래 표는 두 접근법의 주요 특징을 비교한 것입니다.

향후 발전 방향으로는, 5G나 6G 네트워크와 결합하여 클라우드와 에지 사이의 데이터 동기화와 협업 처리를 더욱 효율화하는 것이 포함됩니다. 이를 통해 리소스가 제한된 의료 현장에서도 고품질의 분할 서비스를 안정적으로 제공하는 하이브리드 클라우드 환경이 구축될 것으로 전망됩니다.