모델 병렬 처리편집자 확인

데이터 병렬 처리는 동일한 모델 복사본을 여러 GPU나 노드에 분배하고, 서로 다른 데이터 배치를 각 복사본에 제공하여 병렬로 학습하는 방식이다. 각 장치는 자신에게 할당된 데이터에 대해 순전파와 역전파를 수행한 후, 계산된 기울기를 모든 장치 간에 동기화하여 평균을 낸다. 이 평균 기울기를 사용해 각 모델 복사본의 매개변수를 일관되게 갱신한다. 이 방식의 핵심은 모든 장치가 완전한 모델의 복제본을 유지한다는 점이며, 주로 단일 장치의 메모리에 적합한 규모의 모델을 더 빠르게 학습시키는 데 목적이 있다.

반면, 모델 병렬 처리는 모델 자체의 구조를 여러 장치에 분할하여 할당하는 방식을 취한다. 하나의 모델이 여러 장치에 걸쳐 나뉘어 저장되고 실행되므로, 단일 장치의 메모리 한계를 초월하는 대규모 모델을 학습시킬 수 있는 근본적인 해결책을 제공한다. 예를 들어, 신경망의 특정 계층 그룹을 서로 다른 GPU에 할당하거나, 하나의 거대한 행렬 연산을 여러 장치에 분해하여 수행할 수 있다.

두 방식의 주요 차이점을 다음 표로 정리할 수 있다.

결론적으로, 데이터 병렬 처리는 '데이터를 분할하여 모델을 빠르게 학습'시키는 데 중점을 두고, 모델 병렬 처리는 '모델을 분할하여 학습 자체를 가능하게' 만드는 데 중점을 둔다. 현실에서는 두 방식을 혼합한 하이브리드 병렬 처리 전략이 대규모 모델 학습에 널리 사용된다.

모델 병렬 처리의 필요성은 주로 단일 GPU나 TPU의 물리적 한계를 극복하기 위해 발생합니다. 현대 인공신경망 모델, 특히 트랜스포머 기반의 대규모 언어 모델은 수십억에서 수조 개의 매개변수를 가지며, 이는 학습과 추론에 필요한 메모리 용량을 급격히 증가시킵니다. 단일 가속기 장치는 이러한 방대한 모델의 전체 매개변수와 중간 계산 결과(활성화 텐서)를 한 번에 저장하기에 충분한 메모리를 갖추지 못하는 경우가 많습니다. 따라서 모델을 여러 장치에 분할하여 배치하는 모델 병렬 처리는 이러한 메모리 제약을 해결할 수 있는 필수적인 접근법이 되었습니다.

모델 병렬 처리의 주요 목표는 크게 두 가지로 구분할 수 있습니다. 첫째는 단일 장치의 메모리 한계를 초월하여, 이론적으로 무한히 큰 모델을 학습하고 실행할 수 있는 가능성을 제공하는 것입니다. 둘째는 여러 장치에 걸쳐 계산 부하를 분산시켜 전체 학습 또는 추론 시간을 단축하는 것입니다. 그러나 두 번째 목표인 처리 속도 향상은 통신 오버헤드로 인해 항상 보장되지 않으며, 모델 설계와 병렬화 전략에 크게 의존합니다.

구체적인 필요성과 목표는 다음 표와 같이 정리할 수 있습니다.

결국, 모델 병렬 처리는 단순히 모델을 쪼개는 기술을 넘어, 현실적인 하드웨어 제약 내에서 초대형 인공지능 모델의 개발과 배포를 가능하게 하는 핵심 인프라로 자리 잡았습니다.

파이프라인 병렬 처리는 신경망 모델의 서로 다른 계층을 여러 연산 장치에 분산하여 배치하는 방식이다. 모델을 수직적으로 분할하여, 각 장치가 전체 모델의 특정 연속된 계층 블록을 담당한다. 데이터의 흐름이 하나의 장치에서 다음 장치로 순차적으로 전달되며, 이 과정이 마치 공장의 조립 라인과 유사하게 작동한다.

이 방식의 핵심은 마이크로배치를 도입하여 파이프라인의 활용률을 높이는 것이다. 하나의 배치를 여러 개의 작은 마이크로배치로 나누어, 첫 번째 마이크로배치가 첫 번째 장치의 순전파를 마치고 두 번째 장치로 이동하면, 첫 번째 장치는 바로 다음 마이크로배치의 처리를 시작한다. 이를 통해 여러 마이크로배치가 서로 다른 장치에서 동시에 처리되는 파이프라인 병렬성을 달성한다.

그러나 파이프라인 병렬 처리에는 고유한 도전 과제가 존재한다. 바로 파이프라인 버블 현상이다. 파이프라인의 시작과 끝 단계에서는 일부 장치가 유휴 상태로 대기하게 되어, 전체적인 하드웨어 활용률이 저하된다. 버블로 인한 비효율성은 파이프라인의 단계 수가 증가할수록, 그리고 마이크로배치의 수가 적을수록 더욱 커진다.

이러한 문제를 완화하기 위해 GPipe나 파이프드림과 같은 고급 스케줄링 알고리즘이 개발되었다. 이 알고리즘들은 1F1B(One-Forward-One-Backward)와 같은 스케줄링 전략을 사용하여 메모리 사용량과 버블 시간 사이의 균형을 최적화한다. 결과적으로 파이프라인 병렬 처리는 단일 장치의 메모리 용량을 초과하는 매우 큰 모델을 학습시키는 데 필수적인 기술로 자리 잡았다.

텐서 병렬 처리는 모델 병렬 처리의 한 유형으로, 단일 연산(예: 행렬 곱셈) 내의 텐서를 여러 장치에 분할하여 계산하는 방식을 의미한다. 데이터 병렬 처리가 배치 차원을 분할하는 반면, 텐서 병렬 처리는 모델 가중치 자체의 차원을 분할한다. 이 방식은 하나의 레이어 연산이 여러 장치에 걸쳐 동시에 수행되도록 하여, 단일 장치의 메모리 용량을 초과하는 매우 큰 모델 파라미터를 처리하는 데 핵심적인 역할을 한다.

구체적으로, 선형 레이어나 어텐션 메커니즘에서의 큰 행렬 연산을 수평 또는 수직으로 분할한다. 예를 들어, Y = XA라는 행렬 곱셈에서 가중치 행렬 A를 열 방향으로 분할하면, 각 장치는 입력 X와 A의 일부 열을 곱한 결과를 계산한다. 이후 필요한 경우 All-Reduce 또는 All-Gather 같은 통신 연산을 통해 부분 결과들을 동기화하여 최종 출력을 완성한다. 이 분할은 주로 모델의 은닉층 차원이나 어텐션 헤드 차원을 대상으로 이루어진다.

텐서 병렬 처리의 효율성은 통신 비용에 크게 의존한다. 각 순전파와 역전파 단계에서 장치 간 부분 결과의 교환이 필요하기 때문에, 통신 대역폭이 병목 현상이 될 수 있다. 따라서 고대역폭 상호 연결(예: NVLink)을 갖춘 환경에서 가장 효과적으로 동작한다. 구현 복잡도가 높은 편이지만, Megatron-LM과 같은 특수화된 라이브러리는 트랜스포머 모델의 각 구성 요소(MLP, 어텐션)에 대해 최적화된 텐서 병렬 분할 방식을 제공한다.

주요 적용 분할 방식은 다음과 같다.

이 기법은 GPT-3, BLOOM, LLaMA와 같은 수백억에서 수조 개의 파라미터를 가진 대규모 언어 모델 학습의 토대를 이루었다.

계층별 병렬 처리는 딥러닝 모델의 네트워크 계층을 여러 연산 장치에 분산시키는 병렬화 방식이다. 이 방식은 모델의 수직적 구조를 따라 각기 다른 계층 또는 계층 그룹을 서로 다른 GPU나 TPU에 할당하여 실행한다. 하나의 입력 데이터가 첫 번째 장치의 계층을 통과한 후, 그 결과(활성화)가 다음 장치로 전달되어 다음 계층의 처리가 이루어진다. 이는 모델을 가로로 절단하는 방식으로, 주로 모델의 깊이가 매우 깊어 단일 장치의 메모리에 담기 어려울 때 사용된다.

이 방식의 주요 특징은 순차적인 실행 흐름을 가진다는 점이다. 파이프라인 병렬 처리와 유사하게 보일 수 있으나, 계층별 병렬 처리는 일반적으로 동일한 데이터 배치 내에서의 순차적 실행에 초점을 맞춘다. 반면, 파이프라인 병렬 처리는 여러 데이터 마이크로 배치를 동시에 처리하여 파이프라인을 가득 채우는 방식으로 활용률을 높인다. 계층별 병렬 처리의 구현은 비교적 직관적이지만, 장치 간 데이터 전송으로 인한 대기 시간이 발생하고, 한 번에 하나의 장치만 활성화되어 다른 장치들이 유휴 상태에 머무를 수 있어 효율성이 떨어지는 단점이 있다.

효율성을 개선하기 위해, 계층별 병렬 처리는 종종 다른 병렬화 기법과 결합되어 사용된다. 예를 들어, 각 계층 내부의 연산을 더 세분화하여 분산시키는 텐서 병렬 처리와 함께 적용되거나, 데이터 배치를 분할하는 데이터 병렬 처리와 결합될 수 있다. 아래 표는 계층별 병렬 처리의 핵심 특성을 요약한다.

이 방식은 순환 신경망이나 매우 많은 트랜스포머 블록을 가진 모델과 같이 명확한 순차적 의존성을 가진 구조에 적합하다. 그러나 현대의 대규모 모델 학습에서는 순수한 계층별 병렬 처리만 단독으로 사용하기보다는, 파이프라인 병렬 처리 기법을 통해 유휴 시간을 최소화하는 하이브리드 접근법이 더 일반적이다.

PyTorch는 torch.nn.parallel 모듈과 torch.distributed 패키지를 통해 모델 병렬 처리를 지원한다. nn.DataParallel은 단일 머신 다중 GPU 환경에서의 데이터 병렬 처리에 주로 사용되지만, 모델 병렬 처리를 위해서는 nn.parallel.DistributedDataParallel과 사용자 정의 nn.Module을 결합한 분산 학습 방식을 일반적으로 채택한다. 사용자는 모델의 서브 모듈을 서로 다른 GPU에 할당하고 순전파 및 역전파 과정에서 필요한 통신을 명시적으로 설계해야 한다. 최근에는 torch.distributed.pipeline.sync.Pipe와 같은 파이프라인 병렬 처리용 고수준 API도 도입되었다.

TensorFlow는 tf.distribute.Strategy API를 중심으로 병렬 처리 전략을 제공한다. MirroredStrategy는 데이터 병렬 처리에 최적화되어 있으나, 모델 병렬 처리를 위해서는 사용자 정의 분산 전략을 구현하거나 tf.distribute.experimental.ParameterServerStrategy와 같은 보다 유연한 전략을 활용할 수 있다. TensorFlow 2.x에서는 케라스 모델을 기반으로, 모델의 특정 레이어를 특정 장치에 고정하는 tf.device 스코프를 사용한 수동 분할이 일반적인 접근법이다. 또한 다중 워커 환경에서의 효율적인 통신을 위해 tf.distribute.CrossDeviceOps를 커스터마이징할 수 있다.

두 프레임워크 모두 분산 학습의 핵심 요소인 집합 통신 연산을 지원한다. PyTorch는 torch.distributed의 all_reduce, broadcast 등의 집단 통신 원시 연산을 제공하며, TensorFlow는 tf.distribute 내에서 이에 상응하는 기능을 구현한다. 그러나 순수 프레임워크 수준의 지원만으로는 초대형 모델 학습에 따른 복잡성을 완전히 해결하기 어렵기 때문에, 사용자는 종종 DeepSpeed나 Megatron-LM과 같은 특수화된 라이브러리를 두 프레임워크 위에 통합하여 사용한다.

PyTorch와 TensorFlow 같은 범용 프레임워크가 기본적인 모델 병렬 처리 기능을 제공하지만, 대규모 모델을 효율적으로 학습시키기 위해서는 특수화된 라이브러리의 도움이 필요하다. 이러한 라이브러리들은 통신 최적화, 고급 메모리 관리, 혁신적인 병렬화 기법을 통합하여 성능과 확장성을 극대화한다.

대표적인 라이브러리로는 마이크로소프트의 DeepSpeed와 NVIDIA의 Megatron-LM이 있다. DeepSpeed는 ZeRO (Zero Redundancy Optimizer) 기술을 핵심으로 삼아, 옵티마이저 상태, 그래디언트, 모델 파라미터의 메모리 중복을 제거한다. 이를 통해 단일 GPU의 메모리 한계를 넘어 수천억 개의 파라미터를 가진 모델도 학습할 수 있게 한다. 또한, 파이프라인 병렬 처리를 위한 추상화 계층과 효율적인 체크포인팅 기능도 제공한다. Megatron-LM은 주로 텐서 병렬 처리에 특화되어 있으며, 트랜스포머 모델의 어텐션 메커니즘과 MLP 계층을 효율적으로 분할하는 알고리즘으로 유명하다. 이 라이브러리는 NVIDIA GPU 간의 고대역폭 NVLink 연결을 최대한 활용하도록 설계되었다.

이 외에도 여러 라이브러리들이 다양한 접근 방식을 취하고 있다.

이러한 특수화된 라이브러리들은 종종 함께 사용되기도 한다. 예를 들어, DeepSpeed의 ZeRO-3와 Megatron의 텐서 병렬 처리를 결합한 'Megatron-DeepSpeed' 같은 하이브리드 접근법이 대규모 언어 모델 학습의 사실상 표준으로 자리 잡았다.

모델 병렬 처리의 가장 핵심적인 장점은 단일 GPU나 TPU의 메모리 용량 한계를 넘어서는 대규모 인공신경망 모델을 학습시키고 실행할 수 있다는 점이다. 현대의 트랜스포머 기반 대규모 언어 모델이나 고해상도 이미지를 처리하는 컴퓨터 비전 모델은 수십억에서 수조 개의 매개변수를 가지며, 이는 종종 하나의 가속기 장치가 수용할 수 있는 메모리 용량을 훨씬 초과한다. 모델 병렬 처리는 모델의 구조를 분할하여 여러 장치에 분산시킴으로써, 이러한 초대형 모델을 실제로 구축하고 학습시킬 수 있는 실현 가능한 경로를 제공한다.

이 접근법은 단순히 모델을 실행 가능하게 만드는 것을 넘어, 연구와 개발의 지평을 넓힌다. 연구자들은 더 많은 매개변수와 더 복잡한 구조를 가진 모델을 실험할 수 있게 되어, 모델의 성능과 정확도를 한층 높일 수 있다. 예를 들어, GPT-3나 BERT와 같은 모델의 발전은 모델 병렬 처리 없이는 상상하기 어려웠을 것이다. 또한, 더 큰 배치 크기를 사용하거나 고해상도 데이터를 직접 입력하는 것도 가능해져, 학습의 안정성과 최종 모델의 품질을 향상시키는 데 기여한다.

모델 병렬 처리는 하드웨어 자원을 보다 효율적으로 활용할 수 있게 한다. 여러 개의 비교적 작은 메모리를 가진 장치를 하나의 큰 메모리 풀처럼 사용할 수 있으며, 이는 고가의 특수 대용량 메모리 장비에 대한 의존도를 낮춘다. 아래 표는 모델 병렬 처리를 통해 가능해지는 주요 이점을 요약한다.

결과적으로, 모델 병렬 처리는 딥러닝이 직면한 메모리 장벽을 돌파하는 핵심 기술로 자리 잡았으며, 인공지능 모델의 규모와 능력이 지속적으로 성장하는 데 필수적인 기반을 제공한다.

모델 병렬 처리는 GPU나 TPU와 같은 하드웨어 장치의 메모리 용량 한계를 극복하는 데 유용하지만, 몇 가지 명확한 단점을 동반한다. 가장 큰 문제는 장치 간 통신 오버헤드이다. 모델이 여러 장치에 분산되면, 순전파와 역전파 과정에서 각 장치는 계산에 필요한 데이터를 주고받아야 한다. 이 통신은 일반적으로 고대역폭 상호 연결(예: NVLink)을 통해 이루어지지만, 여전히 계산 시간에 비해 상당한 지연을 유발한다. 특히 파이프라인 병렬 처리에서 파이프라인의 단계 수가 많아질수록, 버블로 인한 장치 유휴 시간이 증가하여 전체 처리량이 저하된다.

구현의 복잡성 또한 주요 장애물이다. 데이터 병렬 처리에 비해 모델 병렬 처리는 모델 아키텍처를 수동으로 분할하고, 각 부분의 의존성을 관리하며, 통신 동기화 지점을 신중하게 설계해야 한다. 이는 단순한 모델에서는 비교적 간단할 수 있지만, 수백 개의 계층을 가진 현대의 트랜스포머 기반 모델에서는 매우 어려운 작업이 된다. 개발자는 분산 학습의 세부 사항에 깊이 관여해야 하며, 이는 연구와 개발 속도를 늦추는 요인이 된다.

또한, 부하 불균형 문제가 발생할 수 있다. 모델을 균등하게 분할하더라도, 각 부분의 계산량과 메모리 사용량은 실제 연산 과정에서 다를 수 있다. 이로 인해 일부 장치는 다른 장치가 작업을 끝낼 때까지 기다려야 하는 상황이 발생하며, 이는 자원 활용률을 떨어뜨린다. 마지막으로, 디버깅과 모니터링이 어렵다는 점이다. 분산된 환경에서 특정 장치에서 발생한 오류를 추적하거나, 전체 시스템의 성능 병목 현상을 분석하는 것은 단일 장치에서 작업할 때보다 훨씬 복잡하고 시간이 많이 소요된다.

통신 최소화 기법은 모델 병렬 처리에서 발생하는 통신 오버헤드를 줄여 전체 학습 효율을 향상시키는 핵심 전략이다. 주요 접근법으로는 통신과 계산의 중첩, 통신량 감소, 그리고 효율적인 통신 패턴 설계가 있다.

계산과 통신의 중첩은 가장 널리 사용되는 기법이다. GPU가 한 계층의 순전파 또는 역전파 계산을 수행하는 동시에, 다른 계층 간의 그래디언트나 활성화 텐서 통신을 비동기적으로 진행하는 방식이다. 이를 통해 통신으로 인한 대기 시간을 숨겨 처리량을 높일 수 있다. 예를 들어, 파이프라인 병렬 처리에서는 마이크로배치를 도입하여 서로 다른 마이크로배치의 계산 단계와 통신 단계를 교차시키는 방식으로 중첩을 구현한다.

통신량 자체를 줄이는 기법도 중요하다. 그래디언트 압축은 전송해야 할 데이터의 양을 줄이는 기술로, 양자화나 희소화를 통해 정밀도를 일부 희생하면서 통신 부하를 크게 감소시킨다. 또한, 통신 주기를 조정하여 모든 단계가 아닌 일정 주기마다만 그래디언트를 동기화하는 방법도 사용된다. 효율적인 통신 패턴으로는, 텐서 병렬 처리에서 All-Reduce 연산을 최적화하거나, 계층별 병렬 처리에서 통신이 필요한 장치들을 논리적 링 또는 메시 형태로 구성하여 지연 시간을 최소화하는 방법이 있다.

이러한 기법들은 단독으로 또는 결합되어 사용되며, 하드웨어 토폴로지와 모델 구조에 맞게 튜닝되어야 최상의 성능을 얻을 수 있다.

메모리 사용 효율화는 모델 병렬 처리를 성공적으로 적용하기 위한 핵심 최적화 전략 중 하나이다. 대규모 인공신경망 모델은 학습 시 방대한 양의 파라미터, 옵티마이저 상태, 기울기, 활성화 값을 메모리에 유지해야 하므로, 단일 GPU나 TPU의 메모리 용량을 쉽게 초과한다. 모델 병렬 처리는 모델 자체를 여러 장치에 분할하여 배치함으로써, 단일 장치의 메모리 부담을 줄이는 것을 목표로 한다.

효율화를 위한 주요 기법으로는 체크포인팅과 오프로딩이 있다. 체크포인팅(또는 활성화 재계산)은 순전파 과정의 중간 활성화 값을 모두 저장하지 않고, 역전파 시 필요한 특정 지점의 활성화만을 선택적으로 재계산하는 방식이다. 이는 활성화 값을 저장하기 위한 메모리 사용량을 크게 절감하지만, 추가적인 계산 오버헤드를 발생시킨다. 오프로딩은 모델의 특정 구성 요소(예: 옵티마이저 상태나 일부 파라미터)를 장치의 고속 GPU 메모리에서 호스트의 CPU 메모리 또는 NVMe 저장장치로 일시적으로 이동시키는 기술이다. 계산이 필요할 때만 고속 메모리로 다시 불러오는 방식으로, 제한된 GPU 메모리를 더 효율적으로 사용할 수 있게 한다.

이러한 기법들은 종합적으로 적용된다. 예를 들어, Microsoft의 DeepSpeed 라이브러리는 Zero Redundancy Optimizer(ZeRO) 스테이지 3를 통해 모델 파라미터, 옵티마이저 상태, 기울기를 여러 GPU에 분산 저장하고, 필요 시 통신으로 수집하는 방식을 사용한다. 여기에 CPU로의 오프로딩(ZeRO-Infinity)을 결합하면 단일 GPU의 메모리 한계를 넘어 훨씬 더 큰 모델을 학습시킬 수 있다. 최적의 메모리 효율화 전략은 사용 가능한 하드웨어 자원, 모델 크기, 통신 대역폭 등을 고려하여 시간과 메모리 사이의 트레이드오프를 신중히 결정하는 것이다.

대규모 언어 모델은 수백억에서 수조 개의 매개변수를 가지며, 단일 GPU나 TPU의 메모리 용량을 훨씬 초과합니다. 따라서 모델 병렬 처리는 이러한 초대형 모델을 학습시키기 위한 필수적인 기술로 자리 잡았습니다. 특히 트랜스포머 기반의 인코더-디코더 구조나 디코더 전용 구조는 여러 병렬 처리 전략에 적합한 모듈화된 설계를 가지고 있습니다.

구체적인 적용 예로, 파이프라인 병렬 처리는 모델의 서로 다른 계층을 여러 장치에 분배하여 미니배치를 세그먼트로 나누어 처리합니다. 이는 GPT-3나 BLOOM과 같은 모델 학습에 활용되었습니다. 한편, 텐서 병렬 처리는 단일 계층 내의 연산, 예를 들어 Feedforward Network나 어텐션 메커니즘의 큰 행렬 연산을 여러 장치에 분할합니다. Megatron-LM과 같은 프레임워크는 이 방식을 통해 계층 내 병렬성을 극대화합니다. 실제 학습에서는 파이프라인 병렬과 텐서 병렬을 혼합하여 사용하는 경우가 많습니다[4].

이러한 병렬화는 단순히 모델을 메모리에 올리는 것을 가능하게 할 뿐만 아니라, 학습 효율성에도 영향을 미칩니다. 통신 오버헤드를 관리하고 활성화 메모리를 효율적으로 처리하는 것이 핵심 과제입니다. DeepSpeed의 Zero Redundancy Optimizer 같은 기술은 모델 상태를 장치들에 분산시켜 저장함으로써, 모델 병렬 처리와 결합했을 때 더 큰 규모의 모델을 더 적은 자원으로 학습할 수 있게 합니다. 결과적으로 모델 병렬 처리는 ChatGPT나 LLaMA와 같은 현대적 LLM의 개발을 실현 가능한 기술적 토대를 제공했습니다.

컴퓨터 비전 분야에서도 매개변수 규모가 수백억에서 수천억 개에 이르는 초대형 모델의 등장으로 모델 병렬 처리가 필수적인 기술이 되었다. 특히 고해상도 이미지 생성, 비디오 이해, 복잡한 시각-언어 다중 모달 작업 등을 수행하는 모델들은 방대한 계산량과 메모리 요구사항을 가지며, 단일 GPU나 TPU로는 학습이나 추론이 불가능한 경우가 많다.

이러한 초대형 컴퓨터 비전 모델은 주로 파이프라인 병렬 처리와 텐서 병렬 처리를 결합한 하이브리드 방식으로 학습된다. 예를 들어, Vision Transformer 기반의 거대 모델은 다수의 어텐션 헤드와 MLP 블록을 여러 장치에 분산시키는 텐서 병렬 처리를 적용하고, 모델의 깊은 계층을 순차적으로 실행하는 파이프라인 병렬 처리를 함께 사용하여 효율성을 높인다. 고해상도 이미지를 처리할 때 발생하는 큰 활성화 텐서는 그래디언트 체크포인팅과 같은 메모리 최적화 기법과 함께 모델 병렬 처리로 분산 저장된다.

주요 응용 사례로는 텍스트-이미지 생성 모델, 대규모 비디오 예측 모델, 그리고 의료 영상 분석이나 자율 주행을 위한 통합 시각 인식 모델 등이 있다. 아래 표는 컴퓨터 비전 초대형 모델 학습에 모델 병렬 처리가 적용된 예시를 보여준다.

이 분야의 도전 과제는 이미지의 공간적 차원(높이, 너비)과 채널 차원을 효율적으로 분할하는 방법, 그리고 합성곱 신경망 계층과 트랜스포머 계층이 혼합된 구조에서의 최적의 병렬화 전략 수립이다. 또한, 실시간 추론을 위해 학습된 초대형 모델을 어떻게 효율적으로 서빙할 것인지도 중요한 연구 주제로 남아 있다.