신경망 처리 장치

NPU의 핵심 설계 철학은 인공 신경망 연산의 본질적인 병렬성을 하드웨어 수준에서 효율적으로 활용하는 것이다. 대부분의 신경망 연산, 특히 합성곱과 완전 연결 계층의 연산은 수많은 독립적인 곱셈-누적 연산으로 구성된다. NPU는 이러한 연산을 동시에 처리하기 위해 수백에서 수천 개의 작은 처리 유닛을 배열한다. 이 처리 유닛들은 단일 명령어로 여러 데이터 스트림에 동일한 연산을 적용하는 SIMD 방식이나, 그 변형인 SIMT 방식을 채택한다. 이 구조는 CPU의 범용적인 직렬 처리 방식과 근본적으로 다르며, 매트릭스와 텐서 연산에 특화되어 있다.

병렬 처리의 효율성을 극대화하기 위해 NPU는 데이터 흐름에 맞춰 메모리 계층을 최적화한다. 큰 모델 가중치와 중간 활성화 데이터를 저장하기 위해 대역폭이 높은 온칩 메모리를 집중적으로 배치한다. 이는 외부 메모리 접근으로 인한 지연과 에너지 소비를 줄이는 데 핵심적이다. 데이터는 처리 유닛 배열로 지속적으로 공급되어야 하므로, 메모리 서브시스템 설계는 처리 유닛 자체만큼 중요하다.

병렬 처리 구조의 구체적인 구현 방식은 목표 워크로드에 따라 달라진다. 일부 아키텍처는 고정된 크기의 MAC 유닛 배열을 사용하는 반면, 다른 아키텍처는 더 유연한 가변 크기 텐서 처리 엔진을 탑재한다. 또한, 파이프라이닝 기술을 적용하여 데이터 로드, 연산, 결과 저장 단계를 중첩시켜 전반적인 처리량을 더욱 향상시킨다.

NPU는 인공 신경망 연산에 최적화된 전용 명령어 집합을 갖추고 있다. 이 명령어들은 일반적인 CPU나 GPU의 범용 명령어와 달리, 신경망 모델의 기본 구성 요소인 행렬 곱셈, 합성곱, 활성화 함수 계산 등을 단일 또는 소수의 명령어로 직접 수행하도록 설계되었다. 예를 들어, 하나의 명령어로 큰 규모의 점곱 연산을 실행하거나, ReLU 같은 비선형 변환을 병렬로 적용할 수 있다. 이러한 전문화는 명령어 해독 및 실행에 필요한 오버헤드를 크게 줄여 전체 처리 효율을 향상시킨다.

전용 명령어 집합의 설계는 데이터 흐름과 계산 패턴을 반영한다. 대표적인 명령어 유형은 다음과 같다.

이러한 명령어들은 하드웨어 수준에서 고도로 병렬화되어 있으며, SIMD 또는 SIMT 방식으로 수백에서 수천 개의 연산 유닛에 동시에 발행된다. 또한, 명령어 자체에 양자화된 데이터 타입(예: INT8, FP16, BF16)을 지원하는 필드가 포함되어 있어, 정밀도별 연산을 효율적으로 관리할 수 있다. 이는 모델 압축 기법과 결합되어 메모리 대역폭 사용량을 절감하고 에너지 효율을 높이는 데 기여한다[1].

NPU의 설계 핵심 목표 중 하나는 인공지능 작업, 특히 신경망 추론 및 학습을 수행할 때 CPU나 GPU 대비 월등히 높은 에너지 효율을 달성하는 것이다. 이는 모바일 기기에서 배터리 수명을 연장하고, 데이터 센터에서는 운영 비용과 냉각 부담을 줄이는 데 직접적으로 기여한다.

에너지 효율성 설계는 주로 하드웨어 수준의 최적화를 통해 이루어진다. NPU는 신경망 연산에 특화된 전용 논리 회로를 사용하여 불필요한 제어 로직과 범용성을 줄인다. 예를 들어, 행렬 곱셈이나 합성곱 연산을 수행하는 고정된 데이터 경로를 갖추어, 명령어를 해독하고 스케줄링하는 데 소모되는 에너지를 최소화한다. 또한 메모리 계층 구조를 신중하게 설계하여, 자주 사용되는 가중치와 중간 데이터를 프로세서 코어 근처의 작고 빠른 메모리에 저장함으로써, 대용량 주메모리로의 빈번한 접근으로 인한 높은 에너지 소모를 방지한다.

연산 정밀도 관리도 중요한 설계 요소이다. 신경망은 많은 경우 높은 정밀도(예: 32비트 부동소수점)보다 낮은 정밀도(예: 8비트 정수, 16비트 부동소수점)에서도 충분한 정확도를 유지할 수 있다. NPU는 이러한 낮은 정밀도 연산(예: INT8, FP16)을 위한 전용 연산 유닛을 내장하여, 단일 클럭에 더 많은 연산을 처리할 뿐만 아니라 데이터 이동량과 연산 자체에 필요한 에너지를 크게 절감한다. 동적 전압 주파수 스케일링(DVFS) 기술을 적용하여 워크로드에 따라 연산 유닛의 클럭과 전압을 실시간으로 조정하는 것도 일반적인 기법이다.

결과적으로, NPU의 에너지 효율성은 초당 테라 연산 대비 와트(TOPS/W) 수치로 측정되며, 이는 단위 전력으로 수행할 수 있는 연산량을 나타낸다. 고효율 NPU 설계는 에지 컴퓨팅과 대규모 AI 서비스의 실용화를 가능하게 하는 기반 기술로 평가받는다.

SIMD(Single Instruction, Multiple Data)는 하나의 명령어로 여러 데이터에 동일한 연산을 동시에 수행하는 병렬 처리 방식이다. 이 방식은 행렬 곱셈이나 합성곱 연산과 같이 대규모 데이터 배열에 반복적이고 동일한 연산이 적용되는 신경망 작업에 매우 적합하다. NPU는 수백에서 수천 개의 연산 유닛을 배열하여 하나의 제어 유닛이 모든 유닛에 동일한 명령을 브로드캐스트하고, 각 유닛은 서로 다른 데이터를 처리하는 방식으로 작동한다.

SIMT(Single Instruction, Multiple Threads)는 SIMD의 개념을 발전시킨 것으로, 특히 GPU 아키텍처에서 유래했다. SIMT는 하나의 명령어가 여러 스레드에서 실행되도록 하지만, 각 스레드는 자신만의 실행 경로와 레지스터 상태를 가질 수 있다. 이는 조건부 분기와 같은 복잡한 제어 흐름을 더 유연하게 처리할 수 있게 한다. 많은 현대 NPU는 SIMT 모델을 채택하거나 변형하여, 데이터 병렬성과 함께 일부 스레드 수준의 유연성을 제공한다.

두 구조의 주요 차이점은 데이터 처리의 유연성에 있다. SIMD는 엄격한 데이터 정렬과 동기화를 요구하는 반면, SIMT는 스레드 그룹 내에서 개별 스레드가 조건에 따라 다른 작업을 수행할 수 있는 마스킹(masking) 메커니즘을 제공한다. NPU 설계에서는 처리할 작업의 특성에 따라 순수 SIMD, SIMT, 또는 하이브리드 방식을 선택한다.

NPU에서 이 구조들은 대규모 가중치와 입력 데이터를 효율적으로 처리하는 핵심이 된다. 특히 텐서 코어와 같은 전용 하드웨어는 이러한 병렬 처리 원리를 극대화하도록 설계된다.

텐서 코어는 주로 행렬 곱셈과 합성곱 연산을 고도로 최적화하여 처리하기 위한 전용 하드웨어 블록이다. 이는 엔비디아의 Volta 및 이후 GPU 아키텍처에서 처음 도입된 개념으로, NPU의 핵심 연산 가속을 위한 설계 철학을 대표한다. 텐서 코어는 부동소수점 연산뿐만 아니라 양자화된 정수 연산도 지원하여, 추론 단계에서 높은 처리량과 에너지 효율을 달성하는 데 기여한다.

텐서 코어의 핵심 동작 원리는 저정밀도(low-precision) 데이터 타입을 활용한 혼합 정밀도 연산이다. 예를 들어, 두 개의 4x4 FP16 행렬을 입력받아 그 결과를 FP32 정밀도로 누적하는 연산을 단일 사이클에 수행할 수 있다[2]. 이는 전통적인 CUDA 코어보다 훨씬 높은 연산 처리량을 제공한다. 주요 연산 지원 데이터 타입은 다음과 같다.

이러한 설계는 딥 러닝 모델의 기본 구성 요소인 텐서 연산에 특화되어 있어, 합성곱 신경망이나 트랜스포머 모델과 같은 대규모 모델의 처리 속도를 획기적으로 높인다. 텐서 코어는 범용 SIMT 코어와 함께 작동하여, 병렬 처리 흐름 중 특정 연산을 오프로드하고 가속하는 역할을 담당한다. 결과적으로, 텐서 코어를 탑재한 NPU나 GPU는 TOPS와 같은 성능 지표에서 매우 높은 수치를 보여준다.

NPU의 메모리 계층 구조는 대규모 가중치와 중간 활성화 데이터를 효율적으로 공급하여 높은 연산 처리량을 유지하는 데 핵심적인 역할을 한다. 전통적인 CPU나 GPU의 메모리 설계와 달리, NPU는 신경망 워크로드의 특성에 맞춰 데이터 이동의 병목 현상을 최소화하도록 설계된다. 이는 주로 계산 유닛에 매우 가까운 고대역폭의 온칩 메모리를 다량 배치하고, 데이터 재사용성을 극대화하는 데이터플로를 채택함으로써 달성된다.

계층 구조는 일반적으로 여러 단계로 구성된다. 가장 빠른 계층은 텐서 코어나 MAC 유닛과 직접 연결된 레지스터 파일 또는 전용 SRAM 버퍼이다. 그 다음으로 수 메가바이트(MB) 규모의 글로벌 온칩 버퍼(종종 '활성화 메모리' 또는 '가중치 버퍼'로 불림)가 위치하며, 가장 외부 계층은 시스템 DRAM(예: LPDDR, HBM)이다. 효율적인 설계는 자주 접근하는 가중치와 활성화 값을 가능한 한 낮은 계층(온칩)에 유지하여 외부 메모리 접근 횟수와 그에 따른 지연 시간 및 에너지 소비를 크게 줄이는 데 중점을 둔다.

데이터플로 아키텍처는 이 메모리 계층을 어떻게 활용하는지 정의한다. 예를 들어, 가중치 고정 방식은 큰 가중치 텐서를 온칩 버퍼에 한 번 로드한 후, 많은 입력 데이터(활성화)에 대해 재사용한다. 반면, 출력 고정 방식은 중간 결과를 온칩에 유지한다. 이러한 전략 선택은 모델의 크기, 연산 유형, 그리고 사용 가능한 온칩 메모리 용량에 따라 최적의 에너지 효율과 성능을 결정한다.

이러한 계층적 설계 덕분에 NPU는 행렬 곱셈과 합성곱 연산에서 반복적으로 사용되는 데이터 패턴을 효과적으로 처리하며, 높은 TOPS 수치를 실제 성능으로 연결하는 데 기여한다.

행렬 곱셈은 신경망의 순전파와 역전파 과정에서 가장 빈번하게 수행되는 핵심 연산이다. 합성곱 신경망의 합성곱 연산이나 순환 신경망의 게이트 연산, 전결합층의 계산은 모두 행렬 곱셈 또는 그 변형으로 표현된다. 따라서 NPU의 설계는 이러한 대규모 행렬 연산을 최대한 효율적으로 처리하는 데 초점을 맞춘다.

NPU는 행렬 곱셈을 가속하기 위해 수천 개의 작은 MAC 유닛을 병렬로 배열한다. 이들은 단일 명령어로 동시에 많은 곱셈-누적 연산을 수행한다. 예를 들어, 4x4 행렬 곱셈은 일반 CPU에서는 64회의 순차적 곱셈과 덧셈이 필요하지만, NPU는 16개의 MAC 유닛을 사용해 한 번에 처리할 수 있다. 이 병렬 처리는 데이터 재사용성을 극대화하는 메모리 계층 구조와 결합된다. 자주 사용되는 가중치 데이터는 고대역폭의 온칩 SRAM에 저장되어 외부 메모리 접근으로 인한 지연과 에너지 소비를 줄인다.

이러한 가속 방식은 양자화 기술과 결합되어 더욱 강력해진다. 학습된 모델의 가중치와 활성화 값을 32비트 부동소수점(FP32)에서 8비트 정수(INT8) 또는 16비트 부동소수점(FP16)으로 낮추면, 단일 메모리 버스 전송으로 더 많은 데이터를 이동시킬 수 있고, MAC 유닛의 크기와 전력 소비도 줄일 수 있다. 결과적으로 NPU는 동일한 시간에 더 많은 행렬 연산을 처리하며, 에너지 효율은 CPU나 범용 GPU 대비 수십 배에서 수백 배까지 높아진다.

활성화 함수는 인공 신경망의 뉴런 출력에 비선형 변환을 적용하는 핵심 요소이다. NPU는 이러한 활성화 함수 계산을 전용 하드웨어 유닛으로 가속하여 CPU나 범용 GPU보다 훨씬 빠르고 효율적으로 처리한다. 대표적인 활성화 함수로는 ReLU, 시그모이드 함수, 하이퍼볼릭 탄젠트 등이 있으며, NPU는 이들의 계산을 최적화된 회로로 실행한다.

NPU는 활성화 함수 처리에 특화된 하드웨어 로직을 내장한다. 예를 들어, ReLU는 입력값이 0보다 작으면 0으로, 크면 그대로 출력하는 간단한 연산이므로 비교기와 멀티플렉서로 구성된 매우 작고 빠른 회로로 구현된다. 시그모이드 함수나 tanh와 같은 복잡한 함수는 룩업 테이블이나 다항식 근사 방식을 사용하여 하드웨어 친화적인 형태로 변환하여 계산한다. 이를 통해 소프트웨어 구현에 비해 지연 시간과 전력 소비를 크게 줄인다.

활성화 함수 처리 유닛은 종종 NPU 내의 MAC 유닛이나 텐서 코어와 긴밀하게 통합되어 파이프라인을 형성한다. 행렬 곱셈 또는 합성곱 연산의 결과가 바로 활성화 함수 유닛으로 스트리밍되어 처리되므로, 중간 결과를 메인 메모리에 저장하고 다시 불러오는 비용이 제거된다. 이는 데이터 이동을 최소화하는 메모리 계층 구조 설계와 결합되어 전체 처리 효율을 극대화하는 핵심 원리이다.

최신 NPU는 다양한 활성화 함수를 지원할 수 있는 유연한 하드웨어를 지향한다. 일부 아키텍처는 프로그래머블한 함수 생성기를 포함하거나, 새로운 활성화 함수를 효율적으로 처리할 수 있는 범용 산술 논리 장치를 통합하기도 한다. 이는 신경망 연구에서 지속적으로 새로운 활성화 함수가 등장하는 추세에 대응하기 위한 설계이다.

양자화는 부동소수점과 같은 고정밀도 데이터 형식을 낮은 비트 수의 정수 형식으로 변환하는 과정이다. 예를 들어, 32비트 부동소수점 가중치를 8비트 정수로 변환하면 모델의 메모리 사용량과 메모리 대역폭 요구 사항이 크게 줄어든다. 이는 NPU의 온칩 메모리 용량이 제한적인 경우 특히 중요하다. 양자화는 일반적으로 학습 후 양자화와 양자화 인식 학습의 두 가지 방식으로 수행된다.

양자화된 데이터를 처리하기 위해 NPU는 전용 하드웨어 유닛을 포함한다. 이 유닛은 낮은 비트 폭(예: INT8, INT4)의 정수 곱셈-누산 연산을 효율적으로 수행하며, 종종 높은 처리량을 위해 병렬로 배열된다. 또한, 가중치 압축 기술이 함께 사용되는 경우가 많다. 희소 행렬 압축은 값이 0인 요소를 건너뛰어 불필요한 연산을 제거하고, 엔트로피 코딩은 반복되는 데이터 패턴을 더 적은 비트로 표현한다.

이러한 기법들은 모델 크기를 줄이고 메모리 접근 횟수를 감소시켜, NPU의 전력 효율과 처리 속도를 동시에 향상시키는 핵심 요소이다. 결과적으로 양자화 및 압축은 에지 디바이스에서 대규모 신경망 모델의 실시간 추론을 가능하게 하는 필수 기술이다.

이미지 인식은 NPU의 가장 대표적인 응용 분야이다. 합성곱 신경망 기반 모델은 이미지 내 객체 탐지, 분류, 분할 작업을 수행하며, NPU는 이러한 모델의 핵심 연산인 합성곱과 풀링을 고속으로 처리한다. 이는 스마트폰 카메라의 실시간 얼굴 인식, 사진 앱의 자동 태그 지정, 보안 시스템의 침입 감지 등에 활용된다.

영상 처리 분야에서는 실시간 성능이 특히 중요하다. NPU는 고해상도 비디오 스트림에 대한 객체 추적, 행동 인식, 초해상도 처리 작업을 가속화한다. 예를 들어, 영상 통화의 배경 흐림 처리, 동영상 플랫폼의 자동 자막 생성, 감시 카메라의 비정상 행동 탐지 시스템이 NPU의 도움으로 구현된다.

의료 영상 분석은 NPU의 정밀한 처리 능력을 요구하는 분야이다. X선, MRI, 단층촬영 영상에서 종양이나 이상 징후를 자동으로 탐지하는 CAD 시스템은 NPU의 병렬 처리 능력을 통해 분석 시간을 크게 단축하고 진단 정확도를 향상시킨다.

이러한 응용들은 대량의 픽셀 데이터를 저지연으로 처리해야 하며, NPU의 메모리 계층 구조와 데이터 재사용 최적화 설계가 핵심 성능 요소로 작동한다.

자연어 처리는 인공지능이 인간의 언어를 이해, 생성, 조작할 수 있도록 하는 분야이다. NPU는 이 작업에 필요한 대규모 언어 모델의 추론 과정을 효율적으로 가속화하는 데 핵심적인 역할을 한다. 특히 트랜스포머 아키텍처 기반의 모델은 방대한 매개변수와 복잡한 어텐션 메커니즘으로 인해 엄청난 행렬 연산을 요구하는데, NPU의 병렬 처리 구조는 이를 효과적으로 해결한다.

NPU는 자연어 처리의 주요 작업인 토큰화, 임베딩, 다중 헤드 어텐션 계산, 피드포워드 신경망 계층의 처리를 최적화한다. 예를 들어, 문장의 각 단어를 벡터로 변환하는 임베딩 조회 작업이나 어텐션 스코어를 계산하는 행렬 곱셈은 NPU의 SIMD 유닛을 통해 동시에 처리되어 지연 시간을 크게 줄인다. 또한 양자화 기술을 적용하여 모델의 정밀도를 32비트 부동소수점에서 8비트 정수 등으로 낮추어도 성능 저하를 최소화하면서 메모리 대역폭과 전력 소비를 개선한다[3].

자연어 처리를 위한 NPU의 응용은 실시간 대화형 AI, 기계 번역, 텍스트 요약, 감정 분석 등 다양한 분야로 확장된다. 모바일 기기에서는 애플 뉴럴 엔진이나 퀄컴 헥사곤 NPU가 온디바이스에서 동작하는 언어 모델을 지원하여 개인정보 보호와 네트워크 지연을 해결한다. 데이터센터에서는 구글 TPU나 엔비디아 테슬라 시리즈와 같은 고성능 NPU가 GPT나 BERT와 같은 대형 모델의 배치 추론을 담당하며, 동시에 수천 개의 요청을 처리할 수 있는 처리량을 제공한다.

자율 주행 시스템은 NPU의 핵심 응용 분야 중 하나이다. 자율 주행 차량은 카메라, 라이다, 레이더 등 다양한 센서로부터 실시간으로 방대한 양의 데이터를 수집하며, 이를 안전한 주행 결정을 위해 즉시 처리해야 한다. NPU는 이러한 센서 융합 데이터를 기반으로 객체 탐지, 경로 계획, 위험 예측 등 복잡한 인공지능 모델을 고속으로 실행하는 역할을 담당한다. 특히, 낮은 지연 시간과 높은 신뢰성은 자율 주행의 필수 조건이므로, NPU의 병렬 처리 능력과 에너지 효율성이 매우 중요하게 작용한다.

NPU는 자율 주행의 인지 단계에서 결정적인 역할을 한다. 주요 처리 작업은 다음과 같다.

이러한 작업들은 대규모 신경망 모델을 필요로 하며, NPU는 GPU보다 높은 에너지 효율(TOPS/W)로 이를 처리하여 차량 내 전력 예산을 절감한다. 또한, NPU는 종종 시스템 온 칩 내에 통합되어 센서 인터페이스와 긴밀하게 연결됨으로써 데이터 이동 지연을 최소화한다.

자율 주행의 안전성 요구사항은 NPU 아키텍처에 고장 허용 설계 및 기능적 안전성 표준(예: ISO 26262) 준수와 같은 특수한 요구를 부과한다. 일부 NPU는 중요한 작업을 위한 이중화된 처리 유닛이나 실시간 오류 감지 메커니즘을 포함한다. 미래에는 엣지 컴퓨팅과 협력하는 V2X 통신이 발전함에 따라, NPU는 단순한 인지 처리뿐만 아니라 차량 간, 차량-인프라 간 협력 지능을 위한 분산 추론 엔진으로서의 역할도 확대될 전망이다.

모바일 NPU는 스마트폰, 태블릿, 웨어러블 기기 등 배터리로 구동되는 휴대용 장치에 탑재되어 인공지능 작업을 효율적으로 처리하기 위해 설계된 전용 하드웨어이다. 주요 목표는 제한된 전력 예산 내에서 실시간 추론을 가능하게 하면서도 시스템 온칩의 다른 구성 요소와 조화를 이루는 것이다. 이러한 칩은 주로 카메라 애플리케이션(사진 보정, 인물 모드, 저조도 촬영), 음성 비서, 증강 현실 필터, 실시간 언어 번역 등 사용자와 직접 상호작용하는 온디바이스 AI 기능을 가속화하는 데 사용된다.

대표적인 예로 애플의 뉴럴 엔진이 있다. 이는 애플이 자체 설계한 모바일 AP인 A 시리즈 및 M 시리즈 칩에 통합된 NPU 블록이다. 뉴럴 엔진은 Face ID의 얼굴 인식, 라이브 포토 효과, 시리의 음성 인식과 같은 기능의 핵심 성능을 담당한다. 애플은 세대가 거듭될수록 뉴럴 엔진의 성능(TOPS)과 에너지 효율성을 지속적으로 향상시켜 왔다. 다른 주요 예시는 퀄컴의 헥사곤 프로세서이다. 이는 퀄컴의 스냅드래곤 모바일 플랫폼 내에 위치한 헤테로지니어스 컴퓨팅 플랫폼으로, NPU, DSP, GPU 등 여러 가속기를 포함하며, AI 워크로드를 가장 적합한 처리 유닛에 동적으로 분배하여 효율성을 극대화한다.

이들 모바일 NPU의 공통적인 설계 특징은 높은 에너지 효율성(TOPS/W)에 중점을 둔다는 점이다. 서버용 NPU가 절대적인 처리량을 우선시하는 반면, 모바일 NPU는 발열과 배터리 소모를 최소화하면서도 사용자 경험에 직접 영향을 미치는 지연 시간이 짧은 작업을 처리하는 데 최적화되어 있다. 또한, 모바일 생태계의 특성상 텐서플로 라이트, 코어 ML, 퀄컴 AI 엔진과 같은 경량화된 AI 프레임워크 및 SDK와의 긴밀한 연동이 필수적이다.

서버급 NPU는 데이터 센터나 클라우드 환경에서 대규모 인공지능 모델의 학습과 추론을 가속화하기 위해 설계된 고성능 가속기이다. 모바일 NPU가 주로 에너지 효율과 실시간 추론에 초점을 맞춘다면, 서버급 NPU는 처리량(Throughput)과 대규모 병렬 처리 능력을 극대화하는 데 중점을 둔다. 이러한 장치는 딥러닝 모델의 학습에 소요되는 시간과 비용을 획기적으로 줄이는 핵심 인프라로 자리 잡았다.

대표적인 예로 구글의 텐서 처리 장치(TPU)가 있다. TPU는 구글의 데이터 센터에서 알파고를 비롯한 다양한 AI 서비스를 구동하기 위해 개발된 주문형 반도체(ASIC)이다. 특히 행렬 곱셈과 컨볼루션 연산을 위한 전용 행렬 곱셈 장치(MXU)를 탑재하여 높은 연산 효율을 제공한다. TPU는 v1부터 v5까지 세대별로 발전하며, 파이프라이닝과 고대역폭 메모리(HBM)를 활용한 성능 향상을 지속해 왔다.

엔비디아의 테슬라 시리즈 GPU는 범용 그래픽 처리 장치 아키텍처에 NPU 기능을 통합한 융합형 접근법의 대표 사례이다. 텐서 코어라는 전용 하드웨어 블록을 도입하여 혼합 정밀도(주로 FP16, BF16, INT8) 행렬 연산을 가속화한다. CUDA 생태계와의 긴밀한 통합으로 개발자 접근성이 뛰어나며, V100, A100, H100 등으로 이어지는 제품 라인업을 통해 AI 학습 및 HPC(고성능 컴퓨팅) 시장을 주도하고 있다.

이 외에도 AMD의 인스팅트 MI 시리즈, 인텔의 가우시안 & 하바나 가속기, 그리고 그래프코어, 세레브라스 시스템즈 등 여러 스타트업의 독자적 아키텍처 제품들이 서버급 NPU 시장에 진입하고 있다. 이들의 공통적인 설계 목표는 대규모 모델 병렬 처리와 데이터 병렬 처리를 지원하고, 이더넷 또는 인피니밴드와 같은 고속 상호 연결 기술을 통해 수천 개의 칩을 클러스터로 구성할 수 있는 확장성을 제공하는 것이다.

NPU용 컴파일러는 고수준 프로그래밍 언어로 작성된 딥러닝 모델(주로 PyTorch나 TensorFlow에서 내보낸 모델)을 NPU의 하드웨어 아키텍처에 맞는 저수준 명령어와 데이터 흐름 그래프로 변환하는 역할을 한다. 이 과정에서 모델의 연산 그래프를 분석하여 NPU에서 효율적으로 실행될 수 있도록 연산 융합(operator fusion)이나 레이어 병합 등의 최적화를 수행한다. 주요 컴파일러로는 TVM, MLIR 기반의 프레임워크, 그리고 각 칩 벤더별 자체 SDK에 포함된 전용 컴파일러(예: 퀄컴 AI Engine Direct SDK, 히스틱 HMDK 등)가 존재한다.

SDK(Software Development Kit)는 NPU 하드웨어를 활용하는 데 필요한 모든 소프트웨어 도구 모음이다. 일반적으로 앞서 언급한 컴파일러, 인퍼런스 엔진(런타임), 디버깅 및 프로파일링 도구, 예제 코드, API 문서로 구성된다. 인퍼런스 엔진은 컴파일러가 생성한 실행 파일을 NPU 상에서 로드하고 구동시키는 역할을 하며, 호스트 CPU와의 작업 할당 및 동기화를 관리한다. 벤더별 SDK는 특정 NPU 아키텍처의 고유 기능(예: 특정 양자화 방식 지원, 메모리 할당 정책)을 최대한 활용할 수 있도록 설계된다.

개발 생태계의 편의성을 높이기 위해 다양한 신경망 모델을 NPU에서 바로 실행할 수 있도록 미리 최적화된 모델 라이브러리나 모델 변환 도구를 제공하기도 한다. 예를 들어, ONNX(Open Neural Network Exchange) 모델을 NPU 전용 포맷으로 변환하는 도구는 여러 SDK에 포함되어 있다. 이러한 도구들은 개발자가 모델 구조를 크게 수정하지 않고도 NPU의 성능을 활용할 수 있게 해준다.

NPU용 모델 최적화 도구는 인공 신경망 모델을 대상 하드웨어에서 더 효율적으로 실행할 수 있도록 변환하고 튜닝하는 소프트웨어입니다. 주요 목표는 모델의 추론 속도를 높이고 메모리 사용량을 줄이며 전력 소비를 최소화하는 것입니다. 이러한 도구들은 일반적으로 텐서플로우, 파이토치와 같은 상위 수준의 딥러닝 프레임워크와 NPU 벤더가 제공하는 저수준 SDK 사이의 중간 계층 역할을 합니다.

최적화는 주로 모델의 구조와 가중치를 변환하는 과정을 포함합니다. 대표적인 기법으로는 양자화, 가지치기, 가중치 공유, 계층 융합 등이 있습니다. 양자화는 모델의 가중치와 활성화 값을 32비트 부동소수점에서 8비트 정수와 같은 낮은 정밀도로 변환하여 메모리 대역폭과 계산량을 줄입니다. 가지치기는 모델 내에서 중요도가 낮은 연결이나 뉴런을 제거하여 모델 크기를 축소합니다. 계층 융합은 여러 개의 연속된 연산을 하나의 커널로 결합하여 실행 오버헤드를 감소시킵니다.

이러한 도구들은 특정 NPU 아키텍처의 내부 메모리 계층, 계산 유닛, 명령어 집합에 맞춰 최적의 실행 그래프를 생성합니다. 사용자는 사전 훈련된 모델을 입력으로 제공하면, 도구는 모델을 분석하고 목표 NPU에 맞는 최적화된 바이너리 또는 실행 파일을 출력합니다. 결과적으로 개발자는 하드웨어 세부 사항을 깊이 이해하지 않고도 NPU의 성능을 최대한 끌어낼 수 있습니다.

TOPS는 초당 테라 연산을 의미하는 성능 벤치마크 지표이다. 이는 NPU나 다른 가속기가 1초 동안 수행할 수 있는 테라(10^12) 규모의 연산 횟수를 나타낸다. 주로 행렬 곱셈이나 합성곱과 같은 신경망의 기본 연산을 처리하는 능력을 수치화한다. TOPS 수치가 높을수록 이론상 순수 연산 처리 속도가 빠르다는 것을 의미하지만, 실제 성능은 메모리 대역폭, 지연 시간, 작업 부하 특성 등 다른 요소에 크게 의존한다.

TOPS는 주로 정수 연산(INT8, INT16) 또는 반정밀도 부동소수점(FP16) 연산을 기준으로 측정된다. 예를 들어, 100 TOPS의 성능을 가진 NPU는 초당 100조 번의 정수 연산을 처리할 수 있다. 그러나 이 수치는 최적의 조건에서의 이론적 최대치이며, 실제 추론 또는 학습 작업에서는 달성하기 어렵다. 따라서 TOPS는 다양한 장치의 처리 능력을 비교하는 하나의 기준이 되지만, 절대적인 성능 지표로 보기에는 한계가 있다.

TOPS와 함께 중요한 지표는 에너지 효율을 나타내는 TOPS/W이다. 이는 와트당 초당 테라 연산 횟수를 의미하며, 특히 배터리로 구동되는 모바일 장치나 대규모 데이터 센터에서 전력 소비를 고려할 때 핵심 평가 기준이 된다. 높은 TOPS 수치를 가진 칩이라도 TOPS/W 수치가 낮으면 발열과 전력 소모가 커서 실제 적용에 제약을 받을 수 있다.

에너지 효율은 NPU의 핵심 성능 지표 중 하나로, 단위 전력(와트, W)당 수행할 수 있는 연산 성능(TOPS)을 의미한다. 이 지표는 TOPS/W로 표기되며, 특히 배터리로 구동되는 모바일 장치나 대규모 데이터 센터에서 전력 소비와 냉각 비용을 고려할 때 매우 중요하다.

NPU는 에너지 효율성 설계를 위해 여러 기법을 적용한다. 전용 명령어 집합과 병렬 처리 구조를 통해 불필요한 데이터 이동과 제어 오버헤드를 최소화한다. 또한 낮은 정밀도 연산(예: INT8, FP16)을 지원하여 메모리 대역폭과 전력 소모를 줄인다. 메모리 접근은 전체 전력 소비의 상당 부분을 차지하므로, NPU는 효율적인 메모리 계층 구조와 데이터 재사용 패턴을 통해 이를 최적화한다.

높은 TOPS/W 값을 달성하는 것은 엣지 컴퓨팅과 같은 제한된 전력 예산 환경에서 실시간 AI 기능을 구현하는 데 필수적이다. 따라서 NPU 설계자는 하드웨어 가속기 구조, 데이터 흐름, 그리고 소프트웨어 컴파일러 최적화를 통합적으로 고려하여 에너지 효율을 극대화한다.

차세대 NPU 아키텍처는 단순한 연산 속도 향상을 넘어, 인공지능 모델의 복잡성 증가와 응용 분야의 다양화에 대응하기 위해 진화하고 있다. 주요 방향으로는 이종 컴퓨팅 환경에서의 효율적 통합, 신경망 모델의 동적 특성을 하드웨어 수준에서 지원하는 것, 그리고 메모리 병목 현상을 해결하는 새로운 접근법이 포함된다.

하드웨어와 소프트웨어의 경계를 흐리게 하는 인 메모리 컴퓨팅과 컴퓨트 익스프레스 링크 같은 고대역폭 인터커넥트 기술이 주목받고 있다. 특히 인 메모리 컴퓨팅은 데이터 이동에 소요되는 시간과 에너지를 극적으로 줄여, 에너지 효율을 획기적으로 개선할 잠재력을 지닌다. 또한, 스파이크 신경망 같은 생물학적으로 영감을 받은 모델을 효율적으로 실행하기 위한 전용 뉴로모픽 컴퓨팅 칩의 연구도 활발히 진행 중이다.

이러한 발전은 NPU를 범용 CPU나 GPU와의 협업에서 벗어나, 독립적이면서도 상황에 맞춰 재구성 가능한 AI 가속기의 중심으로 자리매김하게 할 것이다. 궁극적인 목표는 더 넓은 범위의 머신러닝 워크로드를 실시간으로, 그리고 매우 제한된 전력 예산 내에서 처리할 수 있는 유연하고 강력한 플랫폼을 제공하는 것이다.

융합 처리 장치는 NPU의 기능이 CPU, GPU, DSP 등 다른 처리 유닛과 물리적으로 또는 논리적으로 통합된 아키텍처를 의미한다. 단일 칩 내에서 이종 컴퓨팅 자원을 효율적으로 배치하고 협업하도록 설계되어, 복잡한 AI 워크로드와 전통적인 컴퓨팅 작업을 함께 처리하는 데 최적화된다. 이는 특정 AI 작업만을 위한 독립형 NPU와 구분되는 개념으로, 시스템 전체의 유연성과 효율성을 극대화하는 방향으로 발전하고 있다.

융합 처리 장치의 주요 접근 방식은 크게 두 가지이다. 하나는 SoC 설계에서 NPU를 하나의 전용 블록으로 통합하는 방식이다. 대부분의 모바일 애플리케이션 프로세서가 이 방식을 채택하고 있으며, 이미지 신호 처리기 및 비디오 인코더/디코더와 가까이 배치해 데이터 이동을 최소화한다. 다른 하나는 GPU 아키텍처 내에 텐서 연산 유닛을 직접 내장하는 방식이다. 최근의 고성능 GPU들은 그래픽 연산과 AI 연산을 동일한 메모리 공간과 데이터 패스에서 처리할 수 있도록 융합된 설계를 보여준다.

이러한 융합의 이점은 명확하다. 첫째, 데이터가 여러 독립 칩 사이를 이동할 때 발생하는 지연과 에너지 소비를 크게 줄일 수 있다. 둘째, 작업의 특성에 따라 동적으로 자원을 할당할 수 있어 유연성이 높다. 예를 들어, 초기 데이터 전처리는 CPU가, 대규모 병렬 연산은 GPU가, 효율적인 신경망 추론은 NPU가 담당하는 식으로 워크로드를 분배한다. 그러나 설계 복잡도가 증가하고, 서로 다른 컴퓨팅 유닛 간의 작업 스케줄링과 메모리 일관성 유지가 주요 과제로 남아 있다.

미래에는 단순한 통합을 넘어, 아키텍처 수준에서 더 깊은 융합이 예상된다. 이종 컴퓨팅 플랫폼을 위한 고급 인터커넥트 기술과 통합 메모리 구조(예: 컴퓨트 익스프레스 링크, 유니파이드 메모리)의 발전이 이를 가능하게 할 것이다. 궁극적인 목표는 애플리케이션이 하드웨어의 세부 사항을 의식하지 않고도 가장 적합한 컴퓨팅 자원을 자동으로 활용하는, 완전히 통합된 지능형 처리 시스템을 구현하는 데 있다.