- 11컷: CPU 혼자 연산 중… 너무 느려!
- 22컷: GPU 등장! 수천 개 코어가 한꺼번에!
- 33컷: AI 학습 데이터 폭풍 처리 완료!
- 44컷: 엔비디아 GPU, 데이터센터의 심장이 되다
정의와 배경
NPU는 'Neural Processing Unit'의 약자로, 인공신경망(딥러닝) 연산에 최적화된 반도체 칩을 통칭한다. CPU가 순차 논리 처리에, GPU가 범용 병렬 연산에 강점을 두는 것과 달리, NPU는 행렬 곱셈·텐서 연산·활성화 함수 적용 등 AI 모델의 핵심 연산 패턴을 하드웨어 수준에서 직접 가속하도록 설계된다.
AI 모델의 규모가 커지고 추론 수요가 급증하면서, 전력 대비 성능(에너지 효율)이 중요해졌고 이에 따라 GPU를 보완하거나 대체할 전용 칩으로서 NPU의 개발이 가속화되었다. '넓은 의미'에서는 구글 TPU, 삼성 엑시노스 내 AI 코어, 애플 뉴럴 엔진 등도 NPU 범주에 포함된다.
작동 원리와 종류
NPU는 대규모 행렬 연산을 동시에 처리하는 수천 개의 단순 연산 유닛(MAC: Multiply-Accumulate)을 내부에 집적하며, 데이터 이동을 최소화하기 위해 온칩 메모리(SRAM)를 대용량으로 탑재하는 구조를 택한다. 이를 통해 연산 중 외부 메모리 접근 빈도를 줄여 전력 소비와 지연 시간을 동시에 낮춘다.
용도별로 크게 두 가지로 구분된다. 첫째, 스마트폰·IoT 기기 등에 탑재되는 '엣지 NPU'는 저전력·소형화가 핵심이며 주로 AI 추론(Inference)을 담당한다. 둘째, 데이터센터용 NPU(예: 구글 TPU, 각국 AI 스타트업의 AI 가속기)는 LLM 학습 및 대규모 추론을 목표로 하며 고대역폭 메모리와 결합해 GPU와 직접 경쟁한다.
GPU와의 관계 및 차이
NPU는 GPU의 파생·대안 개념으로 위치하나, 양자는 경쟁 관계이기도 하고 상호보완 관계이기도 하다. GPU는 AI 외에도 그래픽·과학 시뮬레이션 등 범용 병렬 연산에 두루 사용될 수 있어 유연성이 높은 반면, NPU는 신경망 연산에 회로를 특화함으로써 해당 워크로드에서 전력 효율이 우수한 경향이 있다.
엔비디아가 GPU 시장을 장악한 상황에서, 각국 정부와 빅테크 기업들은 NPU 및 자체 AI 가속기 개발을 통해 GPU 의존도를 낮추고 공급망 다변화를 추진하고 있다. 대한민국도 반도체 국가 전략 및 AIDC 메가프로젝트 맥락에서 국산 NPU 생태계 육성을 정책 과제로 검토하고 있다.
AIDC 메가프로젝트 맥락에서의 의미
8.4GW 규모의 AIDC 메가프로젝트는 AI 데이터센터 구축을 핵심 목표로 하며, 이 인프라의 핵심 부품이 바로 AI 연산 칩(GPU·NPU)이다. 대규모 LLM 및 파운데이션 모델의 학습·추론 수요가 늘어날수록 데이터센터 내 NPU 도입 필요성도 함께 커진다.
공무원·정책 실무자 관점에서 NPU는 반도체 산업 경쟁력, 에너지 효율 규제, 기술 자립이라는 세 가지 정책 축과 맞닿아 있다. 국산 NPU 기업의 성장을 지원하는 것은 엔비디아 GPU에 대한 과도한 의존을 줄이고 AI 인프라 공급망 안보를 강화하는 전략적 수단으로 평가된다.
※ 본 상세 설명은 용어집 데이터를 토대로 AI가 생성했습니다. 정확한 내용은 원문 출처를 우선하세요.