결론부터 말씀드리면, 두 흐름은 동시에, 그러나 다른 층위에서 진행될 가능성이 매우 높습니다. 그리고 이 두 흐름을 이해하지 못하면 향후 5년의 데이터센터 투자 의사결정을 거꾸로 할 위험이 큽니다. 하나씩 풀어보겠습니다.
2026년 1분기 인텔 실적 발표는 시장에 작은 충격이었습니다. 데이터센터·AI 부문 매출이 전년 대비 22% 늘어 51억 달러를 기록했고, AI 매출이 전체의 60%를 차지했습니다. 한때 "한물 갔다"는 평가를 받던 인텔의 시가총액이 25년 만에 최고치를 찍은 것이 단순한 반등이 아니라는 신호입니다.
가장 중요한 지표는 CPU-GPU 배치 비율입니다. 이 숫자가 바뀐다는 것은 데이터센터 한 랙(rack)을 구성할 때 CPU를 몇 장 꽂느냐가 달라진다는 의미이고, 곧 수요가 통째로 재편된다는 뜻이기도 합니다.
| 워크로드 단계 | CPU : GPU 비율 | 의미 |
|---|---|---|
| 학습(Training) | 1 : 7~8 | GPU가 절대 다수, CPU는 보조 역할 |
| 추론(Inference) | 1 : 3~4 | CPU 비중이 약 2배 이상 증가 |
| 에이전트형 AI(Agentic) | 1 : 1 또는 그 이상 | CPU가 GPU 수요와 동급, 일부는 역전 가능 |
인텔 CFO는 학습 환경에서는 CPU 1개당 GPU 7~8개가 일반적이지만, 추론으로 가면 3~4 대 1로 좁혀지고, 에이전트형·멀티 에이전트 환경에서는 1대 1, 심지어 CPU 쪽으로 기울 수도 있다고 밝혔습니다. ARM의 추정은 더 극적입니다.
1GW당 필요 CPU 코어
1GW당 필요 CPU 코어
구조적 증가폭
ARM의 추정에 따르면 1GW당 필요한 CPU 코어 수가 약 3,000만에서 1억 2,000만으로 4배 증가할 전망입니다. 이런 수요 폭증이 현실로 닥치자 서버 CPU 가격은 3월 이후 10~20% 상승했고, 인텔은 소비자용 CPU 생산 라인을 데이터센터용 Xeon 쪽으로 돌리고 있는 상황입니다.
그렇다면 왜 추론·에이전트 워크로드가 CPU를 그렇게 많이 요구할까요? 답은 의외로 단순합니다. 이 워크로드들은 GPU가 잘하는 일이 아니기 때문입니다.
학습은 거대한 행렬곱의 세계입니다. 데이터를 GPU에 집어넣고 병렬로 무자비하게 돌리는 것이 핵심이라 CPU 역할은 데이터 전처리, 체크포인팅 정도에 머물렀습니다. 그러나 에이전트형 추론은 전혀 다른 문제입니다.
에이전트 AI 환경에서 CPU는 도구 호출, API 요청, 메모리 조회를 관리하면서 동시에 GPU를 쉬지 않게 만들어야 합니다. 데이터를 에이전트, 엔터프라이즈 애플리케이션, 데이터 레이크 사이로 옮기는 작업도 CPU 사이클을 폭발적으로 소모합니다. 구체적으로 보면 다음과 같습니다.
- 도구 호출(Tool calling): 외부 API 호출, 데이터베이스 쿼리, 다른 모델 호출 — 본질적으로 순차 처리이며 분기 로직이 많음
- 오케스트레이션: 여러 에이전트의 의사결정 흐름 조율, 상태 관리
- RAG(검색 증강 생성): 벡터 검색, 재정렬, 컨텍스트 주입의 순차 파이프라인
- 제어 평면(Control plane): GPU에 어떤 작업을 보낼지 결정하는 두뇌 역할
- 강화학습(RL) 루프: 환경 시뮬레이션, 보상 계산 — 일반 컴퓨팅 부하가 큼
이런 작업들은 GPU의 강점인 대규모 병렬 행렬 연산이 아니라 순차 로직, 분기, 빠른 단일 스레드 성능, 큰 메모리 용량을 요구하는 일반 컴퓨팅의 영역입니다. 즉, CPU의 본진입니다. 하이퍼스케일러들도 같은 결론에 도달했습니다. AWS는 지난 1년간 CPU 물량을 3배 늘렸지만 여전히 부족하고, "두 명의 대형 고객이 2026년 Graviton 인스턴스 전량을 사겠다고 요청해 왔다"는 Andy Jassy CEO의 주주서한 발언이 시장의 수급 상황을 단적으로 보여줍니다.
그렇다면 인텔과 AMD가 옛 영광을 되찾는 그림일까요? 현실은 훨씬 복잡합니다. CPU 시장 자체가 부활하는 것은 맞지만, 동시에 신규 진입자들이 시장을 뒤흔들고 있기 때문입니다.
이 그림에서 가장 중요한 점은, GPU 진영(NVIDIA)도, 모바일 진영(ARM)도, 클라우드 사업자도 모두 직접 CPU를 만들기 시작했다는 사실입니다. CPU 시장 파이가 커지는 것은 분명하지만, 그 파이를 인텔·AMD가 독점하는 시대로는 돌아가지 않습니다. 오히려 x86 vs ARM 구도가 본격화되며, 향후 5년이 서버 CPU 아키텍처 패권을 결정짓는 시기가 될 가능성이 큽니다.
여기까지 보면 "CPU 코어를 더 많이 사면 되겠네"라는 결론이 자연스럽습니다. 그런데 하이퍼스케일러들의 답은 다릅니다. 그들은 이미 오래 전에 깨달았습니다. 서버 CPU 코어의 약 30%가 정작 애플리케이션이 아니라 인프라 잡일에 소모되고 있다는 사실을요.
네트워크 패킷 처리, TLS 암복호화, 스토리지 I/O, 가상화 오버헤드, 보안 정책 적용… 이런 작업들이 비싼 CPU 코어 사이클을 갉아먹고 있습니다. 그래서 등장한 것이 DPU(Data Processing Unit)와 IPU(Infrastructure Processing Unit)입니다. 본질은 같습니다 — "인프라 잡일을 별도 칩에 떠넘겨서 CPU를 진짜 일에 집중시키자."
| 제품 | 제조사 | 핵심 사양 |
|---|---|---|
| BlueField-3 / 4 | NVIDIA | 400Gbps(BF3) → 800Gbps(BF4), ARM A78 16코어, DDR5 16GB |
| Pensando Elba / Salina | AMD | P4 프로그래머블 파이프라인, 듀얼 200GbE → 400G로 업그레이드 |
| IPU E2100 | Intel | 200GbE, ARM Neoverse N1 16코어, LPDDR4x 48GB |
| Nitro | AWS | 사실상 DPU의 원조. AWS 인스턴스 격리·보안의 근간 |
대체하는 CPU 코어 수
2024 → 2034 전망
클라우드 사업자 비율
엔비디아 BlueField-3 한 장이 데이터센터 서비스 기준 약 300개 CPU 코어 분량의 작업을 처리할 수 있고, AI 학습 작업의 35%가 이미 DPU로 오프로드되고 있습니다. 전통적인 NIC 시장은 2027년경 SmartNIC에 시장 점유율을 추월당할 것으로 예측됩니다. 이미 niche 기술이 아니라 표준 인프라가 되고 있다는 뜻입니다.
흥미로운 사실 하나. 인텔은 최근 구글과 IPU 공동 개발 장기 계약을 체결했습니다. CPU 회사가 "내 CPU의 일을 떠넘기는 칩"을 직접 만든다는 게 역설처럼 들리지만, 매우 합리적인 전략입니다. 인프라 잡일이 DPU로 넘어갈수록 호스트 CPU는 진짜 부가가치 높은 워크로드에 집중할 수 있고, 그러면 더 비싼 고성능 CPU를 팔 수 있기 때문입니다.
처음 질문으로 돌아가 봅시다. CPU가 다시 중요해지는 흐름과, CPU 기능을 다른 하드웨어로 오프로딩하는 흐름은 모순일까요? 전혀 그렇지 않습니다. 정확히 같은 동전의 양면입니다.
- CPU 수요 폭증 = 추론·에이전트의 일반 컴퓨팅 부하 폭증 → CPU 코어 자체가 더 많이 필요
- DPU/IPU 부상 = 네트워크·보안·스토리지 잡일에 비싼 CPU 코어를 낭비할 수 없음 → 진짜 CPU 작업에 집중시키기 위해 인프라는 별도 칩으로 분리
AI 시대의 데이터센터는 단일 CPU 시대도, 단일 GPU 시대도 아닌 이종(heterogeneous) 컴퓨팅 시스템으로 가고 있습니다. 각 하드웨어가 자기가 잘하는 일에 집중하는 분업 구조입니다.
- CPU 시장은 단순 부활이 아니라 재편입니다. 인텔·AMD뿐 아니라 ARM, NVIDIA, AWS·Google·Microsoft 자체 칩이 모두 같은 파이를 노립니다. 향후 5년이 x86 vs ARM 패권을 가르는 분기점이 될 가능성이 큽니다.
- DPU·IPU는 더 이상 niche가 아니라 필수 인프라입니다. 일반 NIC는 2027년경 SmartNIC에 추월당하고, 데이터센터의 "세 번째 기둥"으로 자리잡고 있습니다.
- 경쟁력은 단일 칩이 아니라 시스템 레벨 분업 효율입니다. GPU·CPU·DPU·메모리·네트워크가 어떻게 맞물리느냐가 총소유비용(TCO)을 결정합니다. 단일 부품 스펙 시트만 보는 평가는 위험합니다.
'AI' 카테고리의 다른 글
| AI 강국, 미국·중국만 있는 게 아닙니다 — 다른 나라들은 지금 무엇을 하고 있을까요? (0) | 2026.05.10 |
|---|---|
| AI 패권은 결국 전력 전쟁이다 — 미국·중국·한국, 누가 전기를 더 많이 만드나 (0) | 2026.05.10 |
| 에이전틱 AI 시대, GPU 독주는 끝났다 — 6:3:1로 재편되는 AI 인프라 패러다임 (0) | 2026.05.10 |
| CPU·GPU·GPGPU·TPU·NPU 한 방에 정리:AI 가속기 완전 가이드 (그리고 NVIDIA에서 벗어나려는 중국) (0) | 2026.05.10 |
| vLLM 완벽 해부 — LLM 추론 엔진의 표준이 된 진짜 이유 (0) | 2026.05.10 |