GPU가 연산의 중심이 된 지금
2024년 엔비디아의 시가총액은 한때 3조 달러를 돌파하며 애플, 마이크로소프트와 어깨를 나란히 했다. 같은 기간 인텔의 시총은 약 1,000억 달러 수준에 머물렀다. 수십 년간 PC와 서버 연산의 심장부였던 CPU 기업이 GPU 기업과 30배 가까운 시총 격차를 보이는 현실은, 컴퓨팅 패러다임이 구조적으로 바뀌었다는 신호다. 마이크로소프트, 구글, 메타, 아마존은 2023~2024년 한 해에만 각각 수백억 달러 규모의 AI 인프라 투자를 집행했으며, 그 핵심에는 엔비디아 H100·H200 GPU가 있다.
CPU가 밀린 구조적 이유
CPU는 복잡한 직렬 연산에 최적화된 소수의 고성능 코어로 설계된다. 반면 딥러닝은 수십억 개의 행렬 곱셈을 동시에 처리하는 병렬 연산이 핵심이다. 엔비디아 H100은 코어 수가 1만 6,896개에 달하며, FP8 정밀도 기준으로 초당 최대 4 페타플롭스의 연산을 수행한다. 인텔 최신 서버 CPU인 제온 스케일러블은 아무리 고사양이라도 수백 개 수준의 코어를 갖는다. 절대적인 병렬 처리량 자체가 다른 영역에서 싸우는 구조다.
여기에 소프트웨어 생태계 장벽이 더해진다. 엔비디아의 CUDA 플랫폼은 2006년 출시 이후 18년간 쌓인 라이브러리와 프레임워크 의존성을 형성했다. PyTorch, TensorFlow 등 주요 AI 프레임워크가 기본적으로 CUDA를 기준으로 최적화된다. AMD의 ROCm, 인텔의 oneAPI가 대안을 내놓고 있지만 호환성과 성능 양면에서 여전히 격차가 존재한다.
소비자와 시장에 미치는 영향
GPU 수요 폭발은 일반 소비자 시장에도 직접적인 파장을 남겼다. 2023년 엔비디아 RTX 4090의 출고가는 약 200만 원이었지만, AI 연산 용도로 전용되는 물량이 늘며 게이밍 GPU 공급 전반이 타이트해졌다. 클라우드 서비스 가격에도 반영됐다. AWS, 구글 클라우드, 애저 모두 GPU 인스턴스 단가를 꾸준히 올렸고, AI 스타트업들의 인프라 비용 부담은 사업 모델 자체를 흔드는 변수가 됐다.
한편 애플 M 시리즈, 구글 TPU, 아마존 트레이니움처럼 자체 실리콘을 개발하는 움직임이 가속화되고 있다. 엔비디아 의존에서 벗어나려는 시도지만, 단기간에 CUDA 생태계와 대등한 수준의 소프트웨어 지원을 갖추기는 쉽지 않다.
한 줄 전망: GPU 중심 컴퓨팅 패권은 당분간 유지되겠지만, 빅테크의 자체 칩 개발과 오픈소스 소프트웨어 스택 성숙이 맞물리는 2026~2027년이 진짜 경쟁의 변곡점이 될 것이다.