엔비디아 황 CEO, "AI 수요 포물선 급상승"...2030년 인프라 투자 3조달러 돌파

젠슨 황 엔비디아 최고경영자(CEO)는 18일 델 테크놀로지 월드(Dell Technologies World) 키노트 연설에서 "우리는 실용적 AI의 시대에 도달했다. 그래서 수요가 완전히 포물선을 그으며 증가하고 있다"고 밝혔다. 델의 마이클 델 회장 겸 CEO와 함께 무대에 선 황은 AI 인프라 시장이 어느 때보다 빠르게 성장하고 있다고 강조했다.

2030년 3~4조달러 규모의 AI 인프라 시장

델이 제시한 통계는 시사하는 바가 크다. 전 세계 AI 인프라 지출이 2030년까지 3조4조달러(약 430조570조원)에 이를 수 있다는 전망이다. 같은 기간 토큰(LLM의 처리 단위) 소비량은 무려 3,400% 증가할 것으로 예상된다.

"AI 투자 붐이 이미 시작됐고, 생산성 붐도 시작되고 있다. 변화 속도가 포물선을 그었으며 느려지지 않고 있다"고 마이클 델 회장이 말했다. 황 CEO는 이를 더 구체적으로 설명했다.

"몇 달 걸리던 일이 이제 몇 주면 된다. 몇 주 걸리던 일이 며칠이면 된다. 며칠 걸리던 일이 몇 시간이면 된다. 생산성에는 큰일이지만, 계산 능력 요구 측면에서는 거대한 도약이다."

에이전트 AI 시대의 인프라 전환

엔비디아와 델이 발표한 새로운 AI Factory는 이 변화에 대응하기 위한 것이다. 기업들은 AI 파일럿 단계를 지나 에이전트 AI(autonomous AI agents)와 대규모 추론 배포 단계로 진입했다.

가장 주목할 제품은 베라 루빈 NVL72(Vera Rubin NVL72) GPU를 탑재한 PowerEdge XE9812 서버다. 이 서버는 블랙웰(Blackwell) 대비 대규모 에이전트 AI 추론 비용을 10분의 1로 낮췄다. 토큰당 비용의 저감이 대규모 배포의 경제성을 높인다.

이와 함께 델은 PowerEdge XE9880L, XE9885L, XE9882L 등 HGX 루빈 NVL8 기반 새로운 서버들을 공개했다. 이들은 1개 랙에 최대 144개 GPU를 지원하며, 기존 HGX B200 대비 최대 5.5배의 성능을 제공한다.

네트워킹도 강화됐다. 새로운 PowerSwitch 포트폴리오는 엔비디아 Quantum-X800 InfiniBand와 Spectrum-X Ethernet을 탑재했으며, 액체 냉각식 패키징 광학부품(co-packaged optics)으로 전력 효율을 높였다.

CPU도 AI 최적화로 개편

처리기(CPU) 측면에서도 변화가 크다. 델 PowerEdge M9822와 R9822는 엔비디아의 베라 CPU를 채용했다. 베라 CPU는 에이전트 AI 워클로드에 맞춰 설계되었으며, x86 프로세서 대비 50% 빠른 속도로 에이전트 샌드박스를 실행한다.

황은 베라 CPU의 성능을 직접 언급했다. "베라 CPU는 전 세계 모든 CPU 중 가장 높은 싱글 스레드 성능을 갖고 있다. 메모리 대역폭이 3배다. 덕분에 Starburst, DuckDB 같은 데이터베이스가 빠르게 돈다. 에이전트들이 데이터베이스를 끊임없이 두드리니까, CPU가 초고속이어야 한다."

실제로 새로운 데이터 엔진 Starburst는 베라 CPU에서 3배 빠른 쿼리 처리량을 제공한다.

글로벌 기업들의 실제 활용

제약, 반도체, 항공우주, 금융 등 다양한 산업에서 이미 델의 AI Factory를 운영하고 있다. 현재 5,000개 이상의 기업이 델과 엔비디아의 협력 인프라를 이용한다.

릴리(Lilly)는 생명과학 분야 AI 혁신을 이 인프라로 구현 중이다. 릴리의 Diogo Rau 최고정보·디지털담당임원(CIO)은 "우리는 질병을 근절할 수 있는 지경에 다다를 수 있을 것 같다. 20년 전만 해도 상상도 못 했던 일이 오늘은 가능해 보인다"고 말했다.

삼성은 반도체 R&D와 제조에 델 AI Factory를 활용하고 있다.

허니웰(Honeywell)은 공개 클라우드에서 온프레미스 AI로 전환했다. 허니웰 최고기술담당임원(CTO) Suresh Venkatarayalu는 "델·엔비디아와의 파트너십은 단순 인프라가 아니라 완전한 AI 스택"이라고 평가했다. 스케일 가능하고 보안·신뢰성이 내장된 솔루션이라는 의미다.

허드슨 리버 트레이딩(Hudson River Trading)은 알고리즘 거래 분야에서 델 배포를 확대한다.

온프레미스 AI의 확대

기업의 AI 운영 방식이 급변하고 있다. 델의 자체 조사에 따르면 67%의 AI 워클로드가 이미 클라우드 외부에서 실행되고(온프레미스, 엣지, 코로케이션), 88%의 기업이 최소 1개 이상의 AI 워클로드를 온프레미스에서 운영한다.

이는 기업들이 "최고 성능의 AI 모델을 필요한 곳에, 보안과 거버넌스를 갖춰서 배포하는 방법"에 대한 답을 찾기 시작했다는 뜻이다.

보안의 중요성 — Confidential Computing

엔비디아는 Confidential Computing 기술로 기업 데이터와 AI 모델의 보안을 강화했다. Fortanix, 구글, Red Hat 등과 협력한 이 기술은 모델 IP와 데이터를 노출하지 않으면서 엔터프라이즈 내부에 최신 모델을 배포한다.

이를 바탕으로 여러 모델들이 온프레미스로 제공된다. 구글 분산 클라우드(GDC)는 제미나이 3.0을 델 PowerEdge XE9780 서버에 프리뷰 형태로 지원 중이다. 스페이스X도 자신의 AI 모델을 델 AI Factory에 가져올 예정이다. 엔비디아의 오픈소스 Nemotron 모델은 기업이 자체 도메인 데이터에 맞춰 커스터마이징할 수 있다.

산업적 의미

이번 발표는 세 가지를 시사한다.

첫째, 클라우드 중심 AI에서 분산형 AI로의 전환이 가속화되고 있다. 기업들이 규제, 보안, 지연 시간 등의 이유로 온프레미스를 선호하기 시작했고, 기술 성숙도가 이를 뒷받침한다.

둘째, 토큰 중심의 가격 경쟁이 심화될 것이다. 베라 루빈이 비용을 10분의 1로 낮추면서, 대규모 토큰 처리가 필요한 기업들의 의사 결정에 영향을 미칠 전망이다.

셋째, 에이전트 AI 시대의 인프라가 확립되고 있다. 단순 모델 실행을 넘어 복잡한 에이전트 워클로드를 대규모로 운영할 수 있는 기술 스택이 완성되어 가고 있다.

황이 "몇 주가 며칠이 되고, 며칠이 몇 시간이 된다"고 한 말은 단순한 수사가 아니다. 이는 기업의 AI 워크플로우가 얼마나 빠르게 변하고 있는지를 보여주는 구체적 증거다.