엔비디아가 증강현실(AR) 안경과 혼합현실(XR) 장비에 AI 에이전트를 탑재하는 개발자 플랫폼 'NVIDIA XR AI'를 공개했다. 시뮬레이션 환경이 아닌 실제 공장, 병원, 연구실 현장에서 작동하는 손-자유(hands-free) AI 에이전트 시스템으로, 이미 지멘스, 스탠포드 의학대학원 등에서 시범 운영 중이다.

현실 세계로 나가는 AI 에이전트

기존 AI는 챗봇이나 코파일럿 형태로 화면 속에만 머물렀다. 그러나 새로운 세대의 AI 에이전트는 이제 사람과 함께 일하며 주변 환경을 인식하고 실시간으로 지식에 접근해 행동을 취한다. NVIDIA XR AI는 이러한 실무 환경에 맞춘 에이전트 구축을 목표한다.

손-자유 방식으로 작동하려면 단순히 텍스트 응답을 생성하는 것만으로는 부족하다. 인간 작업자와 마찬가지로 비디오·오디오·센서 데이터를 통해 세상을 지각하고, 빠르게 변하는 조건을 해석하며, 기업 시스템에서 정보를 검색하고, 다음 행동을 판단하고, 소프트웨어 도구로 작업을 완료해야 한다. 모든 것이 낮은 지연시간(low latency)으로, 사용자 주의를 흩뜨리지 않게 진행되어야 한다.

NVIDIA XR AI의 네 가지 핵심 기능

NVIDIA XR AI는 네 가지 역량을 통합한다.

첫째, 다중 센서 입력 수집: AR·XR 장비의 비디오, 오디오, 깊이, 포즈, 센서 데이터를 수집한다.

둘째, 도구 및 서비스 연계: NVIDIA Metropolis(산업용 비디오 AI), NVIDIA NeMo Retriever(기업 지식 검색·RAG) 등 특화 도구와 서비스를 연결한다.

셋째, 다양한 AI 모델 지원: NVIDIA Nemotron 추론 모델, NVIDIA Cosmos Reason, 기타 호환 기반 모델을 지원한다.

넷째, 에이전트 오케스트레이션: 프로토타입에서 실제 운영까지 이르는 가속 런타임 서비스를 제공한다. NVIDIA NeMo Agent Toolkit은 도구 사용, 추론 워크플로우, 멀티에이전트 조율을 지원하고, DGX Spark·DGX Station·RTX PRO 등 가속 컴퓨팅 플랫폼이 클라우드·데이터센터·엣지(edge) 환경 전반의 추론을 수행한다.

이미 현장에서 움직이는 에이전트

지멘스: 공장 엔지니어가 경량 안경을 쓰고 AI 에이전트에게 로직 제어기(PLC) 문제를 질문하면, 실시간 안내를 받는다. 산업 시스템, 디지털 트윈, 자동화 워크플로우를 연결해 유지보수 정보 검색과 업무 검증을 지원한다.

Rana(AutoBio): 스탠포드 의학대학원의 Cong Lab과 프린스턴 대학의 Wang Lab에서 줄기세포 치료와 유전자 편집 연구를 진행 중이다. LabOS 시스템이 XR AI 위에서 작동하며, 연구자가 올바른 샘플과 CRISPR 유전자 편집 도구를 선택하도록 유도하고, 각 실험 단계를 안내한다. Meta, Rokid, VITURE 스마트 안경과 호환된다.

VITURE: NVIDIA XR AI를 통합해 작업자가 현장에서 손-자유로 맥락을 찾고 다음 단계 안내를 받을 수 있는 웨어러블 인터페이스를 완성했다.

University of Pittsburgh Medical Center(UPMC)의 Surreality Lab: 수술실에서 의료진을 지원하는 시스템을 선보였다. 시스템은 정보를 제공하되 외과의가 환자와 시술에 집중할 수 있도록 시야를 방해하지 않는다. 수술 중 필요한 정보를 정확히 표시하면서 주의력을 분산시키지 않도록 설계됐다.

Innoactive: 자동차 디자인 과정에서 몰입형 워크플로우 중 관련 정보를 캡처해 설계 의사결정을 지원한다. DGX Spark 기반으로 설계 검토, 제품 쇼룸, 디지털 트윈에서 얻은 맥락을 보존해 일회성 세션이 아닌 반복 가능한 엔터프라이즈 프로세스로 변환한다.

Atlantic Studios: 타이타닉 침몰선 스캔 모델을 음성 프롬프트로 탐색 가능하게 구현했다. 복잡한 수심 모델을 상호작용하는 공간적 스토리로 전환해 역사적 관심사를 발견하고 학습하도록 지원한다.

AI 에이전트의 범위 확대

XR AI 플랫폼이 나타내는 변화는 AI의 적용 장소 확대다. 기존 에이전트는 데이터센터 안에서만 추론했다면, 이제는 현장 장비에 탑재되어 지각·도구 조작·지식 검색·판단을 동시에 수행한다. 특히 AR·XR 안경을 통한 실시간, 손-자유 상호작용은 기존 디스플레이 기반 시스템과는 다른 사용자 경험을 제공한다.

이러한 변화는 엔비디아의 사업 전략 확장을 반영한다. GPU 칩 판매에서 나아가 소프트웨어 플랫폼·개발자 생태계·장기 워크플로우 통합으로 진입함으로써, 고객의 전체 AI 인프라를 장악하려는 움직임으로 해석된다. 다만 XR 기기 생태계가 아직 성숙하지 않았고(메타 Ray-Ban, VITURE 등 제한된 플레이어), 기업 도입 비용과 교육 인프라가 구체화되지 않은 점은 상용화 전까지의 과제로 남는다.