엔비디아 연구소(NVIDIA Research)가 국제로봇자동화학회(ICRA) 2026에서 로봇 시뮬레이션-현실 전환(sim-to-real) 기술에 기반한 8개 연구 논문을 공개했다. 동적이고 예측 불가능한 실환경에서 일반화된 자율 작동이 가능한 로봇으로의 전환을 주도하는 기술들이다.

NVIDIA의 전체 28개 ICRA 채택 논문 중 8개가 sim-to-real에 집중된 것은 로봇 산업이 맞닥뜨린 과제를 보여준다: 여러 로봇팔의 동시 조정, 다양한 로봇 신체에 걸친 정책 일반화, 복잡한 환경에서 낯선 물체 집기, 정밀 조립, 시각·언어·행동을 통합한 모델 구축.

병렬 계획과 네비게이션, 그래스핑

ScheduleStream: GPU 병렬 처리로 로봇 팔 여러 개를 동시에 움직이는 기술이다. 제약 실험실 자동화 같은 현장에서 기존 순차 스케줄링은 팔 하나씩 차례로 처리한다. NVIDIA Jetson 엣지 AI 플랫폼 기반 다중팔 계획 시나리오에서 3배 속도 향상을 달성했다.

COMPASS: 로봇 네비게이션은 보통 특정 신체에만 최적화된다. 다른 형태의 로봇에 같은 소프트웨어를 넣으면 부품의 움직임이 달라져 작동이 깨진다. COMPASS는 모방 학습으로 기본 네비게이션을 NVIDIA Isaac Lab 시뮬레이션에서 구축한 후, 강화 학습으로 다양한 로봇 신체 전용 전문가를 키운다. 실제 로봇 데이터는 사용하지 않는다. 모방 학습 기준 대비 평균 성공률이 4.5배 개선되었으며, 실제 환경에서 자율주행 로봇과 휴머노이드는 80% 성공률을 달성했다.

Grasp-MPC: 기존 집기 시스템은 물체 인식→그래스 예측→경로 계획→실행 순서다. 마지막 몇 센티미터가 실패를 좌우한다. Grasp-MPC는 적응형 제어로 물체 접근 중 계속 자세를 수정한다. 사람이 물체를 잡을 때 관절 각도를 계산하지 않고 감각으로 느끼듯이다. 연구진은 8,000개 물체 데이터로 200만 시뮬레이션 궤적을 생성하고 성공·실패 사례를 모두 학습시켰다. 결과는 75% 성공률로, 기존 41% 대비 83% 향상되었다.

Deformable Cluster Manipulation: 단일 물체가 아니라 엉킨 매듭을 한 번에 집는 기술이다. 전선 위에 자란 나뭇가지를 치우는 실제 작업에서 영감을 얻었다. 팔 전체로 가지 다발을 감싸 밀어낸다. 생물학 성장 방정식으로 다양한 형태의 가상 나무를 생성한 후 Isaac 시뮬레이션에서 학습했다. 정책이 실제 가지에 제로샷으로 전이되었다. 전선 관리 외에 케이블 정리, 농업 검사 등에 응용할 수 있다.

조립과 시각-언어-행동 모델

SPARR & Refinery: 정밀 조립(너트-볼트 체결, 기어 삽입, 페그 삽입)은 시뮬레이션만으로는 불가능하다. 현실은 거칠고 센서는 오차가 있다. SPARR는 Isaac Lab에서 조립 전략을 배운 뒤 실제 하드웨어에서 카메라로 시뮬레이터 오류를 자동 보정한다. 성공률 38% 향상, 사이클 타임 30% 단축을 달성했다. 학습하지 않은 NIST 과제에서는 75% 성공으로, 인간 개입 방식과 동등한 수준이다.

Refinery는 다단계 조립(가구 조립처럼 첫 번째 단계 완성이 두 번째 단계 가능 여부를 결정하는 경우)을 다룬다. 백 개 이상의 시뮬레이션 조립 시나리오로 학습해 각 단계와 다음 단계를 연결할 위치를 학습한다. 시뮬레이션에서 91% 성공률을 기록했으며, 기존 대비 평균 11% 개선되었다.

PEEK: 로봇 카메라는 장면의 모든 것을 포착하지만 대부분이 노이즈다. PEEK는 시각-언어 모델로 작업 지시를 읽고 로봇의 시선을 집중시킨다. 예를 들어 "젠슨 황 엔비디아 최고경영자 사진 옆에서 바나나를 들어라"는 지시를 받으면 인간은 즉시 바나나와 사진을 본다. 표준 로봇 정책은 모든 것을 처리해야 해 혼란스러워한다. PEEK가 이 문제를 해결한다.

산업 현황과 과제

sim-to-real은 로봇 산업의 기초로 자리 잡았다. NVIDIA의 논문들은 병렬 계획(3배), 신체 일반화(4.5배), 정밀 조립(38%) 등 각 차원의 성능을 입증했다.

다만 까다로운 실세계 작업에서는 초기 적응 학습이 필수다. SPARR가 NIST 과제에서 75% 성공에 도달했다는 것은 시뮬레이션이 모든 것을 해결하지는 못한다는 의미다. Sim-to-real은 "완벽한 자동화"가 아니라 "초기 적응 비용을 낮춘 자동화"다.

로봇 산업의 상용화는 순수 알고리즘만큼이나 시뮬레이션 충실도와 현실 전이 효율에 달려 있다. NVIDIA의 Isaac Lab과 Omniverse NuRec 같은 플랫폼이 주목받는 이유가 여기 있다. 한국 제조업체들도 sim-to-real 기반 로봇 도입을 추진해야 할 시점이다.