AI의 코딩 능력이 로봇 제어라는 물리 세계와 만나고 있다. 윌 나이트 와이어드 기자가 최근 OpenClaw라는 AI 에이전트에 실제 로봇 팔을 제공하고 실험한 결과, 예상을 뛰어넘는 성과가 나왔다. AI가 로봇을 설정하고 카메라로 물체를 감지한 뒤 집어올리는 일련의 과정을 독립적으로 수행한 것이다.

기존 로봇 제어는 숙련된 엔지니어의 손과 경험이 필수였다. 하지만 오늘날의 AI 모델은 이 과정을 거의 자동화한다. UC버클리의 로봇 공학자 켄 골드버그는 "AI 기반 코딩은 기존의 신뢰할 수 있지만 일반화하지 못하는 엔지니어링과 일반화는 하지만 아직 신뢰할 수 없는 비전-언어-액션 모델 사이의 간극을 메울 가능성이 있다"고 평가했다.

로봇 팔과의 첫 만남

나이트는 허깅페이스의 오픈소스 프로젝트인 LeRobot 101이라는 사전조립 로봇 팔을 구입했다. 이 로봇은 사람이 조종하는 컨트롤러 팔과 카메라가 달린 팔로워 팔로 구성돼, 원격조종으로 학습 데이터를 생성할 수 있다. 테마 설정 초기 단계에서 나이트는 로봇 모터를 과열시킬 뻔했다. 그러나 OpenClaw의 도움으로 적절한 파이썬 스크립트를 작성하고 빨간 공을 감지해 집게를 닫는 간단한 프로그램을 구현했다. "비브 코딩(vibe coding)"이라 불리는 이 과정에서 Codex는 로봇의 연결 설정과 관절 위치 보정을 처리했다.

코드로 정책을 짜다(Code as Policy)

"코드 애즈 폴리시"라는 개념은 2022년 논문에서 처음 제시됐다. 지난해 이 방식이 학계에서 주목을 받으면서, 엔비디아·카네기멜론대·스탠포드와 함께 UC버클리 연구팀은 로봇 제어 성능을 측정하는 벤치마크 "CaP-X"를 개발했다. 흥미롭게도 CaP-X 결과에 따르면 로봇 프로그래밍에 가장 뛰어난 모델은 Claude나 ChatGPT가 아닌 Gemini다. 구글 딥마인드가 멀티모달 학습과 물리 세계 이해에 집중한 덕분으로 분석된다.

연구팀은 CaP-Gym이라는 시뮬레이션과 실제 로봇을 제어할 수 있는 환경도 구축했고, CaP-Agent0이라는 프레임워크를 개발해 코딩 모델의 성능을 기존의 움직임 제어 모델보다 조작 작업에서 우수하게 끌어올렸다.

누구나 로봇을 만질 수 있는 세상

엔비디아의 젠슨 황 CEO의 아들 스펜서 황은 현재 구글과 협력하는 연구 프로젝트에서 코드 애즈 폴리시 방식이 더 많은 로봇 소프트웨어 도구와 호환되도록 하는 작업을 진행 중이다. 스펜서 황은 "거의 모든 사람이 로봇공학에 입문할 수 있다는 게 진정한 성배"라며 "음성 명령이나 행동 시연으로 로봇을 제어할 수 있는 것이 사회 속 로봇의 중요한 열쇠"라고 강조했다.

로봇공학에서 AI 코딩 능력의 활용은 단순한 효율화를 넘어 기술의 진입장벽을 허무는 변화로 평가되고 있다. 전문가 영역이던 로봇 제어가 일반인도 접근 가능한 영역으로 빠르게 전환되고 있다는 의미다.