구글 딥마인드가 차세대 세계 모델 '제니 4'를 공개했다. 실시간 대화형 시뮬레이션으로 사실성을 획기적으로 향상시킨 이 모델은 물리 현상과 인간 행동을 동시에 생성하며, 음성·대사까지 네이티브로 만들어낼 수 있다.

제니 4는 제미나이 계열 모델을 기반으로 구축됐다. 제미나이 옴니가 세계의 시각적 모양과 행동에 현실감을 더하는 동안, 다른 제미나이 모델들은 시뮬레이션의 일관성·연속성을 유지하는 데 필요한 복잡한 추론을 담당한다. 사용자가 이벤트를 설정하면 제니 4는 세계가 어떻게 반응할지, 어떻게 들릴지, 그 안의 사람들이 어떻게 움직일지를 시뮬레이션한다.

네이티브 멀티모달 생성으로 현실성 높여

제니 4의 핵심은 오디오를 포함한 완전한 멀티모달 생성이다. 음악·주변 소음·대화형 음성이 세계와 동시에 생성된다. 특히 음성 부문에서 제니 4는 첫 실시간 세계 모델로서 인터랙티브 대화를 제공한다. 캐릭터들이 사용자의 입력이나 세계의 사건에 반응하며 실시간으로 대사를 나눈다.

사실성 측면에서도 비약적 진전을 이루었다. 공기역학·충돌 같은 물리 현상을 정확히 시뮬레이션하고, 특히 인간 행동 모델링에서 획기적 개선을 이뤘다. 캐릭터들이 자연스럽게 움직이고 환경에 유기적으로 반응하며 실시간으로 조종할 수 있다.

4가지 핵심 기능으로 세계 생성 자동화

첫째, 자연어 기반 실시간 제어다. 기상 변경·카메라 이동·객체 추가 같은 변화를 자연어로 명령하면, 제미나이가 맥락을 파악해 프롬프트를 장면에 맞게 조정한다. 입력이 없을 땐 제미나이가 장면을 모니터링하며 세계가 일관되게 진행되도록 스스로 조종한다.

둘째, 향상된 물리와 인간 행동이다. 공기역학·충돌·정밀한 인간 움직임을 표현하는 새로운 수준의 사실성을 제공한다.

셋째, 사운드 생성이다. 나뭇바람부터 해변 파도까지 환경음을 자동으로 생성한다. 가장 혁신적인 부분은 인간 음성이다. 캐릭터가 상황과 사용자 입력에 맞춰 실시간으로 응답하는 대사를 생성한다.

넷째, 제미나이 모델과의 통합이다. 제미나이 3.8 플래시가 '루프 내 가이딩 에이전트'로 작동한다. 제니 4가 세계를 생성하는 동안 제미나이는 지속적으로 장면을 관찰하고, 목표를 단계별로 분해하며, 각 단계 성공을 검증한다. 세계가 변하거나 사용자가 개입하면 제미나이가 계획을 즉각 수정한다. 이를 통해 신뢰할 수 있는 인과관계·절차적 행동·다단계 추론을 갖춘 세계가 구현된다.

AGI 개발의 핵심 기술...로봇 훈련과 콘텐츠 창작 활용

세계를 이해하고 시뮬레이션하는 능력은 AGI(범용인공지능) 개발의 중요한 축이다. 제니 4의 안전하고 무한히 가변적인 시뮬레이션은 로봇과 에이전트 훈련 환경 개발부터 새로운 인터랙티브 경험 창작까지 다양하게 활용될 수 있다. 특히 로봇 개발자들은 현실과 동일한 수준의 물리 기반 시뮬레이션 환경에서 훈련할 수 있어, 실제 환경 배포 전 검증 비용과 시간을 대폭 줄일 수 있다.

연구 프리뷰로 시작, 점진적 확대 계획

제니 4는 현재 신뢰할 수 있는 테스터들을 대상으로 연구 프리뷰를 진행 중이다. 피드백을 수집한 뒤 프로젝트 제니 내 구글 AI 울트라 구독자와 제미나이 API·구글 AI 스튜디오의 초기 접근 파트너들을 대상으로 먼저 출시할 계획이다. 일반 소비자와 개발자 대상 공개는 추후 진행된다.

이번 발표는 세계 시뮬레이션 분야에서 새로운 기준을 제시한다. 음성 생성까지 통합해 완전한 멀티모달 경험을 제공하는 실시간 세계 모델은 산업용·엔터테인먼트용 창작 도구로서의 가능성을 크게 확대한다. 특히 제미나이와의 긴밀한 통합을 통해 단순 생성을 넘어 '추론하는 세계'의 출현을 예고하고 있다.