업로드VR: 지니 3의 AI '월드 모델'이 사실적인 인터랙티브 VR 시대를 앞당기는 이유

• 구글 딥마인드가 텍스트 명령만으로 실시간 인터랙티브 비디오를 생성하는 월드 모델 지니 3를 공개, 모든 프레임이 AI 생성이며 기존 렌더링이나 이미지 소스를 전혀 쓰지 않음
• 720p 24fps로 사실적인 그래픽을 출력하며, 생성된 세계는 1분간 완전한 일관성을, 몇 분까지는 대체로 일관성을 유지
• 업로드VR은 이 기술이 독립형 VR의 그래픽 한계를 우회해 실사급 인터랙티브 가상 세계로 가는 가장 현실적인 경로일 수 있다고 평가
• 다만 프롬프트로는 세부를 정밀하게 통제하기 어렵다는 근본 한계 탓에 기존 게임 엔진을 대체하긴 어렵다는 단서도 붙임

독립형 VR 그래픽의 한계

• 현재 독립형 VR 그래픽은 좋아야 2010년대 콘솔 게임, 평균은 2000년대 초반 수준이라 실사와의 격차가 큼
• 메타와 퀄컴이 퀘스트 세대마다 GPU 성능을 2배씩 올려왔지만, 이 속도로는 현행 PC 그래픽카드 수준까지도 수십 년이 걸림
• 시선 추적 렌더링이나 AI 업스케일링도 도움은 되지만 근본 한계를 넘지는 못한다는 진단
• 가우시안 스플래팅은 실사 그래픽을 구현해도 정적인 순간만 담아내, 실시간 상호작용엔 기존 렌더링과 섞는 하이브리드가 필요

지니 시리즈의 발전 속도

• 2024년 초 지니 1은 256×256 해상도의 2D 횡스크롤 수준으로, 수십 프레임 만에 일관성이 무너져 샘플 영상이 1~2초에 그침
• 그해 12월 지니 2는 3D 세계와 1인칭·3인칭 조작으로 업계를 놀라게 했지만 360p 15fps에 유지 시간 10~20초, 화질도 흐릿한 AI 생성물 티가 남
• 지니 3는 문이 열리고 그림자가 지고 물보라가 이는 물리 상호작용을 사전 프로그래밍 없이 훈련 과정에서 창발적으로 획득
• "페인트 롤러로 집을 칠하는 1인칭" 같은 프롬프트만으로 실제 같은 벽칠 미니게임을 만드는 등 상호작용 방식도 설명으로 구현 가능
• 날씨 변화나 객체·캐릭터 추가를 프롬프트로 지시하는 월드 이벤트 기능이 더해져, 음성 입력이나 사전 설정으로 세계를 실시간 변형 가능

VR 적용까지 남은 과제

• VR용이 되려면 6DoF 헤드 포즈와 위치 이동, 나아가 손·몸 포즈까지 입력받아야 해 훈련 데이터 확장과 아키텍처 대수술이 필요
• 스테레오 출력은 AI 뷰 합성이나 YORO 같은 기존 기술로 반대쪽 눈을 만들어 해결할 수 있는 수준
• 제어 지연은 50ms로 24fps 게임의 이론적 최소치 41.67ms에 근접, 향후 90fps에 도달하면 VR 재투영과 결합해 문제없다는 판단
• 행동 종류 제한, 다중 에이전트 상호작용 불가, 실제 장소 재현 불가, 오디오 부재는 구글 스스로 인정한 미해결 과제

게임 엔진을 대체하기 어려운 이유

• 생성 모델의 출력은 훈련 데이터가 형성한 잠재 공간에서 나오므로, 프롬프트는 완전히 이해된 명령보다 고차원 좌표에 가까움
• 필자가 Veo 3에 겨자 없는 핫도그 영상을 아무리 구체적으로 요청해도 매번 겨자가 등장했듯, 세부 지시는 지금도 자주 무시됨
• 기존 렌더링 게임은 수년간 다듬은 아트 디렉션을 정확히 구현하며, 이 정밀 컨트롤은 월드 모델이 끝내 못 따라갈 수 있는 영역

전망

• 720p 24fps와 1~2분 세션은 현대 게임 기준에 한참 못 미치지만, 발전 속도를 보면 이런 기술적 한계는 수년 내 해소될 전망
• 월드 이벤트가 성숙하면 개발팀이 업데이트에 몇 주씩 쓰는 지금과 달리 거의 무한한 콘텐츠 변주를 즉시 만들 잠재력
• 헤드셋에서 몇 시간씩 안정적으로 도는 VR 월드 모델까지는 몇 년이 더 필요하나, 렌더링용 AI 에셋 생성보다 홀로덱의 꿈에 훨씬 가까운 접근이라는 결론