a16z: AI는 말하는 방법을 배웠고, 이제는 현실을 만들어내는 중이다

• a16z는 월드 모델을 텍스트·이미지 생성 다음 단계로 지목, 화면 속 장면이 아니라 물체의 움직임과 물리력까지 시뮬레이션하는 공간 자체를 만들어내는 AI로 정의
• 접근법은 네이티브 3D와 비디오 기반으로 갈리고, 3D는 학습 데이터 부족, 비디오는 장면 기억 상실이 각각 상용화를 막는 병목
• 로봇 훈련, 가상 제작 세트, 게임, XR, 건축, 도시계획, 인테리어까지 지금 게임 엔진을 쓰는 직군이 그대로 1차 수요층
• 데카르트 랩스의 마인크래프트형 실시간 웹 데모 오아시스는 공개 3일 만에 방문자 100만 명을 모으며 수요를 증명
• 수익화 방식은 아직 백지, a16z는 세계를 소유하는 대신 탐험 시간을 사는 구독·입장료형 경제를 예상

두 갈래로 갈린 기술 경로

• 네이티브 3D는 텍스트나 이미지 프롬프트에서 고유한 3D 표현을 만들어 깊이·지속성·상호작용을 갖춘 탐색 가능한 환경을 구성
• 비디오 기반은 과거 프레임과 사용자 입력으로 다음 프레임을 예측하는 방식이라, 명시적 3D 구조 없이 물리 법칙을 데이터로만 학습
• 3D는 공간 이해가 필요한 게임 개발과 산업 디자인에 강하고, 비디오는 서사적·영화적 연출에 강한 대신 상호작용과 지속성이 약함
• 3D 진영은 가우시안 스플랫 같은 명시적 기하로 공간 일관성을 보장하지만, 비디오 진영은 학습된 감각에만 기대야 하는 차이
• 사람이 시각 미디어를 소비하는 최종 형태는 결국 영상이라 배급 면에서는 비디오가 유리하고, 3D는 편집 가능성으로 맞서는 구도
• 목표는 같지만 데이터를 구하는 방식과 무너지는 지점이 정반대라, 당분간 한쪽이 다른 쪽을 흡수하기 어려운 구도

비디오 모델의 성과와 망각

• 구글이 둠 게임플레이로 훈련한 게임엔젠으로 판을 열었고, 올해 초 참조 이미지 한 장에서 플레이 가능한 환경을 만드는 지니 2까지 공개
• 오디세이는 실사 픽셀에서 프로덕션 품질 3D 장면을 뽑던 익스플로러를 잇는 미출시 실시간 비디오 월드 모델을 개발 중
• 웹에 쌓인 영상이 곧 학습 자료라 데이터 병목이 없는 대신, 웹 규모 영상의 저작권 지위는 업계와 규제 기관 모두 정리하지 못한 상태
• 라이온스게이트와 런웨이의 라이선스 제휴처럼 권리자와 손잡는 계약이 현실적인 출구로 거론
• 치명적 약점은 기억, 오아시스에서 180도 돌았다가 2초 뒤 돌아보면 눈앞의 풍경이 통째로 바뀌어 있음
• 대응책으로 과거 프레임 검색용 RAG와 상태 추적용 RNN이 시도되며, 20분 전 얻은 곡괭이를 계속 들고 있는 수준이 상용화 관문

3D 모델의 정밀함과 데이터 벽

• 3D는 어느 각도에서든 보고 실시간으로 고칠 수 있어, 메시와 포인트 클라우드가 표준인 기존 제작 공정에 곧바로 얹힘
• 아티스트가 며칠씩 붙어 수천 달러가 드는 3D 자산 제작을 프롬프트 한 줄로 대체하는 것이 게임 개발 쪽의 기대치
• 월드 랩스는 이미지 한 장을 실시간 탐색 가능한 3D 환경으로 바꾸는 기술을 이미 공개 데모로 내놓음
• 물리적 정확성과 일관된 지오메트리를 동시에 잡는 문제는 미해결, 근본 원인은 대규모 고품질 3D 데이터의 부재
• 수십억 장을 학습하는 이미지·비디오 모델과 달리 3D 데이터셋은 규모도 작고 라벨링도 부실해 학습 파이프라인에 넣기 까다로움
• 우회 전략은 오히려 비디오 쪽에서 나옴, 고품질 영상을 생성한 뒤 그 객체를 3D로 재구성해 학습 데이터로 되돌리는 방식

인터페이스라는 두 번째 병목

• 유니티와 블렌더는 정밀하지만 전문 지식을 요구하고, 텍스트 투 월드는 쉽지만 일회성 생성에 그쳐 제어가 사실상 불가능
• 업계에 필요한 것은 기존 도구의 개조가 아니라 생성형 월드 모델 전용으로 처음부터 새로 설계한 AI 기반 인터페이스
• 건축가에겐 공간 제약과 규제 준수, 영화 제작자에겐 조명·환경 제어, 게임 개발자에겐 상태 추적처럼 직군마다 필요한 제어가 갈림
• 장면 전체를 다시 만들지 않고 특정 건물의 재질이나 가구 하나만 골라 고치는 국소 수정 능력이 공통 요구사항
• 새 인터페이스는 사용자 작업 방식에 맞춰 변형되는 상황 인식 제어를 갖추고 기존 전문 공정과 끊김 없이 붙어야 한다는 조건
• 지향점은 게임 엔진의 정밀함과 블렌더 바이브 코딩의 접근성을 섞은 형태, 입력도 텍스트·스케치·기존 3D 자산을 모두 받아야 함

수요는 지식 추출과 창의성 표현으로 갈린다

• a16z는 잠재 사용자 인터뷰에서 수요가 세계를 이해하려는 쪽과 자기 비전을 표현하려는 쪽 두 갈래로 나뉜다고 정리
• 지식 추출은 챗GPT식 활용, 42층 회의실에서 보일 일몰을 미리 확인하거나 안내견 로봇을 가상 건물에서 먼저 훈련시키는 식
• 창의성 표현은 미드저니·소라식 활용, 게임 레벨 프로토타입과 촬영 전 프리비주얼, 여행지 XR 사전 답사가 대표 사례
• 도시계획자는 지식 추출, 영화 제작자와 게임 개발자는 표현 쪽에 기울고 일반 사용자는 대체로 그 사이에 위치
• 다음 단계 요구는 장면 속 객체를 식별해 관계를 추론하는 능력, 그리고 시뮬레이션과 현실의 간극을 좁히는 정확한 물리 연산
• 채택 순서는 3D 창작 문턱이 낮아진 일반 사용자가 먼저, 정밀함과 일관된 공간 관계를 따지는 전문가 집단이 뒤따를 것으로 예상

세계를 파는 경제

• 월드 모델의 수익 구조는 아직 정의되지 않았고, a16z는 소유 중심의 디지털 경제가 경험 중심으로 이동한다고 봄
• 탐험 시간당 요금을 받는 생성형 테마파크, 취향에 맞춘 세계를 만들어주는 구독 플랫폼이 후보로 제시
• 디즈니의 몰입형 숙박 시설 갤럭틱 스타크루저처럼 비용 탓에 접었던 기획이 경제성을 되찾을 수 있다는 시각
• 진짜 난제는 희소가 아니라 과잉, 무한히 생성되는 세계에서 의미 있는 경험을 골라내는 발견 문제가 전면에 등장
• 승자는 세계 자체가 아니라 감정적·창의적 욕구까지 읽어내는 추천 알고리즘을 쥔 플랫폼이 될 가능성
• 인터넷이 프로토콜이 아니라 그 위에 올라간 응용으로 판을 바꿨듯, 승부처는 모델이 아니라 사람들의 예상 밖 활용법