a16z: AI는 말하는 방법을 배웠고, 이제는 현실을 만들어내는 중이다

수십 년 동안 공상과학 소설은 명령에 따라 완전한 현실을 만들어낼 수 있는 기계를 상상해 왔습니다. 스타트렉의 홀로덱부터 레디 플레이어 원의 오아시스까지, 우리는 오랫동안 무한한 자유로 탐험하고, 창조하고, 상호작용할 수 있는 지속적인 가상 세계를 꿈꿔왔습니다. 우리가 상상할 수 있는 모든 것이 가능한 세계죠. 이런 가상 세계는 단순히 정적인 환경이 아니었습니다. 그것들은 살아 숨 쉬었고 역동적이며, 반응하고, 끊임없이 진화했습니다.

오늘날 우리는 홀로덱의 실제 버전에 가까워지고 있습니다: 바로 월드 모델(World Models)입니다. 월드 모델은 물리적 세계에 대한 내장된 이해를 바탕으로 가상 환경을 생성하는 AI 모델입니다. 챗GPT가 텍스트를 생성하고, 미드저니가 이미지를 만드는 것처럼, 월드 모델은 전체 공간을 생성할 수 있습니다.

하지만 월드 모델은 여기서 한 걸음 더 나아갑니다. 단순히 시각적 요소만 만드는 것이 아니라, 물체의 움직임, 환경의 변화, 물리적 힘의 상호작용까지 시뮬레이션합니다. 덕분에 사용자는 마치 비디오 게임처럼 이러한 세계 안에서 자유롭게 참여하고 놀 수 있게 됩니다.

아래 클립은 단순한 영상이며, 게임 엔진으로 만든 게임이 아닙니다.

월드 모델은 이미 물리적이든 가상이든 공간을 다루는 모든 사람들에게 실질적인 응용 가능성을 제시합니다. 오늘날 게임 엔진을 활용해 일하는 사람이라면 누구나 월드 모델의 혜택을 누릴 수 있습니다:

• 시뮬레이션 환경에서 AI를 훈련하는 로봇공학 엔지니어
• 가상 제작 세트를 만드는 영화 스튜디오
• 상호작용 가능한 세계를 구축하는 게임 개발자
• 몰입형 경험을 만드는 XR 크리에이터
• 건물과 공간을 설계하는 건축가
• 도시 경관과 인프라를 시뮬레이션하는 도시 계획자
• 공간 레이아웃을 시각화하는 인테리어 디자이너

이것은 우리가 지금 예상할 수 있는 단기적 활용 사례의 시작에 불과합니다. 가장 흥미로운 점은 월드 모델이 결국 우리가 아직 상상하지 못한 완전히 새로운 경험의 문을 열어줄 것이라는 사실입니다.

무한한 세계를 향한 두 가지 경로: 3D vs. 인터랙티브 비디오

모든 월드 모델이 환경을 생성하고 시뮬레이션하는 목표를 공유하지만, 네이티브 3D와 비디오 기반 접근법 사이에는 근본적인 차이가 있습니다.

• 네이티브 3D 월드 모델은 텍스트나 이미지 프롬프트에서 생성된 고유한 3D 표현으로 구축됩니다. 이러한 3D 표현은 깊이, 지속성, 상호작용성을 갖춘 구조화된 탐색 가능한 환경을 만듭니다. 이는 게임 개발부터 산업 디자인까지 공간적 이해가 필요한 분야에 특히 유용합니다.
• 반면 비디오 기반 월드 모델은 과거 프레임과 사용자 입력을 활용해 미래 프레임을 예측함으로써 역동적인 시퀀스를 생성합니다. 이를 통해 시각적으로 풍부하고 상호작용적인 경험을 만들어냅니다. 이러한 모델은 서사적, 영화적, 시간