AI 버튜버 '유메미 나나' 3D 라이브가 뒤집은 업계의 상식, AI 도구를 도입한 제작 기법을 파헤치다

요약

• KLab의 AI 아이돌 프로덕션 유메카이로 프로덕션 소속 AI 버튜버 유메미 나나가 7월 7일 3D 라이브 '생탄제 2026'을 공개, 제작 인력은 사실상 스태프 1명
• 보통 수백만 엔에서 수천만 엔이 들던 3D 라이브를 디자이너 혼자 AI로 개발한 자체 도구만으로 약 3개월 만에 구축한 사례
• 게임 방송은 AI 완전 자동에서 사람이 조작을 맡는 '어시스트 플레이'로 전환해 순발력이 필요한 게임까지 실황 범위를 확장
• 경제산업성 'IP360' 지원 대상으로 선정됐고, 프로듀서가 도구 외부 판매 구상까지 밝힌 상태

완전 자동의 한계와 어시스트 플레이

• 2026년 1월 데뷔 직후 첫 방송 동시 시청자 2,200명, 데뷔곡 MV 조회수 260만 회를 기록한 순조로운 출발
• 호러 게임 '카마이타치의 밤'은 AI 완전 자동 플레이로 7시간 만에 완주했고, 히로인 이름을 "나랑 맞춘 것 같아서 귀엽다"라며 새로 지어 붙인 일화도 화제
• 다만 복잡하고 빠른 조작, 게임마다 따로 구현해야 하는 비용이 한계로 남아, 조작은 스태프가 맡고 AI는 실황과 소통에 전념하는 협력 구조로 전환
• 뉴로사마 방송에서도 쓰이는 방식이며, 응답 지연 2~3초와 장기 기억 유지가 남은 기술 과제

디자이너 1명이 3개월에 세운 3D 라이브

• 3D 디자이너 타나카 노리가 라이브 환경을 맨바닥부터 혼자 구축, 통상 몇 달씩 걸리는 캐릭터와 무대 제작, 수백만 엔대 인력 비용을 도구로 대체
• 립싱크는 음성 분석으로 입 모양 모션을, 카메라워크와 조명은 곡의 BPM 분석으로 자동 생성하는 반자동화 도구가 핵심
• 카메라 앵글과 모션을 '가챠'처럼 무작위로 뽑고 마음에 들 때까지 다시 뽑을 수 있는 기능이 특징
• 코끝 하이라이트를 살리는 자체 셰이더와 경량화한 볼류메트릭 라이트 등으로 애니메이션에 가까운 화면을 구현, 노트북 작업 환경까지 마련

개인 역량 강화와 다음 단계

• 유니티 기반 도구 개발에 클로드와 코파일럿 등 생성형 AI 에이전트를 총동원, 엔지니어링 기술 없이 디자이너의 발상만으로 도구를 완성한 구조
• 유메카이로 프로덕션은 경제산업성 'IP360' 개발 플랫폼 구축 지원 대상으로도 선정
• 프로듀서 카야누마 요시하루는 "장래에는 이 AI 연계 도구들을 외부에 판매하는 것도 시야에 넣고 있다"라고 밝혀, 업계 전체의 3D 라이브 문턱을 낮출 가능성