넥덕 | a16z: AI 아바타, 불쾌한 골짜기를 벗어나다

a16z는 2017년 이후 나온 AI 토킹 헤드 논문 70편 이상과 제품 20여 개를 직접 검증한 뒤, AI 아바타가 실험 단계를 지나 상용 구간에 들어섰다고 진단
진짜 난이도는 입 모양 맞추기가 아니라 표정과 상체, 배경이 음성과 한 호흡으로 반응하는 통합 연출이며, 목소리만 신나고 얼굴이 굳으면 사람 같다는 감각이 즉시 깨짐
2월 바이트댄스의 옴니휴먼-1, 3월 헤드라의 캐릭터-3가 연달아 나오며 한 영상 안에서 전신 동작과 배경 움직임까지 생성하는 수준에 도달
광고와 직원 교육, 콘텐츠 현지화에는 이미 상용 투입됐고 소비자 쪽은 이미지 한 장으로 말하는 캐릭터를 만드는 창작 도구로 퍼지는 중
남은 숙제는 캐릭터 변형 자유도, 대본 맥락에 맞는 감정 표현, 손짓을 포함한 신체 동작, 실물과의 상호작용, 실시간 대화의 지연 다섯 갈래

연구는 CNN에서 DiT까지 밀려왔다

모델은 음성의 최소 단위인 음소와 그에 대응하는 입 모양을 짝지어 학습해야 하고, 이 대응이 조금만 어긋나도 입과 목소리가 따로 노는 인상으로 바로 드러남
사람마다 말하는 습관이 달라 같은 문장이라도 입 움직임이 다르기 때문에, 한 사람의 발화 패턴을 다른 얼굴에 얹으면 어색해지는 문제까지 겹침
구조 흐름은 CNN과 GAN에서 시작해 NeRF와 3D 가변 모델을 거쳐 트랜스포머와 디퓨전으로 넘어갔고, 최근에는 트랜스포머 기반 디퓨전인 DiT가 주류
초기 방식은 사진 한 장에서 얼굴 아래쪽을 가리고 음성에서 뽑은 특징점으로 입만 다시 그리는 수준이라, 클로즈업 화면 밖으로 나가지 못했음
오바마 립싱크급 결과를 내려면 대상 인물의 영상이 수십 시간 필요했지만, 지금 모델은 텍스트-투-비디오와 같은 방식으로 대규모 데이터를 학습해 제약이 크게 줄어듦

초기 AI 영상이 슬라이드쇼라는 소리를 들은 이유가 말하는 캐릭터의 부재였고, 발화가 붙자 AI 스트리머와 팟캐스터, 뮤직비디오까지 성립하기 시작
헤드라는 시작 이미지와 오디오 클립 또는 대본만 넣으면 립싱크와 얼굴, 상체 움직임을 만들고 말하는 웨이모 같은 비인간 캐릭터도 처리
영상에서 출발할 경우 싱크가 입 모양을 오디오에 맞추고, 실제 배우 연기를 캐릭터로 옮기려면 런웨이 액트-원이나 비글을 사용
크리에이터 뉴럴 비즈가 만든 포스트휴먼 세계관 시리즈 모노버스가 진입 장벽 하락을 보여주는 사례이며, AI 제작 쇼와 독립 인플루언서 증가는 시간문제
프락티카처럼 얼굴과 성격을 갖춘 실시간 AI 코치를 서비스 화면 전면에 세우는 방식도 이미 상용화됐고, 아바타를 UI의 기본 요소로 쓰는 소비자 서비스가 뒤따를 전망
배우 섭외도 촬영도 없이 시리즈물을 이어갈 수 있게 되면서 개인 창작자의 진입 비용이 사실상 사라졌고, 캐릭터 자체가 채널의 자산이 되는 구조로 이동

배우와 제작팀을 고용하는 대신 AI 배우로 제품을 홍보하는 광고가 가장 빠르게 자리 잡았고, 이커머스와 게임, 소비자 앱에서 특히 활발
크리에이티파이와 아케이즈는 제품 링크 하나만 넣으면 대본 작성부터 영상 소스와 제품 사진 수집, AI 배우 캐스팅까지 자동으로 처리
B2B 영역에서도 유즈 랩스와 비드야드가 콘텐츠 마케팅과 맞춤형 아웃리치에 아바타를 붙이는 시도를 진행 중
대기업은 신테시아로 신입 온보딩과 규정 준수 교육 영상을 찍고, 아남의 아바타를 상대로 영업 협상 연습을 시키는 용도까지 검토
일레븐랩스의 음성 번역과 묶으면 같은 영상을 수십 개 언어로 현지화할 수 있어, 다국가 조직의 콘텐츠 제작 단가가 크게 내려감
임원 페르소나를 복제해 제품 발표와 감사 메시지를 대량 생산하는 활용도 늘고 있고, 델파이와 시세로는 사상가의 분신이 1대1로 답하게 만드는 쪽

얼굴은 모든 프레임에서 동일하게 유지되어야 하는데, 피곤하다는 대사에 실제 하품이 따라붙는 맥락형 표정은 여전히 미해결 과제
목소리는 캐릭터와 어울려야 하며, 10대 얼굴에 중년의 음성이 얹히면 곧바로 깨지기 때문에 대부분의 업체가 일레븐랩스의 라이브러리와 복제 기능에 의존
립싱크는 싱크가 이 문제만 전담할 만큼 까다롭고, 메타의 모차와 옴니휴먼은 더 큰 데이터셋으로 오디오 조건부 얼굴 생성을 정교화하는 방향
신체와 배경은 조명과 깊이감, 주변 사물과의 상호작용까지 장면과 맞아야 하지만 전신 아바타의 서비스 확장은 아직 초기 단계
실시간 대화까지 가려면 이전 대화를 기억하고 개성을 드러내는 두뇌와, 라이브킷이나 아고라 같은 저지연 스트리밍 기반이 추가로 필요

아바타 대부분은 의상과 자세, 배경이 고정된 단일 모습이며 20가지 스타일을 갖춘 헤이젠의 라울이 예외에 가까운 사례
표정은 오랫동안 약점이었고 캡션스의 미라지가 개선을 시작했으나, 대본의 감정을 읽고 두려움이나 놀람을 스스로 짓는 단계에는 미도달
제스처 제어는 구간별로 동작 유형을 골라주는 아르길 방식처럼 기계적인 수준에 머물러 있어, 상황에서 추론된 자연스러운 움직임이 다음 목표
광고에서 아바타가 제품을 직접 집어 드는 실물 상호작용은 탑뷰가 초기 진전을 냈을 뿐이고, 화상 진료나 쇼핑 도우미 같은 실시간 응용은 타부스 데모 기준으로 사람 수준에 근접 중
기반 모델 품질이 임계점을 넘은 만큼 응용 시장이 급성장할 것으로 보이며, 용도와 지불 의사에 따라 임원용 고품질 복제와 팬용 짧은 애니메이션이 서로 다른 제품군으로 갈릴 전망
승부처는 모델 성능만이 아니라 작업 흐름이어서, 광고는 제품 정보 수집부터 업로드와 성과 측정까지, 서사물은 캐릭터와 장면의 저장 및 재사용이 핵심