AI는 왜 '얼굴'을 필요로 하는가: 실시간 AI 아바타의 현주소와 승부처

• 실시간 AI 아바타는 로봇 보급 전까지 쓰는 임시 대용품이 아니라, 이미 사회에 깔린 수십억 장의 화면에 AI의 몸을 배포하는 층이라는 게 이 글의 결론
• 각 사가 내건 '실시간' 수치는 재는 구간이 서로 달라 비교가 성립하지 않음(일레븐랩스 75ms는 모델 추론, 런웨이 1.75초는 응답 시작까지, 테이버스는 발화 간 600ms)
• 시장은 영상의 몸 API, 음성·대화 운용 기반, 생성 영상의 스트리밍화, 엔비디아 ACE 같은 개발 부품 네 층으로 갈리고 서로 조합되는 구조
• 승부처는 얼굴의 사실성이 아니라 기대와 반응의 정합성, 그리고 동의 관리·업무 연동·감사·사람 인계 같은 운용 역량
• EU AI법 제50조의 AI 고지와 딥페이크 공개 의무가 2026년 8월 2일부터 적용돼, 고품질 아바타일수록 AI임을 분명히 밝혀야 하는 구조

'실시간'이라는 말의 함정

• 처리 과정은 음성 수신, 턴 판정, 음성 인식, LLM 생성, 음성 합성, 영상 생성, 웹RTC 전송이라 체감 지연은 이 전부의 합
• 모델 단독 75ms가 대화 왕복 75ms를 뜻하지 않고, 그 위에 지역·회선·문장 길이·동시 접속 수가 얹힘
• 아남은 서버 중앙값 180ms에 대화 1초 미만, 비빅스는 첫 가시 반응 0.6초 미만에 영상 포함 첫 응답 1.7초 미만을 제시
• 전부 자사 측정치고 동일 조건 제3자 비교가 없어서 "어디가 제일 빠른가"만으로는 고를 수 없음
• 실제로 볼 지표는 발화 종료 판정, 끼어들기 중단, 맞장구 오인, 첫 소리와 첫 표정 속도, 장시간 일관성 여섯 가지
• 반이중 순번 대기를 빠르게 돌리는 것만으로는 대화의 시간을 함께 만들지 못한다는 게 이 글의 진단

얼굴과 목소리는 따로 조달된다

• 헤이젠 라이브아바타는 2분 촬영이나 사진으로 맞춤 아바타를 만들어 웹RTC로 사이트에 심는, 지금 가장 도입하기 쉬운 영상의 몸
• FULL은 인식·LLM·합성·배포를 헤이젠이 통째로 맡고, LITE는 기업이 자기 스택을 가져오고 헤이젠은 실시간 영상만 담당
• FULL 내부는 합성 일레븐랩스 플래시 v2.5, 인식 딥그램과 어셈블리AI, 기본 LLM GPT-4o 미니라 헤이젠의 본질적 강점은 두뇌가 아니라 접속력
• 요금은 1크레딧이 LITE 1분·FULL 30초 기준이고 월 19·99·475달러 구간에서 동시 접속 수와 세션 길이, 해상도가 갈림
• 약점은 기존 비디오 아바타와 비호환, 방송 중 제스처 지시 불가(2026년 7월 기준), 1080p의 지연 증가
• 일레븐랩스는 얼굴 대신 중추를 쥐어, 일레븐에이전트가 턴 제어·지식베이스·외부 도구·전화·평가를 묶고 헤이젠 LITE에 공식 연동돼 목소리를 업무의 입구로 만듦

경쟁 지형은 얼굴 너머로 넓어진다

• 테이버스 CVI는 지각(레이븐)과 턴 제어(스패로우), 영상(피닉스)을 분리해 AI가 이용자를 본다는 게 강점, 표정 오독과 카메라 프라이버시가 부담
• 디-아이디 V4는 대화 턴 0.5초 미만에 최대 4K를 내걸지만 비교 수치가 자사 설계 벤치마크라 외부 검증이 어려움
• 아남은 720×480·25fps로 해상도를 낮춰 대화 속도를 확보하는 설계, 기성 아바타 20종과 50개 이상 언어를 지원
• 런웨이 캐릭터스는 동물·애니 캐릭터·기업 마스코트까지 이미지 한 장으로 24fps 구동하고 화면 공유를 보며 답해, 인간 복제에 갇히지 않음
• 신세시아는 속도 경쟁 대신 연수 영상과 롤플레이, 평가, LMS 통합으로 가면서 현 시장 시스템을 상대 음성을 영상에 반영 못 하는 Level 1로 규정
• 바이두·알리바바·텐센트는 디지털 휴먼을 기존 클라우드와 방송·이커머스에 끼워 넣고, 한국은 딥브레인 AI와 이스트소프트, 일본 아비타는 사람 오퍼레이터와 AI를 섞는 혼합형

비빅스-A1이 바꾸려는 경쟁축

• 비빅스-A1은 2026년 6월 공개 모델로 음성·텍스트·이미지를 받아 목소리와 얼굴, 전신 동작, 주변 장면을 연속 생성
• 인식에서 LLM, 합성, 립싱크로 이어지는 순서 대신 날것의 모달리티를 생성 루프에 넣는 네이티브 멀티모달이고 장기 일관성은 디렉터 에이전트가 맡음
• 실시간 API는 음성·영상을 TRTC로, 제어를 웹소켓으로 흘리며 끼어들기와 아바타 전환, 고정 대사, 노래, 춤 지시를 지원(출력 예시 480p·24fps)
• 대화 중 새 상품 이미지를 주면 캐릭터가 돌아보고 손에 들고 설명하는 생성을 노려, 라이브 커머스와 시연이 고정된 상반신 립싱크에서 풀려남
• 다만 수치는 전부 자사 발표고 2025년 창업에 약 20명 규모라 기업 도입 실적은 확인이 어렵고, 기술 보고서도 빠른 동작과 물체 조작의 드리프트를 인정
• 이 회사가 말하는 'open world'는 상태를 엄밀히 관리하는 게임 엔진이 아니어서, 화면 속 파지와 로봇의 실제 파지는 별개

왜 얼굴이 필요하고 언캐니 밸리는 왜 낡은 축인가

• 기업이 모습에 돈을 내는 이유는 역할의 즉시 전달, 대화 상태의 가시화, 공동 주의, 관계 유지, 기존 인력 자리에 그대로 얹기 다섯 가지
• 표정은 대인 매력과 감정 판독 정확도를 개선할 여지가 보고됐고, 교육 에이전트 제스처는 20건·3841명 메타분석에서 소~중 수준 효과
• 반대로 숫자 비교나 긴 글 정독, 프라이버시 상담에는 텍스트가 빠르고 정확하며 대화 형식이 부정확한 정보의 신뢰도를 올린다는 실험도 있음
• 2025년 체계적 리뷰는 채택 29편의 방법론 품질을 약~중으로 보고, 언캐니 밸리를 보편 경험이 아니라 기대와 외모·지능·행동의 불일치로 재정의
• 사실적 얼굴이 유치하게 답하거나 슬픈 상담에 웃으면 피부 질감보다 큰 실패라, 평가축은 섬뜩함에서 정합성으로 이동
• 그래서 애니 캐릭터나 대놓고 CG인 형태여도 목소리와 표정, 사이, 인격이 일관되면 받아들여짐

로봇보다 화면이 먼저 깔리는 이유

• 구글 딥마인드 제미나이 로보틱스와 엔비디아 코스모스·아이작·GR00T로 피지컬 AI는 전진 중이지만, 보급 순서를 정하는 건 기술 우열이 아니라 자본 구조
• 영상 아바타는 기존 스마트폰·PC·키오스크·차량 화면에 그대로 배포되고 고장이 사람을 다치게 하지 않으며 업데이트 한 번으로 전 거점이 고쳐짐
• 로봇은 모터·배터리·파지 기구·비상 정지·보수·보험·안전 인증이 붙고 현실의 바닥과 사람은 예측 불가라 비용 구조가 다름
• 물건을 옮기는 자리엔 로봇, 설명·교육·판매·안내·연기 자리엔 화면 속 몸이라는 분업이 로봇 보급 이후에도 남을 전망
• 구현 순서는 웹·사이니지 안내에서 연수와 롤플레이, 판매와 라이브 커머스, 게임과 캐릭터 IP, 의료·금융·행정 보조 창구로 이어짐
• 영상 수요는 늘지만 편당 촬영·조명·편집 공정은 줄고, 일은 인격 설계와 권리 관리, 대화 평가, 감사 쪽으로 옮겨감