바이두의 디지털 휴먼 플랫폼, 후이보싱: 디지털 휴먼 기술의 진화

• 바이두가 2023년 내놓은 이커머스 디지털 휴먼 라이브 서비스 후이보싱은 2025년 말 기준 하루 평균 2만 개 이상 방송을 돌리며 교육, 금융, 건강 영역까지 확장
• 2025년 6월 15일 루오융하오의 디지털 휴먼 데뷔 방송은 시청 1,300만 명에 GMV 5,500만 위안으로, 한 달 전 본인이 직접 진행한 방송의 5,000만 위안을 넘어섬
• 스크립트 작성, 실시간 질의응답, 방송 중 행동 결정, 음성과 외형 복제까지 전 과정을 모델이 맡는 구조이며 판매자는 상품과 스타일만 고르면 되는 방식
• 기술 축은 두 가지로, 강화학습이 회차 전체 성과를 목표로 행동을 고르고 사전과 사후 두 겹의 데이터 플라이휠이 사람 라벨링 의존을 걷어냄
• 다만 등장하는 수치는 전부 바이두 자체 발표라 산출 기준과 비교 조건에 대한 외부 검증은 없는 상태

판매자가 쓰는 방식과 누적 규모

• 공개 라이브러리에 진행자 외형 7,800개, 방송 룸 템플릿 3,600개, 음색 3,200개를 갖춰 촬영이나 디자인 작업 없이 방송을 열 수 있게 함
• 판매 상품은 바이두 직영몰 두샤오디엔뿐 아니라 징둥, 타오바오, 핀둬둬와 로컬 생활 서비스에서 끌어와 연동하는 구조
• 방송 배경과 마케팅 위젯은 템플릿에서 고르거나 AI 자동 생성에 맡기고, 시청자 질의응답은 스위치 하나로 켜는 구성
• 2025년 말까지 누적 외형 32만 개와 음색 12만 개를 만들었고 이 중 판매자 맞춤 제작은 각각 8만 개와 2.7만 개
• 외형 온라인 가용률은 95%로, 공개 외형으로 시험 삼아 시작한 뒤 자체 외형으로 갈아타는 경로를 상정

판매 스크립트를 만드는 경로

• 판매자가 400자 이상의 참고 판매 문구를 넣으면 말투는 유지하고 내용만 자기 상품의 셀링 포인트로 갈아끼운 스크립트가 나옴
• 상세페이지와 홍보 이미지를 OCR, 레이아웃 분석, 멀티모달 모델로 함께 읽어 셀링 포인트와 타겟 고객을 상품 지식 DB로 정리
• 참고 문구에서 말하기 템포, 감정 강도, 한정 수량 강조 같은 판매 기법을 태그로 뽑고 이를 검색어로 바꿔 범용과 이커머스 지식 DB를 뒤지는 RAG 구조
• 이커머스 라이브 데이터로 사전학습한 모델에 전문가 라벨링과 경량 RLHF를 얹어 문장의 자연스러움과 판매 효과를 함께 겨냥
• 고객 채택률 92%, 실제 방송 적용률 67%를 기록했고 판매자가 직접 쓴 스크립트보다 전환율이 14% 높다고 밝힘
• 결과물은 오프닝, 혜택 복선, 감정 절정, 구매 유도처럼 태그로 쪼개 두며, 수요가 커지자 라이브와 분리한 독립 도구로 떼어냄

모델을 스스로 키우는 데이터 플라이휠

• 전문가 지식만 기준으로 삼으면 주관 편향과 대응 속도 한계로 상위 진행자를 계속 넘어서기 어렵다고 보고 순환 구조를 설계
• 성과만 좇으면 과도한 구매 압박이나 과장 광고가 늘기 때문에, 사전 보상 모델을 문지기로 두고 규정 준수와 통제 가능성부터 학습시킴
• 선호도 라벨은 EB4-4T, Deepseek-R1/V3, GPT-o 계열 등 여러 추론 모델의 투표와 등급 비교로 자동 합성해 비용과 판단 편차를 줄임
• 자동 합성으로 수백만 건 규모 커버리지를 확보하고, 플랫폼 규정이나 콘텐츠 트렌드가 바뀌면 곧바로 기준을 갱신할 수 있게 함
• 사후 단계에서는 온라인 실험으로 실제 사용자 반응에서 선호도 샘플 수천 건을 뽑아 DPO나 IPO 계열 정렬 학습에 투입
• 실험 비용이 걸리는 구간은 S-Learner와 T-Learner 같은 업리프트 모델로 참여, 댓글, 체류 상승분을 예측해 백만 건급으로 확장

실시간 응답과 방송 중 판단

• 상품 이미지와 텍스트, FAQ, 영상 스크립트, 카테고리 속성을 모아 벡터화한 라이브 전용 지식 기반을 구축
• "이거 얼마나 써요?" 같은 구어체 짧은 질문을 의도 파악부터 지식 검색까지 잇는 파이프라인과 심층 의미 임베딩으로 처리
• 수천억 규모 모델을 압축하고 텐서 병렬 최적화와 프롬프트 간소화를 거쳐 응답 지연을 12초에서 2초로 단축
• 질의응답은 엔드투엔드 가용률 95%, 우수 답변률 90%, 고객 활성화율 94%를 기록했다고 밝힘
• 중앙 제어는 시청자 수와 댓글 빈도, 질문 유무를 상태로 읽고 댓글 유도, 구매 유도, 상품 포인트 전환 중 무엇을 할지 강화학습으로 선택
• 한 문장의 완성도가 아니라 회차 단위 주문과 체류 시간을 보상으로 잡는 방식이며, 다음 목표는 결정과 생성을 한 모델로 묶는 엔드투엔드 학습

목소리와 외형을 복제하는 기술

• 음성 제작은 업무용 마이크에 한 달 걸리던 방식에서 미니앱 자가 녹음 15분에 하루 내 완성으로 바뀌었고 TTS 활용률도 30.3%에서 92.8%로 상승
• 음색은 말투와 속도를 그대로 살린 원본형과 감정에 강약을 준 열정 판매형 두 갈래이며, 다음 과제는 녹음 기준을 30초로 낮추고 분 단위 합성을 달성하는 것
• 외형은 오디오에서 곧장 입술 픽셀을 뽑는 wav2lip 계열이 사실감에 못 미쳐, 3D 얼굴 mesh를 중간 표현으로 두는 2단계 방식으로 전환
• 3DMM 재구성과 Faceformer 개조 예측, StyleGAN2 개조 생성 모델을 쓰되 진행자별 입술 스타일만 미세조정해 5분 영상으로 3시간 만에 새 외형을 제작
• 촬영 제약도 입 다문 정면에서 시작해 가림과 큰 각도 옆모습, 얼굴 클로즈업까지 풀렸고 지금은 다인 출연과 동작, 표정 구현으로 넘어가는 중
• 온라인 합성은 오디오와 기본 프레임, 배경을 실시간으로 합쳐 스트림으로 내보내며 단일 GPU 다중 경로 렌더링으로 2만 방송을 동시에 감당