옴니휴먼(OmniHuman-1): 일체형 조건부 인간 애니메이션 모델의 스케일업에 관한 새로운 접근
요약
- 옴니휴먼(OmniHuman-1)은 사진 한 장과 음성만으로 얼굴 클로즈업부터 전신까지 움직이는 인물 영상을 만드는 디퓨전 트랜스포머 기반 생성 모델
- 논문의 주장은 구조 개선이 아니라 데이터 확장에 있음. 텍스트·음성·포즈 조건을 한 훈련에 섞어, 단일 조건 모델이라면 필터링으로 버렸을 영상까지 학습에 투입
- 훈련 데이터는 인물 관련 영상 18.7K 시간, 이 중 립싱크와 포즈 가시성 기준을 통과한 13%만 음성·포즈 조건에 배정하고 나머지는 텍스트 조건으로 소화
이 글은 바이트댄스(틱톡) 연구진의 「OmniHuman-1: Rethinking the Scaling-Up of One-Stage Conditioned Human Animation Models」 핵심 내용을 자체 문장으로 정리한 요약입니다.
원문 보기
