옴니휴먼(OmniHuman-1): 일체형 조건부 인간 애니메이션 모델의 스케일업에 관한 새로운 접근

• 옴니휴먼(OmniHuman-1)은 사진 한 장과 음성만으로 얼굴 클로즈업부터 전신까지 움직이는 인물 영상을 만드는 디퓨전 트랜스포머 기반 생성 모델
• 논문의 주장은 구조 개선이 아니라 데이터 확장에 있음. 텍스트·음성·포즈 조건을 한 훈련에 섞어, 단일 조건 모델이라면 필터링으로 버렸을 영상까지 학습에 투입
• 훈련 데이터는 인물 관련 영상 18.7K 시간, 이 중 립싱크와 포즈 가시성 기준을 통과한 13%만 음성·포즈 조건에 배정하고 나머지는 텍스트 조건으로 소화
• 인물 사진 전용 루피(Loopy), 상반신 전용 사이버호스트(CyberHost) 같은 전문 모델을 단일 모델로 상대해 화질·립싱크·손 품질 지표에서 모두 앞섰다고 보고
• 지원 범위는 대화와 노래, 물체를 든 손동작, 악기 연주, 2D 만화와 3D 캐릭터, 임의 종횡비 입력까지 확장

인간 애니메이션이 스케일업에 실패해온 이유

• 일반 비디오 생성은 대규모 비디오-텍스트 쌍 덕에 DiT 기반으로 급성장했지만, 인간 애니메이션은 같은 성장 곡선을 타지 못했다는 진단에서 출발
• 음성은 표정하고만 강하게 묶이고 신체 포즈·배경·카메라 움직임과는 상관이 약해, 무관한 요소를 걷어내는 필터링이 훈련 전제 조건이 됨
• 여기에 립싱크 정확도를 기준으로 한 정제까지 겹치면서 훈련은 안정되지만 원본 데이터의 상당 부분이 폐기됨
• 버려지는 영상에 확장에 꼭 필요한 동작 패턴이 들어 있어, 데이터셋을 키우려는 시도 자체가 무의미해지는 악순환
• 기존 연구는 대체로 천 시간 미만·2B 미만 규모에 머물렀고 파다(FADA) 1.4K시간, 브이로거(VLogger) 2.2K시간 정도가 예외적 사례

옴니컨디션, 두 개의 훈련 원칙

• 원칙 1은 강한 조건 작업이 약한 조건 작업과 그 데이터를 끌어다 쓴다는 것. 음성·포즈 기준에서 탈락한 영상도 텍스트 조건 기준은 통과하므로 훈련에 남음
• 원칙 2는 조건이 강할수록 훈련 비율을 낮춘다는 것. 포즈처럼 모호성이 적은 조건이 있으면 모델이 그쪽에 의존해 음성 학습을 건너뛰기 때문
• 조건의 동작 연관 강도는 텍스트, 참조 이미지, 음성, 포즈 순으로 강해짐. 텍스트는 사건을, 참조는 동작 범위를, 음성은 발화 리듬을, 포즈는 정확한 동작을 지정
• 훈련은 3단계. 1단계는 텍스트와 이미지만 쓰고 2단계에서 음성, 3단계에서 포즈를 추가하며 각 조건의 훈련 비율을 단계마다 절반씩 낮춤
• 조건이 서로를 보완한다는 점도 근거. 음성만으로는 신체 포즈를 제어할 수 없지만 포즈 입력이 함께 있으면 과적합이 줄고 일반화가 개선

모델 구조에서 덜어낸 것

• 백본은 텍스트-비디오 쌍으로 사전훈련한 시위드(Seaweed) 기반 MMDiT, causal 3D VAE로 원본 크기 영상을 잠재 공간에 투영하고 flow matching으로 학습
• 음성은 웨이브투벡(wav2vec)으로 특징을 뽑아 MLP로 압축한 뒤 교차 주의로 각 블록에 주입, 포즈는 히트맵을 인코딩해 노이즈 잠재와 채널 방향으로 합침
• 외관 조건에서 업계 관행인 참조 네트워크를 버림. 디노이징 넷 전체를 훈련 가능한 복사본으로 하나 더 두는 방식이라 모델이 커질수록 확장성이 무너지는 구조
• 대신 참조 이미지를 원래 DiT 백본에 그대로 통과시켜 토큰으로 만들고, 비디오 토큰과 한 시퀀스로 합쳐 자기 주의로 상호작용시킴
• 참조 토큰은 3D RoPE의 시간 성분을 0으로 두어 비디오 토큰과 구분. 추가 파라미터 없이 외관 조건을 붙이는 설계

비율 실험이 드러낸 균형점

• 음성 전용 데이터 100%로 훈련하면 동적 범위가 좁아지고 복잡한 입력 이미지에서 실패, 약한 조건 데이터를 50% 섞을 때 립싱크와 자연스러운 동작이 함께 성립
• 다만 약한 조건 데이터가 과하면 음성과의 상관관계 자체가 나빠져, 50%는 양쪽 실패 모드 사이의 지점
• 20명을 대상으로 50개 시나리오 샘플을 블라인드 비교시켰고, 기권 옵션까지 둔 주관 평가 결과가 시각적 결론과 일치
• 포즈 비율이 낮으면 음성만으로 테스트할 때 제스처가 과도해져 모션 블러와 손가락 왜곡이 나타나고, 높으면 자세가 거의 고정됨. 최종값은 50%
• 참조 이미지 비율은 음성보다 높아야 함. 30%로 낮추자 30초 영상에서 배경 노이즈와 색 변화가 누적됐고 70%에서는 원본 디테일이 유지됨

추론 단계의 처리

• 음성 구동 시에는 포즈만 끄는 식으로, 활성화된 조건보다 동작 연관이 약한 조건은 함께 켜두는 것이 기본 규칙
• 음성과 텍스트에만 분류자 없는 가이던스(CFG)를 적용하는데, 값을 올리면 캐릭터에 주름이 두드러지고 내리면 립싱크와 표현력이 떨어지는 상충이 발생
• 해법은 추론이 진행되면서 CFG 크기를 점차 낮추는 어닐링. 표현력을 유지하면서 주름 출현만 억제하는 절충안
• 긴 영상은 세그먼트로 나눠 생성하고, 직전 세그먼트의 마지막 5프레임을 모션 프레임으로 넘겨 시간과 정체성 일관성을 유지
• 메모리 제약 안에서는 임의 길이 세그먼트를 이어붙일 수 있다는 것이 저자들의 설명

평가 방식과 저자들이 인정한 한계

• 인물 애니메이션은 혼합 장면 데이터셋 셀레브브이-에이치큐(CelebV-HQ)와 실내 발화·노래 데이터셋 라브데스(RAVDESS)에서 각각 100편을 뽑아 측정
• 신체 애니메이션은 사이버호스트 테스트셋을 그대로 사용. 인종·연령·성별·초기 포즈가 다른 119개 정체성의 영상 269편
• 지표는 FID와 FVD에 더해 참조 없는 화질 IQA, 미감 ASE, 립싱크 신뢰도 Sync-C, 손 키포인트 신뢰도 HKC와 분산 HKV를 병행
• 저자들도 참조 이미지가 머리만 담고 있으면 결과가 원본 영상과 일치할 수 없고, 시나리오마다 선호되는 동작 스타일이 달라 단일 지표로 성능을 재기 어렵다고 인정
• 결국 논문이 내세우는 결론은 음성처럼 약한 신호만으로도 사실적인 인물 영상이 나온다는 것이며, 확인은 프로젝트 페이지의 영상 샘플로 유도