영화 제작을 위한 생성형 AI: 최신 기술 동향 연구

• MIT AI 영화 해커톤 3년치(2023~2025) 출품작과 참가 아티스트 설문을 묶어, 생성형 AI가 영화 제작 어느 공정까지 들어왔고 어디서 막히는지 정리한 연구, 비디오 툴 설문 110명·3D 툴 설문 65명 규모
• 출품작 거의 전부가 이미지 또는 비디오 생성 AI를 사용했고 2025년 기준 한 작품당 평균 3개 툴을 병행, 어떤 단일 툴도 시각적 요구를 혼자 감당하지 못한다는 신호
• 3D 생성은 2024년부터 전용 트랙까지 신설했는데도 채택률이 2023년 0%에서 2025년 23.7%에 머물러, 비디오 생성과의 격차가 그대로 유지됨
• 음악·음향 AI 채택률은 2023년 12.5%에서 2024~2025년 50% 이상으로 뛰었지만, 2025년 음악상은 AI 사용 여부를 가린 블라인드 심사에서 인간 작곡가의 곡에 돌아감
• 아티스트가 비디오 생성 툴에 요구하는 1순위는 캐릭터 움직임의 일관성이고 카메라 제어, 캐릭터 외형 일관성이 뒤를 이음, 3D 툴 만족도는 비디오 툴보다 뚜렷하게 낮음

툴 채택률이 보여주는 지형

• 영상 사실성이 해마다 올라갔는데도 출품작 다수는 만화풍을 선택, 사실적 화면일수록 프레임 간 일관성 결함이 눈에 띄기 때문이라는 해석이 붙음
• 설문에 등장한 툴은 미드저니, 클링, 오픈아트, 런웨이, 픽스버스 등으로 넓게 흩어져 있어, 아직 승자 독식 구도가 형성되지 않은 시장임을 보여줌
• AI 보이스오버는 2024년 출품작 절반 이상이 사용했고, 특히 비영어권 참가자가 글로벌 관객용 영어 내레이션을 만드는 통로로 적극 활용
• 모든 작품이 보이스오버를 넣는 것은 아니어서, 내레이션이 들어간 작품만 따로 계산하면 실제 AI 보이스 채택률은 집계된 수치보다 더 높아짐
• 3D 채택률 정체는 기술 노출 부족보다 결과물이 아티스트 기준을 못 맞춘 문제에 가깝다는 것이 저자들의 진단

아티스트가 요구하는 제어권

• 좋은 결과의 최대 변수로 지목된 것은 모델 성능이 아니라 자기 작업 방식에 맞는 툴을 고르는 선택 자체, 그만큼 툴별 성격 차가 크다는 뜻
• 생성 결과의 무작위성을 줄이려면 같은 장면을 여러 번 반복 생성해야 하고 프롬프트도 길고 구체적이어야 한다는 응답이 2D와 3D 양쪽에서 공통으로 나옴
• 실제 촬영의 카메라 지시는 패닝 방향뿐 아니라 시작 위치, 초점 거리, 피사계 심도가 한 덩어리로 걸려 있는데 현재 툴에는 이 복합 지시를 넣을 통로가 없음
• 드론 샷이나 원거리 시점처럼 학습 데이터가 희소한 구간에서 모델이 자주 실패한다는 지적이 반복됨
• 한 프레임에 여러 캐릭터를 동시에 세우는 기능 요구가 높았고, 러닝타임이 길고 서사가 복잡한 작품을 노리는 제작자일수록 요구 강도가 셈
• 3D 쪽 불만은 더 구체적이어서, 생성된 메시가 원하는 스타일을 못 담거나 토폴로지가 부적절하고 속 빈 구조와 미세 디테일 표현에서 자주 무너짐

일관성을 붙잡는 현장 기법

• 「오버씽킹」은 중세 장난감 이미지 50장으로 전용 로라(LoRA) 모델을 훈련해 미니멀한 톤을 고정하고, 컴피UI 워크플로우에서 애니메이트디프와 IP어댑터를 함께 돌려 채팅 버블까지 통일
• 「픽시를 위하여」는 클레이 애니메이션 프롬프트를 회차마다 동일하게 유지하면서 30~40개 변형을 뽑고 부정 프롬프트로 이탈을 걸러 눈 모양 같은 미세 불일치를 줄임
• 「보이지 않는 여성들」은 시작 프레임과 종료 프레임을 지정하는 방식으로 조각난 생성 클립을 하나의 원테이크 시퀀스처럼 이어 붙임
• 「댄세스트리」는 에셋과 리깅, 표정만 AI로 만들고 애니메이션과 렌더링은 블렌더로 넘겨 카메라 경로를 직접 통제하는 하이브리드 경로를 택함
• 「카치」의 필름 그레인·색 보정, 「라운드 테이블」의 포토샵·캡컷 수작업 조합처럼 전통 후반 작업이 마감 품질을 결정하는 구조는 그대로 남아 있음

결함을 재료로 쓴 작품들

• 「크라운」은 미드저니의 무작위성을 프레임 단위로 흘려보내 광대가 자아를 잃어가는 과정으로 번역, 통제 실패로 취급되던 흔들림을 그대로 연출 언어로 씀
• 「카치」는 흑백 화면과 4:3 비율, 소비에트 몽타주식 구성을 택해 흐릿한 경계선과 어긋난 비율을 오류가 아닌 질감으로 배치
• 「오버씽킹」은 애프터 이펙트에서 프레임 레이트를 초당 12~15로 낮춰 움직임 아티팩트의 어색함을 줄이는 동시에 스톱모션 특유의 리듬을 확보
• 「메타노이아」와 「기억 속 마장마술 행진」은 가우시안 스플랫 특유의 빈틈과 왜곡을 흐려지는 기억의 은유로 전환해 향수 어린 공간을 만듦
• 「보이지 않는 여성들」은 특정 직업에 남성 인물이 먼저 생성되는 데이터셋 편향을 주제로 끌어와, 프롬프트와 모델 설정 조정으로 고정관념에 직접 반박

3D와 XR에서 벌어지는 일

• 「어항」 제작진은 사진, 텍스트, 이미지 기반 3D 변환 파이프라인을 모두 시험해 1~2시간 걸리던 모델링을 5분 미만으로, 90% 이상 단축
• 같은 작업에서 메시(Meshy)의 초기 UV 매핑이 부실해 텍스처를 수작업으로 손봐야 했고, 이후 쿼드 기반 토폴로지 도입으로 일부만 개선됨
• AI가 만든 메시는 리토폴로지 없이는 스켈레탈 리깅이나 디포메이션에 쓰기 어렵고, 추상적 형태를 요구하면 단순한 기하 도형으로 회귀하는 경향이 뚜렷
• 「머신러닝」은 모션 캡처 데이터를 원더 스튜디오로 180도 입체 영상에 합성해 신체 움직임과 손동작까지 잡아냈고, 「크라운」은 같은 툴로 CG 캐릭터를 실사 장면에 얹음
• 「메타노이아」는 너프(NeRF)로 무용수를 통째로 기록한 뒤 후반 작업에서 카메라 워크를 고르는 비선형 제작으로 전환, 촬영 계획 순서를 뒤집음

남은 병목

• 연구가 그리는 그림은 완전 자동화가 아니라 분업, AI가 초안과 에셋을 대고 사람이 일관성·감정·마감을 붙드는 구조가 수상작 대부분의 공통 패턴
• 「DOG: 은하수의 꿈」처럼 스테이블 디퓨전으로 깊이 맵을 만들고 시네마 4D에서 2.5D로 세워 카메라를 통제하는 우회 파이프라인이 여전히 필요
• 「픽시를 위하여」는 영상 완성 후 음악을 얹는 순서를 버리고 프리미어 프로와 에이블톤 라이브를 오가며 동시 진행, AI 음악의 수정 유연성이 이를 가능하게 함
• 저자들이 정리한 미해결 과제는 캐릭터 일관성 유지, 미세한 움직임 제어, 생성 결과물과 실사 영상의 자연스러운 혼합 세 가지
• 3D 툴 만족도가 비디오 툴보다 낮게 나온 결과는 다음 세대 모델이 어느 구멍부터 메워야 하는지 보여주는 지표로 읽힘