이머시브 멀티미디어 커뮤니케이션: 확장 현실(XR) 스트리밍 기술의 최신 동향

• 확장현실(XR) 시장은 2024~2032년 연평균 32.1%로 커져 2032년 1조 7,070억 달러에 이를 전망이며, 팬데믹 이후 원격 협업 수요가 기업 도입을 밀어올림
• 고충실도 몰입의 기준선은 종단 간 지연 7ms 미만이고, 360×180도 시야를 64 PPD·30FPS·8비트로 채우려면 대역폭이 2.3 Tbps까지 치솟아 현재 인프라로는 감당 불가
• 돌파구는 인간 시각이 중심와 2.5° 밖에서 급격히 둔해진다는 점이며, 시선 주변만 고품질로 보내는 중심와·타일 스트리밍이 절감의 핵심 축
• 그런데 시점 예측 정확도가 병목이라 딥러닝 모델의 신뢰 구간은 길어야 5초 수준이고, 인코딩과 전송이 사용자의 실시간 움직임을 따라가지 못함
• 저자들은 기존 서베이가 360도 비디오 코딩이나 의료·교육 응용에 치우쳐 XR 스트리밍 고유 과제를 비워뒀다고 지적하며 그 공백을 메우려 함

XR 트래픽은 일반 영상과 다르게 생겼다

• 스트림은 안정적 연결을 위한 HTTP 단계와 지연을 줄이기 위한 UDP 전송 단계로 갈리며, 이 이원 구조가 XR 트래픽의 기본 골격
• 다운링크의 주력은 대용량 버스트로 쏟아지는 비디오 프레임이고, 업링크의 주력은 헤드셋이 모아 서버로 올리는 상호작용 데이터
• 양방향 모두에 작은 피드백 패킷이 섞여 프레임 수신 여부를 알리며, 스트리밍 프로토콜이 재전송 판단에 활용할 여지
• Baldoni 팀이 Quest 2로 참가자 70명·40시간 넘게 수집한 Questset 분석에서 프레임 레이트가 버스트 간격을 결정하고, 예측 가능한 프레임은 렌더링과 전송을 통째로 건너뛰는 사례 확인
• 소셜 VR은 모델 로딩 후 트래픽이 얇아지지만 새 모델을 부를 때와 접속자가 늘 때 요구 대역폭이 선형으로 뛰어 확장성 문제가 드러남
• 지금의 낮은 요구치는 렌더링과 네트워크 제약이 만든 타협이며, 해상도·시야각·리프레시가 올라가면 요구가 함께 폭증한다는 게 저자들의 진단

헤드셋 3종이 갈라선 지점

• 애플 비전 프로(2023)는 듀얼 4K 마이크로 OLED로 2,300만 픽셀을 뿌리고, M2가 비전OS와 컴퓨터 비전을, 신규 R1이 센서 입력을 12ms 만에 처리하는 이중 칩 구조
• 마이크로소프트 홀로렌즈 2(2019)는 투명 홀로그래픽 2K 라이트 엔진에 스냅드래곤 850을 얹어, 실제 공간 위 홀로그램 정합과 기업 현장 활용에 초점
• 메타 퀘스트 3(2023)는 눈당 2064×2208 해상도와 스냅드래곤 XR2 Gen 2로 기본 120FPS를 뽑으며, 고충실도 VR을 대중 가격대로 끌어내리는 역할
• 시장은 프리미엄 MR(기업용), 게임·미디어에 최적화된 중급기, 매직 리프나 구글 글래스 같은 경량 산업용으로 뚜렷하게 갈라짐
• 공통 방향은 유선 탈피와 입력의 다변화로, 컨트롤러와 헤드 트래킹 위에 핸드·아이·음성·얼굴 표정·햅틱이 층층이 쌓이는 중

QoE는 기술 지표만으로 잡히지 않는다

• 영향 요인은 시스템(네트워크·앱·서비스·하드웨어), 인간(생리·심리), 맥락(물리 환경·경제)의 세 갈래로 정리되며, 전통 비디오 QoE 연구를 확장한 형태
• Dobrian 팀은 여러 품질 지표를 견줘 버퍼링에 쓴 시간 비율이 콘텐츠 종류를 막론하고 사용자 참여를 가장 크게 좌우한다고 보고
• Shahid 팀 실험에서는 콘텐츠가 흥미로울수록 인코딩 열화를 너그럽게 넘겼고, 같은 영상도 구글 카드보드보다 HTC 바이브에서 만족도가 높게 나옴
• 구독료 같은 경제 요인도 작동해, 사용자는 싸게 접한 콘텐츠의 품질 결함을 더 쉽게 용인한다는 결과
• 최근 흐름은 딥러닝 무참조 품질 평가로, 색 불일치·흐림·고스팅처럼 XR에서만 두드러지는 왜곡을 잡아내는 모델들이 제안됨

시선을 미리 읽어 대역폭을 아끼기

• 중심와 스트리밍은 화면을 중심와·혼합·주변으로 나눠 해상도를 차등 배분하며, 시선이 빠르게 튀는 게임이나 XR 작업공간처럼 실시간성이 중요한 쪽에 적합
• 타일 스트리밍은 콘텐츠를 직사각형으로 쪼개 뷰포트 안쪽만 고품질로 보내고, 시청 패턴이 예측 가능한 360도 영상·원격 협업·가상 관광에서 효율이 좋음
• 아이 트래커가 시선을 잡는 시점과 화면이 갱신되는 시점 사이에 지연이 있어 예측 없이는 최적화 이득이 상쇄되고, QoE가 되레 나빠질 수 있음
• 선형 회귀 계열은 머리 움직임을 직선으로 가정해 편향이 크고, 다른 사용자 궤적을 묶는 클러스터링과 LSTM·CNN·트랜스포머 계열이 주류로 자리 이동
• 돌출성 맵, 비디오 프레임, 앰비소닉 오디오까지 입력으로 끌어들이는 방향이며, 특히 소리가 VR에서 시선을 상당히 끌어당긴다는 점이 확인됨
• Guimard와 Wang 팀은 같은 과거 궤적에서도 미래가 여러 갈래로 갈린다는 점을 근거로 다중 시점 궤적을 확률과 함께 예측하는 접근 제안

적응 스트리밍과 패킷 단의 판단

• 적응 스트리밍은 대개 NP-hard QoE 최적화로 공식화되며 빔 서치·동적계획·그리디 휴리스틱이 먼저 쓰였으나 느리고 네트워크 변화에 취약
• A3C나 PPO 기반 단일 에이전트 강화학습이 타일별 비트레이트를 정하는 방식이 사실상 표준으로 굳었고, 뷰포트 안팎으로 영역을 줄여 행동 공간을 압축
• Wang 팀은 타일별 결정이 지역 최적에 갇힌다고 보고 문제를 Dec-POMDP로 재정의한 뒤 MAPPO 다중 에이전트로 전역 결정을 시도
• 보상 함수는 뷰포트 품질에서 시간적 변동·공간적 변동·리버퍼링 시간을 가중치와 함께 빼는 형태로, 사용자 선호에 따라 가중치를 조절
• 패킷 스케줄링에서는 테일 드롭이 패킷 종류를 구분하지 않는다는 한계 때문에 I·P·B 프레임 우선순위, 프레임 의존성, 레이트-왜곡 가중이 차례로 도입됨
• XR 전용 스케줄링 연구는 아직 드물고, 다중 경로 TCP와 엣지 데이터센터 분산 저장처럼 경로를 늘려 지연을 낮추는 시도가 진행 중

응용 확산과 남은 숙제

• 헬스케어는 위험 없는 수술 훈련과 CT·MRI의 3차원 시각화, 통증 관리용 주의 분산까지 적용 범위가 넓은 편
• 소매에서는 이케아의 가구 배치와 세포라의 가상 메이크업이 대표 사례이고, 포드는 차량 설계 검토에 VR을 넣어 물리 프로토타입 의존을 줄임
• 표준과 프로토콜이 없어 하드웨어·소프트웨어·콘텐츠가 파편화되고, 플랫폼 간 호환과 기존 시스템 통합이 모두 비싸짐
• HMD가 프로세서와 배터리를 품는 구조라 무겁고 비싸서, 경량화와 화질을 동시에 잡는 설계가 미해결 과제로 남음
• 조명 변화 대응과 앞뒤 가림 처리를 포함한 환경 매핑 정확도, 고충실도 3D 자산 제작 비용도 병목이며 LLM 기반 저작 도구가 완화책으로 거론됨
• 당장 현실적인 해법은 엣지 컴퓨팅과 클라우드 렌더링으로 연산을 밀어내고 5G로 지연을 줄이는 조합