텐센트 HunyuanWorld-Mirror: 다중 모달 입력을 통한 실시간 3D 월드 생성 모델 분석

차세대 3D 재구성 모델의 등장

텐센트 혼위안(Hunyuan) 연구소에서 공개한 HunyuanWorld-Mirror 1.1 버전은 비디오나 다중 시점 이미지를 기반으로 완전한 3D 환경을 생성하는 피드포워드(Feed-forward) 방식의 대규모 모델입니다. 이 모델은 단일 GPU 환경에서도 단 1초 만에 고정밀 3D 재구성을 수행하며, 기존의 복잡하고 비용이 많이 드는 3D 모델링 공정을 획기적으로 개선했습니다.

기술적 배경과 시장의 요구

기존 3D 콘텐츠 제작 환경은 고가의 라이다(LiDAR) 장비 의존도, 막대한 컴퓨팅 자원 필요성, 그리고 여러 도구를 거쳐야 하는 파편화된 워크플로우라는 세 가지 큰 장벽에 부딪혀 있었습니다. 특히 게임 및 AR/VR 산업에서 급증하는 3D 자산 수요를 충족하기에는 기존 방식의 효율성이 매우 낮았습니다.

HunyuanWorld-Mirror 1.1은 이러한 한계를 극복하기 위해 다중 모달 사전 정보(Prior)를 주입하고 다양한 작업을 통합하여 출력할 수 있는 구조를 채택했습니다. 이는 전용 모델 중심의 기술에서 범용적인 3D 생성 플랫폼으로 진화했음을 의미합니다.

HunyuanWorld-Mirror Scenes Display

핵심 혁신 요소

1. 다중 모달 사전 정보 융합 아키텍처

HunyuanWorld-Mirror는 두 가지 핵심 엔진으로 구성된 설계를 사용합니다.

  • 다중 모달 사전 정보 프롬프트 모듈: 카메라 포즈, 내부 파라미터(Intrinsic), 깊이 맵(Depth map) 등의 기하학적 정보를 경량 인코딩 레이어를 통해 구조화된 토큰으로 변환합니다.
  • 범용 기하학 예측 모듈: 포인트 클라우드, 다중 시점 깊이, 표면 법선(Normal) 등 6가지 3D 표현 형식을 동시에 생성할 수 있는 통합 아키텍처입니다.

2. 고성능 효율성 및 배포 환경

수십 개의 GPU 클러스터가 필요했던 기존 방식과 달리, 소비급 GPU(NVIDIA RTX 3090 이상)에서도 원활하게 구동됩니다. 512x512 해상도 입력 시 재구성 시간은 2초 미만이며, 비디오 시퀀스 처리 속도는 약 15fps에 달합니다.

3. 정밀도 및 확장성

DTU 데이터셋 기반 포인트 클라우드 재구성 정확도는 업계 평균 대비 28% 향상된 0.735mm를 기록했습니다. 또한 0.1미터에서 100미터에 이르는 광범위한 스케일을 지원하여 미세한 유물부터 도시 전경까지 정밀하게 묘사합니다.

HunyuanWorld-Mirror Architecture

모델 아키텍처 상세 분석

다중 모달 사전 정보 프롬프팅 메커니즘

모델이 추가 정보를 '이해'할 수 있도록 돕는 이 메커니즘은 다음과 같은 계층적 인코딩 전략을 가집니다.

  • 카메라 포즈: 회전 행렬을 쿼터니언으로 변환하고 이동 벡터와 결합하여 7차원 벡터를 생성한 후 MLP를 통해 이미지 정보와 매칭되는 토큰으로 투영합니다.
  • 내부 파라미터: 초점 거리 및 주점을 추출하고 이미지 크기에 맞춰 정규화한 뒤 독립적인 토큰으로 변환합니다.
  • 깊이 맵: 컨볼루션 레이어를 통해 시각적 토큰과 공간적으로 정렬된 '깊이 토큰'을 생성하여 공간 구조를 보존합니다.

통합 기하학적 예측 및 학습 전략

Transformer 기반 아키텍처를 사용하여 다양한 '태스크 헤드'를 통해 결과를 도출합니다. 효과적인 학습을 위해 초기에는 사전 정보 프롬프트 모듈을 훈련하고, 이후 법선 예측 및 3D 가우시안 포인트 예측 헤드를 단계적으로 추가하는 커리큘럼 학습(Curriculum Learning) 방식을 도입했습니다.

설치 및 실행 가이드

환경 구성

# 리포지토리 복제 및 이동
git clone https://github.com/tencent/HunyuanWorld-Mirror
cd HunyuanWorld-Mirror

# 가상 환경 생성 및 활성화
conda create -n mirror3d python=3.10 -y
conda activate mirror3d

# 필수 라이브러리 설치
pip install torch==2.4.0 torchvision==0.19.0 --index-url https://download.pytorch.org/whl/cu124
pip install -r requirements.txt
pip install gsplat --index-url https://docs.gsplat.studio/whl/pt24cu124

단일 이미지 기반 3D 재구성 예제 코드

다음은 Python API를 사용하여 이미지로부터 3D 데이터를 추출하는 예시입니다.

import torch
from pathlib import Path
from src.models.worldmirror import WorldMirror
from src.utils.inference_utils import process_input_frames

# 연산 장치 정의
compute_device = 'cuda' if torch.cuda.is_available() else 'cpu'

# 학습된 모델 로드
reconstruction_model = WorldMirror.from_pretrained("tencent/HunyuanWorld-Mirror").to(compute_device)

# 이미지 전처리
image_source = Path("./sample_data/object_images")
input_batch = {
    'img': process_input_frames(
        image_source, 
        target_resolution=518, 
        extraction_fps=1
    ).to(compute_device)
}

# 추론 수행 (사전 정보 미사용 시 flags를 0으로 설정)
active_flags = [0, 0, 0] # [pose, depth, intrinsics]
with torch.no_grad():
    inference_results = reconstruction_model(views=input_batch, cond_flags=active_flags)

# 결과 데이터 추출
predicted_points = inference_results["pts3d"][0]  # 3D 포인트 클라우드
predicted_depth = inference_results["depth"][0]   # 깊이 맵
predicted_normals = inference_results["normals"][0] # 법선 벡터

주요 활용 사례

  • 문화유산 디지털화: 수십 장의 사진만으로 박물관 유물을 고정밀 3D 모델로 복원할 수 있습니다.
  • 자율 주행 및 로보틱스: 다중 카메라 데이터를 실시간으로 처리하여 주변 환경의 점구름 및 깊이 정보를 생성합니다.
  • 디지털 트윈 및 가상 인테리어: 스마트폰 촬영 영상으로 실내 공간을 3D로 재구성하여 가구 배치 시뮬레이션 등에 활용 가능합니다.
  • 산업 디자인: 부품의 사진을 기반으로 역설계(Reverse Engineering)를 위한 기초 모델을 신속하게 생성합니다.

HunyuanWorld-Mirror는 3D 자산 제작의 문턱을 낮춤으로써 전문가뿐만 아니라 일반 사용자도 손쉽게 고품질의 3D 콘텐츠를 생성할 수 있는 생태계를 구축하고 있습니다. 향후 동적 객체 추적 및 모바일 최적화 버전이 출시되면 3D 콘텐츠 제작의 패러다임이 더욱 빠르게 변화할 것으로 보입니다.

태그: HunyuanWorld-Mirror 3D Reconstruction Computer Vision Deep Learning PyTorch

6월 13일 03:58에 게시됨

인기 태그

©2026 괴물 클럽