Step-Video-T2V는 자연어 설명을 기반으로 고품질 비디오를 생성하는 첨단 텍스트-투-비디오(T2V) 모델이다. 본 문서에서는 이 아키텍처의 핵심 구성 요소와 생성 품질에 영향을 미치는 주요 하이퍼파라미터들을 기술하고, 효과적인 사용을 위한 실용적 가이드라인을 제시한다.

1. 모델 구조: 생성 품질의 근본 원천

Step-Video-T2V는 세 가지 주요 블록으로 구성되어 있으며, 각각은 시공간 정보 처리에서 특화된 역할을 수행한다.

1.1 잠재 공간 인코딩을 위한 Video-VAE

비디오 VAE(변분 오토인코더)는 입력 비디오를 저차원 잠재 표현으로 압축하고, 이후 이를 다시 고해상도 프레임으로 복원하는 역할을 한다. 3D 컨볼루션 블록(Res3DModule)을 활용한 다단계 다운샘플링 및 업샘플링 구조는 프레임 내 공간 구조뿐 아니라 시간 축 방향의 동적 변화도 효과적으로 포착한다.

1.2 시공간 확산을 위한 DiT 기반 디코더

확산 트랜스포머(DiT)는 노이즈가 포함된 잠재 벡터를 점진적으로 정제하여 최종 비디오를 생성하는 핵심 컴포넌트다. 여기서 사용되는 3D 어텐션 메커니즘은 프레임 간 시간적 연속성과 프레임 내 공간적 관계를 동시에 모델링하며, RoPE-3D(Rotary Position Embedding for 3D)는 위치 정보를 보존함으로써 자연스러운 움직임 재현을 가능하게 한다.

2. 생성 결과에 직접적인 영향을 미치는 파라미터

2.1 해상도 설정 (height, width)

생성될 비디오의 픽셀 크기는 출력 품질과 계산 부하 모두에 영향을 준다. 모델은 너비와 높이가 반드시 16의 배수여야 함을 요구하며, 기본값은 544×992이다. 아래 코드는 입력값 정규화 로직을 보여준다.

def validate_dimensions(frame_count, img_width, img_height):
    frame_count = max((frame_count // 17) * 17, 1)
    img_width   = max((img_width   // 16) * 16, 16)
    img_height  = max((img_height  // 16) * 16, 16)
    return frame_count, img_width, img_height

2.2 프레임 수 (num_frames)

총 프레임 수는 비디오 길이를 결정하며, 17의 배수로 지정해야 한다. 예를 들어 204프레임은 약 6.8초(30fps 기준)의 클립을 생성한다. 더 많은 프레임은 복잡한 액션 표현에 유리하지만, VRAM 소모량과 추론 시간이 증가한다.

2.3 확산 스텝 수 (num_inference_steps)

기본값 50스텝은 품질과 속도의 균형을 제공한다. 품질 우선 전략에서는 75~100스텝을, 프로토타이핑 또는 탐색 단계에서는 20~30스텝을 권장한다.

2.4 텍스트 조건화 강도 (guidance_scale)

이 값은 언어 임베딩이 생성 프로세스에 미치는 영향력을 조절한다. 다음 공식은 조건부 예측과 무조건부 예측의 결합 방식을 나타낸다.

denoised_output = unconditional_pred + scale_factor * (conditional_pred - unconditional_pred)

일반적으로 5.0~15.0 범위에서 조정하며, 너무 높은 값은 이미지 왜곡(Artifact)를 유발할 수 있다.

3. 데이터 기반 품질 향상: DPO를 통한 인간 선호 학습

Step-Video-T2V는 단순히 재구성을 넘어서, DPO(Direct Preference Optimization)를 통해 인간 평가자가 선호하는 샘플 쌍을 기반으로 fine-tuning된다. 이 접근법은 주관적 질감, 운동 자연성, 장면 일관성 등 정량적 손실 함수로 표현하기 어려운 요소를 모델이 학습하도록 돕는다.

또한, 대규모 멀티모달 데이터셋과 정밀하게 주석이 달린 하이퀄리티 샘플의 조합은 다양한 시나리오에 대한 일반화 능력을 강화한다.

4. 실전 적용을 위한 최적화 전략

• 해상도 선택: 544×992는 대부분의 용도에 적합하며, 4K급 출력이 필요할 경우 하이레졸루션 패치 기반 생성을 고려할 수 있다.
• 프레임 수 조절: 정적인 풍경에는 68~102프레임, 액션 장면에는 170~204프레임을 권장한다.
• 가이던스 스케일 튜닝: 구체적이며 복잡한 명령문에는 10~12, 개방형 문맥에는 7~9를 사용하면 과적합 없이 자연스러운 결과를 얻을 수 있다.
• 스텝 수 조정: 최종 렌더링 시 75스텝 이상, 초안 검토 시 25스텝 이하로 설정하여 효율성을 높일 수 있다.
• 입력 프롬프트 최적화: "밝은 낮, 산 위를 걷는 사람, 붉은 옷, 카메라 따라감, 리얼리즘 스타일"과 같이 구체적인 요소(배경, 인물, 의상, 카메라 앵글, 아트 스타일)를 포함할 것.

사용을 위해서는 저장소를 복제한 후 지침에 따라 환경을 설정하면 된다.

git clone https://gitcode.com/gh_mirrors/st/Step-Video-T2V