Nemotron-Labs-Diffusion-VLM-8B 소개

Nemotron-Labs-Diffusion-VLM-8B는 NVIDIA에서 개발한 고해상도 이미지 처리를 지원하는 멀티모달 비전-언어 모델입니다. 이 모델은 1540×1540 픽셀의 고해상도 이미지를 처리할 수 있으며, 자동회귀(autoregressive), 확산(diffusion), 자체 추론(self-speculative) 세 가지 디코딩 방식을 결합한 독특한 아키텍처를 가지고 있습니다.

주요 기능 및 특징

고해상도 이미지 지원

기존 비전-언어 모델보다 월등히 높은 1540×1540 해상도를 지원합니다. 24개 레이어로 구성된 1024차원 비전 인코더와 14×14 패치 크기를 사용하며, spatial_merge_size=2 설정을 통해 효율적인 처리를 구현합니다.

다중 모드 디코딩

세 가지 디코딩 방식을 상황에 따라 동적으로 전환할 수 있습니다:

• 자동회귀 모드: 정확한 시퀀스 생성
• 확산 모드: 병렬 디코딩으로 처리 속도 향상
• 자체 추론 모드: 두 방식의 장점을 결합한 하이브리드 접근법

기본 사용법

환경 설정

pip install transformers pillow requests opencv-python

이미지 처리 예제

import torch
from transformers import AutoModel, AutoTokenizer
from image_utils import prepare_image_input

tokenizer = AutoTokenizer.from_pretrained(
    "nvidia/Nemotron-Labs-Diffusion-VLM-8B", 
    trust_remote_code=True
)
model = AutoModel.from_pretrained(
    "nvidia/Nemotron-Labs-Diffusion-VLM-8B", 
    trust_remote_code=True
).cuda().to(torch.bfloat16)

image_file = "sample_image.jpg"
user_query = "이 이미지에 대해 설명해주세요."

input_data = prepare_image_input(tokenizer, image_file, user_query)
input_ids = input_data["input_ids"].to("cuda")
image_tensors = input_data["pixel_values"].to("cuda", dtype=torch.bfloat16)

output_ids, eval_count = model.generate(
    input_ids,
    pixel_values=image_tensors,
    image_sizes=input_data["image_sizes"],
    max_new_tokens=400,
    steps=400,
    block_size=28,
    threshold=0.85,
    eos_token_id=tokenizer.eos_token_id,
)

result = tokenizer.decode(output_ids[:, input_ids.shape[1]:], skip_special_tokens=True)
print(f"결과: {result}")
print(f"평가 횟수: {eval_count}")

이미지 토큰 처리 시스템

모델은 특수 이미지 토큰을 사용하여 시각 정보를 처리합니다:

• <|image_start|> (ID=18): 이미지 시작 토큰
• <|image_pad|> (ID=19): 이미지 패딩 토큰
• <|image_break|> (ID=20): 이미지 행 구분 토큰
• <|image_end|> (ID=21): 이미지 종료 토큰

응용 분야

• 이미지 내용 설명 생성
• 시각 질의응답 시스템
• 문서 이미지 분석
• 창의적 콘텐츠 생성

성능 최적화 기법

메모리 관리

torch.bfloat16 정밀도 사용, 그래디언트 체크포인팅 활성화, 적절한 배치 크기 설정을 통해 메모리 사용량을 최적화할 수 있습니다.

처리 속도 향상

block_length 매개변수 조정, 확산 모드 활용, 이미지 전처리 파이프라인 최적화로 처리 속도를 개선할 수 있습니다.