TensorRT 기반 고성능 딥러닝 추론 프레임워크 활용 및 최적화 가이드

프레임워크 소개

NVIDIA TensorRT 8.x 버전을 기반으로 구축된 이 고성능 추론 라이브러리는 C++ 및 Python 바인딩을 제공하여 실제 산업 환경에서의 모델 배포 복잡성을 크게 줄여준다. 특히 컴퓨터 비전 분야에 특화되어 있으며, YOLO 계열(V3/V5/V7/X), RetinaFace, Scrfd, Arcface, AlphaPose 등 다양한 모델의 효율적인 실행을 지원한다.

주요 기능

  • 직관적인 API 설계: 복잡한 추론 과정을 최소한의 코드로 구현할 수 있도록 C++ 및 Python 인터페이스를 고도로 추상화했다. 동적 배치(Dynamic Batch) 처리와 혼합 정밀도(FP32/FP16/INT8) 추론을 기본 지원하며, 모델의 직렬화 및 역직렬화 로직을 내부적으로 캡슐화한다.
  • 극대화된 성능: 전처리 및 후처리 단계에 CUDA 커널을 적용하여 병목 현상을 해소했다. 또한, 모델 그래프 내 불필요한 연산 노드를 제거하는 헤드/테일 제거 최적화 기능과 속도-정확도 트레이드오프를 조절하는 다중 정밀도 옵션을 제공한다.
  • 폭넓은 모델 호환성: 다양한 버전의 YOLO 모델을 비롯해 얼굴 감지 및 포즈 추정 등 비전 태스크를 위한 즉시 사용 가능한 솔루션을 포함하고 있다.

시작하기

C++ 인터페이스 구현

// YoloX 추론 엔진 초기화
auto infer_engine = YoloV::build_engine("yolox_m.fp32.trtmodel", YoloV::ModelType::X, 0);

// 입력 이미지 로드
cv::Mat input_frame = cv::imread("sample.jpg");

// 추론 실행 및 결과 수신
auto detections = infer_engine->infer(input_frame).get();

Python 인터페이스 구현

from pytrt import compile_onnx_to_file, onnx_hub, Yolo, YoloType
import cv2, os

trt_path = "yolov5s.fp32.trtmodel"
if not os.path.isfile(trt_path):
    compile_onnx_to_file(1, onnx_hub("yolov5s"), trt_path)

detector = Yolo(trt_path, YoloType.V5)
img = cv2.imread("vehicle.jpg")
obj_bboxes = detector.run_inference(img).get()

성능 벤치마크

RTX 2080Ti 환경에서 측정된 주요 모델들의 성능 지표는 다음과 같다. (100회 반복 측정 후 웜업 제외)

모델해상도정밀도추론 시간 (ms)FPS
YoloX-s640x640FP323.088323.81
YoloX-s640x640FP161.362734.48
YoloX-s640x640INT81.060943.15
YoloV5s640x640FP322.578387.92
YoloV5s640x640FP161.307765.10

테스트 환경: CUDA 10.2, cuDNN 8.2.2, TensorRT 8.0.1.6

개발 환경 구축

리눅스 환경

  1. 필수 의존성: CUDA 10.2, cuDNN 8.2.2 (dev 및 runtime 포함), TensorRT 8.0.1.6, Protobuf 3.11.4 (ONNX 파싱용)
  2. 빌드 설정: CMakeLists 또는 Makefile에서 타겟 GPU 아키텍처(예: RTX 3080Ti의 경우 sm_86)와 라이브러리 경로를 지정한다.
  3. 빌드 실행:
    mkdir build && cd build
    cmake ..
    make yolo -j8
    

윈도우 환경

  1. Visual Studio 설정: CUDA 툴킷 경로 확인, 타겟 컴퓨트 Capability 설정, 포함 및 라이브러리 디렉토리 구성
  2. Python 모듈: 빌드 결과물인 pytrtc.pyd 생성 후 필수 DLL 파일을 실행 경로로 복사

모델 최적화 및 지원

YoloV5 동적 배치 처리

동적 배치를 완벽히 지원하기 위해 원본 YoloV5 코드에 다음 수정이 필요하다:

# models/yolo.py 내 forward 함수 수정
batch_size, _, grid_h, grid_w = x[i].shape  # 정수 변환 대신 shape 직접 할당
batch_size = -1  # 배치 차원을 동적으로 강제 설정
x[i] = x[i].view(batch_size, self.num_anchors, self.num_outputs, grid_h, grid_w).permute(0, 1, 3, 4, 2).contiguous()

# export.py 내 ONNX 내보내기 설정
torch.onnx.export(dynamic_axes={'input_tensors': {0: 'batch_size'}, 'output_tensors': {0: 'batch_size'}})

YoloV7 그래프 최적화

성능 저하를 유발하는 ScatterND, Gather 등의 연산을 제거하고 중간 단계를 융합하며 배치 차원의 동적 처리를 보장해야 한다.

# 최적화된 디코딩 로직 적용
center_xy = (y[..., 0:2] * 2.0 - 0.5 + self.grid[i]) * self.stride[i]
box_wh = (y[..., 2:4] * 2.0).pow(2) * self.anchor_grid[i].view(1, -1, 1, 1, 2)
y = torch.cat([center_xy, box_wh, y[..., 4:]], dim=-1)

INT8 양자화 유의사항

  • 네트워크 내 모든 텐서에 대해 scale 및 zero-point 값을 명확히 지정해야 한다.
  • 동적 형상(Dynamic Shape) 연산은 양자화 정밀도에 악영향을 줄 수 있으므로 주의한다.
  • YoloX의 Head 구조는 INT8 변환을 위해 별도의 구조 수정이 필요하다.

고급 활용

  • 그래프 트리밍: Focus 레이어 등 특수 계층을 제거하고 테일 단의 Transpose 연산을 융합하면 평균 0.5ms의 지연 시간을 단축할 수 있다.
  • 커스텀 플러그인: 직렬화/역직렬화 로직이 단순화된 표준 인터페이스를 제공하여 사용자 정의 연산자 개발을 용이하게 한다.
  • 비동기 파이프라인: 다중 스트림 처리를 지원하여 연산과 메모리 전송을 오버랩시킴으로써 처리량을 극대화한다.

배포 전략

  • 서버 환경: Docker 컨테이너로 환경을 격리하고 FP16/INT8 모드를 활성화하여 처리 용량을 극대화한다.
  • 엣지 디바이스: 타겟 하드웨어의 컴퓨트 Capability에 맞춰 빌드하고 YoloV5s 같은 경량 모델을 채택한다.
  • 크로스 플랫폼: 통일된 C++ 추상화 계층을 통해 다양한 OS 및 아키텍처에서 일관된 동작을 보장한다.

자주 묻는 질문

Q: 프레임워크에 지원되지 않는 커스텀 모델은 어떻게 추가하나요?
A: 표준화된 인터페이스 규격에 맞춰 전처리, 추론, 후처리 메서드를 구현하면 된다. 기존 Yolo 구현체를 템플릿으로 활용하는 것을 권장한다.

Q: 동적 배치 사용 시 제약 사항은 무엇인가요?
A: ONNX 변환 시 동적 축을 올바르게 명시해야 하며, 실제 추론 과정에서 배치 내 모든 입력의 해상도가 일치하거나 통일된 전처리를 거쳐야 한다.

Q: INT8 양자화 후 정확도 하락이 심한 경우 해결 방법은?
A: 캘리브레이션 데이터셋이 실제 추론 데이터의 분포를 잘 대표하는지 확인해야 한다. 또한 INT8을 지원하지 않는 특정 연산자가 포함되어 있지 않은지 검토하고, 필요시 해당 레이어는 FP16으로 유지한다.

태그: TensorRT C++ python YOLO CUDA

10월 21일 02:27에 게시됨