프레임워크 소개
NVIDIA TensorRT 8.x 버전을 기반으로 구축된 이 고성능 추론 라이브러리는 C++ 및 Python 바인딩을 제공하여 실제 산업 환경에서의 모델 배포 복잡성을 크게 줄여준다. 특히 컴퓨터 비전 분야에 특화되어 있으며, YOLO 계열(V3/V5/V7/X), RetinaFace, Scrfd, Arcface, AlphaPose 등 다양한 모델의 효율적인 실행을 지원한다.
주요 기능
- 직관적인 API 설계: 복잡한 추론 과정을 최소한의 코드로 구현할 수 있도록 C++ 및 Python 인터페이스를 고도로 추상화했다. 동적 배치(Dynamic Batch) 처리와 혼합 정밀도(FP32/FP16/INT8) 추론을 기본 지원하며, 모델의 직렬화 및 역직렬화 로직을 내부적으로 캡슐화한다.
- 극대화된 성능: 전처리 및 후처리 단계에 CUDA 커널을 적용하여 병목 현상을 해소했다. 또한, 모델 그래프 내 불필요한 연산 노드를 제거하는 헤드/테일 제거 최적화 기능과 속도-정확도 트레이드오프를 조절하는 다중 정밀도 옵션을 제공한다.
- 폭넓은 모델 호환성: 다양한 버전의 YOLO 모델을 비롯해 얼굴 감지 및 포즈 추정 등 비전 태스크를 위한 즉시 사용 가능한 솔루션을 포함하고 있다.
시작하기
C++ 인터페이스 구현
// YoloX 추론 엔진 초기화
auto infer_engine = YoloV::build_engine("yolox_m.fp32.trtmodel", YoloV::ModelType::X, 0);
// 입력 이미지 로드
cv::Mat input_frame = cv::imread("sample.jpg");
// 추론 실행 및 결과 수신
auto detections = infer_engine->infer(input_frame).get();
Python 인터페이스 구현
from pytrt import compile_onnx_to_file, onnx_hub, Yolo, YoloType
import cv2, os
trt_path = "yolov5s.fp32.trtmodel"
if not os.path.isfile(trt_path):
compile_onnx_to_file(1, onnx_hub("yolov5s"), trt_path)
detector = Yolo(trt_path, YoloType.V5)
img = cv2.imread("vehicle.jpg")
obj_bboxes = detector.run_inference(img).get()
성능 벤치마크
RTX 2080Ti 환경에서 측정된 주요 모델들의 성능 지표는 다음과 같다. (100회 반복 측정 후 웜업 제외)
| 모델 | 해상도 | 정밀도 | 추론 시간 (ms) | FPS |
|---|---|---|---|---|
| YoloX-s | 640x640 | FP32 | 3.088 | 323.81 |
| YoloX-s | 640x640 | FP16 | 1.362 | 734.48 |
| YoloX-s | 640x640 | INT8 | 1.060 | 943.15 |
| YoloV5s | 640x640 | FP32 | 2.578 | 387.92 |
| YoloV5s | 640x640 | FP16 | 1.307 | 765.10 |
테스트 환경: CUDA 10.2, cuDNN 8.2.2, TensorRT 8.0.1.6
개발 환경 구축
리눅스 환경
- 필수 의존성: CUDA 10.2, cuDNN 8.2.2 (dev 및 runtime 포함), TensorRT 8.0.1.6, Protobuf 3.11.4 (ONNX 파싱용)
- 빌드 설정: CMakeLists 또는 Makefile에서 타겟 GPU 아키텍처(예: RTX 3080Ti의 경우 sm_86)와 라이브러리 경로를 지정한다.
- 빌드 실행:
mkdir build && cd build cmake .. make yolo -j8
윈도우 환경
- Visual Studio 설정: CUDA 툴킷 경로 확인, 타겟 컴퓨트 Capability 설정, 포함 및 라이브러리 디렉토리 구성
- Python 모듈: 빌드 결과물인 pytrtc.pyd 생성 후 필수 DLL 파일을 실행 경로로 복사
모델 최적화 및 지원
YoloV5 동적 배치 처리
동적 배치를 완벽히 지원하기 위해 원본 YoloV5 코드에 다음 수정이 필요하다:
# models/yolo.py 내 forward 함수 수정
batch_size, _, grid_h, grid_w = x[i].shape # 정수 변환 대신 shape 직접 할당
batch_size = -1 # 배치 차원을 동적으로 강제 설정
x[i] = x[i].view(batch_size, self.num_anchors, self.num_outputs, grid_h, grid_w).permute(0, 1, 3, 4, 2).contiguous()
# export.py 내 ONNX 내보내기 설정
torch.onnx.export(dynamic_axes={'input_tensors': {0: 'batch_size'}, 'output_tensors': {0: 'batch_size'}})
YoloV7 그래프 최적화
성능 저하를 유발하는 ScatterND, Gather 등의 연산을 제거하고 중간 단계를 융합하며 배치 차원의 동적 처리를 보장해야 한다.
# 최적화된 디코딩 로직 적용
center_xy = (y[..., 0:2] * 2.0 - 0.5 + self.grid[i]) * self.stride[i]
box_wh = (y[..., 2:4] * 2.0).pow(2) * self.anchor_grid[i].view(1, -1, 1, 1, 2)
y = torch.cat([center_xy, box_wh, y[..., 4:]], dim=-1)
INT8 양자화 유의사항
- 네트워크 내 모든 텐서에 대해 scale 및 zero-point 값을 명확히 지정해야 한다.
- 동적 형상(Dynamic Shape) 연산은 양자화 정밀도에 악영향을 줄 수 있으므로 주의한다.
- YoloX의 Head 구조는 INT8 변환을 위해 별도의 구조 수정이 필요하다.
고급 활용
- 그래프 트리밍: Focus 레이어 등 특수 계층을 제거하고 테일 단의 Transpose 연산을 융합하면 평균 0.5ms의 지연 시간을 단축할 수 있다.
- 커스텀 플러그인: 직렬화/역직렬화 로직이 단순화된 표준 인터페이스를 제공하여 사용자 정의 연산자 개발을 용이하게 한다.
- 비동기 파이프라인: 다중 스트림 처리를 지원하여 연산과 메모리 전송을 오버랩시킴으로써 처리량을 극대화한다.
배포 전략
- 서버 환경: Docker 컨테이너로 환경을 격리하고 FP16/INT8 모드를 활성화하여 처리 용량을 극대화한다.
- 엣지 디바이스: 타겟 하드웨어의 컴퓨트 Capability에 맞춰 빌드하고 YoloV5s 같은 경량 모델을 채택한다.
- 크로스 플랫폼: 통일된 C++ 추상화 계층을 통해 다양한 OS 및 아키텍처에서 일관된 동작을 보장한다.
자주 묻는 질문
Q: 프레임워크에 지원되지 않는 커스텀 모델은 어떻게 추가하나요?
A: 표준화된 인터페이스 규격에 맞춰 전처리, 추론, 후처리 메서드를 구현하면 된다. 기존 Yolo 구현체를 템플릿으로 활용하는 것을 권장한다.
Q: 동적 배치 사용 시 제약 사항은 무엇인가요?
A: ONNX 변환 시 동적 축을 올바르게 명시해야 하며, 실제 추론 과정에서 배치 내 모든 입력의 해상도가 일치하거나 통일된 전처리를 거쳐야 한다.
Q: INT8 양자화 후 정확도 하락이 심한 경우 해결 방법은?
A: 캘리브레이션 데이터셋이 실제 추론 데이터의 분포를 잘 대표하는지 확인해야 한다. 또한 INT8을 지원하지 않는 특정 연산자가 포함되어 있지 않은지 검토하고, 필요시 해당 레이어는 FP16으로 유지한다.