GLM-4v-9b 단일 GPU 배포: vLLM 인퍼런스 서버와 OpenWebUI 통합 설정 가이드
시스템 사양 및 사전 준비
다음 사양을 충족하는 환경에서 작업을 진행하세요:
Ubuntu 22.04 이상
NVIDIA GPU (RTX 4090 이상 권장, 24GB 이상 메모리)
CUDA 11.8 이상 및 NVIDIA 드라이버 525.60.11 이상
시스템 메모리 32GB 이상, 저장공간 50GB 이상
기본 환경 구성
# 시스템 업데이트 및 필수 패키지 설치
sudo apt update && sudo apt upgrade -y
sudo apt ...
9월 6일 12:54에 게시됨