RWKV 로컬 추론을 위한 Ai00 Server 구축 및 파라미터 최적화
Ai00 Server 개요 및 아키텍처
Ai00 Server는 web-rwkv 추론 엔진을 기반으로 구축된 RWKV 언어 모델용 API 서버입니다. MIT 라이선스를 따르는 오픈소스 프로젝트로, 무거운 PyTorch나 CUDA 런타임 환경 없이도 독립적으로 실행됩니다. Vulkan을 백엔드로 활용하여 NVIDIA, AMD, Intel의 다양한 GPU(내장 그래픽 포함)에서 병렬 및 배치 추론을 지원합니다. 또한 INT8 및 ...
6월 30일 05:02에 게시됨