대규모 모델 추론을 위한 동적 라우팅 웹 게이트웨이 구축
핵심 목표: 성능과 안정성의 균형
본 프로젝트는 대규모 언어 모델의 추론 요청을 처리하는 HTTP 기반 게이트웨이를 2시간 내에 설계 및 구현하는 것을 목표로 했습니다. 핵심 과제는 KV 캐시 재사용률 증가와 단일 서버 과부하 방지 사이의 동적 균형을 유지하는 것입니다.
요청의 접두사(예: "질문: ")가 동일할 경우, 같은 백엔드 인스턴스로 라우팅하면 이전 계산 결 ...
7월 6일 02:02에 게시됨