대규모 언어 모델의 양자화 기술과 최적화 전략
양자화 기술 개요 및 적용
최근 대규모 언어 모델의 효율적 배포를 위해 다양한 양자화 기법이 등장했다. 이는 메모리 사용량을 줄이고 추론 성능을 높이는 데 중점을 두며, 주로 GPTQ, AWQ, GGUF 등의 방법이 활용된다.
GPTQ: 사후 양자화 기반
목표: 4비트 양자화를 통해 가속기(특히 GPU)에서의 추론 효율성을 극대화
방식: 스칼라 양자화 후 잔차에 대해 벡터 양자화 ...
6월 5일 22:46에 게시됨
제한된 자원 환경에서 얼굴 인식 OOD 모델의 최적화 기법
얼룩진 자원 환경에서 얼굴 인식 OOD 모델 최적화
1. 소개
실제 얼굴 인식 시스템을 배포할 때, 고성능 모델이지만 계산 리소스가 제한적인 문제에 직면하게 됩니다. 특히 모바일 장치, 임베디드 시스템 또는 엣지 컴퓨팅 환경에서는 리소스가 제한적인 상황에서도 효과적으로 작동하는 고성능 얼굴 인식 OOD(Out-of-Distribution) 모델을 구현하는 것이 중요합니다.
모델 ...
5월 23일 13:29에 게시됨