대규모 언어 모델의 양자화 기술과 최적화 전략
양자화 기술 개요 및 적용
최근 대규모 언어 모델의 효율적 배포를 위해 다양한 양자화 기법이 등장했다. 이는 메모리 사용량을 줄이고 추론 성능을 높이는 데 중점을 두며, 주로 GPTQ, AWQ, GGUF 등의 방법이 활용된다.
GPTQ: 사후 양자화 기반
목표: 4비트 양자화를 통해 가속기(특히 GPU)에서의 추론 효율성을 극대화
방식: 스칼라 양자화 후 잔차에 대해 벡터 양자화 ...
6월 5일 22:46에 게시됨