sLLM 양자화 기법 비교: GGUF vs AWQ vs GPTQ

소형 LLM을 실서비스에 올릴 때 양자화는 사실상 필수 단계가 됐습니다. 같은 4비트 양자화라도 GGUF, AWQ, GPTQ는 원리와 적합 환경이 다릅니다. MIT 한 송 연구실이 발표하고 MLSys 2024 최우수 논문상을 받은 AWQ 논문을 기준으로 세 방식을 비교합니다.

문제 배경

7B 모델도 FP16으로는 14GB 이상을 차지해 소비자용 GPU 한 장에 여유 있게 올리기 어렵습니다. 단순히 모든 가중치를 낮은 정밀도로 반올림하면(RTN) 성능이 크게 무너지므로, 어떤 가중치를 어떻게 보호하며 압축할지가 양자화 연구의 핵심 질문이 됐습니다.

방법/내용

AWQ의 출발점은 가중치의 중요도가 균일하지 않다는 관찰입니다. 활성화 분포를 기준으로 약 1%의 중요 채널만 보호해도 양자화 오류가 크게 줄어듭니다. AWQ는 이 중요 채널을 혼합 정밀도로 남기는 대신 채널별 스케일링이라는 수학적 등가 변환으로 보호해 하드웨어 효율을 유지합니다. 역전파나 재구성 과정이 없어 보정 데이터에 과적합될 여지가 적고, 지시 튜닝 모델과 멀티모달 모델에도 일반화된다고 보고합니다.

비교 대상인 GPTQ는 헤시안 정보를 이용해 양자화 오차를 순차적으로 보정하는 방식으로, 보정 데이터셋의 영향이 상대적으로 큽니다. GGUF는 llama.cpp 진영의 모델 컨테이너 포맷으로, k-quants 계열 양자화를 담아 CPU와 Apple Silicon에서 강점을 보입니다.

결과·수치

항목	AWQ 논문 보고 내용
언어 모델링 벤치마크	기존 양자화 기법 대비 우수한 perplexity
추론 속도 (TinyChat)	Hugging Face FP16 대비 데스크톱·모바일 GPU에서 3배 이상
배포 범위	Llama-2 70B를 모바일 GPU에 배포 가능
일반화	지시 튜닝·멀티모달 모델에서도 성능 유지

한계와 주의점

세 방식의 직접 비교 수치는 평가 조건에 따라 순위가 뒤집히므로 자기 모델과 서빙 스택에서 실측해야 합니다. AWQ의 강점인 커널 최적화는 vLLM 등 지원 프레임워크에서만 발휘됩니다. GGUF는 GPU 대량 서빙 처리량에서 불리하고, 4비트 이하로 내려가면 어떤 방식이든 한국어 성능 저하가 영어보다 클 수 있어 별도 검증이 필요합니다.

도입 검토 가이드

구분	내용
검토 주체	자체 서빙 인프라를 운영하는 ML 엔지니어링 팀
전제 조건	대상 모델의 FP16 기준 품질 지표, 실서비스 트래픽 프로파일
첫 적용 지점	GPU 서빙은 AWQ, 로컬·CPU 환경은 GGUF부터 검증
판단 기준	FP16 대비 품질 하락 허용치 이내에서 처리량과 메모리 절감폭

포맷 선택보다 자기 워크로드에서의 실측 비교가 결론을 좌우한다는 점을 전제로 검토를 시작하시기 바랍니다.