AWQ vs GPTQ vs GGUF: sLLM 양자화 기법 비교
GPU 서빙에는 AWQ, CPU 혼합 환경에는 GGUF, 기존 GPTQ 자산이 있다면 GPTQ 유지가 기본 선택입니다. MLSys 2024 최우수 논문상을 받은 AWQ 논문을 중심으로 세 방식의 원리와 선택 기준을 정리합니다.
소형 LLM을 실서비스에 올릴 때 양자화는 사실상 필수 단계가 됐습니다. 같은 4비트 양자화라도 GGUF, AWQ, GPTQ는 원리와 적합 환경이 다릅니다. MIT 한 송 연구실이 발표하고 MLSys 2024 최우수 논문상을 받은 AWQ 논문을 기준으로 세 방식을 비교합니다.
핵심 요약
- AWQ는 활성화 분포로 찾은 약 1%의 중요 채널을 채널별 스케일링으로 보호하며, 역전파나 재구성 과정이 없어 보정 데이터에 과적합될 여지가 적습니다.
- GPTQ는 헤시안 정보를 이용해 양자화 오차를 순차적으로 보정하는 방식으로, 보정 데이터셋의 영향이 상대적으로 큽니다.
- GGUF는 llama.cpp 진영의 모델 컨테이너 포맷으로 CPU와 Apple Silicon에서 강점을 보이지만, GPU 대량 서빙 처리량에서는 불리합니다.
문제 배경
7B 모델도 FP16으로는 14GB 이상을 차지해 소비자용 GPU 한 장에 여유 있게 올리기 어렵습니다. 단순히 모든 가중치를 낮은 정밀도로 반올림하면(RTN) 성능이 크게 무너지므로, 어떤 가중치를 어떻게 보호하며 압축할지가 양자화 연구의 핵심 질문이 됐습니다.
방법/내용
AWQ의 출발점은 가중치의 중요도가 균일하지 않다는 관찰입니다. 활성화 분포를 기준으로 약 1%의 중요 채널만 보호해도 양자화 오류가 크게 줄어듭니다. AWQ는 이 중요 채널을 혼합 정밀도로 남기는 대신 채널별 스케일링이라는 수학적 등가 변환으로 보호해 하드웨어 효율을 유지합니다. 역전파나 재구성 과정이 없어 보정 데이터에 과적합될 여지가 적고, 지시 튜닝 모델과 멀티모달 모델에도 일반화된다고 보고합니다.
비교 대상인 GPTQ는 헤시안 정보를 이용해 양자화 오차를 순차적으로 보정하는 방식으로, 보정 데이터셋의 영향이 상대적으로 큽니다. GGUF는 llama.cpp 진영의 모델 컨테이너 포맷으로, k-quants 계열 양자화를 담아 CPU와 Apple Silicon에서 강점을 보입니다.
결과·수치
| 항목 | AWQ 논문 보고 내용 |
|---|---|
| 언어 모델링 벤치마크 | 기존 양자화 기법 대비 우수한 perplexity |
| 추론 속도 (TinyChat) | Hugging Face FP16 대비 데스크톱·모바일 GPU에서 3배 이상 |
| 배포 범위 | Llama-2 70B를 모바일 GPU에 배포 가능 |
| 일반화 | 지시 튜닝·멀티모달 모델에서도 성능 유지 |
한계와 주의점
세 방식의 직접 비교 수치는 평가 조건에 따라 순위가 뒤집히므로 자기 모델과 서빙 스택에서 실측해야 합니다. AWQ의 강점인 커널 최적화는 vLLM 등 지원 프레임워크에서만 발휘됩니다. GGUF는 GPU 대량 서빙 처리량에서 불리하고, 4비트 이하로 내려가면 어떤 방식이든 한국어 성능 저하가 영어보다 클 수 있어 별도 검증이 필요합니다.
자주 묻는 질문
AWQ와 GPTQ의 차이는 무엇인가요?
GPTQ는 헤시안 정보를 이용해 양자화 오차를 순차적으로 보정하며 보정 데이터셋의 영향이 상대적으로 큽니다. AWQ는 활성화 분포 기준 중요 채널을 채널별 스케일링으로 보호하고, 역전파나 재구성 과정이 없어 보정 데이터에 과적합될 여지가 적습니다.
GGUF는 AWQ, GPTQ와 무엇이 다른가요?
GGUF는 llama.cpp 진영의 모델 컨테이너 포맷으로, k-quants 계열 양자화를 담아 CPU와 Apple Silicon에서 강점을 보입니다. GPU 대량 서빙 처리량에서는 불리합니다.
어떤 양자화 방식을 골라야 하나요?
GPU 서빙에는 AWQ, CPU 혼합 환경에는 GGUF, 기존 GPTQ 자산이 있다면 GPTQ 유지가 기본 선택입니다. 세 방식의 직접 비교 순위는 평가 조건에 따라 뒤집히므로 자기 모델과 서빙 스택에서 실측해야 합니다.
4비트 양자화는 한국어 성능에 영향을 주나요?
4비트 이하로 내려가면 어떤 방식이든 한국어 성능 저하가 영어보다 클 수 있어 별도 검증이 필요합니다.
도입 검토 가이드
| 구분 | 내용 |
|---|---|
| 검토 주체 | 자체 서빙 인프라를 운영하는 ML 엔지니어링 팀 |
| 전제 조건 | 대상 모델의 FP16 기준 품질 지표, 실서비스 트래픽 프로파일 |
| 첫 적용 지점 | GPU 서빙은 AWQ, 로컬·CPU 환경은 GGUF부터 검증 |
| 판단 기준 | FP16 대비 품질 하락 허용치 이내에서 처리량과 메모리 절감폭 |
포맷 선택보다 자기 워크로드에서의 실측 비교가 결론을 좌우한다는 점을 전제로 검토를 시작하시기 바랍니다.
코텍시스 AI사업부는 sLLM 최적화, Advanced RAG, AI Agent 개발을 수행합니다. 이런 기법의 도입을 검토 중이라면 문의를 남겨주세요.
이 기술을 도입하려면: sLLM & SLM Optimization
AI 개발 문의기술 블로그 최신 글
AI 취약점 탐지 85% 시대의 보안 전제
Anthropic이 오픈소스 대상 무료 취약점 스캐너 OSS Scanner를 공개했습니다. 6개월간 29,000건의 취약점 후보와 패치 공개 한 시간 뒤 익스플로잇 같은 근거를 정리하고 기업이 패치 속도와 공격자 전제를 어떻게 다시 잡아야 하는지 짚습니다.
에이전트 권한 이탈 네 가지 패턴과 차단 설계
Anthropic이 평가와 사내 사용에서 Claude가 실제 시스템에 의도치 않게 행동한 네 가지 유형을 공개했습니다. 결함 악용, 양식 제출, 접근 제한 우회, URL 단축 사용 사례와 대응 조치를 사내 에이전트 설계 기준으로 정리했습니다.
보안 업무용 AI 접근 3단계와 심사 조건
Anthropic이 Cyber Verification Program을 세 단계 접근 등급으로 확장했습니다. 등급별 허용 범위와 데이터 보존 요건, 차단 성능 검증 결과를 정리해 보안팀이 확인할 조건을 짚습니다.
같은 주제의 다른 인사이트
SGLang: 구조화된 LLM 프로그램을 위한 서빙 시스템
SGLang은 다중 호출과 제어 흐름이 얽힌 LLM 프로그램을 위한 언어와 런타임을 함께 설계해 RadixAttention 기반 KV 캐시 재사용으로 기존 시스템 대비 최대 6.4배의 처리량을 달성했습니다. 에이전트 워크플로와 JSON 구조화 출력이 많은 기업 자동화 파이프라인일수록 이 캐시 재사용 효과가 비용 절감으로 직결됩니다.
토큰이 아니라 피처를 예측하는 EAGLE 추측 디코딩
EAGLE은 추측 디코딩의 초안 생성을 토큰 수준이 아닌 모델 내부 피처 수준에서 수행해 LLaMA2-Chat 70B 기준 2.7배에서 3.5배의 지연 시간 단축과 2배의 처리량 향상을 생성 분포 변화 없이 달성했습니다. 별도의 소형 초안 모델을 구하기 어려운 사내 특화 sLLM에도 가벼운 예측 헤드 하나로 적용할 수 있다는 점이 실무적 강점입니다.
Sarathi-Serve: 프리필을 쪼개 처리량과 지연을 함께 잡는 서빙
Sarathi-Serve는 프리필을 청크로 쪼개 디코드 배치의 빈 연산 슬롯에 끼워 넣는 무정지 스케줄링으로 처리량과 지연의 트레이드오프를 해소했고 vLLM 대비 Mistral-7B에서 2.6배, Falcon-180B에서 최대 5.6배의 서빙 용량을 달성했습니다. 같은 GPU로 SLA를 지키며 더 많은 동시 사용자를 받는다는 뜻이므로 온프레미스 서빙의 장비 산정 기준을 바꾸는 결과입니다.