활성값을 보고 가중치를 지키는 AWQ 양자화

MIT 연구진의 AWQ는 활성값 분포를 기준으로 중요한 가중치 1%만 보호해도 저비트 양자화 오류가 크게 줄어든다는 관찰에서 출발해 재학습 없는 4비트 양자화를 구현했고 전용 커널 TinyChat으로 FP16 대비 3배 이상의 추론 속도를 달성했습니다. 온프레미스 sLLM을 소수의 GPU로 서빙해야 하는 기업에게 정확도 손실 없이 메모리와 비용을 동시에 줄이는 사실상의 표준 기법입니다.

LLM을 클라우드가 아닌 자체 장비에서 돌리려는 수요가 커지면서 4비트 양자화는 선택이 아니라 전제가 되고 있습니다. MLSys 2024 최우수 논문으로 선정된 AWQ(Activation-aware Weight Quantization)는 재학습 없이 품질을 지키는 가중치 양자화의 기준점이 된 연구입니다.

문제 배경

LLM을 기기 안에서 직접 돌리면 클라우드 비용을 줄이고 데이터를 밖으로 내보내지 않을 수 있지만, 모델 크기와 제한된 하드웨어 자원이 배포를 가로막습니다. 가중치를 4비트로 줄이면 메모리는 4분의 1 수준이 되지만 단순 반올림 방식은 품질이 급락합니다. 재구성 기반 기법은 보정 데이터에 맞춰 가중치를 업데이트하는 과정에서 보정 셋에 과적합해 다른 도메인에서 성능이 흔들릴 수 있고, 그 과정 자체의 계산 부담도 큽니다.

방법

AWQ의 출발점은 모든 가중치가 똑같이 중요하지 않다는 관찰입니다. 약 1%의 중요 가중치만 보호해도 양자화 오류가 크게 줄어드는데, 이 중요 채널을 고르는 기준은 가중치 자체의 크기가 아니라 곱해지는 활성값의 분포입니다. 다만 1%만 고정밀도로 남기는 혼합 정밀도는 하드웨어 효율이 나쁘므로, AWQ는 중요 채널을 수학적으로 유도한 스케일만큼 키우는 등가 변환으로 보호하면서 전체를 균일한 저비트로 유지합니다. 스케일은 오프라인에서 활성값 통계를 수집해 정하며 역전파나 재구성이 없어 보정 셋에 과적합하지 않고 다른 도메인과 모달리티로 일반화가 잘 됩니다.

AWQ 개요: 활성값 분포로 중요 채널을 찾아 스케일링으로 보호하는 구조

결과

언어 모델링과 코딩, 수학 벤치마크에서 기존 양자화 기법을 앞섰고 명령 튜닝 모델과 멀티모달 모델에도 처음으로 안정적인 4비트 양자화를 적용했습니다. 함께 공개된 추론 프레임워크 TinyChat은 데스크톱과 모바일 GPU에서 Huggingface FP16 구현 대비 3배 이상의 속도를 기록했고 70B Llama-2를 모바일 GPU에서 구동했습니다.

한계와 주의점

AWQ는 가중치만 양자화하므로 활성값은 고정밀도로 남고, 속도 이득은 메모리 대역폭이 병목인 디코드 구간에 집중됩니다. 실제 가속을 얻으려면 TinyChat이나 vLLM처럼 4비트 커널을 지원하는 런타임이 필요하며, 소량이지만 보정 데이터도 준비해야 합니다.

기업 적용 관점

온프레미스 sLLM 도입에서 가장 먼저 부딪히는 벽은 GPU 메모리입니다. 재학습 인프라가 없는 고객 환경에서도 배포 직전에 적용할 수 있으므로, 단일 GPU 서버에 문서 자동화 모델을 올려야 하는 프로젝트나 사무용 장비 수준의 엣지 배포를 요구하는 고객에게 도입 부담이 가장 낮은 첫 번째 최적화 수단으로 제안할 수 있습니다.