재학습 없는 LLM 프루닝 기법 Wanda

모델 압축에서 프루닝은 양자화만큼 오래된 기법이지만 수백억 파라미터 LLM에는 적용 부담이 컸습니다. ICLR 2024에 채택된 Wanda는 한 줄로 요약되는 단순한 기준으로 이 부담을 없앤 연구입니다.

문제 배경

기존 프루닝은 제거 후 성능 회복을 위한 재학습이 필요하거나, 2차 정보에 기반한 가중치 재구성 문제를 풀어야 했습니다. 재학습은 수십억 파라미터 규모에서 감당하기 어렵고 재구성도 계산 비용이 큽니다. 한편 가장 값싼 크기 기반 프루닝은 LLM에서 품질 손실이 커서 실용성이 없었습니다.

방법

Wanda(Pruning by Weights and activations)의 기준은 가중치 절대값에 해당 입력 활성값의 노름을 곱한 점수입니다. 이 점수가 가장 작은 가중치를 출력 뉴런 단위로 비교해 제거합니다. 근거는 LLM 고유의 창발적 특성에 있습니다. 소수의 활성 채널이 유난히 큰 값을 갖기 때문에 작은 가중치라도 큰 활성값과 곱해지면 출력에 미치는 영향이 크고, 가중치 크기만 보는 기준은 이를 놓칩니다. 보정 데이터 소량으로 활성값 통계만 뽑으면 되고 역전파도 가중치 업데이트도 없어 프루닝된 모델을 그대로 사용합니다. 전체 절차가 순전파 한 번 안에서 끝나고 각 층의 프루닝이 반복 없이 한 번에 결정되며, 논문은 점수 계산이 재구성 기반 기법 대비 300배 빠르다고 보고했습니다.

결과

LLaMA와 LLaMA-2 계열 전반의 언어 벤치마크에서 크기 기반 프루닝을 크게 앞섰고, 무거운 가중치 업데이트를 쓰는 재구성 기반 기법과 경쟁하는 성능을 보고했습니다. 비구조적 희소성과 하드웨어 가속이 가능한 2:4, 4:8 구조적 희소성 패턴을 모두 평가했으며, 원 학습 데이터에 접근하지 않고도 적은 수의 보정 샘플만으로 점수 추정이 안정적이라는 점도 확인했습니다.

한계와 주의점

희소한 모델이 곧 빠른 모델은 아닙니다. 비구조적 희소성은 일반 GPU에서 속도 이득이 없고, 실제 가속을 얻으려면 2:4 같은 구조적 패턴과 이를 지원하는 하드웨어가 필요합니다. 또한 희소율을 높일수록 품질 손실이 커지므로 과제별 검증 없이 공격적인 희소율을 적용하는 것은 위험합니다.

기업 적용 관점

기업 도입 현장에는 압축을 위한 재학습 인프라 자체가 없는 경우가 많습니다. 보정 데이터 몇 배치만으로 배포 직전에 모델을 희소화할 수 있으므로, AWQ 같은 양자화와 병행해 온프레미스 sLLM의 메모리와 연산량을 추가 학습 비용 없이 한 단계 더 줄이는 마무리 최적화로 제안할 수 있습니다.