QLoRA로 보는 파라미터 효율 파인튜닝: 48GB GPU에서 65B 모델을 튜닝하는 방법

대형 언어모델 파인튜닝의 진입 장벽은 알고리즘이 아니라 GPU 메모리였습니다. QLoRA는 이 장벽을 데이터센터급 클러스터에서 GPU 서버 한 대 수준으로 끌어내린 논문이며, 이후 공개 모델 생태계의 파인튜닝 표준 절차가 되었습니다.

문제 배경

모델을 통째로 파인튜닝하려면 16비트 파라미터와 그래디언트, 옵티마이저 상태를 모두 GPU 메모리에 올려야 합니다. 논문 기준으로 65B 모델의 16비트 풀 파인튜닝에는 780GB가 넘는 GPU 메모리가 필요합니다. 기존 양자화 기법은 추론 메모리는 줄였지만 학습 단계에서는 작동하지 않았고, LoRA 같은 어댑터 방식도 베이스 모델을 16비트로 유지하는 한 메모리 하한을 크게 낮추지 못했습니다.

방법

QLoRA는 베이스 모델을 4비트로 양자화해 고정하고, 그 위에 붙인 LoRA 어댑터만 16비트로 학습합니다. 역전파 그래디언트는 얼어 있는 4비트 가중치를 통과해 어댑터로만 흘러갑니다. 이를 성능 손실 없이 성립시키는 장치가 세 가지입니다. 첫째, 정규분포를 따르는 가중치에 정보이론적으로 최적인 NF4 데이터 타입을 씁니다. 둘째, 양자화 상수 자체를 다시 양자화하는 이중 양자화로 파라미터당 평균 메모리를 추가로 줄입니다. 셋째, 페이지드 옵티마이저가 긴 시퀀스 처리 중의 메모리 스파이크를 CPU 메모리로 흡수합니다.

결과

저자들은 이 방식으로 65B 모델을 단일 48GB GPU에서 튜닝하면서 16비트 파인튜닝의 성능을 유지했고, 8개 인스트럭션 데이터셋에 걸쳐 1,000개가 넘는 모델을 실험했습니다. 대표 결과물인 Guanaco 65B는 24시간 학습만으로 Vicuna 벤치마크에서 ChatGPT 성능의 99.3%에 도달했습니다.

항목	16비트 풀 파인튜닝	QLoRA
65B 필요 메모리	780GB 초과	48GB 미만
Guanaco 65B (Vicuna, ChatGPT 대비)	해당 없음	99.3%
Guanaco 33B (Vicuna, ChatGPT 대비)	해당 없음	97.8%

한계와 주의점

저자들은 33B와 65B 규모에서 16비트 풀 파인튜닝 기준선과의 완전한 동등성을 자원 한계로 직접 검증하지 못했다고 밝힙니다. 또한 Vicuna 벤치마크와 GPT-4 자동 평가가 응답 제시 순서에 따라 점수가 달라지는 편향을 지니는 등 챗봇 평가 방식 자체의 신뢰성 한계도 논문이 스스로 지적합니다. 벤치마크 수치를 그대로 실서비스 품질로 읽어서는 안 됩니다.

기업 적용 관점

사내 데이터로 sLLM을 맞춤 학습하는 비용이 GPU 서버 한 대 수준이 되었다는 것이 핵심입니다. 코텍시스가 파인튜닝 프로젝트를 견적할 때 풀 파인튜닝 대신 QLoRA를 기본안으로 두면 인프라 비용과 납기를 함께 줄일 수 있습니다. 특히 데이터 반출이 불가능한 금융이나 제조 고객사의 온프레미스 GPU 한 장 환경에서도 적용할 수 있어, 보안 요건과 예산 제약이 동시에 걸린 프로젝트에서 실행 가능한 제안의 폭을 넓혀 줍니다.