MiniLLM의 역방향 KL 증류: 대형 모델의 능력을 소형 모델로 옮기는 기술

증류는 소형 모델 사업의 기반 기술이지만, 분류 모델에서 검증된 표준 레시피를 생성형 LLM에 그대로 옮기면 잘 작동하지 않습니다. MiniLLM은 그 원인을 목적 함수에서 찾고 해법을 제시한 논문입니다.

문제 배경

표준 증류는 교사와 학생 분포 사이의 정방향 KL 발산을 최소화합니다. 이 목적 함수는 학생이 교사 분포의 모든 영역에 확률을 배분하도록 강제합니다. 출력 공간이 작은 분류 문제에서는 무해하지만, 생성 과제의 출력 공간은 훨씬 복잡해서 용량이 작은 학생이 교사의 저확률 영역까지 덮으려다 그 영역을 과대평가하게 됩니다. 그 결과 학생은 교사라면 만들지 않을 비현실적인 텍스트에 확률을 낭비합니다.

방법

MiniLLM은 목적 함수를 역방향 KL 발산으로 바꿉니다. 이 목적 아래에서 학생은 교사 분포의 주요 모드에 집중하고 확률이 낮은 긴 꼬리는 포기합니다. 자기 용량 안에서 교사가 가장 확신하는 행동을 정확히 배우는 쪽을 택하는 것입니다. 역방향 KL은 학생 자신이 생성한 샘플에 대한 기대값이라 직접 미분이 어려운데, 논문은 이를 정책 경사로 최적화하며 분산 감소와 보상 안정화 기법을 더해 학습을 안정시킵니다.

구분	정방향 KL (표준 증류)	역방향 KL (MiniLLM)
학생의 행동	교사 분포 전체를 덮으려 함	교사의 주요 모드에 집중
저확률 영역	과대평가 위험	무시
최적화	지도학습 손실	정책 경사 기반

결과

MiniLLM으로 증류된 모델은 인스트럭션 팔로잉 평가에서 기준 증류 기법들보다 더 정확한 응답을 생성했고, 노출 편향이 줄었으며 보정 성능과 장문 생성 품질이 개선되었습니다. GPT-2, OPT, LLaMA 계열에 걸쳐 120M부터 13B 파라미터까지의 학생 모델에서 일관되게 작동해 규모 확장성도 확인되었습니다.

한계와 주의점

이 방법은 교사 모델의 출력 분포에 접근할 수 있어야 하는 화이트박스 증류입니다. API로만 제공되는 상용 모델을 교사로 쓸 수 없고, 공개 가중치 모델이 교사일 때만 성립합니다. 정책 경사 기반 학습이라 표준 지도학습 증류보다 구현이 복잡하고 학습 중 샘플링 비용이 추가된다는 점도 감안해야 합니다. 검증도 13B 학생 규모까지입니다.

도입 검토 가이드

대형 모델의 응답 품질이 필요하지만 운영 환경의 GPU 제약으로 소형 모델이 강제되는 조직이 검토 대상입니다. 교사 모델의 출력 분포를 열람할 수 있어야 하는 화이트박스 조건이 핵심 관문이므로, 공개 가중치 대형 모델을 교사로 둘 수 있고 학생 모델을 자체 학습할 GPU 자원이 있는 환경에서 성립합니다.

구분	내용
검토 주체	모델 경량화를 담당하는 ML 리서치팀과 서빙 비용을 관리하는 인프라 조직
전제 조건	출력 분포에 접근 가능한 공개 가중치 교사 모델(API 전용 상용 모델은 불가), 정책 경사 학습과 학습 중 샘플링 비용을 감당할 GPU 자원
첫 적용 지점	논문이 검증한 120M부터 13B 사이의 학생 규모에서 수행하는 인스트럭션 팔로잉 과제. 이미 표준 증류 파이프라인이 있다면 목적 함수 교체만으로 비교 실험을 시작할 수 있습니다
판단 기준	같은 학생 크기에서 표준 증류 대비 응답 정확도와 장문 생성 품질의 향상 여부. 논문이 함께 보고한 노출 편향 감소와 보정 성능 개선도 회귀 평가 항목에 넣습니다

코텍시스는 sLLM 최적화 프로젝트에서 공개 대형 모델을 교사로 두고 역방향 KL 계열 기법을 적용해 같은 크기의 소형 모델에서 더 높은 응답 품질을 끌어내며, 온프레미스 GPU 제약이 있는 고객 상황에서 품질 격차를 좁히는 기술적 근거로 제안합니다.