MiniLLM의 역방향 KL 증류: 대형 모델의 능력을 소형 모델로 옮기는 기술

증류는 소형 모델 사업의 기반 기술이지만, 분류 모델에서 검증된 표준 레시피를 생성형 LLM에 그대로 옮기면 잘 작동하지 않습니다. MiniLLM은 그 원인을 목적 함수에서 찾고 해법을 제시한 논문입니다.

문제 배경

표준 증류는 교사와 학생 분포 사이의 정방향 KL 발산을 최소화합니다. 이 목적 함수는 학생이 교사 분포의 모든 영역에 확률을 배분하도록 강제합니다. 출력 공간이 작은 분류 문제에서는 무해하지만, 생성 과제의 출력 공간은 훨씬 복잡해서 용량이 작은 학생이 교사의 저확률 영역까지 덮으려다 그 영역을 과대평가하게 됩니다. 그 결과 학생은 교사라면 만들지 않을 비현실적인 텍스트에 확률을 낭비합니다.

방법

MiniLLM은 목적 함수를 역방향 KL 발산으로 바꿉니다. 이 목적 아래에서 학생은 교사 분포의 주요 모드에 집중하고 확률이 낮은 긴 꼬리는 포기합니다. 자기 용량 안에서 교사가 가장 확신하는 행동을 정확히 배우는 쪽을 택하는 것입니다. 역방향 KL은 학생 자신이 생성한 샘플에 대한 기대값이라 직접 미분이 어려운데, 논문은 이를 정책 경사로 최적화하며 분산 감소와 보상 안정화 기법을 더해 학습을 안정시킵니다.

구분	정방향 KL (표준 증류)	역방향 KL (MiniLLM)
학생의 행동	교사 분포 전체를 덮으려 함	교사의 주요 모드에 집중
저확률 영역	과대평가 위험	무시
최적화	지도학습 손실	정책 경사 기반

결과

MiniLLM으로 증류된 모델은 인스트럭션 팔로잉 평가에서 기준 증류 기법들보다 더 정확한 응답을 생성했고, 노출 편향이 줄었으며 보정 성능과 장문 생성 품질이 개선되었습니다. GPT-2, OPT, LLaMA 계열에 걸쳐 120M부터 13B 파라미터까지의 학생 모델에서 일관되게 작동해 규모 확장성도 확인되었습니다.

한계와 주의점

이 방법은 교사 모델의 출력 분포에 접근할 수 있어야 하는 화이트박스 증류입니다. API로만 제공되는 상용 모델을 교사로 쓸 수 없고, 공개 가중치 모델이 교사일 때만 성립합니다. 정책 경사 기반 학습이라 표준 지도학습 증류보다 구현이 복잡하고 학습 중 샘플링 비용이 추가된다는 점도 감안해야 합니다. 검증도 13B 학생 규모까지입니다.

기업 적용 관점

고객이 원하는 것은 대형 모델의 품질과 소형 모델의 운영 비용입니다. 코텍시스의 sLLM 최적화 프로젝트에서 교사 모델로 학습 데이터만 생성하고 끝내는 단순 증류 대신, 공개 대형 모델을 교사로 두고 역방향 KL 계열 기법을 적용하면 같은 크기의 소형 모델에서 더 높은 응답 품질을 끌어낼 수 있습니다. 온프레미스 GPU 제약으로 소형 모델이 강제되는 고객 상황에서 품질 격차를 좁히는 기술적 근거로 제안할 수 있습니다.