TIES-Merging으로 보는 모델 머징: 재학습 없이 여러 튜닝 모델을 하나로 합치기

과제마다 파인튜닝 모델을 따로 만들면 성능은 좋지만 모델 수만큼 서빙 비용이 늘어납니다. 모델 머징은 추가 학습 없이 여러 튜닝 모델의 가중치를 산술적으로 결합해 하나의 멀티태스크 모델을 얻으려는 접근이며, TIES-Merging은 왜 단순한 결합이 실패하는지를 규명하고 고친 논문입니다.

문제 배경

같은 베이스에서 파인튜닝된 모델들의 가중치를 단순 평균하면 개별 모델보다 성능이 떨어지는 경우가 많았습니다. 이 논문은 실패 원인을 파라미터 간 간섭으로 규명합니다. 첫째, 파인튜닝 중 거의 변하지 않은 중복 파라미터가 평균에 노이즈로 섞여 소수의 영향력 있는 파라미터를 희석합니다. 둘째, 같은 파라미터를 두고 모델마다 변화 방향의 부호가 충돌해 상쇄가 일어납니다.

방법

TIES는 각 모델의 태스크 벡터, 즉 베이스 대비 가중치 변화량을 3단계로 처리합니다. 먼저 변화량 크기 기준 상위 20%만 남기고 나머지를 0으로 되돌려 중복 파라미터를 제거합니다. 다음으로 파라미터마다 여러 모델의 변화량을 모아 다수가 향하는 부호를 정합니다. 마지막으로 합의된 부호와 일치하는 값들만 평균해 병합합니다. 전 과정이 산술 연산이라 GPU 학습이 필요 없습니다.

결과

논문의 분석에서 태스크 벡터 상위 20% 파라미터만 남겨도 과제 성능이 유지된다는 것, 그리고 병합 모델 수가 늘수록 부호 충돌 비율이 증가한다는 것이 확인되었습니다. TIES는 T5 계열 언어모델과 ViT 비전 모델, 전체 파인튜닝과 파라미터 효율 파인튜닝을 아우르는 설정에서 기존 머징 기법들을 일관되게 능가했고, 분포 밖 일반화에서도 더 나은 결과를 보였습니다.

한계와 주의점

머징은 같은 베이스 모델에서 파인튜닝된 모델들 사이에서만 성립합니다. 서로 다른 사전학습 출신의 모델은 합칠 수 없습니다. 논문의 부호 충돌 분석이 보여주듯 병합하는 과제 수가 늘수록 간섭이 커져 성능 유지가 어려워지고, 병합 비중을 정하는 하이퍼파라미터의 검증 절차도 필요합니다. 개별 전문 모델 대비 일부 과제의 성능 손실은 남을 수 있으므로 과제별 회귀 평가를 전제로 도입해야 합니다.

도입 검토 가이드

같은 베이스 모델에서 파인튜닝한 과제별 모델이나 어댑터를 여럿 서빙하고 있어 GPU 비용이 모델 수에 비례해 늘고 있는 조직이 검토 대상입니다. 서로 다른 사전학습 출신의 모델은 합칠 수 없으므로, 운영 중인 모델들의 베이스가 통일되어 있는지가 첫 번째 확인 사항입니다.

구분	내용
검토 주체	모델 서빙 비용을 관리하는 ML 플랫폼팀과 과제별 모델 품질을 책임지는 서비스 운영 조직
전제 조건	동일 베이스에서 파인튜닝된 모델들의 가중치, 병합 비중 하이퍼파라미터를 검증할 과제별 평가 세트. 전 과정이 산술 연산이라 GPU 학습 자원은 필요 없습니다
첫 적용 지점	요약, 분류, 질의응답처럼 이미 운영 중인 2개에서 3개 과제 모델의 통합 실험. 논문 분석상 병합 과제 수가 늘수록 부호 충돌이 커지므로 소수 과제부터 시작합니다
판단 기준	병합 모델의 과제별 회귀 평가에서 개별 전문 모델 대비 성능 손실 폭과 절감되는 서빙 비용의 비교. 손실이 서비스 허용 범위를 넘는 과제는 병합 대상에서 제외합니다

코텍시스는 다과제 sLLM 구축 제안에서 머징으로 서빙 인프라를 단일화하는 구성을 제시하며, 이미 과제별 모델을 여럿 운영 중인 고객에게는 재학습 없이 운영 비용을 줄이는 개선 프로젝트로 제안합니다.