TIES-Merging으로 보는 모델 머징: 재학습 없이 여러 튜닝 모델을 하나로 합치기

과제마다 파인튜닝 모델을 따로 만들면 성능은 좋지만 모델 수만큼 서빙 비용이 늘어납니다. 모델 머징은 추가 학습 없이 여러 튜닝 모델의 가중치를 산술적으로 결합해 하나의 멀티태스크 모델을 얻으려는 접근이며, TIES-Merging은 왜 단순한 결합이 실패하는지를 규명하고 고친 논문입니다.

문제 배경

같은 베이스에서 파인튜닝된 모델들의 가중치를 단순 평균하면 개별 모델보다 성능이 떨어지는 경우가 많았습니다. 이 논문은 실패 원인을 파라미터 간 간섭으로 규명합니다. 첫째, 파인튜닝 중 거의 변하지 않은 중복 파라미터가 평균에 노이즈로 섞여 소수의 영향력 있는 파라미터를 희석합니다. 둘째, 같은 파라미터를 두고 모델마다 변화 방향의 부호가 충돌해 상쇄가 일어납니다.

방법

TIES는 각 모델의 태스크 벡터, 즉 베이스 대비 가중치 변화량을 3단계로 처리합니다. 먼저 변화량 크기 기준 상위 20%만 남기고 나머지를 0으로 되돌려 중복 파라미터를 제거합니다. 다음으로 파라미터마다 여러 모델의 변화량을 모아 다수가 향하는 부호를 정합니다. 마지막으로 합의된 부호와 일치하는 값들만 평균해 병합합니다. 전 과정이 산술 연산이라 GPU 학습이 필요 없습니다.

결과

논문의 분석에서 태스크 벡터 상위 20% 파라미터만 남겨도 과제 성능이 유지된다는 것, 그리고 병합 모델 수가 늘수록 부호 충돌 비율이 증가한다는 것이 확인되었습니다. TIES는 T5 계열 언어모델과 ViT 비전 모델, 전체 파인튜닝과 파라미터 효율 파인튜닝을 아우르는 설정에서 기존 머징 기법들을 일관되게 능가했고, 분포 밖 일반화에서도 더 나은 결과를 보였습니다.

한계와 주의점

머징은 같은 베이스 모델에서 파인튜닝된 모델들 사이에서만 성립합니다. 서로 다른 사전학습 출신의 모델은 합칠 수 없습니다. 논문의 부호 충돌 분석이 보여주듯 병합하는 과제 수가 늘수록 간섭이 커져 성능 유지가 어려워지고, 병합 비중을 정하는 하이퍼파라미터의 검증 절차도 필요합니다. 개별 전문 모델 대비 일부 과제의 성능 손실은 남을 수 있으므로 과제별 회귀 평가를 전제로 도입해야 합니다.

기업 적용 관점

고객사에 요약용, 분류용, 질의응답용 모델을 각각 서빙하는 것은 GPU 비용 측면에서 부담입니다. TIES 같은 머징 기법을 쓰면 GPU 학습 없이 CPU 연산만으로 과제별 모델이나 어댑터를 통합할 수 있어, 코텍시스가 다과제 sLLM 구축을 제안할 때 서빙 인프라를 단일화하는 근거가 됩니다. 이미 과제별 모델을 여럿 운영 중인 고객에게는 재학습 없이 운영 비용을 줄이는 개선 프로젝트로 제안할 수 있는 항목입니다.