도메인 적응 사전학습의 함정과 해법: 원문 대신 독해형 데이터로 학습하기

특정 산업의 언어와 지식을 모델에 넣는 가장 직관적인 방법은 도메인 문서로 사전학습을 이어가는 것입니다. 이 논문은 그 직관이 절반만 맞는다는 것을 보여주고, 나머지 절반을 고치는 데이터 변환 기법을 제시합니다.

문제 배경

연구진이 도메인 원문 그대로 계속 학습을 수행하자 도메인 지식은 습득되는데 질문에 답하는 프롬프팅 성능은 오히려 떨어지는 현상이 나타났습니다. 원문 말뭉치의 서술형 텍스트만 계속 학습하면 지시를 따르고 질의에 응답하는 능력이 마모되기 때문입니다. 빈칸 채우기식 평가에서는 지식 향상이 보이는데 질의응답 형식에서는 저하되는 엇갈린 결과가 이 진단의 근거입니다.

방법

제안된 해법은 도메인 원문을 독해 문제집처럼 변환하는 것입니다. 각 원문 뒤에 그 내용에 대한 질의응답, 요약, 단어 뜻 추론, 자연어 추론 같은 과제를 붙여서, 원문 학습으로 지식을 넣는 동시에 과제 수행으로 지시 대응 능력을 유지합니다. 과제 생성은 정규식 기반 마이닝으로 원문에서 자동 추출되므로 사람 어노테이션이 필요 없고, 일반 인스트럭션 데이터를 섞어 범용 능력도 함께 지킵니다.

결과

이 방식으로 학습한 7B 모델은 바이오의료, 금융, 법률 3개 도메인의 과제에서 일관된 성능 향상을 보였고, 금융 도메인에서는 금융 특화로 처음부터 학습된 BloombergGPT-50B와 경쟁하는 수준에 도달했습니다. 원문 계속 학습이 떨어뜨렸던 프롬프팅 성능을 회복시키면서 도메인 지식 향상은 유지했고, 일반 벤치마크 성능도 함께 개선되었습니다. 도메인 특화와 범용 능력이 반드시 상충하는 것은 아니라는 근거입니다.

접근	도메인 지식	프롬프팅 능력
원문 계속 학습 (DAPT)	향상	저하
독해형 변환 학습 (AdaptLLM)	향상	유지 및 향상

한계와 주의점

과제 생성이 정규식 기반 자동 마이닝이라 원문에서 뽑을 수 있는 과제의 유형과 품질에 상한이 있습니다. 검증도 3개 도메인, 7B 규모 중심입니다. 실무에서는 고객사 문서의 형식이 논문이 다룬 공개 말뭉치와 다를 수 있어 변환 규칙의 재조정이 필요하고, 계속 학습 전후로 지시 수행 능력 회귀 평가를 반드시 넣어야 이 논문이 경고한 함정을 피할 수 있습니다.

도입 검토 가이드

의료, 금융, 법률처럼 전문 용어와 지식이 집약된 문서를 대량 보유하고 있고, 범용 모델이 그 문서의 언어를 제대로 다루지 못해 계속 학습을 검토하는 조직이 대상입니다. 도메인 특화 모델을 처음부터 학습할 예산 없이 공개 sLLM 위에서 시작하려는 경우이며, 이미 원문 그대로 계속 학습을 했다가 질의응답 성능 저하를 겪은 조직이라면 바로 해당합니다.

구분	내용
검토 주체	도메인 말뭉치를 관리하는 데이터 엔지니어링팀과 계속 학습을 수행할 ML팀
전제 조건	계속 학습에 쓸 만큼의 도메인 말뭉치, 원문을 질의응답·요약·추론 과제로 바꾸는 변환 파이프라인, 범용 능력 유지를 위해 섞어 학습할 일반 인스트럭션 데이터
첫 적용 지점	논문이 검증한 바이오의료·금융·법률과 문서 구조가 유사한 도메인의 7B급 모델. 고객사 문서 형식에 맞춰 변환 규칙을 재조정하는 작업부터 시작합니다
판단 기준	계속 학습 전후의 도메인 과제 성능과 지시 수행 능력을 함께 재는 회귀 평가. 지식 평가만 오르고 질의응답 성능이 떨어지면 논문이 경고한 원문 학습의 함정에 빠진 것이므로 중단하고 변환 비율을 조정합니다

코텍시스는 문서를 과제 데이터로 바꾸는 변환 파이프라인을 고객사가 바뀌어도 재사용하는 수주 자산으로 관리하며, 제조나 금융 도메인 프로젝트에서 이 경로를 기본 설계로 채택합니다.