도메인 적응 사전학습의 함정과 해법: 원문 대신 독해형 데이터로 학습하기

특정 산업의 언어와 지식을 모델에 넣는 가장 직관적인 방법은 도메인 문서로 사전학습을 이어가는 것입니다. 이 논문은 그 직관이 절반만 맞는다는 것을 보여주고, 나머지 절반을 고치는 데이터 변환 기법을 제시합니다.

문제 배경

연구진이 도메인 원문 그대로 계속 학습을 수행하자 도메인 지식은 습득되는데 질문에 답하는 프롬프팅 성능은 오히려 떨어지는 현상이 나타났습니다. 원문 말뭉치의 서술형 텍스트만 계속 학습하면 지시를 따르고 질의에 응답하는 능력이 마모되기 때문입니다. 빈칸 채우기식 평가에서는 지식 향상이 보이는데 질의응답 형식에서는 저하되는 엇갈린 결과가 이 진단의 근거입니다.

방법

제안된 해법은 도메인 원문을 독해 문제집처럼 변환하는 것입니다. 각 원문 뒤에 그 내용에 대한 질의응답, 요약, 단어 뜻 추론, 자연어 추론 같은 과제를 붙여서, 원문 학습으로 지식을 넣는 동시에 과제 수행으로 지시 대응 능력을 유지합니다. 과제 생성은 정규식 기반 마이닝으로 원문에서 자동 추출되므로 사람 어노테이션이 필요 없고, 일반 인스트럭션 데이터를 섞어 범용 능력도 함께 지킵니다.

결과

이 방식으로 학습한 7B 모델은 바이오의료, 금융, 법률 3개 도메인의 과제에서 일관된 성능 향상을 보였고, 금융 도메인에서는 금융 특화로 처음부터 학습된 BloombergGPT-50B와 경쟁하는 수준에 도달했습니다. 원문 계속 학습이 떨어뜨렸던 프롬프팅 성능을 회복시키면서 도메인 지식 향상은 유지했고, 일반 벤치마크 성능도 함께 개선되었습니다. 도메인 특화와 범용 능력이 반드시 상충하는 것은 아니라는 근거입니다.

접근	도메인 지식	프롬프팅 능력
원문 계속 학습 (DAPT)	향상	저하
독해형 변환 학습 (AdaptLLM)	향상	유지 및 향상

한계와 주의점

과제 생성이 정규식 기반 자동 마이닝이라 원문에서 뽑을 수 있는 과제의 유형과 품질에 상한이 있습니다. 검증도 3개 도메인, 7B 규모 중심입니다. 실무에서는 고객사 문서의 형식이 논문이 다룬 공개 말뭉치와 다를 수 있어 변환 규칙의 재조정이 필요하고, 계속 학습 전후로 지시 수행 능력 회귀 평가를 반드시 넣어야 이 논문이 경고한 함정을 피할 수 있습니다.

기업 적용 관점

도메인 특화 모델을 밑바닥부터 학습할 예산이 있는 국내 기업은 거의 없습니다. 공개 sLLM에 고객사 문서를 독해형으로 변환해 계속 학습시키는 이 경로는 코텍시스가 제조나 금융 도메인 프로젝트에서 바로 채택할 수 있는 설계입니다. 문서를 과제 데이터로 바꾸는 변환 파이프라인은 한 번 만들면 고객사가 바뀌어도 재사용되므로, 프로젝트 산출물이 아니라 회사의 반복 수주 자산이 됩니다.