LIMA가 던진 질문: 인스트럭션 튜닝 데이터는 얼마나 필요한가

인스트럭션 튜닝 데이터는 많을수록 좋다는 가정 위에서 데이터셋 규모 경쟁이 이어져 왔습니다. LIMA는 이 가정을 정면으로 시험한 실험이며, 결과는 파인튜닝 데이터 전략에 대한 통념을 뒤집었습니다.

문제 배경

당시 인스트럭션 튜닝 데이터셋은 수십만에서 수백만 건 규모로 커지는 추세였고, 여기에 RLHF까지 얹는 것이 표준 레시피로 여겨졌습니다. 그러나 데이터 양이 성능을 끌어올린다는 가정 자체는 엄밀하게 검증된 적이 없었습니다. 모델이 지식을 어디서 얻고 튜닝이 실제로 무엇을 가르치는지도 분리해서 측정된 바가 없었습니다.

방법

연구진은 반대 방향의 실험을 설계했습니다. Stack Exchange와 wikiHow 같은 커뮤니티 문답과 직접 작성한 예시에서 품질과 다양성 기준으로 선별한 1,000개의 프롬프트 응답 쌍만으로 65B LLaMA를 지도학습 튜닝했습니다. 강화학습이나 선호 데이터는 전혀 쓰지 않았습니다. 응답은 조수 스타일의 일관된 형식으로 통일해, 적은 예시로도 출력 형식이 안정적으로 학습되도록 했습니다.

결과

인간 평가에서 LIMA의 응답은 GPT-4 대비 43%, Bard 대비 58%, 인간 피드백으로 학습된 DaVinci003 대비 65%의 경우에서 동등하거나 더 선호되었습니다. 반면 선별 없이 양만 늘린 대조 실험에서는 뚜렷한 향상이 없었습니다.

비교 대상	LIMA가 동등하거나 선호된 비율
GPT-4	43%
Bard	58%
DaVinci003	65%

저자들은 지식과 능력이 거의 전부 사전학습에서 습득되며, 튜닝은 어떤 형식과 스타일로 응답할지를 가르치는 제한적 역할이라는 표면 정렬 가설을 제시합니다.

한계와 주의점

논문 스스로 밝히는 한계가 분명합니다. 1,000개를 고르는 선별 작업에 들어간 정신적 노력이 커서 이 접근을 그대로 확장하기 어렵고, LIMA는 제품 수준 모델만큼 강건하지 않아 적대적 프롬프트나 운이 나쁜 샘플링에서 약한 응답을 냅니다. 안전성 처리도 제한적입니다. 소량 데이터 튜닝은 형식 학습에는 충분해도 지식 주입이나 안전 정렬의 대체재가 아니라는 점을 실무에서 혼동하면 안 됩니다.

도입 검토 가이드

파인튜닝의 목적이 지식 주입보다 응답 형식과 스타일 학습에 있고, 수만 건 단위의 데이터 구축 예산이나 기간을 확보하기 어려운 조직이 검토 대상입니다. 표면 정렬 가설이 전제하듯 능력이 이미 사전학습에서 확보된 강한 베이스 모델을 쓰는 경우에 성립하며, 도메인 지식 자체가 부족한 상황에는 이 접근 단독으로 대응할 수 없습니다.

구분	내용
검토 주체	데이터 구축 범위를 계약에 반영하는 사업 관리 조직과 선별 검수를 수행할 도메인 전문가
전제 조건	충분히 사전학습된 베이스 모델(논문은 65B LLaMA)과 품질·다양성 기준으로 예시를 고를 검수 인력. 논문도 1,000건 선별에 큰 노력이 들었다고 밝히므로 검수 공수를 일정에 반영해야 합니다
첫 적용 지점	문서 양식 통일이나 고객 응대 형식 학습처럼 출력 형식이 목표인 과제. 수천 건 단위의 선별 세트로 범위를 잡습니다
판단 기준	튜닝 후 형식 준수율과 응답 품질의 인간 평가. 논문처럼 선별 없이 양만 늘린 대조 세트와 비교해 선별 세트가 뒤지지 않아야 하고, 적대적 프롬프트에서의 강건성 저하 여부도 별도로 확인해야 합니다

코텍시스는 데이터 구축 단계에서 도메인 전문가 검수를 거친 소규모 고품질 세트를 우선해 구축 기간을 줄이고, 부족한 도메인 지식은 RAG나 계속 학습으로 보완하는 이원 설계를 제안합니다.