LIMA가 던진 질문: 인스트럭션 튜닝 데이터는 얼마나 필요한가

인스트럭션 튜닝 데이터는 많을수록 좋다는 가정 위에서 데이터셋 규모 경쟁이 이어져 왔습니다. LIMA는 이 가정을 정면으로 시험한 실험이며, 결과는 파인튜닝 데이터 전략에 대한 통념을 뒤집었습니다.

문제 배경

당시 인스트럭션 튜닝 데이터셋은 수십만에서 수백만 건 규모로 커지는 추세였고, 여기에 RLHF까지 얹는 것이 표준 레시피로 여겨졌습니다. 그러나 데이터 양이 성능을 끌어올린다는 가정 자체는 엄밀하게 검증된 적이 없었습니다. 모델이 지식을 어디서 얻고 튜닝이 실제로 무엇을 가르치는지도 분리해서 측정된 바가 없었습니다.

방법

연구진은 반대 방향의 실험을 설계했습니다. Stack Exchange와 wikiHow 같은 커뮤니티 문답과 직접 작성한 예시에서 품질과 다양성 기준으로 선별한 1,000개의 프롬프트 응답 쌍만으로 65B LLaMA를 지도학습 튜닝했습니다. 강화학습이나 선호 데이터는 전혀 쓰지 않았습니다. 응답은 조수 스타일의 일관된 형식으로 통일해, 적은 예시로도 출력 형식이 안정적으로 학습되도록 했습니다.

결과

인간 평가에서 LIMA의 응답은 GPT-4 대비 43%, Bard 대비 58%, 인간 피드백으로 학습된 DaVinci003 대비 65%의 경우에서 동등하거나 더 선호되었습니다. 반면 선별 없이 양만 늘린 대조 실험에서는 뚜렷한 향상이 없었습니다.

비교 대상	LIMA가 동등하거나 선호된 비율
GPT-4	43%
Bard	58%
DaVinci003	65%

저자들은 지식과 능력이 거의 전부 사전학습에서 습득되며, 튜닝은 어떤 형식과 스타일로 응답할지를 가르치는 제한적 역할이라는 표면 정렬 가설을 제시합니다.

한계와 주의점

논문 스스로 밝히는 한계가 분명합니다. 1,000개를 고르는 선별 작업에 들어간 정신적 노력이 커서 이 접근을 그대로 확장하기 어렵고, LIMA는 제품 수준 모델만큼 강건하지 않아 적대적 프롬프트나 운이 나쁜 샘플링에서 약한 응답을 냅니다. 안전성 처리도 제한적입니다. 소량 데이터 튜닝은 형식 학습에는 충분해도 지식 주입이나 안전 정렬의 대체재가 아니라는 점을 실무에서 혼동하면 안 됩니다.

기업 적용 관점

고객사 파인튜닝에서 데이터 구축 건수를 계약 지표로 잡는 관행을 재고하게 만드는 결과입니다. 코텍시스가 데이터 구축 단계를 설계할 때 도메인 전문가 검수를 거친 소규모 고품질 세트를 우선하면 구축 기간을 줄이면서 결과 품질을 지킬 수 있습니다. 특히 문서 양식이나 응대 형식 학습이 목적인 프로젝트에서는 수천 건 단위의 선별된 데이터로 범위를 잡고, 부족한 도메인 지식은 RAG나 계속 학습으로 보완하는 이원 설계를 제안하는 근거가 됩니다.