RLAIF 실증 연구: AI 피드백이 인간 피드백 라벨링을 대체할 수 있는가

정렬 학습의 병목은 알고리즘이 아니라 데이터입니다. 사람이 응답 쌍을 비교해 선호를 매기는 작업은 비싸고 느려서 학습을 반복할수록 부담이 누적됩니다. 이 논문은 그 라벨을 LLM이 대신 만들어도 되는지를 같은 조건에서 정면으로 비교한 실증 연구입니다.

문제 배경

RLHF의 성능은 선호 데이터의 양과 품질에 좌우되는데, 인간 어노테이션은 확보 비용이 크고 라벨러 간 일관성 관리도 어렵습니다. AI가 만든 피드백으로 학습하는 아이디어는 이전에도 제안되었지만, 같은 정책 모델과 같은 학습 절차에서 라벨 출처만 인간과 AI로 바꿔 비교한 통제 실험은 없었습니다.

방법

연구진은 요약, 유용한 대화, 무해한 대화 세 과제에서 기성 LLM에게 응답 쌍의 선호를 매기게 하고, 그 라벨로 보상 모델을 학습해 강화학습을 수행했습니다. 위치 편향을 줄이기 위해 응답 순서를 바꿔 두 번 묻고 평균하는 절차를 썼습니다. 나아가 보상 모델 학습을 생략하고 LLM 평가 점수를 강화학습의 보상으로 직접 쓰는 d-RLAIF와, 정책 모델과 같은 크기의 LLM을 라벨러로 쓰는 조건도 검증했습니다.

결과

인간 평가자는 RLAIF와 RLHF 정책을 SFT 기준선보다 비슷한 비율로 선호했고, 두 정책을 직접 비교했을 때도 승률이 반반에 가까웠습니다. 무해성 과제에서는 RLAIF가 오히려 더 높은 무해 응답률을 기록했습니다.

비교 (인간 평가)	요약	유용한 대화	무해 응답률
RLAIF 대 SFT	71%	63%	88%
RLHF 대 SFT	73%	64%	76%
SFT	기준선	기준선	64%

정책 모델과 같은 크기의 AI 라벨러를 써도 성능 향상이 유지되었고, d-RLAIF는 기존 RLAIF보다 나은 결과를 냈습니다. 더 큰 교사 모델의 판단을 빌려야만 성립하는 기법이 아니라는 점에서 적용 조건이 넓다는 의미입니다.

한계와 주의점

AI 라벨러의 판단 자체가 인간 선호와 정렬되어 있어야 하며, 위치 편향 같은 라벨러의 체계적 편향을 보정하는 절차가 필요합니다. 라벨링에 쓰는 LLM 추론 비용이 새로 발생하므로 어노테이션 비용이 사라지는 것이 아니라 형태가 바뀌는 것이고, AI 라벨러가 지닌 편향이 정책 모델로 상속될 위험도 논문이 지적하는 지점입니다.

도입 검토 가이드

선호 정렬 학습을 계획하고 있으나 선호 라벨링 예산이 프로젝트의 최대 비용 항목으로 잡히는 조직이 검토 대상입니다. 한국어처럼 라벨링 인력 확보가 어려운 언어로 서비스하는 경우, 그리고 정렬 학습을 여러 차례 반복해야 해서 라벨 수요가 누적되는 경우에 특히 해당합니다.

구분	내용
검토 주체	정렬 학습을 수행하는 ML팀과 어노테이션 예산을 관리하는 데이터 운영 조직
전제 조건	선호 판단을 맡길 LLM 접근 권한과 라벨링 추론 예산, AI 라벨 품질을 검증할 소량의 인간 라벨 검증 세트, 응답 순서를 바꿔 두 번 묻는 위치 편향 보정 절차
첫 적용 지점	요약이나 무해성 응답처럼 논문이 동등성을 실증한 과제 유형. 정책 모델과 같은 크기의 라벨러로도 효과가 유지되므로 대형 교사 모델 없이 시작할 수 있습니다
판단 기준	인간 검증 세트에서 AI 라벨과 인간 라벨의 일치율, 그리고 SFT 기준선 대비 정책 승률. 논문 기준 RLAIF는 요약 71%, 대화 63%로 RLHF의 73%, 64%와 동등한 수준이었습니다

코텍시스는 정렬 단계를 포함한 파인튜닝 제안에서 인간 어노테이션을 소량의 검증 세트에만 쓰고 학습 라벨은 AI로 생성하는 구성을 잡아, 어노테이션 예산을 줄인 견적으로 DPO나 RLHF 기반 정렬을 현실적인 범위에 넣습니다.