RLAIF 실증 연구: AI 피드백이 인간 피드백 라벨링을 대체할 수 있는가

정렬 학습의 병목은 알고리즘이 아니라 데이터입니다. 사람이 응답 쌍을 비교해 선호를 매기는 작업은 비싸고 느려서 학습을 반복할수록 부담이 누적됩니다. 이 논문은 그 라벨을 LLM이 대신 만들어도 되는지를 같은 조건에서 정면으로 비교한 실증 연구입니다.

문제 배경

RLHF의 성능은 선호 데이터의 양과 품질에 좌우되는데, 인간 어노테이션은 확보 비용이 크고 라벨러 간 일관성 관리도 어렵습니다. AI가 만든 피드백으로 학습하는 아이디어는 이전에도 제안되었지만, 같은 정책 모델과 같은 학습 절차에서 라벨 출처만 인간과 AI로 바꿔 비교한 통제 실험은 없었습니다.

방법

연구진은 요약, 유용한 대화, 무해한 대화 세 과제에서 기성 LLM에게 응답 쌍의 선호를 매기게 하고, 그 라벨로 보상 모델을 학습해 강화학습을 수행했습니다. 위치 편향을 줄이기 위해 응답 순서를 바꿔 두 번 묻고 평균하는 절차를 썼습니다. 나아가 보상 모델 학습을 생략하고 LLM 평가 점수를 강화학습의 보상으로 직접 쓰는 d-RLAIF와, 정책 모델과 같은 크기의 LLM을 라벨러로 쓰는 조건도 검증했습니다.

결과

인간 평가자는 RLAIF와 RLHF 정책을 SFT 기준선보다 비슷한 비율로 선호했고, 두 정책을 직접 비교했을 때도 승률이 반반에 가까웠습니다. 무해성 과제에서는 RLAIF가 오히려 더 높은 무해 응답률을 기록했습니다.

비교 (인간 평가)	요약	유용한 대화	무해 응답률
RLAIF 대 SFT	71%	63%	88%
RLHF 대 SFT	73%	64%	76%
SFT	기준선	기준선	64%

정책 모델과 같은 크기의 AI 라벨러를 써도 성능 향상이 유지되었고, d-RLAIF는 기존 RLAIF보다 나은 결과를 냈습니다. 더 큰 교사 모델의 판단을 빌려야만 성립하는 기법이 아니라는 점에서 적용 조건이 넓다는 의미입니다.

한계와 주의점

AI 라벨러의 판단 자체가 인간 선호와 정렬되어 있어야 하며, 위치 편향 같은 라벨러의 체계적 편향을 보정하는 절차가 필요합니다. 라벨링에 쓰는 LLM 추론 비용이 새로 발생하므로 어노테이션 비용이 사라지는 것이 아니라 형태가 바뀌는 것이고, AI 라벨러가 지닌 편향이 정책 모델로 상속될 위험도 논문이 지적하는 지점입니다.

기업 적용 관점

국내 프로젝트에서 한국어 선호 라벨링 인력을 확보하는 일은 비용과 품질 관리 양쪽에서 어렵습니다. RLAIF는 상용 LLM을 라벨러로 활용해 이 병목을 우회할 실증 근거를 제공합니다. 코텍시스가 정렬 단계를 포함한 파인튜닝을 제안할 때 인간 어노테이션은 소량의 검증 세트에만 쓰고 학습 라벨은 AI로 생성하는 구성을 잡으면, 어노테이션 예산을 크게 줄인 견적으로 DPO나 RLHF 기반 정렬을 현실적인 범위에 넣을 수 있습니다.