DPO가 바꾼 선호 정렬 학습: 보상 모델 없이 RLHF를 대체하는 방법

사람의 선호를 모델에 반영하는 정렬 학습은 오랫동안 강화학습 전문 조직의 영역이었습니다. DPO는 그 파이프라인을 지도학습 한 단계로 접어 넣었고, 발표 이후 공개 모델 진영에서 RLHF의 사실상 대체재로 자리 잡았습니다.

문제 배경

표준 RLHF는 두 단계를 요구합니다. 먼저 사람이 매긴 응답 쌍 선호로 보상 모델을 학습하고, 그 보상을 최대화하도록 PPO 강화학습으로 언어모델을 다시 학습합니다. 이 과정은 하이퍼파라미터에 민감하고 학습이 불안정하며, 정책 모델과 보상 모델을 동시에 띄워야 해서 구현과 운영 부담이 큽니다. 소규모 팀이 재현하기 어려운 구조였습니다.

방법

DPO의 출발점은 KL 제약이 걸린 보상 최대화 문제의 최적 정책이 보상 함수의 닫힌 형태로 표현된다는 관찰입니다. 이 관계를 뒤집으면 보상 함수를 정책 자체로 재매개변수화할 수 있고, 선호 확률 모델에 대입하면 보상 모델이 식에서 사라집니다. 남는 것은 선호 쌍 데이터에서 선택된 응답의 상대 확률은 높이고 탈락한 응답의 상대 확률은 낮추는 분류 손실 하나입니다. 별도의 보상 모델 학습도, 샘플링 기반 강화학습 루프도 없이 지도학습과 같은 절차로 정렬이 끝납니다.

결과

감정 제어 과제에서 DPO는 보상과 KL 발산의 균형 면에서 PPO 기반 RLHF를 능가했습니다. TL;DR 요약 과제에서는 GPT-4 평가 기준으로 온도 0.0에서 약 61%의 승률을 기록해 PPO의 최적 조건 승률 57%를 넘었고, 단일 턴 대화에서도 동등하거나 더 나은 응답 품질을 보였습니다. 구현이 단순하고 학습이 안정적이며 샘플링이 없어 계산 비용도 낮았습니다.

과제	DPO	PPO
TL;DR 요약 승률 (GPT-4 평가, 온도 0.0)	약 61%	57%

한계와 주의점

논문은 학습 분포 밖에서의 일반화가 명시적 보상 모델 방식과 어떻게 다른지, 보상 과최적화가 DPO에서 어떻게 나타나는지를 열린 질문으로 남깁니다. 검증 규모도 6B 수준까지였고 더 큰 모델로의 확장은 향후 과제로 두었습니다. 실무에서는 강화학습이 사라졌을 뿐 고품질 선호 쌍 데이터가 여전히 필요하다는 점이 자주 간과됩니다.

기업 적용 관점

선호 정렬이 강화학습 전문 인력 없이 가능한 작업이 되었다는 점이 수주 관점의 핵심입니다. 고객사가 답변 톤, 형식 준수, 금지 표현 회피 같은 요구사항을 제시할 때, 코텍시스는 어노테이션된 선호 쌍 구축과 DPO 학습 한 단계로 작업 범위를 정의할 수 있습니다. 파이프라인이 단순한 만큼 일정과 비용 산정이 명확해지고, sLLM 파인튜닝 프로젝트에 정렬 단계를 옵션이 아닌 기본 구성으로 포함하는 제안이 가능해집니다.