DPO가 바꾼 선호 정렬 학습: 보상 모델 없이 RLHF를 대체하는 방법

사람의 선호를 모델에 반영하는 정렬 학습은 오랫동안 강화학습 전문 조직의 영역이었습니다. DPO는 그 파이프라인을 지도학습 한 단계로 접어 넣었고, 발표 이후 공개 모델 진영에서 RLHF의 사실상 대체재로 자리 잡았습니다.

문제 배경

표준 RLHF는 두 단계를 요구합니다. 먼저 사람이 매긴 응답 쌍 선호로 보상 모델을 학습하고, 그 보상을 최대화하도록 PPO 강화학습으로 언어모델을 다시 학습합니다. 이 과정은 하이퍼파라미터에 민감하고 학습이 불안정하며, 정책 모델과 보상 모델을 동시에 띄워야 해서 구현과 운영 부담이 큽니다. 소규모 팀이 재현하기 어려운 구조였습니다.

방법

DPO의 출발점은 KL 제약이 걸린 보상 최대화 문제의 최적 정책이 보상 함수의 닫힌 형태로 표현된다는 관찰입니다. 이 관계를 뒤집으면 보상 함수를 정책 자체로 재매개변수화할 수 있고, 선호 확률 모델에 대입하면 보상 모델이 식에서 사라집니다. 남는 것은 선호 쌍 데이터에서 선택된 응답의 상대 확률은 높이고 탈락한 응답의 상대 확률은 낮추는 분류 손실 하나입니다. 별도의 보상 모델 학습도, 샘플링 기반 강화학습 루프도 없이 지도학습과 같은 절차로 정렬이 끝납니다.

결과

감정 제어 과제에서 DPO는 보상과 KL 발산의 균형 면에서 PPO 기반 RLHF를 능가했습니다. TL;DR 요약 과제에서는 GPT-4 평가 기준으로 온도 0.0에서 약 61%의 승률을 기록해 PPO의 최적 조건 승률 57%를 넘었고, 단일 턴 대화에서도 동등하거나 더 나은 응답 품질을 보였습니다. 구현이 단순하고 학습이 안정적이며 샘플링이 없어 계산 비용도 낮았습니다.

과제	DPO	PPO
TL;DR 요약 승률 (GPT-4 평가, 온도 0.0)	약 61%	57%

한계와 주의점

논문은 학습 분포 밖에서의 일반화가 명시적 보상 모델 방식과 어떻게 다른지, 보상 과최적화가 DPO에서 어떻게 나타나는지를 열린 질문으로 남깁니다. 검증 규모도 6B 수준까지였고 더 큰 모델로의 확장은 향후 과제로 두었습니다. 실무에서는 강화학습이 사라졌을 뿐 고품질 선호 쌍 데이터가 여전히 필요하다는 점이 자주 간과됩니다.

도입 검토 가이드

지도학습 파인튜닝까지는 진행했지만 답변 톤, 형식 준수, 금지 표현 회피 같은 선호 수준의 요구사항을 반영하지 못하고 있는 조직이 검토 대상입니다. PPO 기반 강화학습을 운영할 전문 인력이 없어도, 두 응답 중 어느 쪽이 나은지 우열을 매긴 선호 쌍 데이터를 만들 수 있다면 적용 조건이 성립합니다.

구분	내용
검토 주체	파인튜닝을 담당하는 ML팀과 응답 품질 기준을 정의하는 서비스 운영 부서
전제 조건	지도학습 튜닝을 마친 베이스 정책 모델과 고품질 선호 쌍 데이터. 논문 검증이 6B 규모까지이므로 그 이상의 모델에서는 자체 검증 단계를 넣어야 합니다
첫 적용 지점	요약 품질 개선이나 응답 톤 통일처럼 우열 판단이 명확한 과제. 논문도 TL;DR 요약과 단일 턴 대화에서 효과를 확인했습니다
판단 기준	정렬 전 모델 대비 평가자 승률. 논문은 GPT-4 평가 승률 61%로 PPO의 57%를 넘었으며, 자체 과제에서도 SFT 기준선 대비 승률 상승이 확인되어야 도입을 지속할 근거가 됩니다

코텍시스는 어노테이션된 선호 쌍 구축과 DPO 학습 한 단계로 정렬 작업 범위를 정의해 일정과 비용 산정을 명확히 하며, sLLM 파인튜닝 제안에 정렬 단계를 기본 구성으로 포함합니다.