필요할 때만 검색하고 스스로 검증하는 Self-RAG

LLM의 사실 오류를 줄이려고 검색을 붙이지만, 무조건 검색하는 방식은 또 다른 문제를 만듭니다. 불필요한 문서가 끼어들면 오히려 답이 흐려지고, 검색을 해도 모델이 문서를 무시하고 지어내는 경우를 막지 못합니다.

문제 배경

고정된 개수의 문서를 항상 검색해 붙이는 표준 RAG는 두 방향 모두에서 샙니다. 검색이 필요 없는 질문에는 무관한 문맥이 답변 품질을 떨어뜨리고, 검색된 근거가 있어도 생성이 근거를 따른다는 보장이 없습니다. 검색 여부의 판단과 생성 결과의 검증이 파이프라인 어디에도 없다는 것이 구조적 공백이었습니다.

방법

Asai 등(2023)의 Self-RAG는 모델 자신에게 판단을 맡깁니다. 반성 토큰이라는 특수 토큰을 어휘에 추가해, 지금 검색이 필요한지, 검색된 문단이 유용한지, 생성한 문장이 근거에 의해 뒷받침되는지, 답변이 전체적으로 유용한지를 모델이 생성 중에 스스로 표시하게 합니다. 학습은 GPT-4의 판정을 증류한 비평 모델로 학습 데이터에 반성 토큰을 삽입한 뒤, 이를 포함해 15만 건 규모로 생성 모델을 훈련하는 방식입니다. 추론 시에는 반성 토큰의 확률을 이용해 근거성이 높은 생성 경로를 선택할 수 있고, 과제 특성에 따라 사실성과 유창성의 비중을 조절할 수 있습니다.

결과

7B와 13B 모델로 학습한 Self-RAG는 개방형 QA, 사실 검증, 장문 생성에서 훨씬 큰 모델들을 앞섰습니다.

과제	ChatGPT	Self-RAG 7B	Self-RAG 13B
PopQA (정확도)	29.3	54.9	55.8
PubHealth (정확도)	70.1	72.4	74.5
전기 생성 (FactScore)	71.8	81.2	80.2

검색 증강을 붙인 ChatGPT, Llama2-chat과 비교해도 대부분 과제에서 우위였습니다. 작은 모델도 검색 판단과 자기 검증을 배우면 사실성에서 큰 모델을 이길 수 있음을 보인 결과입니다.

한계와 주의점

사실적 정밀도 지표에서 7B가 13B를 이기는 경우가 있는데, 작은 모델이 짧지만 근거에 밀착된 출력을 내는 경향 때문입니다. 근거성 점검이 완전한 사실 보증은 아니라는 뜻으로 읽어야 합니다. 반성 토큰을 포함한 별도 학습이 필요하므로 상용 API 모델에는 그대로 적용할 수 없고, 학습 데이터 생성에 쓰인 비평 모델의 판정 품질이 상한이 됩니다.

도입 검토 가이드

규정, 계약, 의료처럼 그럴듯한 오답의 비용이 검색 실패의 비용보다 훨씬 큰 도메인을 다루는 조직이 검토 대상입니다. 자체 모델을 학습할 수 있는 조직은 논문 그대로를, 상용 API 모델에 묶여 있는 조직은 근거 점검이라는 설계 사상을 파이프라인 수준에서 빌리는 경로를 각각 검토하게 됩니다.

구분	내용
검토 주체	오답 리스크를 지는 서비스 오너, ML팀, 그리고 규정·계약 질의라면 컴플라이언스 담당자
전제 조건	논문 방식 그대로 가려면 7B에서 13B급 모델의 학습 인프라와 반성 토큰이 삽입된 15만 건 규모 학습 데이터 생성 여력이 필요합니다. 학습 데이터 품질의 상한이 되는 비평 모델 확보도 전제입니다
첫 적용 지점	기존 파이프라인에 답변별 근거 문서 인용과 근거성 검증 단계를 추가하는 것. 모델 학습 없이 시작할 수 있고, 사실 검증형 내부 질의응답이 효과를 재기 좋은 첫 대상입니다
판단 기준	답변 문장이 근거에 의해 뒷받침되는 비율과 FactScore류 사실성 지표. 논문에서 7B 모델이 전기 생성 FactScore 81.2로 ChatGPT의 71.8을 넘었으므로, 모델 크기 확대보다 검증 구조 도입의 효과를 먼저 측정하는 것이 순서입니다

코텍시스는 답변마다 근거 문서 인용과 근거성 점검 단계를 넣어 확인 가능한 답변만 내보내는 구조를 설계합니다.