검색 전에 질문부터 고쳐 쓰는 RAG

RAG의 실패는 종종 검색기가 아니라 질문 자체에서 시작됩니다. 사용자가 입력한 문장과 문서에 실제로 쓰인 표현 사이에 간극이 있으면 아무리 좋은 검색기도 엉뚱한 문서를 가져옵니다.

문제 배경

기존 파이프라인은 사용자 질문을 그대로 검색어로 씁니다. 그러나 복합 질문을 통째로 검색하면 오히려 성능이 떨어지기도 합니다. 실제로 이 논문의 실험에서 HotpotQA는 검색을 붙인 구성(EM 30.47)이 검색 없는 직접 답변(32.36)보다 나빴습니다. 잘못된 검색어가 잘못된 문맥을 불러와 답을 흐린 것입니다. 또한 리더로 쓰이는 강력한 LLM은 API 뒤의 블랙박스라 내부를 학습시킬 수 없으므로, 개선 여지는 입력 쪽에 있습니다.

방법

Ma 등(2023)은 검색 후 읽기라는 기존 순서 앞에 재작성 단계를 놓은 Rewrite-Retrieve-Read 프레임워크를 제안했습니다. 핵심은 재작성기를 학습 가능하게 만든 부분입니다. T5-large를 재작성기로 두고, 먼저 지도학습으로 워밍업한 뒤 최종 답을 생성하는 LLM 리더의 정답 여부를 보상 삼아 강화학습으로 훈련합니다. 검색기는 Bing 검색 엔진, 리더는 ChatGPT와 Vicuna-13B를 그대로 두고 질의만 바꾸는 것입니다.

결과

개방형 QA 세 데이터셋에서 재작성 단계가 일관된 개선을 보였습니다.

구성 (EM)	HotpotQA	AmbigNQ	PopQA
직접 답변	32.36	42.10	41.94
검색 후 읽기	30.47	45.80	43.20
LLM 재작성	32.80	46.40	46.00
학습된 재작성기	34.38	47.80	45.72

검색이 오히려 해가 되던 HotpotQA에서도 재작성을 거치면 개선으로 돌아섰습니다. 학습된 T5 재작성기는 두 데이터셋에서 LLM 재작성보다 나았고, 소형 모델로도 재작성 역할을 충분히 감당할 수 있음을 보였습니다.

한계와 주의점

저자들이 밝힌 한계로, 재작성기를 특정 과제에 학습시키면 다른 과제로의 직접 전이가 어려워지는 일반화와 특화 사이의 상충이 있습니다. PopQA에서는 학습된 재작성기가 LLM 재작성보다 낮았듯 이득이 데이터셋마다 균일하지 않습니다. 강화학습 파이프라인의 구축과 보상 설계 비용도 실무 도입 시 고려해야 합니다.

도입 검토 가이드

검색 엔진과 LLM을 바꾸기 어려운 상태에서 검색 품질을 올려야 하는 조직이 검토 대상입니다. "작년 그 계약 위약금 조건"처럼 생략과 사내 은어가 섞인 질의가 로그에 많고, 복합 질문에서 검색이 오히려 답을 흐리는 사례가 확인된다면 이 논문의 상황과 정확히 겹칩니다.

구분	내용
검토 주체	검색 서비스를 운영하는 ML팀과 질의 로그를 보유한 서비스 운영 담당자
전제 조건	재작성 효과를 잴 질의 로그와 정오 판정이 가능한 평가 데이터. 강화학습 단계까지 가려면 T5-large급 소형 모델의 지도학습 워밍업과 보상 설계 역량이 추가로 필요합니다
첫 적용 지점	학습 없이 LLM 프롬프트로 질의를 재작성하는 구성부터. 논문에서 이 구성만으로도 세 데이터셋 모두 검색 후 읽기 대비 개선이 확인되었으므로, 효과를 본 뒤에 소형 재작성기 학습을 검토합니다
판단 기준	재작성 전후의 EM 비교. 논문은 HotpotQA에서 30.47이 34.38로 오르며 검색이 해가 되던 구간을 개선으로 돌렸습니다. 다만 PopQA에서는 학습된 재작성기가 LLM 재작성보다 낮았으므로, 자사 질의에서 이득이 균일한지 데이터셋별로 확인해야 합니다

코텍시스는 질의 로그 분석으로 재작성 규칙과 모델을 함께 설계합니다. 무거운 구성 요소를 그대로 두고 앞단의 작은 모듈로 체감 품질을 올리는 접근입니다.