멀티홉 질의 앞에서 무너지는 RAG를 측정하다

"A사와 계약한 조건이 B사 계약과 어떻게 다른가"라는 질문에 답하려면 두 문서를 각각 찾아 비교해야 합니다. 이런 멀티홉 질의는 한 번의 유사도 검색으로 해결되지 않지만, 기존 RAG 벤치마크는 대부분 단일 문서로 답할 수 있는 질문만 다뤘습니다.

문제 배경

멀티홉 질의는 질문 문장과 개별 증거 문서의 표면적 유사도가 낮습니다. 비교 질문의 절반은 어느 한 문서와도 닮지 않았기 때문입니다. 그래서 단일 질의 임베딩으로 상위 k개를 끊어오는 표준 검색이 구조적으로 불리한데, 이 약점이 어느 정도인지 잴 수 있는 표준 측정 도구가 없었습니다.

방법

홍콩과기대의 Tang과 Yang(2024)은 뉴스 기사 지식 베이스 위에 멀티홉 질의 2,556개와 정답, 근거 증거를 함께 구축했습니다. 질의는 여러 증거를 종합해 결론을 내는 추론형(31.9%), 문서 간 차이를 대조하는 비교형(33.5%), 사건의 선후를 따지는 시간형(22.8%), 그리고 증거가 존재하지 않아 모른다고 답해야 하는 무근거형(11.8%)으로 구성됩니다. 각 질의는 2개에서 4개의 증거 문서를 요구합니다. 이 위에서 임베딩 모델들의 증거 검색 성능과 LLM들의 답변 정확도를 각각 측정했습니다.

결과

결과는 경고에 가깝습니다. 다양한 임베딩 모델을 비교했을 때 리랭커를 더한 최선의 구성조차 상위 10건 안에 증거를 담는 비율(Hits@10)이 0.7467에 그쳤고, 실제 운영에서 흔한 상위 4건 기준으로는 0.6625로 떨어졌습니다. 생성 단계도 마찬가지입니다.

모델	검색 문맥 정답률	정답 증거 제공 시
GPT-4	0.56	0.89
Claude-2.1	0.52	0.56
ChatGPT	0.44	0.57

최고 수준 모델인 GPT-4도 검색된 문맥으로는 정답률 0.56에 머물렀습니다. 정답 증거를 직접 주면 0.89까지 오르는 것을 보면, 병목은 모델이 아니라 단일 검색 구조 자체입니다.

한계와 주의점

지식 베이스가 영어 뉴스 기사로 한정되어 사내 문서 특유의 표, 서식, 도메인 용어 환경과는 차이가 있습니다. 증거 제공 시에도 모델 간 격차가 크므로(GPT-4 0.89 대 ChatGPT 0.57) 멀티홉 추론 자체의 모델 역량도 함께 검증해야 합니다. 벤치마크 수치는 도입 판단의 출발점이지 자사 환경의 성능 보증이 아닙니다.

기업 적용 관점

부서 간 자료 대조, 기간별 실적 비교, 규정 간 충돌 확인처럼 기업의 고가치 질문은 대부분 멀티홉입니다. 단일 검색 RAG의 데모가 매끄러워 보여도 이런 질문에서 조용히 무너진다는 것을 이 벤치마크가 수치로 보여줍니다. 코텍시스는 질의를 분해해 반복 검색하는 구조와 멀티홉 전용 평가 세트를 도입 단계에서 함께 설계해 이 한계를 다룹니다.