리랭커가 검색 정확도를 끌어올리는 방식

검색은 보통 두 단계로 구성됩니다. 1차 검색기가 후보 문서를 빠르게 추린 뒤 리랭커가 질의와 문서를 함께 읽어 순위를 다시 매깁니다. 이 리랭커 자리는 오랫동안 BERT 계열 소형 모델의 몫이었습니다. Ma 등(2023)은 이 구도를 바꿨습니다.

문제 배경

BERT 계열 리랭커의 최대 입력은 512 토큰입니다. 저자들의 분석에 따르면 MS MARCO 문서 코퍼스의 평균 문서 길이는 약 1,500 토큰이고 512 토큰 이하 문서는 24%에 불과합니다. 그래서 기존 파이프라인은 문서를 문단으로 쪼개 각각 점수를 매기고 합치는 우회로를 써 왔습니다. 한편 LLM에 프롬프트만으로 재순위를 시키는 접근은 여러 번의 생성 호출이 필요해 느리고, MS MARCO 같은 사람의 관련성 판정 데이터를 학습에 활용하기 어렵습니다.

방법

저자들은 LLaMA를 두 역할로 각각 미세조정했습니다. RepLLaMA는 질의와 문서를 각각 벡터로 변환하는 밀집 검색기이고, RankLLaMA는 질의와 문서를 함께 입력받아 관련성 점수를 내는 포인트와이즈 리랭커입니다. 문서 끝에 특수 토큰을 붙여 그 위치의 표현을 점수 계산에 쓰는 단순한 구조로, 대형 모델의 긴 문맥 처리 능력 덕분에 문서를 쪼개지 않고 통째로 표현할 수 있습니다.

결과

MS MARCO 패시지 검색에서 단계별 기여가 뚜렷합니다.

구성	MRR@10 (dev)
BM25	18.4
RepLLaMA (7B)	41.2
RepLLaMA + RankLLaMA (7B)	44.9
RepLLaMA + RankLLaMA (13B)	45.2

학습에 쓰이지 않은 도메인 18종으로 구성된 BEIR 제로샷 평가에서도 RepLLaMA는 평균 nDCG@10 55.1로 기존 밀집 검색기들을 앞섰고, RankLLaMA 7B를 더하면 평균 1.5점이 추가로 올라 56.6에 이릅니다. 문서 단위 검색에서도 RepLLaMA 45.6, RankLLaMA 50.3으로 같은 경향이 확인됩니다.

한계와 주의점

13B 리랭커는 7B 대비 BEIR 평균에서 개선이 없었습니다(56.5). 모델을 키우는 것이 항상 답은 아니라는 뜻입니다. 또한 7B 모델로 후보 문서마다 점수를 계산하는 비용은 BERT 계열보다 크므로, 재순위 대상 후보 수와 지연 시간 요구사항을 함께 따져야 합니다. 실무에서는 후보 수십 건에만 리랭커를 적용하는 절충이 일반적입니다.

기업 적용 관점

실무에서 RAG 답변 품질 불만의 상당수는 생성 모델이 아니라 검색 단계에서 비롯됩니다. 임베딩 검색만으로 상위 후보가 어긋나면 아무리 좋은 LLM도 정답을 만들 수 없습니다. 1차 검색 위에 리랭커를 얹는 구성은 기존 인덱스를 다시 만들 필요 없이 추가할 수 있고, 이 논문의 수치처럼 개선 폭이 검증되어 있습니다. 코텍시스가 기존 검색 시스템을 고도화할 때 리랭커 도입을 가장 먼저 검토하는 이유입니다.