정답지 없이 RAG를 평가하는 RAGAS

RAG 시스템을 만들고 나면 곧바로 다음 질문이 옵니다. 이게 잘 되고 있는지 어떻게 아는가. 전통적 평가는 사람이 만든 정답 데이터가 필요한데, 기업 도메인마다 정답지를 새로 만드는 비용은 큽니다.

문제 배경

RAG의 출력 품질은 검색과 생성 두 단계가 함께 결정합니다. 최종 답의 정오만 보는 평가는 어느 단계가 문제인지 알려주지 않고, 그마저도 도메인별 정답 데이터가 있어야 가능합니다. 청킹 방식이나 프롬프트를 바꿀 때마다 사람이 결과를 훑어보는 방식으로는 개선이 실제 개선인지 확인할 수 없어, 실무의 RAG 튜닝은 감에 의존하기 쉬웠습니다.

방법

Es 등(2023)의 RAGAS는 정답 데이터 없이 LLM을 평가자로 활용해 품질을 세 축으로 분해합니다. 충실도는 답변을 개별 진술로 쪼갠 뒤 각 진술이 검색된 문맥에서 추론 가능한지를 LLM에 검증시켜 계산합니다. 답변 관련성은 답변으로부터 있을 법한 질문들을 역으로 생성해 원래 질문과의 임베딩 유사도를 재는 방식으로, 불완전하거나 군더더기가 섞인 답을 걸러냅니다. 문맥 관련성은 검색된 문맥에서 질문에 필요한 문장의 비율을 추출해 계산합니다.

결과

저자들은 위키피디아 기반 WikiEval 데이터셋에서 사람 판정과의 일치율로 지표를 검증했습니다.

지표	RAGAS	GPT Score	GPT Ranking
충실도	0.95	0.72	0.54
답변 관련성	0.78	0.52	0.40
문맥 관련성	0.70	0.63	0.52

분해된 프롬프트 전략을 쓰는 RAGAS가 LLM에 점수를 직접 묻는 방식보다 사람 판정과 훨씬 잘 일치했습니다. 특히 충실도는 일치율 0.95로, 답이 문맥에 근거하는지를 자동으로 판별하는 데 신뢰할 수 있는 수준입니다.

한계와 주의점

문맥 관련성의 사람 일치율은 0.70으로 충실도보다 낮아, 검색 단계 진단은 상대적으로 거친 신호로 받아들여야 합니다. 검증 데이터가 위키피디아 기반 50개 페이지 규모라 전문 도메인에서의 일치율은 별도 확인이 필요하고, LLM을 평가자로 쓰는 구조상 평가 자체에도 모델 호출 비용과 평가자 모델의 편향이 따릅니다. 절대 점수보다 구성 변경 전후의 상대 비교에 쓰는 것이 안전합니다.

도입 검토 가이드

RAG를 운영 중이거나 구축을 앞두고 있는데 도메인 정답 데이터가 없는 조직이라면 모두 해당됩니다. 청킹, 검색, 프롬프트를 바꿀 때마다 사람이 결과를 훑어보고 있다면 이미 이 논문이 겨냥한 상황입니다. 참조가 필요 없으므로 정답지 구축을 기다리지 않고 첫날부터 평가 사이클을 돌릴 수 있습니다.

구분	내용
검토 주체	RAG 품질을 책임지는 ML팀과 서비스 운영의 QA 담당자
전제 조건	평가자 LLM 호출 예산, 실제 사용 패턴을 반영한 대표 질의 표본, 그리고 점수를 절대 평가로 쓰지 않고 구성 변경 전후의 상대 비교로만 쓰는 운영 규율
첫 적용 지점	배포 전 구성 변경의 회귀 평가. 세 지표 중 사람 판정 일치율이 0.95로 가장 높은 충실도부터 게이트로 걸고, 답변 관련성과 문맥 관련성은 보조 신호로 씁니다
판단 기준	자사 도메인 표본에서 사람 판정과의 일치율을 자체 검증한 결과. 논문의 검증이 위키피디아 50개 페이지 기반이므로 전문 도메인에서는 이 확인이 선행되어야 하고, 문맥 관련성은 일치율 0.70으로 충실도보다 거친 신호임을 감안해 해석합니다

코텍시스는 구축 초기에 평가 파이프라인을 함께 설치해 청킹, 검색, 프롬프트 변경의 효과를 수치로 검증하는 운영 체계를 제공합니다.