정답지 없이 RAG를 평가하는 RAGAS

RAG 시스템을 만들고 나면 곧바로 다음 질문이 옵니다. 이게 잘 되고 있는지 어떻게 아는가. 전통적 평가는 사람이 만든 정답 데이터가 필요한데, 기업 도메인마다 정답지를 새로 만드는 비용은 큽니다.

문제 배경

RAG의 출력 품질은 검색과 생성 두 단계가 함께 결정합니다. 최종 답의 정오만 보는 평가는 어느 단계가 문제인지 알려주지 않고, 그마저도 도메인별 정답 데이터가 있어야 가능합니다. 청킹 방식이나 프롬프트를 바꿀 때마다 사람이 결과를 훑어보는 방식으로는 개선이 실제 개선인지 확인할 수 없어, 실무의 RAG 튜닝은 감에 의존하기 쉬웠습니다.

방법

Es 등(2023)의 RAGAS는 정답 데이터 없이 LLM을 평가자로 활용해 품질을 세 축으로 분해합니다. 충실도는 답변을 개별 진술로 쪼갠 뒤 각 진술이 검색된 문맥에서 추론 가능한지를 LLM에 검증시켜 계산합니다. 답변 관련성은 답변으로부터 있을 법한 질문들을 역으로 생성해 원래 질문과의 임베딩 유사도를 재는 방식으로, 불완전하거나 군더더기가 섞인 답을 걸러냅니다. 문맥 관련성은 검색된 문맥에서 질문에 필요한 문장의 비율을 추출해 계산합니다.

결과

저자들은 위키피디아 기반 WikiEval 데이터셋에서 사람 판정과의 일치율로 지표를 검증했습니다.

지표	RAGAS	GPT Score	GPT Ranking
충실도	0.95	0.72	0.54
답변 관련성	0.78	0.52	0.40
문맥 관련성	0.70	0.63	0.52

분해된 프롬프트 전략을 쓰는 RAGAS가 LLM에 점수를 직접 묻는 방식보다 사람 판정과 훨씬 잘 일치했습니다. 특히 충실도는 일치율 0.95로, 답이 문맥에 근거하는지를 자동으로 판별하는 데 신뢰할 수 있는 수준입니다.

한계와 주의점

문맥 관련성의 사람 일치율은 0.70으로 충실도보다 낮아, 검색 단계 진단은 상대적으로 거친 신호로 받아들여야 합니다. 검증 데이터가 위키피디아 기반 50개 페이지 규모라 전문 도메인에서의 일치율은 별도 확인이 필요하고, LLM을 평가자로 쓰는 구조상 평가 자체에도 모델 호출 비용과 평가자 모델의 편향이 따릅니다. 절대 점수보다 구성 변경 전후의 상대 비교에 쓰는 것이 안전합니다.

기업 적용 관점

평가 없이 구축된 RAG는 개선 요청이 들어와도 어디를 고쳐야 할지 알 수 없습니다. 답이 틀렸을 때 검색이 문제인지 생성이 문제인지 구분되어야 고칠 곳이 보입니다. 참조가 필요 없으므로 정답지 구축을 기다리지 않고 첫날부터 평가 사이클을 돌릴 수 있다는 점이 기업 도입의 문턱을 낮춥니다. 코텍시스는 구축 초기에 평가 파이프라인을 함께 설치해 청킹, 검색, 프롬프트 변경의 효과를 수치로 검증하는 운영 체계를 제공합니다.