LLM을 에이전트로서 평가하는 첫 다차원 벤치마크, AgentBench

챗봇으로서의 성능과 에이전트로서의 성능이 다르다는 것을 처음 대규모로 실증한 벤치마크가 AgentBench입니다. 2023년 공개되고 ICLR 2024에 게재된 이 연구는 에이전트용 모델 선정에 별도의 평가 축이 필요하다는 인식을 업계에 자리 잡게 했습니다.

문제 배경

언어 모델 평가는 오랫동안 단발성 질의응답의 정확도 중심이었습니다. 그러나 에이전트로 일하는 모델에게 필요한 것은 환경의 피드백을 받아 여러 턴에 걸쳐 행동을 결정하고 목표를 유지하는 능력입니다. 챗봇 리더보드 상위 모델이 다단계 과업에서도 잘하리라는 보장은 없었지만, 이를 확인할 체계적인 측정 도구가 없었습니다.

방법

AgentBench는 성격이 다른 8개의 상호작용 환경으로 구성됩니다. 운영체제 셸 조작, 데이터베이스 질의, 지식 그래프 탐색, 디지털 카드 게임, 수평적 사고 퍼즐, 가정 환경 시뮬레이션, 웹 쇼핑, 웹 브라우징입니다. 각 환경에서 모델은 상태를 관찰하고 행동을 선택하며 여러 턴에 걸쳐 과업을 수행합니다. 단일 정답 맞히기가 아니라 환경과의 상호작용 속에서 추론과 의사결정의 품질을 재는 구조입니다.

결과

API 기반 상용 모델과 오픈소스 모델을 합쳐 29개 LLM을 광범위하게 평가한 결과 두 가지가 확인됐습니다. 상용 최상위 모델은 복잡한 환경에서도 상당한 에이전트 능력을 보였지만, 70B 이하 오픈소스 모델과의 격차는 현저했습니다. 실패의 전형적 원인으로는 장기 추론, 의사결정, 지시 준수 능력의 부족이 지목됐고, 고품질 멀티턴 정렬 데이터로 학습하면 에이전트 성능이 개선된다는 분석도 제시됐습니다. 흥미로운 발견은 코드 학습의 효과가 과업에 따라 양면적이었다는 점입니다.

한계와 주의점

벤치마크의 8개 환경은 실제 기업 업무의 대리 지표일 뿐입니다. 게임이나 퍼즐 환경의 점수가 특정 사내 업무의 성공률로 바로 번역되지는 않습니다. 또한 평가 대상 모델과 점수는 발표 시점 기준이므로, 순위 자체보다 상용과 오픈소스의 격차 구조와 실패 원인 분석을 읽어야 하는 논문입니다.

기업 적용 관점

에이전트용 모델 선정은 챗봇 리더보드가 아니라 자사 업무와 유사한 환경의 다단계 과업 성공률로 판단해야 합니다. 비용 때문에 소형 오픈소스 모델을 검토한다면 이 논문이 보여준 격차를 전제로 파인튜닝과 워크플로 보강을 함께 계획해야 합니다. 코텍시스는 도입 전 자사 업무를 축소한 평가 환경을 먼저 만들고, 후보 모델들을 그 위에서 비교한 뒤 모델을 확정하는 것을 표준 절차로 권합니다.