LLM을 에이전트로서 평가하는 첫 다차원 벤치마크, AgentBench

챗봇으로서의 성능과 에이전트로서의 성능이 다르다는 것을 처음 대규모로 실증한 벤치마크가 AgentBench입니다. 2023년 공개되고 ICLR 2024에 게재된 이 연구는 에이전트용 모델 선정에 별도의 평가 축이 필요하다는 인식을 업계에 자리 잡게 했습니다.

문제 배경

언어 모델 평가는 오랫동안 단발성 질의응답의 정확도 중심이었습니다. 그러나 에이전트로 일하는 모델에게 필요한 것은 환경의 피드백을 받아 여러 턴에 걸쳐 행동을 결정하고 목표를 유지하는 능력입니다. 챗봇 리더보드 상위 모델이 다단계 과업에서도 잘하리라는 보장은 없었지만, 이를 확인할 체계적인 측정 도구가 없었습니다.

방법

AgentBench는 성격이 다른 8개의 상호작용 환경으로 구성됩니다. 운영체제 셸 조작, 데이터베이스 질의, 지식 그래프 탐색, 디지털 카드 게임, 수평적 사고 퍼즐, 가정 환경 시뮬레이션, 웹 쇼핑, 웹 브라우징입니다. 각 환경에서 모델은 상태를 관찰하고 행동을 선택하며 여러 턴에 걸쳐 과업을 수행합니다. 단일 정답 맞히기가 아니라 환경과의 상호작용 속에서 추론과 의사결정의 품질을 재는 구조입니다.

결과

API 기반 상용 모델과 오픈소스 모델을 합쳐 29개 LLM을 광범위하게 평가한 결과 두 가지가 확인됐습니다. 상용 최상위 모델은 복잡한 환경에서도 상당한 에이전트 능력을 보였지만, 70B 이하 오픈소스 모델과의 격차는 현저했습니다. 실패의 전형적 원인으로는 장기 추론, 의사결정, 지시 준수 능력의 부족이 지목됐고, 고품질 멀티턴 정렬 데이터로 학습하면 에이전트 성능이 개선된다는 분석도 제시됐습니다. 흥미로운 발견은 코드 학습의 효과가 과업에 따라 양면적이었다는 점입니다.

한계와 주의점

벤치마크의 8개 환경은 실제 기업 업무의 대리 지표일 뿐입니다. 게임이나 퍼즐 환경의 점수가 특정 사내 업무의 성공률로 바로 번역되지는 않습니다. 또한 평가 대상 모델과 점수는 발표 시점 기준이므로, 순위 자체보다 상용과 오픈소스의 격차 구조와 실패 원인 분석을 읽어야 하는 논문입니다.

도입 검토 가이드

에이전트 프로젝트를 앞두고 어느 모델을 쓸지 정해야 하는 조직, 특히 비용이나 데이터 반출 제약 때문에 소형 오픈소스 모델을 후보에 올려 둔 조직에 해당합니다. 챗봇 용도로 이미 만족스러운 모델을 그대로 에이전트에 쓰려는 계획이라면, 두 성능이 다르다는 이 논문의 실증이 재검토의 근거가 됩니다.

구분	내용
검토 주체	에이전트용 기반 모델 선정을 담당하는 AI팀과 모델 비용·반출 정책을 정하는 담당 부서
전제 조건	자사 업무를 축소해 만든 다단계 평가 환경. 논문의 8개 환경이 그랬듯 상태 관찰과 행동 선택이 여러 턴 반복되는 형태여야 하며, 과업 성공을 판정할 채점 기준이 함께 있어야 합니다. 오픈소스 모델을 검토한다면 멀티턴 정렬 데이터로 파인튜닝할 준비도 전제입니다
첫 적용 지점	자사 업무와 성격이 가까운 환경 한두 개를 골라 후보 모델을 나란히 평가하는 것. 데이터베이스 질의나 운영체제 셸 조작 환경은 사내 시스템 연동 업무와 구조가 유사해 출발점으로 적합합니다
판단 기준	후보 모델별 다단계 과업 성공률과 함께, 논문이 실패 원인으로 지목한 장기 추론·의사결정·지시 준수의 실패 빈도. 소형 오픈소스 모델을 채택한다면 파인튜닝과 워크플로 보강 후에 상용 모델과의 격차가 허용 범위로 줄어드는지가 최종 기준입니다

코텍시스는 도입 전 자사 업무를 축소한 평가 환경을 먼저 만들고, 후보 모델들을 그 위에서 비교한 뒤 모델을 확정하는 것을 표준 절차로 권합니다.