에이전트의 사고를 미리 겪어보는 안전 평가, ToolEmu

권한을 가진 에이전트가 저지를 수 있는 사고를 실제 피해 없이 미리 겪어보게 하는 방법을 제시한 논문이 2023년 발표된 ToolEmu입니다. 에이전트 레드팀 평가라는 실무 절차의 원형을 보여준 연구로, ICLR 2024에서 주목받았습니다.

문제 배경

이메일 발송이나 파일 삭제 권한을 가진 에이전트가 잘못 판단하면 피해가 실제로 발생합니다. 그렇다고 위험 시나리오를 실환경에서 시험할 수는 없습니다. 도구와 환경을 시나리오마다 수작업으로 구축하는 테스트는 비용이 크고, 에이전트가 복잡해질수록 발생 확률은 낮지만 피해가 큰 롱테일 위험을 찾기가 점점 어려워집니다.

방법

ToolEmu는 도구 실행 자체를 언어 모델로 에뮬레이션합니다. 에이전트가 도구를 호출하면 실제 시스템 대신 LM 에뮬레이터가 그럴듯한 실행 결과를 돌려주므로, 도구를 실제로 구현하거나 환경을 구축하지 않고도 다양한 도구와 시나리오에서 에이전트를 시험할 수 있습니다. 별도의 LM 평가자가 에이전트 행동의 실패 여부와 위험도를 자동 채점하고, 에뮬레이터를 의도적으로 적대적으로 설정해 실패가 드러나기 쉬운 상황을 만들 수도 있습니다. 이렇게 구성한 벤치마크는 36개 고위험 도구 모음과 144개 테스트 케이스로 이루어집니다.

결과

사람 평가로 검증한 결과 ToolEmu가 찾은 실패의 68.8%가 실제 환경에서도 유효한 실패로 판정됐습니다. 에뮬레이션이 가짜 위험을 만들어내는 것이 아니라 실제 위험을 저비용으로 앞당겨 보여준다는 뜻입니다. 그리고 현행 에이전트들의 정량 위험 분석에서, 평가 대상 중 가장 안전한 에이전트도 23.9%의 비율로 심각한 위험 행동을 보였습니다.

한계와 주의점

에뮬레이터와 평가자가 모두 언어 모델이므로 실패의 31.2%는 실환경에서 재현되지 않는 오탐이었고, 에뮬레이션의 충실도에는 한계가 있습니다. 이 방법은 배포 판정 도구가 아니라 위험 후보를 넓게 걸러내는 선별 도구로 이해해야 하며, 걸러진 시나리오는 실환경에 가까운 검증으로 이어져야 합니다.

기업 적용 관점

에이전트 가드레일은 배포 후 모니터링만으로는 늦습니다. 권한 있는 도구를 연결하기 전에 에뮬레이션 기반 사전 평가로 자사 시나리오의 위험 유형을 파악하고, 그 결과를 승인 절차와 권한 범위 설계에 반영해야 합니다. 특히 결제, 발송, 삭제처럼 되돌리기 어려운 도구는 사전 평가에서 실패 사례가 나온 유형에 한해 사람 승인을 필수로 두는 식의 차등 설계가 가능합니다. 코텍시스는 Agentic Workflow 구축 시 이런 레드팀 성격의 평가를 도입 절차에 포함할 것을 권합니다.