에이전트에게 진짜 컴퓨터를 쥐여준 벤치마크, OSWorld

Computer use 에이전트의 실력을 실제 컴퓨터 위에서 처음으로 엄밀하게 잰 벤치마크가 2024년 발표된 OSWorld입니다. 이후 각 사가 화면 조작 에이전트를 발표할 때마다 이 벤치마크 점수를 성적표로 제시하게 되면서, GUI 자동화 기술의 성숙도를 추적하는 공통 기준선이 됐습니다.

문제 배경

사람의 사무 업무 상당수는 API가 아니라 화면 위에서 이루어집니다. 스프레드시트를 편집하고 여러 프로그램을 오가며 파일을 옮기는 일입니다. 그러나 기존 벤치마크는 상호작용 환경이 없거나 특정 앱과 도메인에 갇혀 있어, 임의의 애플리케이션을 넘나드는 실제 컴퓨터 사용의 복잡성을 반영하지 못했습니다. 시연 영상 속 에이전트가 실무에서 어느 정도 통할지 판단할 근거가 없었던 셈입니다.

방법

OSWorld는 Ubuntu, Windows, macOS를 아우르는 실제 운영체제 환경에서 과업 설정, 실행, 평가를 지원하는 확장 가능한 실컴퓨터 환경입니다. 이 위에 실제 사용 사례에서 도출한 369개 과업의 벤치마크를 구축했는데, 실제 웹과 데스크톱 앱 사용, 운영체제 파일 입출력, 여러 애플리케이션에 걸친 워크플로를 포함합니다. 각 과업은 상세한 초기 상태 설정과 실행 기반 채점 스크립트를 갖추고 있어, 화면이 비슷해 보이는지가 아니라 과업이 실제로 완수됐는지를 재현 가능하게 판정합니다.

결과

당시 최고 수준의 LLM과 VLM 기반 에이전트를 평가한 결과는 냉정했습니다.

수행 주체	과업 성공률
사람	72.36%
최고 성능 모델	12.24%

일부 애플리케이션 영역에서는 모델 성공률이 0%까지 떨어졌습니다. 격차의 주요 원인으로는 GUI 그라운딩 부족과 운영 지식 부족이 지목됐습니다. 화면 어디를 눌러야 하는지 아는 능력 자체가 병목이라는 뜻입니다.

한계와 주의점

사람의 성공률이 72.36%라는 점도 눈여겨볼 부분입니다. 과업 자체가 쉽지 않다는 뜻이므로 모델 점수를 절대 평가로 읽기보다 사람 대비 격차로 읽어야 합니다. 발표 이후 모델들의 점수가 빠르게 오르고 있으므로 특정 시점의 수치보다 추세를 보는 것이 실무 판단에 유용합니다.

도입 검토 가이드

API가 없는 레거시 프로그램이나 화면 조작으로만 처리되는 사무 업무가 많아 GUI 자동화를 검토하는 조직에 해당합니다. 처리하려는 업무에 API가 이미 있다면 이 벤치마크가 보여준 낮은 성공률을 감수할 이유가 없으므로, 검토는 API로 대체 불가능한 구간을 가려내는 것에서 시작해야 합니다.

구분	내용
검토 주체	업무 자동화 담당 조직(RPA 운영팀 포함)과 에이전트의 시스템 접근 권한을 심사할 정보보안팀
전제 조건	대상 업무가 실패했을 때 되돌릴 수 있는지의 분류, 실행 전 승인과 실행 후 결과 검증을 넣을 수 있는 워크플로, 그리고 오조작이 실데이터에 닿지 않는 격리된 시험 환경. 사람 대비 격차가 큰 현 수준에서는 이 안전장치가 선택이 아니라 전제입니다
첫 적용 지점	API가 없는 레거시 구간 가운데 조회와 입력 검증처럼 실패해도 되돌릴 수 있는 저위험 작업 한두 개. 논문에서 일부 애플리케이션 영역의 성공률이 0%였던 만큼, 파일럿으로 자사 대상 프로그램에서의 성공률을 직접 확인해야 합니다
판단 기준	자사 파일럿 과업의 성공률과 오조작 발생률을 사람 수행과 비교한 격차. 벤치마크의 사람 72.36% 대 모델 12.24%라는 격차 구조를 기준 삼아, 후속 모델들의 OSWorld 점수 추세가 자사 허용 수준에 도달했는지를 도입 시점 판단에 씁니다

화면 조작은 API 연동보다 본질적으로 취약하므로, 코텍시스는 GUI 자동화 검토 시 API로 대체 가능한 구간을 먼저 분리하고 화면 조작은 API가 없는 레거시 구간에만 한정하는 설계를 권합니다.