깃허브 이슈로 코드 에이전트를 시험하는 SWE-bench

코드 에이전트의 성적표로 가장 널리 인용되는 벤치마크가 2023년 프린스턴 대학에서 나온 SWE-bench입니다. 각 사가 코딩 에이전트를 발표할 때마다 이 점수를 앞세우게 되면서, 개발 업무 자동화의 성숙도를 추적하는 사실상의 표준 척도가 됐습니다.

문제 배경

코드 생성 평가는 오랫동안 함수 하나를 채우는 수준의 문제에 머물렀습니다. 그러나 실제 개발 업무는 수만 줄 코드베이스에서 이슈를 읽고 원인을 찾아 여러 파일에 걸친 수정을 조율하는 일입니다. 함수 완성 벤치마크의 포화된 점수로는 모델이 실제 소프트웨어 엔지니어링을 어디까지 할 수 있는지 알 수 없었습니다.

방법

SWE-bench는 이 현실을 평가에 그대로 가져왔습니다. django, scikit-learn 등 12개 인기 파이썬 저장소에서 실제 깃허브 이슈와 이를 해결한 풀 리퀘스트 2,294쌍을 수집했습니다. 모델은 코드베이스와 이슈 설명을 받아 코드베이스를 수정하는 패치를 생성하고, 채점은 해당 저장소의 실제 테스트 실행으로 이루어집니다. 정답 코드와 비슷한지가 아니라 테스트가 통과하는지를 봅니다. 문제 해결에는 여러 함수와 클래스와 파일에 걸친 변경 조율, 실행 환경과의 상호작용, 매우 긴 컨텍스트 처리가 요구됩니다.

결과

발표 당시 결과는 냉정했습니다.

항목	수치
저장소	12개 파이썬 오픈소스
문제 수	2,294건
최고 해결률 (Claude 2)	1.96%

검색 증강을 붙인 최고 성능 모델도 가장 단순한 이슈만 풀 수 있었습니다. 이 낮은 출발점이 오히려 기준선이 되어, 이후 코드 에이전트들이 이 수치를 끌어올리는 경쟁이 시작됐습니다.

한계와 주의점

벤치마크는 파이썬 오픈소스 저장소만 다루므로 다른 언어와 사내 코드베이스로의 일반화에는 주의가 필요합니다. 또한 대상 저장소가 공개돼 있어 모델 학습 데이터에 포함됐을 가능성이 논의돼 왔고, 이후 검증된 부분집합인 SWE-bench Verified 같은 정제판이 나온 배경이기도 합니다. 점수를 읽을 때는 어떤 변형판 기준인지 확인해야 합니다.

도입 검토 가이드

코드 에이전트로 개발 업무 일부를 자동화하려는 조직 가운데, 자동화 대상 코드베이스에 성공을 판정할 테스트가 이미 있거나 만들 수 있는 곳에 해당합니다. 이 벤치마크가 테스트 실행 채점 덕분에 개선 경쟁을 가능하게 했듯, 테스트가 없는 코드베이스에서는 에이전트가 무엇을 잘했는지 판정할 방법 자체가 없습니다.

구분	내용
검토 주체	개발 조직의 리드와 CI·테스트 인프라를 관리하는 플랫폼 엔지니어링 담당
전제 조건	자동으로 실행되는 테스트 스위트와 CI 파이프라인. 벤치마크의 채점이 저장소의 실제 테스트 실행으로 이루어지듯, 사내에서도 패치의 성공을 사람 검토 없이 판정하려면 이 기반이 먼저 필요합니다. 파이썬 외 언어나 비공개 코드베이스라면 벤치마크 점수의 일반화 한계도 감안해야 합니다
첫 적용 지점	테스트로 검증 가능한 반복 버그 수정과 의존성 갱신. 여러 파일에 걸친 대규모 수정은 발표 당시 최고 모델도 1.96%밖에 풀지 못했던 난도의 작업이므로 뒤로 미룹니다
판단 기준	사내 이슈 샘플에 대한 에이전트의 테스트 통과율과 사람 검토에서의 반려율. 외부 지표로는 SWE-bench Verified 같은 정제판 기준의 점수 추세를 참고하되, 어떤 변형판 수치인지 확인하고 자사 스택과의 차이를 감안해 읽습니다

사내에서도 에이전트에 맡길 업무에는 성공을 판정할 테스트가 먼저 있어야 하며, 코텍시스는 이를 위한 테스트 기반 검증 체계 구축을 함께 지원합니다.