에이전트 워크플로를 사람 대신 탐색으로 설계하는 AFlow

에이전트 워크플로를 사람이 설계하는 것이 아니라 기계가 탐색으로 찾게 한 연구가 2024년 공개된 AFlow입니다. ICLR 2025에서 주목받은 이 논문은 워크플로 설계라는 수작업 영역이 자동 최적화의 대상이 될 수 있음을 보여주었습니다.

문제 배경

에이전트 워크플로의 성능은 어떤 순서로 생성하고 검토하고 수정하게 하느냐에 크게 좌우됩니다. 문제는 이 설계가 지금까지 사람의 수작업 시행착오였다는 점입니다. 업무가 바뀔 때마다 다시 설계해야 하니 확장이 어렵고, 설계 품질이 담당자의 경험에 묶입니다. 워크플로 자동 생성을 시도한 선행 연구들도 초기 수작업 설정에 의존하거나 완전한 자동화에는 이르지 못했습니다.

방법

AFlow는 워크플로 최적화를 코드로 표현된 워크플로 공간의 탐색 문제로 재정의합니다. 워크플로를 LLM 호출 노드가 엣지로 연결된 코드 구조로 표현하고, 몬테카를로 트리 탐색(MCTS)으로 이 공간을 탐색합니다. 후보 워크플로를 실행해 얻은 점수를 피드백으로 코드 수정을 반복하고, 탐색 트리에 누적된 경험을 활용해 더 유망한 수정 방향을 고릅니다. 최적화를 이끄는 모델과 워크플로를 실행하는 모델을 분리할 수 있어, 강한 모델이 설계하고 저렴한 모델이 실행하는 조합이 가능합니다.

결과

질의응답(HotpotQA, DROP), 코드 생성(HumanEval, MBPP), 수학(GSM8K, MATH)의 6개 벤치마크에서 AFlow가 찾은 워크플로는 수작업 설계와 기존 자동화 방법을 평균 5.7% 앞섰습니다. 주목할 결과는 비용입니다. 소형 모델에 AFlow가 찾은 워크플로를 얹으면 특정 과업에서 GPT-4o보다 나은 성능을 달러 기준 추론 비용의 4.55%로 달성했습니다.

한계와 주의점

탐색에는 실행 기반 피드백이 필요하므로 업무 성공을 자동으로 판정할 평가 데이터와 채점 기준이 전제됩니다. 벤치마크처럼 정답이 명확한 과업과 달리, 판정 기준이 모호한 업무에는 그대로 적용하기 어렵습니다. 또한 탐색 과정 자체가 다수의 워크플로 실행을 요구하므로 최적화 단계의 비용도 감안해야 합니다.

기업 적용 관점

좋은 워크플로 설계는 비싼 모델을 대체할 수 있다는 것이 이 논문의 실무적 결론입니다. 대량 반복 업무라면 강한 모델을 그대로 쓰는 것보다 소형 모델 위에 최적화된 워크플로를 얹는 쪽이 운영 비용 구조를 근본적으로 바꿉니다. 다만 그 전제는 업무별 평가 데이터입니다. 기업이 먼저 준비할 것은 에이전트가 아니라 업무 성공을 판정하는 평가 기준이며, 코텍시스의 Agentic Workflow 구축도 이 평가 체계 정의에서 시작합니다.