여러 경로를 탐색하며 추론하는 Tree of Thoughts

2023년 프린스턴 대학과 Google DeepMind 연구진이 발표한 Tree of Thoughts(ToT)는 언어 모델의 추론을 한 줄의 생성이 아니라 트리 탐색으로 재구성한 프레임워크입니다. 탐색형 추론이라는 설계 패턴의 출발점이 된 논문으로, 이후 등장한 여러 추론 기법과 에이전트 계획 모듈의 사고방식이 여기에 뿌리를 두고 있습니다.

문제 배경

언어 모델은 토큰을 왼쪽에서 오른쪽으로 한 번씩만 생성합니다. 중간에 잘못된 방향으로 들어서도 되돌아올 방법이 없습니다. Chain of Thought 프롬프팅이 중간 추론 단계를 적게 하여 성능을 끌어올렸지만, 이 역시 하나의 경로를 직진할 뿐입니다. 탐색이나 전략적 선행 판단이 필요한 문제, 초기 결정이 전체 성패를 좌우하는 문제에서 성능이 급락하는 이유입니다.

방법

ToT는 문제 해결의 중간 단계인 사고 단위를 명시적으로 정의하고, 세 가지 동작을 결합합니다. 첫째, 현재 상태에서 다음 사고 후보를 여러 개 생성합니다. 둘째, 각 후보가 얼마나 유망한지 모델 스스로 평가합니다. 셋째, 너비 우선이나 깊이 우선 같은 탐색 알고리즘으로 유망한 경로를 따라가되, 막히면 이전 단계로 되돌아갑니다. 별도 학습 없이 추론 시점의 프롬프팅만으로 구현되며, 사고 단위의 크기와 탐색 폭은 문제에 맞게 설계합니다.

결과

효과는 계획이 필요한 과업에서 극적으로 나타났습니다.

방법 (GPT-4)	Game of 24 성공률
Chain of Thought	4%
Tree of Thoughts	74%

숫자 네 개로 24를 만드는 Game of 24 외에 창의적 글쓰기와 미니 크로스워드에서도 일관된 개선을 보였습니다.

한계와 주의점

탐색에는 대가가 따릅니다. 후보 생성과 평가를 반복하므로 단일 생성보다 모델 호출 횟수와 비용이 크게 늘어납니다. 논문도 이미 잘 풀리는 과업에는 탐색이 불필요하며, ToT는 계획과 탐색이 본질적으로 필요한 문제를 위한 것임을 분명히 합니다. 사고 단위를 어떻게 자를지, 평가 기준을 무엇으로 둘지는 여전히 과업별 설계가 필요한 부분입니다.

기업 적용 관점

업무 자동화 에이전트가 다루는 문제 상당수는 일정 수립이나 자원 배분처럼 한 번의 생성으로 풀리지 않는 계획 문제입니다. 그렇다고 모든 단계에 탐색을 넣으면 비용이 감당되지 않습니다. 실무 답은 선택적 적용입니다. 실패 비용이 크고 초기 결정이 되돌리기 어려운 단계에만 탐색형 추론을 배치하고, 나머지는 단일 생성으로 처리하는 것입니다. 코텍시스는 에이전트 도입 시 업무 흐름에서 어느 단계가 탐색을 정당화할 만큼 실패 비용이 큰지 분석하는 것부터 설계를 시작할 것을 권합니다.