언어 모델이 스스로 도구 사용을 배우는 방법, Toolformer

오늘날 대부분의 상용 언어 모델이 제공하는 function calling 기능의 원형을 제시한 논문이 2023년 Meta AI가 공개한 Toolformer입니다. 언어 모델이 외부 도구를 언제 어떻게 부를지 사람이 일일이 가르치지 않아도 스스로 익힐 수 있다는 것을 처음으로 체계적으로 보여주었습니다.

문제 배경

대규모 언어 모델은 몇 개의 예시만으로 새로운 과업을 푸는 능력을 보이지만, 역설적으로 사칙연산이나 사실 조회처럼 훨씬 작은 시스템이 잘하는 기본 기능에는 취약합니다. 학습 시점 이후의 정보를 알 수 없고, 계산은 토큰 예측으로 흉내 낼 뿐 정확성이 보장되지 않습니다. 외부 도구를 연결하면 해결되지만, 어느 위치에서 어떤 도구를 어떤 인자로 불러야 하는지 사람이 대량의 예시를 만들어 가르치는 것은 비용이 큽니다.

방법

Toolformer의 핵심은 자기지도 학습입니다. 도구별로 소수의 시연 예시만 주면, 모델이 학습 텍스트 곳곳에 API 호출 후보를 직접 삽입해 봅니다. 그리고 호출 결과를 넣었을 때 이후 토큰 예측의 손실이 실제로 줄어드는 경우만 남기고 나머지는 버립니다. 이렇게 걸러진 텍스트로 다시 학습하면, 모델은 어느 시점에 어떤 도구를 어떤 인자로 부르고 결과를 어떻게 반영할지 익히게 됩니다. 논문은 계산기, 질의응답 시스템, 검색 엔진, 번역 시스템, 캘린더의 다섯 가지 도구를 연동했습니다.

결과

6.7B 파라미터의 GPT-J를 기반으로 학습한 Toolformer는 여러 다운스트림 과업의 제로샷 평가에서 훨씬 큰 모델을 능가했습니다.

항목	내용
기반 모델	GPT-J 6.7B
비교 대상	OPT 66B, GPT-3 175B
사실 조회(LAMA)	최고 베이스라인 대비 11.7, 5.2, 18.6점 개선

특히 사실 조회 과업에서는 모델이 스스로 질의응답 도구를 호출하기로 판단해 25배 큰 GPT-3보다 나은 결과를 냈고, 도구 사용을 배운 뒤에도 언어 모델링 능력 자체는 손상되지 않았습니다.

한계와 주의점

논문이 밝힌 한계도 분명합니다. 도구를 연쇄적으로 사용하지 못하고 한 번의 호출로 끝나며, 검색 결과를 훑어보며 재질의하는 것 같은 상호작용적 사용도 지원하지 않습니다. 호출 후보를 대량으로 샘플링해 걸러내는 방식이라 계산기처럼 유용한 호출이 드물게 발견되는 도구에는 데이터 효율이 낮고, 도구 호출의 비용 자체는 고려하지 않습니다. 실무에서는 이 지점들이 이후 등장한 에이전트 프레임워크가 채운 공백이기도 합니다.

기업 적용 관점

사내 ERP나 검색 시스템을 에이전트에 연결할 때 성패를 가르는 것은 연동한 도구의 개수가 아니라 호출 시점 판단의 품질입니다. 이 논문은 그 판단이 학습과 데이터 설계로 개선 가능한 영역임을 보여줍니다. 예컨대 상담 이력 조회 도구를 붙였는데 에이전트가 불필요한 시점에 호출을 남발하거나 필요한 시점에 부르지 않는다면, 프롬프트 수정 이전에 호출 판단을 측정하는 평가 데이터부터 만들어야 합니다. 코텍시스는 Agentic Workflow 구축 시 이 판단 품질을 평가 지표로 먼저 정의하고 도구 연동 범위를 단계적으로 넓히는 접근을 권합니다.