운영체제에서 배운 에이전트 장기 메모리, MemGPT

에이전트의 기억력 문제를 운영체제의 가상 메모리에서 배운 방식으로 푼 논문이 2023년 UC 버클리에서 나온 MemGPT입니다. 이 논문이 제안한 계층적 메모리 구조는 이후 상용 에이전트 메모리 시스템의 표준 설계 언어가 됐고, 연구는 Letta라는 회사로 이어졌습니다.

문제 배경

언어 모델의 컨텍스트 창은 유한합니다. 창을 늘리는 경쟁이 계속되고 있지만 수개월치 대화 이력이나 대규모 문서 전체를 담을 수는 없고, 창이 커질수록 추론 비용도 함께 늘어납니다. 검색 증강으로 필요한 정보를 그때그때 가져오는 방법도 있으나, 무엇을 저장하고 언제 꺼낼지의 판단이 모델 바깥의 고정된 파이프라인에 묶여 있다는 한계가 있습니다.

방법

운영체제는 빠르지만 작은 물리 메모리와 느리지만 큰 디스크 사이에서 페이지를 교체하며 무한한 메모리가 있는 것 같은 착시를 만듭니다. MemGPT는 이 발상을 그대로 가져와 가상 컨텍스트 관리라 부릅니다. 컨텍스트 창을 주 메모리로, 외부 저장소를 보조 메모리로 두고, 모델이 함수 호출로 정보를 직접 저장하고 검색하고 수정합니다. 중요한 사실은 상시 유지 영역에 적어 두고, 오래된 대화는 외부로 내리고, 필요할 때 검색해 다시 올립니다. 무엇을 기억하고 무엇을 내릴지 모델 자신이 결정한다는 점이 단순 검색 증강과 다릅니다.

결과

논문은 제한된 컨텍스트가 가장 치명적인 두 영역에서 효과를 확인했습니다. 첫째는 문서 분석으로, 기반 모델의 컨텍스트 창을 크게 초과하는 문서에 대한 질의를 처리했습니다. 둘째는 여러 세션에 걸친 대화로, 사용자를 기억하고 회고하며 장기 상호작용을 통해 진화하는 대화 에이전트를 구현했습니다. 두 영역 모두에서 고정 컨텍스트 기반 접근보다 우수한 결과를 보였습니다.

한계와 주의점

메모리 관리 판단을 모델에 맡기는 설계이므로 성능이 모델의 함수 호출 품질에 직접 의존합니다. 판단이 부정확한 모델에서는 중요한 정보를 내리거나 불필요한 정보를 유지하는 오류가 생길 수 있습니다. 또한 메모리 계층 간 이동이 함수 호출로 이루어지는 만큼 호출 횟수와 지연이 늘어나는 비용도 감안해야 합니다.

기업 적용 관점

업무 에이전트의 실용성은 지능만큼 기억력이 좌우합니다. 담당자 인수인계 이력이나 고객별 협의 맥락을 잃는 에이전트는 매번 처음부터 다시 묻게 되고, 이는 곧 사용자 이탈로 이어집니다. MemGPT의 계층 구조는 어떤 정보를 상시 유지하고 어떤 정보를 검색으로 미룰지에 대한 설계 언어를 제공합니다. 고객 상담 에이전트라면 고객 기본 정보와 진행 중인 협의는 상시 영역에, 과거 상담 전문은 검색 영역에 두는 식입니다. 코텍시스는 이 메모리 계층 설계를 에이전트 도입 초기의 데이터 설계 단계에서 함께 다룹니다.