운영체제에서 배운 에이전트 장기 메모리, MemGPT

에이전트의 기억력 문제를 운영체제의 가상 메모리에서 배운 방식으로 푼 논문이 2023년 UC 버클리에서 나온 MemGPT입니다. 이 논문이 제안한 계층적 메모리 구조는 이후 상용 에이전트 메모리 시스템의 표준 설계 언어가 됐고, 연구는 Letta라는 회사로 이어졌습니다.

문제 배경

언어 모델의 컨텍스트 창은 유한합니다. 창을 늘리는 경쟁이 계속되고 있지만 수개월치 대화 이력이나 대규모 문서 전체를 담을 수는 없고, 창이 커질수록 추론 비용도 함께 늘어납니다. 검색 증강으로 필요한 정보를 그때그때 가져오는 방법도 있으나, 무엇을 저장하고 언제 꺼낼지의 판단이 모델 바깥의 고정된 파이프라인에 묶여 있다는 한계가 있습니다.

방법

운영체제는 빠르지만 작은 물리 메모리와 느리지만 큰 디스크 사이에서 페이지를 교체하며 무한한 메모리가 있는 것 같은 착시를 만듭니다. MemGPT는 이 발상을 그대로 가져와 가상 컨텍스트 관리라 부릅니다. 컨텍스트 창을 주 메모리로, 외부 저장소를 보조 메모리로 두고, 모델이 함수 호출로 정보를 직접 저장하고 검색하고 수정합니다. 중요한 사실은 상시 유지 영역에 적어 두고, 오래된 대화는 외부로 내리고, 필요할 때 검색해 다시 올립니다. 무엇을 기억하고 무엇을 내릴지 모델 자신이 결정한다는 점이 단순 검색 증강과 다릅니다.

결과

논문은 제한된 컨텍스트가 가장 치명적인 두 영역에서 효과를 확인했습니다. 첫째는 문서 분석으로, 기반 모델의 컨텍스트 창을 크게 초과하는 문서에 대한 질의를 처리했습니다. 둘째는 여러 세션에 걸친 대화로, 사용자를 기억하고 회고하며 장기 상호작용을 통해 진화하는 대화 에이전트를 구현했습니다. 두 영역 모두에서 고정 컨텍스트 기반 접근보다 우수한 결과를 보였습니다.

한계와 주의점

메모리 관리 판단을 모델에 맡기는 설계이므로 성능이 모델의 함수 호출 품질에 직접 의존합니다. 판단이 부정확한 모델에서는 중요한 정보를 내리거나 불필요한 정보를 유지하는 오류가 생길 수 있습니다. 또한 메모리 계층 간 이동이 함수 호출로 이루어지는 만큼 호출 횟수와 지연이 늘어나는 비용도 감안해야 합니다.

도입 검토 가이드

여러 세션에 걸쳐 고객이나 프로젝트 맥락을 유지해야 하는 상담·CS 에이전트를 운영하거나, 컨텍스트 창을 초과하는 문서 뭉치에 대한 질의응답이 필요한 조직에 해당합니다. 대화가 한 세션으로 끝나고 참조 문서도 창 안에 들어오는 서비스라면 이 계층 구조는 불필요한 복잡도입니다.

구분	내용
검토 주체	에이전트 아키텍처를 담당하는 AI 플랫폼팀과 고객 데이터의 저장·보존 정책을 정하는 데이터 담당
전제 조건	함수 호출 품질이 검증된 기반 모델과 검색 가능한 외부 저장소. 논문 설계에서 메모리 이동이 전부 모델의 함수 호출로 이루어지므로, 호출 판단이 부정확한 모델 위에서는 구조 자체가 성립하지 않습니다. 상시 유지할 정보와 검색으로 미룰 정보의 분류 기준도 미리 필요합니다
첫 적용 지점	컨텍스트 창을 초과하는 사내 문서에 대한 질의응답 하나, 또는 세션 간 고객 기본 정보 유지 하나. 논문이 효과를 실증한 두 영역이 바로 이 둘입니다
판단 기준	고정 컨텍스트 방식과 나란히 비교해 창 초과 문서 질의의 정답률과 세션 간 정보 유지 정확도가 실제로 오르는지. 함께 늘어나는 함수 호출 횟수와 응답 지연, 중요 정보를 잘못 내리는 오류의 빈도를 반대편 지표로 둡니다

코텍시스는 이 메모리 계층 설계를 에이전트 도입 초기의 데이터 설계 단계에서 함께 다룹니다.