구조화된 LLM 프로그램을 위한 서빙 시스템 SGLang

실제 업무 시스템의 LLM 활용은 단발 질의가 아니라 여러 번의 생성 호출과 제어 흐름, 구조화된 입출력이 얽힌 프로그램 형태입니다. SGLang은 이런 프로그램을 일급 대상으로 놓고 언어와 런타임을 함께 설계한 연구로, vLLM과 함께 오픈소스 서빙의 양대 축이 됐습니다.

문제 배경

기존 서빙 시스템은 호출을 하나씩 독립적으로 처리합니다. 에이전트 루프나 다단계 파이프라인에서는 시스템 프롬프트와 few-shot 예시, 대화 이력이 호출마다 겹치는데도 KV 캐시를 매번 다시 계산합니다. JSON 같은 제약 출력도 토큰 단위로 마스킹을 반복해 느립니다. LLM이 자율 에이전트로 쓰이며 다중 라운드 계획과 도구 사용이 늘어날수록 이런 호출 구조는 더 복잡해지고 중복 계산의 낭비도 커집니다.

방법

SGLang은 생성과 병렬 제어 프리미티브를 갖춘 프론트엔드 언어로 LLM 프로그램을 표현하고, 런타임이 이를 최적화해 실행합니다. 핵심인 RadixAttention은 여러 호출에 걸친 KV 캐시를 라딕스 트리로 관리해 프리픽스가 겹치는 요청 간 재사용을 자동으로 수행합니다. LRU 축출 정책과 캐시 적중률을 높이는 캐시 인지 스케줄링이 함께 들어가며, 연속 배칭이나 PagedAttention 같은 기존 기법과도 호환됩니다. 또한 압축 유한 상태 기계(compressed FSM)로 JSON처럼 형식이 정해진 구간을 여러 토큰씩 한 번에 건너뛰며 디코딩합니다.

결과

에이전트 제어, 논리 추론, few-shot 학습, JSON 디코딩, RAG 파이프라인, 멀티턴 대화 벤치마크에서 다양한 언어 모델과 멀티모달 모델을 대상으로 기존 최신 추론 시스템 대비 최대 6.4배 높은 처리량을 보고했습니다.

한계와 주의점

이득의 원천이 캐시 재사용이므로 프리픽스 겹침이 적은 워크로드에서는 개선 폭이 제한됩니다. 캐시 적중률은 GPU 메모리 여유와 트리 축출 정책에 좌우되므로 동시 사용자가 많고 프롬프트가 다양할수록 실측이 필요합니다. 최대 6.4배는 벤치마크 중 가장 유리한 경우의 수치라는 점도 견적에 반영해야 합니다.

기업 적용 관점

기업 자동화 파이프라인은 같은 시스템 프롬프트와 예시를 수천 번 반복 호출하는 구조가 대부분입니다. 문서 분류나 정보 추출처럼 JSON 출력이 많고 프롬프트 템플릿이 고정된 수주 과제라면 SGLang 계열 런타임 채택만으로 온프레미스 GPU 비용 산정이 달라지므로, 아키텍처 제안 단계에서 서빙 엔진 선택을 명시적 설계 항목으로 다룰 가치가 있습니다.