구조화된 LLM 프로그램을 위한 서빙 시스템 SGLang

실제 업무 시스템의 LLM 활용은 단발 질의가 아니라 여러 번의 생성 호출과 제어 흐름, 구조화된 입출력이 얽힌 프로그램 형태입니다. SGLang은 이런 프로그램을 일급 대상으로 놓고 언어와 런타임을 함께 설계한 연구로, vLLM과 함께 오픈소스 서빙의 양대 축이 됐습니다.

문제 배경

기존 서빙 시스템은 호출을 하나씩 독립적으로 처리합니다. 에이전트 루프나 다단계 파이프라인에서는 시스템 프롬프트와 few-shot 예시, 대화 이력이 호출마다 겹치는데도 KV 캐시를 매번 다시 계산합니다. JSON 같은 제약 출력도 토큰 단위로 마스킹을 반복해 느립니다. LLM이 자율 에이전트로 쓰이며 다중 라운드 계획과 도구 사용이 늘어날수록 이런 호출 구조는 더 복잡해지고 중복 계산의 낭비도 커집니다.

방법

SGLang은 생성과 병렬 제어 프리미티브를 갖춘 프론트엔드 언어로 LLM 프로그램을 표현하고, 런타임이 이를 최적화해 실행합니다. 핵심인 RadixAttention은 여러 호출에 걸친 KV 캐시를 라딕스 트리로 관리해 프리픽스가 겹치는 요청 간 재사용을 자동으로 수행합니다. LRU 축출 정책과 캐시 적중률을 높이는 캐시 인지 스케줄링이 함께 들어가며, 연속 배칭이나 PagedAttention 같은 기존 기법과도 호환됩니다. 또한 압축 유한 상태 기계(compressed FSM)로 JSON처럼 형식이 정해진 구간을 여러 토큰씩 한 번에 건너뛰며 디코딩합니다.

결과

에이전트 제어, 논리 추론, few-shot 학습, JSON 디코딩, RAG 파이프라인, 멀티턴 대화 벤치마크에서 다양한 언어 모델과 멀티모달 모델을 대상으로 기존 최신 추론 시스템 대비 최대 6.4배 높은 처리량을 보고했습니다.

한계와 주의점

이득의 원천이 캐시 재사용이므로 프리픽스 겹침이 적은 워크로드에서는 개선 폭이 제한됩니다. 캐시 적중률은 GPU 메모리 여유와 트리 축출 정책에 좌우되므로 동시 사용자가 많고 프롬프트가 다양할수록 실측이 필요합니다. 최대 6.4배는 벤치마크 중 가장 유리한 경우의 수치라는 점도 견적에 반영해야 합니다.

도입 검토 가이드

같은 시스템 프롬프트와 few-shot 예시를 붙인 호출을 대량으로 반복하는 자동화 파이프라인, 다단계 에이전트 루프, JSON 구조화 출력을 쓰는 LLM 시스템을 운영하는 조직에 해당합니다. 단발 질의 위주이고 프롬프트가 요청마다 제각각인 서비스라면 캐시 재사용의 이득이 제한되므로 우선순위가 낮습니다.

구분	내용
검토 주체	LLM 파이프라인을 설계하는 AI 엔지니어링팀, 서빙 엔진을 선정하는 ML 플랫폼팀
전제 조건	프롬프트 템플릿이 고정돼 호출 간 프리픽스 겹침이 실제로 큰 워크로드, 캐시를 유지할 GPU 메모리 여유
첫 적용 지점	문서 분류나 정보 추출처럼 고정 템플릿과 JSON 출력 위주의 배치성 파이프라인
판단 기준	실 워크로드에서 측정한 캐시 적중률과 처리량 개선 폭. 논문의 최대 6.4배는 가장 유리한 벤치마크 수치이므로 자체 실측을 견적 근거로 삼습니다

코텍시스는 아키텍처 제안 단계에서 서빙 엔진 선택을 명시적 설계 항목으로 다루며, 프리픽스 겹침이 큰 자동화 과제에 SGLang 계열 런타임을 실측 근거와 함께 제시합니다.