SGLang: 구조화된 LLM 프로그램을 위한 서빙 시스템
SGLang은 다중 호출과 제어 흐름이 얽힌 LLM 프로그램을 위한 언어와 런타임을 함께 설계해 RadixAttention 기반 KV 캐시 재사용으로 기존 시스템 대비 최대 6.4배의 처리량을 달성했습니다. 에이전트 워크플로와 JSON 구조화 출력이 많은 기업 자동화 파이프라인일수록 이 캐시 재사용 효과가 비용 절감으로 직결됩니다.
실제 업무 시스템의 LLM 활용은 단발 질의가 아니라 여러 번의 생성 호출과 제어 흐름, 구조화된 입출력이 얽힌 프로그램 형태입니다. SGLang은 이런 프로그램을 일급 대상으로 놓고 언어와 런타임을 함께 설계한 연구로, vLLM과 함께 오픈소스 서빙의 양대 축이 됐습니다.
핵심 요약
- SGLang은 생성과 병렬 제어 프리미티브를 갖춘 프론트엔드 언어로 LLM 프로그램을 표현하고, 런타임이 이를 최적화해 실행합니다.
- 압축 유한 상태 기계(compressed FSM)로 JSON처럼 형식이 정해진 구간을 여러 토큰씩 한 번에 건너뛰며 디코딩합니다.
- 이득의 원천이 캐시 재사용이므로 프리픽스 겹침이 적은 워크로드에서는 개선 폭이 제한되며, 최대 6.4배는 벤치마크 중 가장 유리한 경우의 수치입니다.
문제 배경
기존 서빙 시스템은 호출을 하나씩 독립적으로 처리합니다. 에이전트 루프나 다단계 파이프라인에서는 시스템 프롬프트와 few-shot 예시, 대화 이력이 호출마다 겹치는데도 KV 캐시를 매번 다시 계산합니다. JSON 같은 제약 출력도 토큰 단위로 마스킹을 반복해 느립니다. LLM이 자율 에이전트로 쓰이며 다중 라운드 계획과 도구 사용이 늘어날수록 이런 호출 구조는 더 복잡해지고 중복 계산의 낭비도 커집니다.
방법
SGLang은 생성과 병렬 제어 프리미티브를 갖춘 프론트엔드 언어로 LLM 프로그램을 표현하고, 런타임이 이를 최적화해 실행합니다. 핵심인 RadixAttention은 여러 호출에 걸친 KV 캐시를 라딕스 트리로 관리해 프리픽스가 겹치는 요청 간 재사용을 자동으로 수행합니다. LRU 축출 정책과 캐시 적중률을 높이는 캐시 인지 스케줄링이 함께 들어가며, 연속 배칭이나 PagedAttention 같은 기존 기법과도 호환됩니다. 또한 압축 유한 상태 기계(compressed FSM)로 JSON처럼 형식이 정해진 구간을 여러 토큰씩 한 번에 건너뛰며 디코딩합니다.
결과
에이전트 제어, 논리 추론, few-shot 학습, JSON 디코딩, RAG 파이프라인, 멀티턴 대화 벤치마크에서 다양한 언어 모델과 멀티모달 모델을 대상으로 기존 최신 추론 시스템 대비 최대 6.4배 높은 처리량을 보고했습니다.
한계와 주의점
이득의 원천이 캐시 재사용이므로 프리픽스 겹침이 적은 워크로드에서는 개선 폭이 제한됩니다. 캐시 적중률은 GPU 메모리 여유와 트리 축출 정책에 좌우되므로 동시 사용자가 많고 프롬프트가 다양할수록 실측이 필요합니다. 최대 6.4배는 벤치마크 중 가장 유리한 경우의 수치라는 점도 견적에 반영해야 합니다.
자주 묻는 질문
SGLang이란 무엇인가요?
여러 번의 생성 호출과 제어 흐름, 구조화된 입출력이 얽힌 LLM 프로그램을 위해 언어와 런타임을 함께 설계한 서빙 시스템입니다. vLLM과 함께 오픈소스 서빙의 양대 축으로 꼽힙니다.
RadixAttention이란 무엇인가요?
여러 호출에 걸친 KV 캐시를 라딕스 트리로 관리해 프리픽스가 겹치는 요청 간 재사용을 자동으로 수행하는 SGLang의 핵심 기법입니다. LRU 축출 정책과 캐시 인지 스케줄링이 함께 들어가며, 연속 배칭이나 PagedAttention 같은 기존 기법과도 호환됩니다.
SGLang의 처리량은 얼마나 높은가요?
에이전트 제어, 논리 추론, few-shot 학습, JSON 디코딩, RAG 파이프라인, 멀티턴 대화 벤치마크에서 기존 최신 추론 시스템 대비 최대 6.4배 높은 처리량을 보고했습니다. 가장 유리한 경우의 수치이므로 실 워크로드에서 캐시 적중률과 처리량을 실측해야 합니다.
SGLang은 어떤 워크로드에 적합한가요?
같은 시스템 프롬프트와 few-shot 예시를 붙인 호출을 대량으로 반복하는 자동화 파이프라인, 다단계 에이전트 루프, JSON 구조화 출력을 쓰는 시스템에 적합합니다. 단발 질의 위주이고 프롬프트가 요청마다 제각각이면 캐시 재사용의 이득이 제한됩니다.
도입 검토 가이드
같은 시스템 프롬프트와 few-shot 예시를 붙인 호출을 대량으로 반복하는 자동화 파이프라인, 다단계 에이전트 루프, JSON 구조화 출력을 쓰는 LLM 시스템을 운영하는 조직에 해당합니다. 단발 질의 위주이고 프롬프트가 요청마다 제각각인 서비스라면 캐시 재사용의 이득이 제한되므로 우선순위가 낮습니다.
| 구분 | 내용 |
|---|---|
| 검토 주체 | LLM 파이프라인을 설계하는 AI 엔지니어링팀, 서빙 엔진을 선정하는 ML 플랫폼팀 |
| 전제 조건 | 프롬프트 템플릿이 고정돼 호출 간 프리픽스 겹침이 실제로 큰 워크로드, 캐시를 유지할 GPU 메모리 여유 |
| 첫 적용 지점 | 문서 분류나 정보 추출처럼 고정 템플릿과 JSON 출력 위주의 배치성 파이프라인 |
| 판단 기준 | 실 워크로드에서 측정한 캐시 적중률과 처리량 개선 폭. 논문의 최대 6.4배는 가장 유리한 벤치마크 수치이므로 자체 실측을 견적 근거로 삼습니다 |
코텍시스는 아키텍처 제안 단계에서 서빙 엔진 선택을 명시적 설계 항목으로 다루며, 프리픽스 겹침이 큰 자동화 과제에 SGLang 계열 런타임을 실측 근거와 함께 제시합니다.
코텍시스 AI사업부는 sLLM 최적화, Advanced RAG, AI Agent 개발을 수행합니다. 이런 기법의 도입을 검토 중이라면 문의를 남겨주세요.
이 기술을 도입하려면: sLLM & SLM Optimization
AI 개발 문의기술 블로그 최신 글
AI 취약점 탐지 85% 시대의 보안 전제
Anthropic이 오픈소스 대상 무료 취약점 스캐너 OSS Scanner를 공개했습니다. 6개월간 29,000건의 취약점 후보와 패치 공개 한 시간 뒤 익스플로잇 같은 근거를 정리하고 기업이 패치 속도와 공격자 전제를 어떻게 다시 잡아야 하는지 짚습니다.
에이전트 권한 이탈 네 가지 패턴과 차단 설계
Anthropic이 평가와 사내 사용에서 Claude가 실제 시스템에 의도치 않게 행동한 네 가지 유형을 공개했습니다. 결함 악용, 양식 제출, 접근 제한 우회, URL 단축 사용 사례와 대응 조치를 사내 에이전트 설계 기준으로 정리했습니다.
보안 업무용 AI 접근 3단계와 심사 조건
Anthropic이 Cyber Verification Program을 세 단계 접근 등급으로 확장했습니다. 등급별 허용 범위와 데이터 보존 요건, 차단 성능 검증 결과를 정리해 보안팀이 확인할 조건을 짚습니다.
같은 주제의 다른 인사이트
토큰이 아니라 피처를 예측하는 EAGLE 추측 디코딩
EAGLE은 추측 디코딩의 초안 생성을 토큰 수준이 아닌 모델 내부 피처 수준에서 수행해 LLaMA2-Chat 70B 기준 2.7배에서 3.5배의 지연 시간 단축과 2배의 처리량 향상을 생성 분포 변화 없이 달성했습니다. 별도의 소형 초안 모델을 구하기 어려운 사내 특화 sLLM에도 가벼운 예측 헤드 하나로 적용할 수 있다는 점이 실무적 강점입니다.
Sarathi-Serve: 프리필을 쪼개 처리량과 지연을 함께 잡는 서빙
Sarathi-Serve는 프리필을 청크로 쪼개 디코드 배치의 빈 연산 슬롯에 끼워 넣는 무정지 스케줄링으로 처리량과 지연의 트레이드오프를 해소했고 vLLM 대비 Mistral-7B에서 2.6배, Falcon-180B에서 최대 5.6배의 서빙 용량을 달성했습니다. 같은 GPU로 SLA를 지키며 더 많은 동시 사용자를 받는다는 뜻이므로 온프레미스 서빙의 장비 산정 기준을 바꾸는 결과입니다.
재학습 없는 LLM 프루닝 기법 Wanda
ICLR 2024에 채택된 Wanda는 가중치 크기에 입력 활성값 크기를 곱한 값을 기준으로 프루닝해 재학습이나 가중치 업데이트 없이 즉시 사용 가능한 희소 LLM을 만듭니다. 별도 학습 인프라 없이 배포 직전 단계에서 모델을 가볍게 만들 수 있어 GPU 예산이 빠듯한 온프레미스 도입 프로젝트에 실용적입니다.