프리필을 쪼개 처리량과 지연을 함께 잡는 Sarathi-Serve

LLM 서빙 요청은 입력 전체를 한 번에 처리하는 프리필과 토큰을 하나씩 생성하는 디코드라는 성격이 전혀 다른 두 단계로 이뤄집니다. OSDI 2024에 발표된 Sarathi-Serve는 이 이질성이 만드는 처리량과 지연의 트레이드오프를 스케줄링으로 푼 연구입니다.

문제 배경

프리필은 지연이 크지만 GPU 연산을 포화시키고, 디코드는 지연이 작지만 요청당 토큰 하나만 처리해 연산 활용률이 낮습니다. 연속 배칭에서 새 요청의 프리필을 우선하면 처리량은 오르지만 진행 중인 디코드가 멈춰 응답 지연이 튀고, 디코드를 우선하면 지연은 안정되지만 배치가 작아져 처리량이 떨어집니다. 실제 서비스의 입력 프롬프트는 평균 수천 토큰에 달하므로 프리필 한 번이 진행 중인 디코드 전체를 길게 멈춰 세웁니다.

방법

Sarathi-Serve는 두 가지 아이디어를 결합합니다. 첫째, 청크드 프리필(chunked-prefills)로 긴 프리필을 거의 균등한 조각으로 나눕니다. 둘째, 무정지(stall-free) 스케줄링으로 디코드 배치의 남는 연산 여유에 프리필 청크를 끼워 넣어 진행 중인 어떤 디코드도 멈추지 않게 합니다. 디코드는 메모리 바운드라 연산 슬롯이 남는다는 점을 활용한 설계입니다. 논문 실험에서 프리필 전체를 디코드와 그냥 섞는 단순한 하이브리드 배치는 토큰 간 지연을 최대 28.3배까지 키웠지만, 청크로 나누면 지연 상한이 훨씬 좁게 유지됩니다. 한 반복에 넣을 토큰 총량은 지연 목표에서 역산한 토큰 예산으로 통제하며, 배치 구성이 균일해지면서 파이프라인 병렬 실행의 버블도 최소화됩니다.

결과

꼬리 지연 제약 아래에서 vLLM 대비 서빙 용량을 다음과 같이 개선했습니다.

모델	구성	vLLM 대비 서빙 용량
Mistral-7B	A100 1장	2.6배
Yi-34B	A100 2장	최대 3.7배
Falcon-180B	파이프라인 병렬	최대 5.6배

한계와 주의점

청크 크기가 조율 변수입니다. 청크를 작게 하면 디코드 지연은 안정되지만 프리필이 앞선 청크의 KV 캐시를 반복해서 읽는 오버헤드가 커져 프리필 완료가 늦어집니다. 즉 첫 토큰 시간과 토큰 간 시간 사이의 배분을 워크로드의 SLA에 맞게 정해야 하며, 이 수치들은 꼬리 지연 제약이 있는 시나리오에서 측정된 결과라는 점도 유의해야 합니다.

도입 검토 가이드

응답 지연 SLA가 계약 조건에 들어가는 LLM 서비스를 운영하면서, 평균 수천 토큰의 긴 입력 프롬프트가 유입돼 진행 중인 응답이 간헐적으로 멈추거나 토큰 간 지연이 튀는 현상을 겪는 조직에 해당합니다. 청크드 프리필이 vLLM 등 주요 런타임에 옵션으로 들어와 있으므로 장비나 코드 변경 없이 설정으로 검토할 수 있습니다.

구분	내용
검토 주체	서빙 SLA를 책임지는 ML 플랫폼팀과 운영 담당자
전제 조건	청크드 프리필 옵션을 지원하는 런타임, 첫 토큰 시간과 토큰 간 시간 각각의 SLA 목표치 정의
첫 적용 지점	이미 운영 중인 vLLM 계열 서버에서 청크드 프리필 옵션을 켜고 토큰 예산을 조정하는 설정 실험
판단 기준	꼬리 지연 제약 아래 서빙 용량 변화(논문 기준 Mistral-7B 2.6배, Falcon-180B 최대 5.6배), 청크 크기별 첫 토큰 시간과 토큰 간 시간의 실측 배분

코텍시스는 지연 목표를 지키면서 동시 사용자 수를 늘리는 이 설정 최적화를 장비 추가 없이 수행하는 컨설팅 항목으로 다루며, GPU 도입 수량 산정의 절감 근거로 함께 제시합니다.