토크나이저가 만드는 언어 간 비용 격차: 같은 문장이 최대 15배로 늘어난다

LLM의 과금, 지연시간, 컨텍스트 제한은 모두 토큰 수 기준입니다. 그런데 토큰 수는 텍스트가 담은 정보량이 아니라 토크나이저 어휘가 어떤 언어 중심으로 만들어졌는지에 따라 달라집니다. 이 논문은 그 격차를 언어 전반에 걸쳐 정량화한 연구입니다.

문제 배경

토크나이저는 학습 말뭉치에서 자주 등장하는 문자열을 어휘로 등록합니다. 영어 중심 말뭉치로 만든 토크나이저는 영어 단어를 통째로 담는 반면, 비중이 낮은 언어의 단어는 잘게 쪼개집니다. 같은 의미를 전달하는 데 언어마다 다른 수의 토큰이 들지만, 이 격차가 얼마나 크고 어떤 실질적 불이익으로 이어지는지는 체계적으로 측정된 적이 없었습니다.

방법

연구진은 같은 내용을 여러 언어로 번역한 병렬 말뭉치를 주요 언어모델들의 토크나이저로 처리해, 동일한 의미를 표현하는 데 드는 토큰 수를 언어 쌍마다 비교했습니다. 번역문은 내용이 같으므로 토큰 수 차이는 정보량 차이가 아니라 토크나이저의 언어 편향을 그대로 드러냅니다. 이렇게 얻은 언어별 배율을 토큰화 균등성 관점에서 분석했습니다.

결과

언어 간 격차는 최대 15배에 달했습니다. 어떤 언어의 화자는 같은 내용을 처리하는 데 영어 화자보다 훨씬 많은 토큰을 지불합니다. 저자들은 이 차이가 세 경로로 실질 비용이 된다고 정리합니다. 토큰 단위 과금인 상용 API 비용이 커지고, 토큰 수에 비례해 처리 지연시간이 늘며, 고정된 컨텍스트 윈도우에 실제로 담을 수 있는 내용이 줄어듭니다. 이를 근거로 다국어 공정성을 고려한 토크나이저 설계를 촉구합니다.

한계와 주의점

토크나이저는 사전학습 시점에 모델과 함께 굳어지므로, 이미 배포된 모델의 언어 편향은 사후에 고칠 수 없습니다. 배율은 토크나이저마다 다르기 때문에 특정 언어가 모든 모델에서 같은 배율로 손해를 보는 것도 아닙니다. 논문이 보인 것은 격차의 존재와 상한이며, 실제 프로젝트에서는 대상 모델과 대상 언어 조합으로 직접 측정해야 합니다.

도입 검토 가이드

한국어를 비롯한 비영어 언어로 LLM 서비스를 운영하면서 토큰 단위 과금 API를 쓰거나, RAG 문서 분량이 컨텍스트 제한에 걸리는 조직이 검토 대상입니다. 배율은 토크나이저마다 다르므로 논문의 수치를 그대로 가져오는 대신 대상 모델과 자사 문서 조합으로 직접 측정해야 실제 영향이 확인되며, 이 진단은 학습이나 인프라 투자 없이 수행할 수 있습니다.

구분	내용
검토 주체	LLM 운영 비용을 관리하는 플랫폼팀과 모델 선정을 담당하는 아키텍처 조직
전제 조건	후보 모델들의 토크나이저와 실제 서비스에서 쓰는 대표 문서 샘플. 토큰 수 계측만으로 진단이 끝나므로 GPU나 학습 파이프라인이 필요 없습니다
첫 적용 지점	모델 선정이나 교체 검토 시점의 사전 진단. 자사 대표 문서를 후보 토크나이저별로 처리해 한국어 토큰 배율 비교표를 만드는 작업입니다
판단 기준	동일 문서 기준 후보 모델 간 토큰 수 비율과 이를 환산한 API 비용, 지연시간, 컨텍스트 수용량 차이. 논문이 보인 최대 15배는 상한이므로 실측 배율로 판단해야 합니다

코텍시스는 모델 선정과 sLLM 최적화 제안에서 고객사 실제 문서 기반의 한국어 토큰 효율 측정을 첫 단계로 수행해, 모델 교체나 자체 호스팅 전환의 운영 비용 차이를 계약 전에 정량적으로 제시합니다.