토크나이저가 만드는 언어 간 비용 격차: 같은 문장이 최대 15배로 늘어난다

LLM의 과금, 지연시간, 컨텍스트 제한은 모두 토큰 수 기준입니다. 그런데 토큰 수는 텍스트가 담은 정보량이 아니라 토크나이저 어휘가 어떤 언어 중심으로 만들어졌는지에 따라 달라집니다. 이 논문은 그 격차를 언어 전반에 걸쳐 정량화한 연구입니다.

문제 배경

토크나이저는 학습 말뭉치에서 자주 등장하는 문자열을 어휘로 등록합니다. 영어 중심 말뭉치로 만든 토크나이저는 영어 단어를 통째로 담는 반면, 비중이 낮은 언어의 단어는 잘게 쪼개집니다. 같은 의미를 전달하는 데 언어마다 다른 수의 토큰이 들지만, 이 격차가 얼마나 크고 어떤 실질적 불이익으로 이어지는지는 체계적으로 측정된 적이 없었습니다.

방법

연구진은 같은 내용을 여러 언어로 번역한 병렬 말뭉치를 주요 언어모델들의 토크나이저로 처리해, 동일한 의미를 표현하는 데 드는 토큰 수를 언어 쌍마다 비교했습니다. 번역문은 내용이 같으므로 토큰 수 차이는 정보량 차이가 아니라 토크나이저의 언어 편향을 그대로 드러냅니다. 이렇게 얻은 언어별 배율을 토큰화 균등성 관점에서 분석했습니다.

결과

언어 간 격차는 최대 15배에 달했습니다. 어떤 언어의 화자는 같은 내용을 처리하는 데 영어 화자보다 훨씬 많은 토큰을 지불합니다. 저자들은 이 차이가 세 경로로 실질 비용이 된다고 정리합니다. 토큰 단위 과금인 상용 API 비용이 커지고, 토큰 수에 비례해 처리 지연시간이 늘며, 고정된 컨텍스트 윈도우에 실제로 담을 수 있는 내용이 줄어듭니다. 이를 근거로 다국어 공정성을 고려한 토크나이저 설계를 촉구합니다.

한계와 주의점

토크나이저는 사전학습 시점에 모델과 함께 굳어지므로, 이미 배포된 모델의 언어 편향은 사후에 고칠 수 없습니다. 배율은 토크나이저마다 다르기 때문에 특정 언어가 모든 모델에서 같은 배율로 손해를 보는 것도 아닙니다. 논문이 보인 것은 격차의 존재와 상한이며, 실제 프로젝트에서는 대상 모델과 대상 언어 조합으로 직접 측정해야 합니다.

기업 적용 관점

한국어는 영어 중심 토크나이저에서 손해를 보는 대표적 언어입니다. 같은 업무를 처리해도 토큰이 더 들면 API 비용과 응답 지연이 함께 늘고, RAG에 넣을 수 있는 문서 분량도 줄어듭니다. 코텍시스가 모델 선정이나 sLLM 최적화를 제안할 때 후보 모델별 한국어 토큰 효율을 고객사 실제 문서로 먼저 측정하면, 모델 교체나 자체 호스팅 전환의 운영 비용 차이를 계약 전에 정량적으로 보여줄 수 있습니다. 진단 비용은 낮고 설득력은 높은 첫 단계입니다.