1GB 메모리로 동작하는 초소형 VLM SmolVLM

VLM을 작게 만드는 일은 큰 모델을 줄이는 일과 다르다는 것을 체계적으로 보인 연구입니다. Hugging Face의 SmolVLM은 소형 모델 전용 설계 공간을 처음부터 탐색해, 파라미터가 아니라 설계가 온디바이스 멀티모달의 관건임을 입증했습니다.

문제 배경

기존 소형 VLM은 대형 모델의 설계 선택을 그대로 물려받았습니다. 대형 모델에 맞춰진 방대한 이미지 토큰화를 소형 모델에 옮기면 시각 토큰이 짧은 컨텍스트를 과도하게 차지해 GPU 메모리는 비효율적으로 쓰이고 성능은 급락합니다. 온디바이스 배포에서는 이 메모리 낭비가 곧 배포 불가를 뜻합니다.

방법

SmolVLM은 아키텍처 구성, 토큰화 전략, 데이터 큐레이션을 저연산 환경에 맞춰 체계적으로 재탐색했습니다. 실험에서 작은 언어모델에는 큰 비전 인코더보다 작은 인코더가 어울린다는 용량 균형을 확인했고, 컨텍스트를 2천 토큰에서 1만 6천 토큰으로 늘리는 것만으로 성능이 크게 올라 큰 모델은 1만 6천, 더 작은 변형은 8천 토큰 컨텍스트를 채택했습니다. 이미지는 서브이미지로 분할한 뒤 픽셀 셔플로 시각 토큰을 압축하는데 최적 압축 비율이 모델 크기에 따라 달라진다는 점도 확인했습니다. 영상은 프레임을 평균 내는 방식이 성능을 떨어뜨려 채택하지 않았고, 학습 데이터도 소형 모델에 맞게 선별했습니다. 이 조합으로 이미지뿐 아니라 영상 과제까지 같은 모델이 처리합니다.

결과

모델	결과
SmolVLM-256M	추론 시 GPU 메모리 1GB 미만, 300배 큰 Idefics-80B 능가
SmolVLM-2.2B	2배의 GPU 메모리를 쓰는 최신 VLM들과 경쟁

18개월의 개발 격차가 있는 80B 모델을 256M 모델이 넘어선 것은 설계와 데이터의 진전이 파라미터 격차를 상쇄할 수 있음을 보여줍니다. 논문은 브라우저와 모바일 앱에서 동작하는 실제 배포 사례도 함께 제시했습니다.

한계와 주의점

공격적인 토큰 압축은 세밀한 정보의 손실과 맞바꾼 것이므로 글자가 빽빽한 고해상도 문서에서는 압축 비율에 따른 품질 검증이 필요합니다. 소형 모델 특성상 복잡한 추론이나 지식 집약 과제는 대형 모델에 미치지 못하므로, 분류나 판독처럼 범위가 좁은 과제에 맞는지부터 확인해야 합니다. 컨텍스트 길이와 압축 비율 같은 설계 선택이 서로 얽혀 있어 자체 변형을 만들 때는 재검증이 필요합니다.

기업 적용 관점

문서 자동화 수요처의 상당수는 전용 GPU 서버 도입 자체가 부담인 중소 규모 조직입니다. 1GB 미만 메모리로 도는 VLM은 기존 업무용 PC나 엣지 장비에서 영수증 분류나 양식 판독을 처리할 수 있으므로, 하드웨어 투자 없이 소규모로 시작해 효과를 본 뒤 확장하는 단계적 온프레미스 도입 제안의 출발점이 됩니다.