정렬 후 투영으로 이미지와 영상을 함께 배우는 Video-LLaVA

이미지 모델과 영상 모델을 따로 운영하던 관행에 대해, 두 모달리티를 하나의 표현 공간에서 함께 배우면 서로를 강화한다는 것을 보인 연구입니다. EMNLP 2024에 발표됐고 통합 시각 표현이라는 설계 원칙을 간결한 실험으로 입증했습니다.

문제 배경

기존 영상 이해 모델의 상당수는 이미지와 영상을 서로 다른 인코더로 처리해 별개의 피처 공간에 두었습니다. 언어모델 입장에서는 정렬되지 않은 두 종류의 시각 토큰을 받아 투영층 몇 개만으로 상호작용을 배워야 하므로, 논문은 이를 투영 전 불일치(misalignment before projection) 문제로 규정합니다. 이미지 모델과 영상 모델을 따로 두면 학습과 서빙이 이중화되는 비용 문제도 뒤따릅니다.

방법

Video-LLaVA는 투영 이전에 정렬한다는 원칙을 세웠습니다. LanguageBind 계열 인코더로 이미지와 영상 표현을 미리 언어 피처 공간에 정렬해 통합한 뒤에 언어모델로 투영합니다. 학습도 이미지와 영상이 섞인 데이터로 함께 진행해 한 모달리티에서 배운 이해가 다른 모달리티로 전이되게 했습니다. 정지 화면의 세밀한 인식과 영상의 시간적 흐름 이해가 서로를 보완하는 구조로, 제거 실험에서도 두 모달리티를 함께 학습한 모델이 각각 따로 학습한 모델보다 양쪽 과제 모두에서 좋은 성능을 보였습니다.

결과

영상 질의응답에서 Video-ChatGPT 대비 MSRVTT 5.8%, MSVD 9.9%, TGIF 18.6%, ActivityNet 10.1%의 향상을 기록했고, 9개 이미지 벤치마크에서도 우수한 성능을 보였습니다. 논문은 통합 표현 학습이 이미지 전용 또는 영상 전용으로 설계된 모델을 앞서는 상호 강화 효과를 광범위한 실험으로 확인했습니다.

한계와 주의점

영상을 소수의 프레임으로 샘플링해 처리하므로 긴 영상에서 촘촘한 시간 정보가 필요한 과제에는 한계가 있습니다. 벤치마크가 짧은 일반 영상 중심이라 산업 현장의 장시간 영상이나 미세 결함 검출 같은 과제에는 별도 검증이 필요하고, 도메인 특화에는 해당 분야의 명령 데이터 구축이 선행돼야 합니다.

도입 검토 가이드

스캔 문서나 현장 사진 같은 이미지 과제와 점검 영상 같은 영상 과제가 함께 들어와 모델을 두 벌로 운영하고 있거나 그렇게 설계하려던 조직에 해당합니다. 영상이 짧은 클립 단위로 다뤄지는 워크로드가 적용 범위이며, 장시간 영상의 촘촘한 시간 분석이 핵심인 과제라면 별도 검증 없이 전제하기 어렵습니다.

구분	내용
검토 주체	시각 데이터 분석 시스템을 설계하는 AI 엔지니어링팀, GPU 소요를 산정하는 인프라 담당자
전제 조건	해당 도메인의 이미지와 영상 명령 데이터 구축 여력, 소수 프레임 샘플링으로 판단이 가능한 짧은 클립 단위의 영상 워크로드
첫 적용 지점	현장 사진 판독과 짧은 작업 영상 검수를 함께 요구하는 과제 중 사람 검수가 뒤에 붙는 보조 단계
판단 기준	자체 이미지와 영상 평가셋에서 개별 모델 대비 정확도(논문은 영상 질의응답에서 Video-ChatGPT 대비 5.8%에서 18.6% 향상), 운영 모델 수와 GPU 소요 감소 폭

코텍시스는 운영 모델 수와 GPU 소요를 줄이는 아키텍처 근거로 통합 표현 모델을 제안하며, 장시간 영상이나 미세 결함 검출 과제는 별도 검증을 전제로 다룹니다.