정렬 후 투영으로 이미지와 영상을 함께 배우는 Video-LLaVA

이미지 모델과 영상 모델을 따로 운영하던 관행에 대해, 두 모달리티를 하나의 표현 공간에서 함께 배우면 서로를 강화한다는 것을 보인 연구입니다. EMNLP 2024에 발표됐고 통합 시각 표현이라는 설계 원칙을 간결한 실험으로 입증했습니다.

문제 배경

기존 영상 이해 모델의 상당수는 이미지와 영상을 서로 다른 인코더로 처리해 별개의 피처 공간에 두었습니다. 언어모델 입장에서는 정렬되지 않은 두 종류의 시각 토큰을 받아 투영층 몇 개만으로 상호작용을 배워야 하므로, 논문은 이를 투영 전 불일치(misalignment before projection) 문제로 규정합니다. 이미지 모델과 영상 모델을 따로 두면 학습과 서빙이 이중화되는 비용 문제도 뒤따릅니다.

방법

Video-LLaVA는 투영 이전에 정렬한다는 원칙을 세웠습니다. LanguageBind 계열 인코더로 이미지와 영상 표현을 미리 언어 피처 공간에 정렬해 통합한 뒤에 언어모델로 투영합니다. 학습도 이미지와 영상이 섞인 데이터로 함께 진행해 한 모달리티에서 배운 이해가 다른 모달리티로 전이되게 했습니다. 정지 화면의 세밀한 인식과 영상의 시간적 흐름 이해가 서로를 보완하는 구조로, 제거 실험에서도 두 모달리티를 함께 학습한 모델이 각각 따로 학습한 모델보다 양쪽 과제 모두에서 좋은 성능을 보였습니다.

결과

영상 질의응답에서 Video-ChatGPT 대비 MSRVTT 5.8%, MSVD 9.9%, TGIF 18.6%, ActivityNet 10.1%의 향상을 기록했고, 9개 이미지 벤치마크에서도 우수한 성능을 보였습니다. 논문은 통합 표현 학습이 이미지 전용 또는 영상 전용으로 설계된 모델을 앞서는 상호 강화 효과를 광범위한 실험으로 확인했습니다.

한계와 주의점

영상을 소수의 프레임으로 샘플링해 처리하므로 긴 영상에서 촘촘한 시간 정보가 필요한 과제에는 한계가 있습니다. 벤치마크가 짧은 일반 영상 중심이라 산업 현장의 장시간 영상이나 미세 결함 검출 같은 과제에는 별도 검증이 필요하고, 도메인 특화에는 해당 분야의 명령 데이터 구축이 선행돼야 합니다.

기업 적용 관점

산업 현장의 시각 데이터는 스캔 문서와 점검 영상처럼 이미지와 영상이 섞여 들어옵니다. 통합 표현 모델은 두 종류의 과제를 단일 모델로 서빙하므로 온프레미스 GPU에 모델을 여러 개 올릴 필요가 없어집니다. 작업 영상 검수와 현장 사진 판독을 함께 요구하는 수주에서 운영 모델 수와 GPU 소요를 줄이는 아키텍처 근거로 제안할 수 있습니다.