하루 학습으로 최고 성능을 낸 LLaVA-1.5의 시각 명령 튜닝

멀티모달 모델을 만들려면 수억 장 규모의 사전학습이 필요하다는 통념을 뒤집은 연구입니다. LLaVA-1.5는 통제된 조건에서 멀티모달 모델의 설계 선택을 처음으로 체계적으로 비교했고, 그 결론이 지금까지 오픈소스 VLM 설계의 기본형이 됐습니다.

문제 배경

시각 명령 튜닝(visual instruction tuning)을 제안한 초기 LLaVA는 자연스러운 대화 능력을 보였지만 학술 벤치마크에서는 수억 장 규모 사전학습을 쓰는 모델들에 밀렸습니다. 어떤 설계 요소가 성능을 좌우하는지에 대한 통제된 비교도 없었고, 짧은 답을 요구하는 학술 VQA 데이터와 자유 대화 데이터를 그대로 섞으면 응답 형식이 충돌하는 문제도 있었습니다.

방법

논문은 LLaVA의 완전연결 비전-언어 커넥터가 놀랍도록 강력하고 데이터 효율적임을 보이고, 그 위에 단순한 개선을 더합니다. 커넥터를 선형 투영에서 2층 MLP로 바꾸고, 비전 인코더를 CLIP-ViT-L-336px로 올려 입력 해상도를 높였으며, 짧은 답이 필요한 과제에 응답 형식 프롬프트를 명시한 학술 VQA 데이터를 학습에 포함했습니다. 각 변경의 기여를 통제된 실험으로 하나씩 검증한 뒤 조합한 것이 LLaVA-1.5이며, 이 레시피는 13B뿐 아니라 더 작은 규모의 모델 구성에도 같은 방식으로 적용됩니다.

결과

13B 체크포인트는 공개 데이터 120만 건만 사용해 8장 A100 노드에서 약 하루 만에 전체 학습을 마치고 11개 벤치마크에서 최고 성능을 기록했습니다. 수십억 장 규모 사전학습을 쓰는 접근과 대비되는 데이터 효율성이며, 고해상도 입력 확장과 조합적 능력, 환각 같은 열린 문제에 대한 초기 탐색도 함께 제시했습니다.

한계와 주의점

논문 스스로 밝힌 한계가 뚜렷합니다. 이미지 패치 전체를 토큰으로 쓰므로 학습 반복이 길어지고, 여러 이미지를 함께 다루는 능력이 없으며, 특정 분야의 문제 해결 능력은 제한적이고, 환각이 완전히 사라지지 않아 중요 용도에서는 주의가 필요합니다. 고해상도 확장은 초기 탐색 수준으로만 다뤘습니다.

기업 적용 관점

VLM 수주 프로젝트의 관건은 고객 도메인 데이터로 얼마나 저렴하게 모델을 특화하느냐입니다. 잘 설계된 명령 데이터 100만 건 수준과 단일 노드 하루 학습으로 실전급 VLM이 나온다는 결과는 제조 도면이나 사내 양식 문서에 특화한 온프레미스 VLM 구축의 비용 상한을 현실적으로 낮추고, 데이터 형식 설계가 성능을 좌우한다는 교훈은 데이터 구축 단가 산정에 직접 반영됩니다.