OCR 없이 문서 구조를 읽는 mPLUG-DocOwl 1.5

문서 자동화의 병목은 글자를 읽는 것이 아니라 표와 차트, 레이아웃이 담는 구조를 이해하는 데 있습니다. 알리바바의 mPLUG-DocOwl 1.5는 구조 이해를 학습 목표로 명시한 OCR-free 문서 VLM으로, 단일 모델 문서 이해의 실용성을 크게 끌어올린 연구입니다.

문제 배경

전통적인 문서 자동화는 OCR로 텍스트를 뽑고 별도 모델이 구조를 해석하는 다단계 파이프라인이라 단계마다 오류가 누적됩니다. 기존 문서용 멀티모달 모델도 텍스트 인식 능력은 갖췄지만 표의 행렬 관계나 차트의 축처럼 배치 자체가 의미인 구조 정보의 일반적 이해가 부족했습니다.

방법

핵심은 통합 구조 학습(Unified Structure Learning)입니다. 문서, 웹페이지, 표, 차트, 자연 이미지 5개 영역에 걸쳐 구조를 보존한 텍스트로 파싱하는 과제와 텍스트 위치를 다중 단위로 찾는 과제를 함께 학습하며, 이를 위해 공개 데이터로 400만 샘플 규모의 DocStruct4M을 구축했습니다. 비전 인코더와 언어모델 사이에는 H-Reducer를 두는데, 수평으로 인접한 패치를 합성곱으로 병합해 가로쓰기 문서의 레이아웃 정보를 보존하면서 시각 피처 길이를 줄여 고해상도 이미지를 효율적으로 처리합니다. 학습은 구조 학습으로 기반 능력을 갖춘 뒤 다운스트림 과제로 미세조정하는 2단계로 진행되며, 설명형 답변을 이끌어내기 위한 소규모 고품질 데이터 DocReason25K도 함께 구축했습니다.

결과

10개 시각 문서 이해 벤치마크에서 최고 성능을 기록했고, 그중 5개에서는 7B급 언어모델을 쓰는 기존 멀티모달 모델의 최고 기록을 10점 이상 넘어섰습니다. DocReason25K로 미세조정한 변형은 답만 내는 것이 아니라 근거를 상세히 설명하는 능력도 갖췄습니다.

한계와 주의점

학습 데이터가 공개된 영어 중심 데이터셋으로 구축돼 한국어 문서에 그대로 쓰기는 어렵고 도메인 구조 데이터로 추가 학습이 필요합니다. 고해상도 문서를 다루는 만큼 추론 비용도 텍스트 전용 sLLM보다 큽니다. 생성형 모델이므로 수치를 그럴듯하게 지어내는 오류에 대비한 검증 절차도 요구됩니다.

기업 적용 관점

OCR 엔진과 파서와 규칙 후처리로 이어지는 기존 문서 처리 스택은 유지보수 비용이 큽니다. 계약서나 전표처럼 표 구조가 많은 문서 자동화 수주에서 구조 학습 기반 VLM을 중심에 두면 구축 범위와 오류 대응 지점이 줄어들며, DocStruct4M 방식의 구조 파싱 데이터 구축법 자체가 고객 도메인 특화 학습의 참조 설계가 됩니다.