OCR 없이 문서 구조를 읽는 mPLUG-DocOwl 1.5

문서 자동화의 병목은 글자를 읽는 것이 아니라 표와 차트, 레이아웃이 담는 구조를 이해하는 데 있습니다. 알리바바의 mPLUG-DocOwl 1.5는 구조 이해를 학습 목표로 명시한 OCR-free 문서 VLM으로, 단일 모델 문서 이해의 실용성을 크게 끌어올린 연구입니다.

문제 배경

전통적인 문서 자동화는 OCR로 텍스트를 뽑고 별도 모델이 구조를 해석하는 다단계 파이프라인이라 단계마다 오류가 누적됩니다. 기존 문서용 멀티모달 모델도 텍스트 인식 능력은 갖췄지만 표의 행렬 관계나 차트의 축처럼 배치 자체가 의미인 구조 정보의 일반적 이해가 부족했습니다.

방법

핵심은 통합 구조 학습(Unified Structure Learning)입니다. 문서, 웹페이지, 표, 차트, 자연 이미지 5개 영역에 걸쳐 구조를 보존한 텍스트로 파싱하는 과제와 텍스트 위치를 다중 단위로 찾는 과제를 함께 학습하며, 이를 위해 공개 데이터로 400만 샘플 규모의 DocStruct4M을 구축했습니다. 비전 인코더와 언어모델 사이에는 H-Reducer를 두는데, 수평으로 인접한 패치를 합성곱으로 병합해 가로쓰기 문서의 레이아웃 정보를 보존하면서 시각 피처 길이를 줄여 고해상도 이미지를 효율적으로 처리합니다. 학습은 구조 학습으로 기반 능력을 갖춘 뒤 다운스트림 과제로 미세조정하는 2단계로 진행되며, 설명형 답변을 이끌어내기 위한 소규모 고품질 데이터 DocReason25K도 함께 구축했습니다.

결과

10개 시각 문서 이해 벤치마크에서 최고 성능을 기록했고, 그중 5개에서는 7B급 언어모델을 쓰는 기존 멀티모달 모델의 최고 기록을 10점 이상 넘어섰습니다. DocReason25K로 미세조정한 변형은 답만 내는 것이 아니라 근거를 상세히 설명하는 능력도 갖췄습니다.

한계와 주의점

학습 데이터가 공개된 영어 중심 데이터셋으로 구축돼 한국어 문서에 그대로 쓰기는 어렵고 도메인 구조 데이터로 추가 학습이 필요합니다. 고해상도 문서를 다루는 만큼 추론 비용도 텍스트 전용 sLLM보다 큽니다. 생성형 모델이므로 수치를 그럴듯하게 지어내는 오류에 대비한 검증 절차도 요구됩니다.

도입 검토 가이드

표와 차트가 많은 문서를 대량 처리하면서 OCR 엔진, 파서, 규칙 후처리로 이어지는 다단계 파이프라인의 유지보수와 오류 누적에 부담을 느끼는 조직에 해당합니다. 다만 학습 데이터가 영어 중심이므로 한국어 문서 처리라면 도메인 구조 데이터를 구축해 추가 학습할 여력이 있는지가 판단의 출발점입니다.

구분	내용
검토 주체	문서 자동화를 담당하는 AI 엔지니어링팀, 기존 OCR 파이프라인을 운영하는 조직
전제 조건	한국어와 도메인 문서에 대한 구조 파싱 학습 데이터 구축 여력(논문은 공개 데이터 400만 샘플 규모의 DocStruct4M으로 학습), 고해상도 추론을 감당할 GPU
첫 적용 지점	사람 검수가 이미 붙어 있는 계약서나 전표 처리 단계에서 기존 OCR 파이프라인과 병행 비교하는 구간
판단 기준	자체 문서셋에서 기존 파이프라인 대비 표와 구조 추출 정확도, 수치 환각 검증 절차의 통과율

코텍시스는 구조 학습 기반 VLM을 중심에 둔 아키텍처로 구축 범위와 오류 대응 지점을 줄이며, DocStruct4M 방식의 구조 파싱 데이터 구축법을 고객 도메인 특화 학습의 참조 설계로 활용합니다.