OCR 없이 PDF를 읽는 Nougat

RAG 구축에서 가장 과소평가되는 단계는 문서를 텍스트로 바꾸는 일입니다. PDF는 사람이 보기 위한 형식이라 기계가 읽으면 수식이 깨지고 표 구조가 사라집니다. 전통적 OCR은 글자를 읽을 뿐 문서의 의미 구조를 복원하지 못합니다.

문제 배경

PDF에 내장된 텍스트를 추출하거나 OCR을 돌리는 기존 방식은 글자 단위로는 정확해도 구조를 잃습니다. 위 첨자와 아래 첨자가 본문에 섞이고, 2단 레이아웃의 읽기 순서가 뒤엉키고, 수식은 기호의 나열로 부서집니다. 글자 인식, 레이아웃 분석, 수식 복원을 별도 모듈로 잇는 파이프라인은 각 단계의 오류가 누적된다는 문제가 있었습니다.

방법

메타의 Blecher 등(2023)이 만든 Nougat은 이 파이프라인을 하나의 모델로 대체합니다. 문서 페이지 이미지를 Swin 트랜스포머 인코더에 넣고, 디코더가 수식까지 포함된 마크업 텍스트를 자기회귀로 생성합니다. 중간 단계 없이 이미지에서 구조화된 텍스트로 가는 변환을 통째로 학습한 것입니다. 학습 데이터는 arXiv 논문의 LaTeX 원본과 PDF를 페이지 단위로 정렬해 만들었으며, arXiv 751만 페이지를 포함해 총 820만 페이지 규모입니다.

결과

arXiv 테스트 세트에서 기반 모델(350M)의 성능은 다음과 같습니다.

대상	편집 거리(낮을수록 좋음)	BLEU
전체	0.071	89.1
일반 텍스트	0.058	91.2
수식	0.128	56.9
표	0.211	69.7

일반 텍스트는 매우 정확하게 복원되고, 기존 OCR이 포기하던 수식도 텍스트 표현으로 되살아납니다. 250M의 소형 모델도 거의 같은 성능을 내며, 코드와 모델이 공개되어 후속 문서 이해 연구의 기반이 됐습니다.

한계와 주의점

저자들이 밝힌 최대 약점은 생성 모델 특유의 반복 루프입니다. 추론 중 같은 문장을 되풀이하며 무너지는 경우가 있어 반복 감지 장치를 따로 두었습니다. 페이지 단위 처리라 페이지를 넘나드는 문맥이 끊길 수 있고, 학습 데이터가 디지털로 생성된 학술 문서 중심이라 스캔 문서에서는 성능이 눈에 띄게 떨어집니다. 표는 편집 거리 0.211로 여전히 가장 어려운 대상입니다.

도입 검토 가이드

수식과 표가 많은 기술 문서, 연구 보고서, 사양서를 PDF로 보관하고 있고 기존 OCR이 이들을 뭉개는 것을 확인한 조직이 검토 대상입니다. 학습 데이터가 디지털로 생성된 학술 문서 중심이므로, 보유 문서가 스캔본 위주라면 이 모델의 강점이 그대로 나오기 어렵다는 점을 먼저 따져야 합니다.

구분	내용
검토 주체	문서 수집과 전처리 파이프라인을 담당하는 데이터 엔지니어링팀
전제 조건	디지털 생성 PDF 비중이 높은 문서 자산, 모델 추론용 GPU 환경, 페이지 단위 처리로 페이지 경계의 문맥이 끊기는 한계를 후처리로 잇는 설계
첫 적용 지점	수식이 많은 기술 문서군의 파싱 파일럿. 자사 문서 표본 수십 건을 변환해 요소별 품질을 눈으로 확인하는 것만으로도 도구 선정 근거가 나옵니다
판단 기준	문서 요소별 복원 품질. 논문 기준 편집 거리가 일반 텍스트 0.058, 수식 0.128, 표 0.211로 요소마다 크게 다르므로, 전체 평균이 좋아도 자사 문서에 많은 요소에서 충분한지 봐야 합니다. 반복 루프로 출력이 무너지는 페이지의 비율도 운영 지표에 포함합니다

코텍시스는 RAG 구축 전에 고객 문서 표본으로 파싱 품질부터 진단하고 문서 유형별 변환 파이프라인을 설계합니다.