MinerU-Diffusion: Rethinking Document OCR as Inverse Rendering via Diffusion Decoding

← 📚 이번 주 Weekly Digest로 돌아가기

DD-051 MinerU-Diffusion: Rethinking Document OCR as Inverse Rendering via Diffusion Decoding

arXiv: 2603.22458 Upvotes: 125 | Comments: 6 순위: 이번 주 Top 1

---

논문 리뷰: MinerU-Diffusion

1. 왜 이 논문이 중요한가?

기존의 문서 광학 문자 인식 시스템은 주로 자회귀(Autoregressive) 방식을 사용하여 텍스트를 왼쪽에서 오른쪽으로 하나씩 순차적으로 생성해왔으며, 이는 긴 문서 처리 시 속도 저하와 오류 누적이라는 치명적인 한계를 가지고 있었습니다. 이 논문은 문서 인식 작업을 언어적 생성이 아닌 이미지로부터 텍스트를 복원하는 역 렌더링(Inverse Rendering) 관점에서 재정의하고, 순차적 생성 대신 병렬 확산 디코딩을 적용하여 이 문제를 근본적으로 해결했습니다. 이를 통해 기존 모델들이 겪던 의존성 문제를 해결하고, 복잡한 표와 수식이 포함된 문서에서도 더 높은 정확도와 효율성을 보여주는 새로운 패러다임을 제시했습니다.

---

2. 핵심 아이디어 쉽게 이해하기

일상생활 비유: ‘타자 입력’ vs ‘벽화 복원’

기존의 자회귀(Autoregressive) 모델이 문서를 인식하는 방식은 타자를 치는 것과 비슷합니다. 사람이 왼쪽에서 오른쪽으로 철자 하나하나를 정확히 눌러야 다음 철자를 칠 수 있는 것처럼, 이 모델들도 앞단어가 틀리면 뒤따르는 문장 전체가 엉망이 되는 위험이 있습니다. 특히 표나 수식처럼 구조가 복잡하면, 앞부분을 잘못 읽어 전체 형식이 깨지기 쉽습니다.

반면에 이 논문에서 제안하는 확산(Diffusion) 기반 방식은 오래된 벽화를 복원하는 작업에 가깝습니다. 복원가들은 벽화 전체를 한 번에 보면서 먼지가 덮인 전체 그림(노이즈가 섞인 텍스트)을 단계별로 닦아내 원래 그림(깨끗한 텍스트)을 되찾습니다. 여기서 중요한 점은, ‘A’ 모양을 복원할 때 그 옆에 있는 ‘B’가 어떤 글자인지에 얽매이지 않고, 눈앞에 보이는 흐릿한 윤곽(이미지 증거)을 믿고 닦아낸다는 것입니다. 이러한 방식 덕분에 글자 간의 순서에 구애받지 않고 문서 전체를 동시에 빠르게 복원할 수 있습니다.

단계별 동작 원리

이 방식은 크게 두 단계로 나뉩니다. 첫째, 문서 이미지를 보고 텍스트를 나타내는 토큰(Token) 시퀀스에 노이즈를 섞는 과정(순방향)을 거칩니다. 둘째, 마치 흐린 안경을 닦아내듯, 디코더가 이미지 정보를 참고하면서 섞인 노이즈를 단계적으로 제거해 정확한 텍스트를 찾아냅니다(역방향). 특히 이 논문은 ‘블록 단위’로 처리하여 전체 문서를 아주 작은 단위로 쪼개 동시에 복원함으로써 속도를 높였습니다.

핵심 알고리즘: 역 렌더링과 블록 단위 확산

수식으로 보면, 문서 OCR을 이미지가 주어졌을 때 텍스트를 추정하는 확률적 과정으로 정의합니다. 기존 방식이 텍스트 다음 단어를 예측하는 조건부 확률에 집중했다면, 이 논문은 이미지라는 확실한 증거 하에서 텍스트 전체를 확률적으로 복원하는 역 렌더링 문제로 접근합니다. 여기에 블록 와이즈 디퓨전(Block-wise Diffusion) 기술을 적용해, 긴 시퀀스를 한 번에 처리하는 데 드는 연산량을 줄이고 효율성을 극대화했습니다.

---

3. 실험 결과 분석

연구진은 문서, 표, 수식 인식 능력을 종합적으로 평가하기 위해 OmniDocBench v1.5, CC-OCR, UniMER-Test 등 다양한 벤치마크에서 실험을 진행했습니다. 특히 텍스트는 편집 거리(Edit Distance), 수식은 CDM, 표는 TEDS 점수를 통해 정확도를 측정했습니다.

그 결과, 기존 자회귀 기반의 최신 모델들과 비교하여 전반적인 성능에서 대등하거나 우수한 경쟁력을 보여주었습니다. 더욱 인상적인 부분은 의미를 섞어놓은 데이터셋인 Semantic Shuffle 벤치마크에서의 결과입니다. 기존 모델들은 문맥적 의미가 깨지면 성능이 급격히 떨어졌지만, 이 논문의 모델은 시각적 정보에 강건하게 반응하여 성능 저하가 매우 적었습니다. 이는 모델이 언어적 추측이 아닌 실제 보이는 이미지에 기반해 텍스트를 읽어낸다는 것을 입증하는 핵심 성과입니다.

---

4. 한계점과 향후 연구 방향

저자들은 현재 모델이 주로 중국어와 영어 데이터셋으로 학습되었기 때문에, 저자원 언어(Low-resource language)에 대한 성능은 아직 검증되지 않았음을 인정하고 있습니다. 또한, 확산 모델의 특성상 추론 과정에 여러 단계의 디노이징 단계가 필요하기 때문에, 완전 병렬화되었음에도 불구하고 아주 짧은 텍스트 처리에서는 기존 방식보다 느릴 수 있는 시간 효율성의 균형 문제도 남아 있습니다.

향후 연구로는 디노이징 단계 수를 줄여 속도를 더 높이는 연구나, 더 다양한 언어와 레이아웃으로 확장하는 것, 그리고 텍스트와 이미지 간의 정렬을 더욱 정교하게 하는 기술 개발이 필요할 것입니다.

---

5. 실무 적용 가능성

이 기술은 복잡한 문서 구조를 정확하게 디지털화해야 하는 분야에 즉시 적용할 수 있습니다. 예를 들어, 금융 보고서의 표를 추출하거나, 학술 논문의 수식을 완벽하게 텍스트로 변환하는 RAG(검색 증강 생성) 시스템 구축에 유용합니다.

다만, 약 25억 개의 파라미터를 가진 대형 모델이므로, 추론을 위해 상당한 메모리를 가진 GPU 자원이 필요합니다. 기존 자회귀 모델 서빙 환경이 있다면 하드웨어 요구 사항은 비슷한 수준일 것이나, 확산 모델 특유의 추론 최적화 기술이 함께 적용되어야 실시간 성능을 담보할 수 있을 것입니다.

---

6. 이 논문을 이해하기 위한 사전 지식

• 광학 문자 인식(Optical Character Recognition, OCR) 이미지 속에 있는 텍스트를 기계가 읽을 수 있는 텍스트 데이터로 변환하는 기술입니다.

• 자회귀 모델(Autoregressive Model) 이전의 데이터를 바탕으로 다음 데이터를 순차적으로 예측하는 방식으로, GPT와 같은 대규모 언어 모델에서 주로 사용됩니다.

• 확산 모델(Diffusion Model) 데이터에 점차 노이즈를 더했다가, 다시 노이즈를 제거하는 과정을 통해 원래 데이터를 복원하는 생성 모델입니다.

• 역 렌더링(Inverse Rendering) 2D 이미지나 관측 데이터로부터 3D 형상이나 원본 장면의 물리적 속성을 추정하는 복원 과정을 말합니다.

• 시각-언어 모델(Vision-Language Model, VLM) 이미지와 텍스트를 동시에 이해하고 처리할 수 있도록 학습된 멀티모달 인공지능 모델입니다.

• 블록 와이즈 어텐션(Block-wise Attention) 긴 시퀀스를 처리할 때 연산량을 줄이기 위해 데이터를 블록 단위로 나누어 어텐션을 수행하는 기법입니다.

• 의미적 섞기(Semantic Shuffle) 모델이 언어적 문맥에만 의존하는지, 아니면 시각적 정보를 제대로 보는지 테스트하기 위해 문서 내 단어 순서를 섞는 데이터 증강 기법입니다.

---

📚 이번 주 관련 Deep Dive

순위	논문	Deep Dive
🥇	MinerU-Diffusion: Rethinking Docume…	📍 현재 문서
🥈	Omni-WorldBench: Towards a Comprehe…	DD-052
🥉	Speed by Simplicity: A Single-Strea…	DD-053
4.	PixelSmile: Toward Fine-Grained Fac…	DD-054
5.	Astrolabe: Steering Forward-Process…	DD-055

---

📅 생성일: 2026-03-29 | 🤖 GLM-4.7 Deep Dive