Zerox OCR：3步把PDF和扫描件转成Markdown，让AI直接读懂文档-平芜编程栈

Zerox OCR：3步把PDF和扫描件转成Markdown，让AI直接读懂文档

【免费下载链接】zeroxOCR & Document Extraction using vision models项目地址: https://gitcode.com/GitHub_Trending/ze/zerox

如果你手里有一堆扫描版 PDF、发票图片或 Word 文档，想让 AI 读取里面的内容，第一步往往就卡住了：文字提取。传统 OCR（光学字符识别，即从图片里"读出"文字的技术）遇到复杂排版、跨页表格、图表，经常拆得七零八落，你得手工整理半天。Zerox 换了一个思路——不逐字识别，而是把整页文档交给视觉大模型，直接产出一份结构完整的 Markdown。读完这篇，你可以用 3 步跑通它：一个文件进，一份 AI 能直接消费的 Markdown 出。

什么是 Zerox：用视觉模型做文档 OCR

一句话定位：Zerox 是一个用视觉模型做文档 OCR 的开源项目，核心是把 PDF、Word、扫描件等各种文档转成 Markdown，方便喂给大模型。

它没有自研识别引擎，流程朴素到有点"暴力"：把文件逐页转成图片 → 把每页图片发给视觉模型，请它"转成 Markdown" → 把每页结果拼接成一份完整文档。听起来简单，但对表格、图表、复选框这类传统 OCR 的"老大难"，视觉模型的理解能力反而更好使。

30 秒跑通：一行代码把 PDF 转 Markdown

Python 版安装后（系统需先装好 poppler，这是 PDF 转图片的依赖库）：

import asyncio, os from pyzerox import zerox os.environ["OPENAI_API_KEY"] = "your-key" result = asyncio.run(zerox(file_path="assets/cs101.pdf", model="gpt-4o-mini")) print(result.pages[0].content)

无需额外配置：不需要选引擎、调参数、装识别包。只要一个模型服务的 API Key，输出就是逐页的 Markdown 内容。仓库自带示例文件assets/cs101.pdf，拿来就能试。

能力拆解：三个模块撑起整条流水线

模块一：文档转图像，先让模型"看清楚"

它是什么：一条文件预处理管线，把 PDF、DOCX、PPT 等 20 多种格式统一转成 300 DPI 的页面图片。
为什么重要：视觉模型只认图片，格式统一了，后面所有文档才走同一条路，你不用为每种格式单独写逻辑。
具体怎么体现：核心实现在 py_zerox/pyzerox/processor/pdf.py，通过 pdf2image 按页切图；Node 版还支持方向矫正（correctOrientation）和边缘裁剪（trimEdges），扫描件歪斜、留白多也能先"摆正"再识别。

模块二：多供应商视觉模型，不绑定一家大模型

它是什么：统一的模型接入层，Python 版通过 LiteLLM（一个"统一调用各家大模型"的中间库）接入 OpenAI、Azure、AWS Bedrock、Google Gemini、Vertex AI 等。
为什么重要：识别质量跟模型强相关，你能按预算和效果在 gpt-4o、Claude、Gemini 之间随时切换，不会被单一厂商锁死。
具体怎么体现：模型定义集中在 py_zerox/pyzerox/models/，Node 版对应 node-zerox/src/models/，换模型只需改一个参数。各家调用方式可参考 examples/node/ 下的 azure.ts、bedrock.ts、google.ts 等示例。

模块三：跨页格式保持，表格不会被拦腰截断

它是什么：结果聚合层。每页的 Markdown 按页码拼接成一份完整文档；开启maintainFormat后，还会把上一页的输出作为上下文传给下一页。
为什么重要：跨页表格是文档转 Markdown 最容易坏的地方，上下文传递让模型"记得"上一页的表头长什么样。
具体怎么体现：转换规则写死在 shared/systemPrompt.txt 里——图表优先转表格、无文字图片替换为描述、复选框用 ☐/☑ 表示。你可以直观看到"每页图片 → 一份 Markdown"的完整约定。

真实演示：一张物流发票的前后对比

仓库里放了 40 组"输入文档 → 输出 Markdown"的样本（shared/inputs与shared/outputs一一对应），这是其中一组：

输入是一张双栏排版、含两个运单块的物流发票扫描件（上图）。Zerox 输出的 shared/outputs/0020.md 片段：

# ZESTADO EXPRESS **Bill To:** Custom Board Makers ... **SHIPPING INVOICE 10112** Issue Date: 8th December 2021 ## Waybill No: 012345A ### Main Shipping Information **Customer Reference:** GC12345 ...

一句话结果：原来散落在双栏排版里的字段，变成了带标题层级、加粗标签的结构化 Markdown，两个 Waybill 区块各自独立成节，AI 直接引用即可。仓库还配了自动校验脚本：把输出与 shared/test.json 里的期望关键词逐页比对，跑一遍npm run test就知道关键内容有没有丢，见 node-zerox/tests/README.md。